近年来人工智能在多领域的研究和应用给我们的生活和工作带来了高效和便利。但是也有不法分子为了牟利，利用人工智能技术进行诈骗，比如利用AI换脸冒充熟人诈骗、或者制作发布假新闻混淆视听、赚取流量等等。针对相关问题，近日，国家网信办联合国家发展改革委、教育部、科技部等7部门公布《生成式人工智能服务管理暂行办法》，自2023年8月15日起施行。

办法共24条，其中明确，生成式人工智能技术是指具有文本、图片、音频、视频等内容生成能力的模型及相关技术。办法要求，提供和使用生成式人工智能服务，应当遵守法律、行政法规，尊重社会公德和伦理道德，遵守以下规定：坚持社会主义核心价值观，不得生成煽动颠覆国家政权、推翻社会主义制度，危害国家安全和利益、损害国家形象，煽动分裂国家、破坏国家统一和社会稳定，宣扬恐怖主义、极端主义，宣扬民族仇恨、民族歧视，暴力、淫秽色情，以及虚假有害信息等法律、行政法规禁止的内容；在算法设计、训练数据选择、模型生成和优化、提供服务等过程中，采取有效措施防止产生民族、信仰、国别、地域、性别、年龄、职业、健康等歧视；尊重知识产权、商业道德，保守商业秘密，不得利用算法、数据、平台等优势，实施垄断和不正当竞争行为；尊重他人合法权益，不得危害他人身心健康，不得侵害他人肖像权、名誉权、荣誉权、隐私权和个人信息权益；基于服务类型特点，采取有效措施，提升生成式人工智能服务的透明度，提高生成内容的准确性和可靠性。

办法要求，生成式人工智能服务提供者，应当依法开展预训练、优化训练等训练数据处理活动，遵守以下规定：使用具有合法来源的数据和基础模型，涉及知识产权的，不得侵害他人依法享有的知识产权；涉及个人信息的，应当取得个人同意或者符合法律、行政法规规定的其他情形。采取有效措施提高训练数据质量，增强训练数据的真实性、准确性、客观性、多样性。

生成式人工智能在带来技术便利的同时，也存在着被非法利用的风险。山东济南的冯某在使用短视频应用时，收到一条好友添加请求。点开一看是自家亲戚白某，于是通过了请求。随后对方自称有事要冯某帮忙，让冯某加他的QQ号。在成功添加QQ好友后，对方给冯某拨通了视频电话，虽然只有短短7秒的通话时间，但也足够让冯某确认对方的长相和声音是自家表哥。不过对方表示网络质量不好，没法长时间视频，下面的事情还是得打字说。紧接着，这个自称表哥的人表示想请冯某“帮个忙”，需要冯某帮自己转个账，并且以正在开会为由，拒绝了冯某来找自己的想法，并且表示会先把钱转到冯某的账户里。

随后冯某收到了“表哥”发来的一张65万元的转账截图，看完凭证的冯某不疑有他，但查询名下银行卡余额却发现转款迟迟未到。之后，“表哥”表示自己现在非常着急，让冯某先帮忙垫付。看冯某有些犹豫，对方再次主动与冯某进行了视频通话。

就这样，冯某东拼西凑借了30万元转给了对方，结果对方还继续催促冯某帮忙垫付剩下的35万。这时冯某已经隐约感觉到有些不对劲，再去查看对方短视频账号，结果大吃一惊，对方的账号已经将冯某屏蔽。

如梦初醒的冯某赶紧报警，警方调查发现，他转出去的钱款已经被迅速转出和消费。根据账户信息，商河警方迅速开展行动，奔赴广东抓获了涉案的嫌疑人谢某等4人，追回了部分钱款。目前该案还在进一步侦办当中。

除了利用AI技术假冒熟人诈骗，还有一些人利用人工智能技术编造谣言。今年4月，江苏盐城警方接到上级通报称，该市一网民发布“浙江温州一名女大学生在晚归途中遭持刀袭击并强奸”的虚假信息。盐城网安支队立即会同属地警方展开调查，查明造谣人员系盐城阜宁县网民朱某锋，并对其依法传唤。

经查，朱某峰为博眼球吸引流量，以获取平台给予的创作者奖金，就利用了时下流行的AI工具杜撰了谣言，为显真实，还在网上找到一张白衣女性的图片，附在文章中一同发布。目前，公安机关根据《中华人民共和国治安管理处罚法》第二十五条之规定，已对朱某峰行政罚款贰佰元，并责令其清理不实信息，关停相关自媒体账号。

针对生成式人工智能出现滥用甚至违法现象，《生成式人工智能服务管理暂行办法》如何对症下药？中国科学技术大学公共事务学院网络空间安全学院教授左晓栋认为：

一是要针对技术本身。比如，要求使用具有合法来源的数据和基础模型，涉及个人信息的应当取得个人同意。这是针对生成式人工智能输出结果容易受到输入数据影响而制定的。

二是针对服务的提供过程。如要求生成式人工智能服务提供者依法承担网络信息内容生产者责任，履行网络信息安全义务。提供者应当对使用者的输入信息和使用记录依法履行保护义务。提供者如果发现使用者从事违法活动，应当采取处置措施。

三是针对产业发展。为了防止被“卡脖子”，鼓励生成式人工智能算法、框架、芯片及配套软件平台等基础技术的自主创新。为了防止无序发展，要求推动相关基础设施和公共训练数据资源平台建设，促进算力资源协同共享，提升算力资源利用效能。目前，生成式人工智能应用中出现了传播虚假信息、侵害个人信息权益、数据安全和偏见歧视等问题，需要及时规制。但总体而言生成式人工智能仍处于发展的初期阶段，风险没有完全暴露，应用前景难以估量，所以应当采取包容审慎的态度，坚持发展和安全并重、促进创新和依法治理相结合，要采取有效措施鼓励生成式人工智能创新发展。所以这次的管理办法称为“暂行办法”，便是有这方面的考虑。文件针对已经出现的滥用、违法现象提出了管理措施，但对于生成式人工智能技术的未来发展留下了巨大的空间。