生成式人工智能对社会治理带来多重风险，我国应尽快加强风险评估

ChatGPT自2022年11月问世以来受到全世界广泛关注，也因出现了预训练数据来源不透明等问题陷入争议。2024年，Open AI发布文生视频大模型Sora引发了新一轮AI热潮，其背后蕴含着多重伦理和安全风险，包括窃取关键信息、扰乱网络生态、侵犯知识产权以及危害意识形态和军事安全等，或将对社会稳定和国家安全带来深远影响，须引起高度关注。为研判生成式人工智能对社会治理带来的潜在风险，防患未然，本文对此进行了系统研究。

一、潜在风险分析

近年来，从OpenAI成功发布ChatGPT语言大模型，文生图大模型Imagen 2可自动生成高质量、逼真的图像，到文生视频大模型Sora根据文本指令创建近似现实且富有想象力的高清视频，人工智能大模型技术快速升级演进，能自动生成内容的生成式AI系统逐渐成熟，由此对人类社会带来诸多风险和挑战，主要表现在以下四个方面：

（一）引发敏感数据泄露的风险

目前，OpenAI、谷歌、Meta、微软等美国科技企业引领全球大模型创新，美国企业研发的大模型产品在国内大量使用，极易引发我国居民、行业和国家的关键数据泄露和数据跨境流动的安全风险。大模型可能在收集数据信息时未征得用户授权，将个人隐私数据、商业秘密信息和国家关键数据纳入自身的训练语料库，存在数据泄露的风险。我国企业如果采用大模型的服务，将面临着居民个人隐私数据泄密和国家经济等重要数据跨境流动，威胁数据安全与国家安全。

（二）扰乱网络生态的风险

生成式人工智能能够产出逼真的文本、图像、音频、视频等内容，可能会被不法分子用于诈骗、剽窃、造谣、伪造身份等场景。此外，Meta发布的InCoder与OpyfImErS1UzSEcNMOaAHOGlENQhypOGWonbBaO1x8bX8=enAI 发布的Codex等大模型还具有强大的代码编写功能，因此有可能被黑客利用成为网络攻击的工具。在制造虚假信息方面，大模型存在目前无法解决的“幻觉”问题，无法保证生成信息的准确性，可能制造大量谣言和垃圾信息，让网民和监管人员难以分辨信息真伪，严重侵蚀网络平台的正常舆论生态，舆情治理压力势必增加。此外，AI大模型在训练过程中可能会受到训练数据中存在的与政治、种族等敏感话题相关的环境影响，导致生成的信息存在偏见和歧视，并在网络平台传播和放大。

（三）侵犯知识产权的风险

公开数据集是AI大模型训练数据的重要来源之一，例如ImageNet是一个广泛用于图像识别任务的大规模图像数据集，而Common Crawl则提供了大量的网页抓取数据以供自然语言处理模型训练。生成式AI工具挖掘大量文本、图像、视频数据，如果未经授权将这些数据直接复制使用，将涉及作品版权、挖掘行为授权、二次创作许可、AI智力成果保护等问题，可能导致各种论文、报告、文章、图像、视频等作品抄袭泛滥，造成大量侵犯知识产权的风险。目前，《科学》《自然》等数千种科学期刊明令禁止或限制投稿人使用ChatGPT撰写或编辑论文。

（四）危害意识形态和军事安全的风险

大模型在涉及国家利益的敏感问题上，输出的内容可能被美国官方用于抹黑中国形象，毒化国际受众对华认知，进一步强化美国意识形态渗透能力，削弱我国在国际舆论场中的话语权。此外，大模型技术最近已被美国国防信息系统局（DISA）添加到观察名单中，或将被用于收集作战情报、开展网络攻击、辅助军事决策，以提升美国的智能化作战军事行动能力，给我国带来军事安全风险。

二、措施建议

为营造更加清朗、安全的数字空间，有效维护国家安全和社会稳定，我国须高度关注生成式AI工具广泛应用引发的潜在风险。

一是完善伦理规范，鼓励多元协同治理。支持全国学会、行业组织牵头制定生成式AI的伦理道德规范、技术指南和行业标准，将伦理道德准则融入生成式AI的全生命周期。建立健全法律法规体系，明确政府、企业、网络平台、社会组织和公众等各方的职责和权力边界，建立多元主体协同共治的有效机制。

二是支持自主研发，加强风险评估审查。支持国内龙头科技企业牵头建立国产自主的生成式AI平台，鼓励中小企业使用国内平台并进行应用创新，以确保数据安全。明确研发机构、网络平台经营者和用户对于生成式AI的应用场景和使用范围以及安全风险评估义务，加强对算法、数据风险以及开发者的价值观考察，对高风险产品和服务进行安全性审查。

三是促进行业自律，积极参与国际治理。提升科研机构和企业对人工智能伦理的认知和重视程度，建立人工智能行业自律机制。提高全社会科技伦理意识，加强科技伦理宣传、活动与交流，鼓励全社会对人工智能伦理的广泛监督。积极参与国际组织的AI伦理治理议题，为完善人工智能国际伦理规范发出中国声音、提供中国方案。

作者单位：张雅妮、宋甲英 中国电子学会

王懿 中国石油大学（北京）