人工智能治理国内外发展现状分析

张沛 刘媛媛

(1.中国信息通信研究院泰尔终端实验室，北京 100191；2.北京邮电大学，北京 100876；3.中国信息通信研究院政策与经济研究所，北京 100191)

0 引言

人工智能(Artificial Intelligence，AI)作为引领未来变革的战略性信息技术，在飞速发展、造福人类的同时，也带来了隐私安全、人身安全、公共安全等诸多安全风险和挑战。全球一直致力于推动AI从伦理原则、标准规范到实践落地的工作，进而达到兼顾安全与发展的治理目标，推动AI产业健康发展。AI治理已经成为全球关注焦点，当前全球各国AI治理稳步推进，我国也积极推动AI治理实践。本文主要分析国内外AI治理发展和现状、针对我国AI治理现状存在的问题提出针对性建议，对加强我国对AI治理的重视以及促进AI治理进一步落地非常重要。

1 AI治理问题和挑战

1.1 AI算法的安全和问责问题亟待解决

当前AI高速发展，相关技术和应用渗透在人类生活和各行业中，但是由于AI技术或管理缺陷也逐渐暴露出不安全、不透明、难问责等诸多问题。以深度学习为核心的AI系统和模型存在脆弱和易受攻击的缺陷[1]；深度学习采用的黑箱(Blackbox)模式导致模型具备不可解释性；不透明的决策过程使得算法责任主体难以界定。如某些应用软件利用深度伪造技术实现图像、音视频的生成或修改(AI换脸)，使不良信息内容“以假乱真”，抹黑政治人物。如果安全防护技术或措施不完善，无人驾驶汽车、机器人和其他AI装置将受到非法入侵和控制而引发安全威胁，如特斯拉、优步等自动驾驶汽车交通事故。当智能医疗助理给出错误的医疗建议导致患者病情加重时，由于算法不可解释，存在难以界定责任主体等问题[2]。

1.2 AI发展引发的数据问题凸显

AI的发展离不开大量数据的采集、使用和积累，通过大量数据训练算法，可使AI具备更加显著的问题解决能力。一方面，AI数据的应用可能侵犯大众的隐私安全，如收集个人的健康信息、位置信息及消费偏好等。另一方面，不均衡的、片面的训练数据输入，可能导致各种算法决策的偏见，如谷歌照片服务Google AI将一名黑人软件开发人员的照片打上了“大猩猩”的标签，出现严重的种族歧视。

1.3 AI发展带来社会风险挑战

AI产品和应用会引发就业等人类社会风险挑战。麦肯锡在其发布的《就业和失业：自动化时代的劳动力转型》报告中指出，到2030年，全球近8亿人将被机器人取代，其中中国将有1亿人面临职业转化[2]。AI会将可重复、可描述、有固定规则等特征的工作取代，不断推动社会生产率提升。再者，当AI发展到未来超级智能阶段，机器人等AI系统能够自我演化并发展出类人的自我意识，将可能对人类的主导性甚至存续造成威胁。

2 AI治理国内外进展

2.1 国际AI治理现状

全球AI治理在从原则迈向“实践”过程中，可分为3个阶段，即提出制定阶段、寻求国际原则共识阶段及落地实践阶段。2016年起至今，全球主要国家和国际组织等发布了超百份AI战略及相关治理文件，梳理后可见目前AI治理原则主要集中在公平和非歧视、安全和可控、透明&可解释和可溯源、责任、隐私保护、伦理道德等方面(见表1)。

2.2 我国政府和企业AI治理现状

我国主要通过政府治理和企业自治力量，共同推动AI治理实践，稳步推进“负责任、可持续”的AI生态建设。

我国不断规范国家和地方层面AI治理相关指导文件和法律法规。2019年，国家新一代人工智能治理专业委员会发布《新一代人工智能治理原则——发展负责任的人工智能》，提出和谐友好、公平公正、包容共享、尊重隐私、安全可控、共担责任、开放协作、敏捷治理8条治理原则。2021年，《最高人民法院关于审理使用人脸识别技术处理个人信息相关民事案件适用法律若干问题的规定》发布，针对人脸识别滥用、数据隐私侵犯等AI伦理问题给出司法解释，强化个人信息保护。2021年，全国首部地方性AI领域法规《深圳经济特区人工智能产业促进条例(草案)》(简称《草案》)发布。《草案》提出了设立AI伦理委员会，建立先行先试分类监管机制，使用政策指南、沙盒技术等监管工具，逐步完善AI领域监管机制等具体治理措施要求。

百度、腾讯、旷视等AI头部企业积极开展AI治理探索，并广泛开展了深度合作。腾讯提出“科技向善”理念，其AI研究与应用遵循“可知”“可控”“可用”“可靠”的“四可”原则。先后发布《腾讯人工智能白皮书：泛在智能》《2021十大人工智能趋势》等，聚焦AI算法公平性、AI隐私保护和AI安全等。百度在AI安全、隐私等方面践行AI治理，先后开源了飞桨对抗样本工具包Advbox、联邦学习框架PaddleFL、模型鲁棒性体系化评估框架等。旷视设立AI道德委员会、AI治理研究院等机构，从正当性、人的监督、技术可靠性和安全性、公平性和多样性、问责和及时修正、数据安全与隐私保护6个维度，对AI正确有序发展作出明确规范，并先后发布《人工智能应用准则》《2020年度全球十大人工智能治理事件》等。

此外，近年来业界AI头部企业和研究单位联合发布《人工智能产业担当宣言》《促进可信人工智能发展倡议》《可信人工智能白皮书》等，深圳市人工智能行业协会、中国人工智能产业发展联盟(Artificial Intelligence Industry Alliance，AIIA)等发布《新一代人工智能行业自律公约》《可信AI操作指引》，广泛探索AI治理框架和路径。目前，AI治理落地还没有成熟的既定模式，中国AI企业治理仍然处于各自摸索、共同探索的阶段。

3 AI治理主要内容和手段

AI的核心三要素为算法、算力和数据。由于算力的客观特性，AI治理的核心问题主要集中在AI数据和算法层面。

3.1 数据

3.1.1 数据引发问题

数据资源是AI技术和产业发展的重要核心要素之一，是以深度学习为代表的算法模型研究和训练的重要基础元素。深度学习训练算法的效果依赖于所输入的数据质量[3]。数据规模、准确性、包容性等因素将直接决定训练得到的模型质量[4]。数据使用过程中的流转和共享，将会引起隐私泄露等问题；数据规模小、覆盖不全面等，将会引起模型的公平性等问题。

数据共享过程中存在的隐私问题包括：在AI模型分布式训练过程中和用户或不同机构间数据交互过程中的隐私泄露；在预测阶段中用户上传预测数据明文至云服务器时，存在的泄露风险[5]。AI模型和应用中的公平性涉及：由于AI系统使用的数据集中包含带有偏见的输入信息，从而导致训练后的不完整或错误的模型输出带有偏见的决策数据。偏见由于利益驱动而人为引入，如大数据杀熟，或由于种族、肤色等因素引入。

表1 政府及政府间组织AI治理原则概述

3.1.2 相关治理手段

基于隐私保护的机器学习技术有助于解决AI发展中的数据安全和隐私问题，促进跨机构的数据协同应用，主要包括差分隐私、联邦学习、安全多方计算等多种技术方向。差分隐私的核心思想是AI算法应当对输入数据中微小扰动不敏感[1]。无论一个数据主体的隐私信息是否包含在数据分析的输入数据中，都可对任何主体作出相同的推断，可以抵抗包括差分攻击、链接攻击和重构攻击等隐私攻击[6]。联邦学习是谷歌于2016年提出的概念，是指在不共享数据的情况下，联合多个终端中的数据进行通用的机器学习模型训练。其核心是，在本地进行AI模型训练，并仅将模型更新的部分加密上传到数据交换区域。其主要适用场景是AI联合训练，解决数据被集中所带来的隐私问题[7]。安全多方计算基于密码学原理，依据特殊的加密算法和协议在多个参与方的加密数据上直接进行计算[8]。

为促进AI数据使用的合规与监管，国际国内从立法层面发布了相关政策法规。欧盟提出《一般数据保护条例》(General Data Protection Regulation，GDPR)、《人工智能法》(Artificial Intelligence Act)等，构建数据安全治理体系，有效保护AI使用和发展过程中个人数据的流通与收集。中国近年来加快了数据立法进程，如《中华人民共和国网络安全法》强调了数据隐私保护的重要性，《中华人民共和国个人信息保护法(草案)》指出个人信息在数据流通中的安全合规管理和审计[8]。2021年《中华人民共和国数据安全法》的公布，进一步对数据处理、安全保护等提出合规要求。

3.2 算法

3.2.1 算法引发问题

以深度学习为代表的机器学习算法，由于能够利用海量数据学习并提取数据中的潜在规律和模式，具备增强的复杂问题决策能力从而应用广泛。随着训练数据规模的增长和算力基础的提升，机器学习算法的准确性不断提升，成为驱动AI应用发展的核心技术。但是，由于机器学习算法自身的复杂隐性结构及其对训练数据的高度依赖等特性，带来了稳定性、可解释性和公平性等问题。

在机器学习算法各阶段面临的不同安全威胁和干扰影响AI算法模型的稳定性，如训练阶段的投毒攻击[9]、预测阶段的对抗样本攻击和模型提取攻击[10]。投毒攻击通过对训练集进行有目的增加、删除和修改，破坏训练数据分布，从而影响模型的性能和准确性，如恶意邮件分类系统、推荐系统等。对抗样本攻击一般由于模型对抗区域的存在、激活函数的局部线性特性等而产生，并且具有可迁移性[12]。对抗样本攻击通过在原始数据中加入特定的细微噪声，导致神经网络模型造成误判[5]。模型提取攻击指利用机器学习模型对外提供的应用程序接口(Application Programming Interface，API)，通过一定方式获取模型的内部信息或构造接近的模型，从而绕过安全检测[9,11]。

可解释性问题指由于机器学习模型具有黑盒、复杂结构等特性，无法解释其内部工作原理和最终输出结果。AI模型的输入和输出之间，存在着权重、偏置等成百上千个参数的复杂隐层，如当前文心(ERNIE)、盘古等大规模预训练模型体量达到千亿级参数规模，使其决策原理难以解释，从而导致算法的透明性、可靠性、可问责性等问题。

此外，除原始数据驱动造成的算法歧视和偏见问题，来自于编程人员的价值观嵌入也会带来一定的算法公平性问题，如算法设计者由于利益驱动或喜好引入而导致主观算法歧视。

3.2.2 算法治理手段

针对AI系统稳定性问题，主要的防御方法包括对抗攻击检测、提高模型鲁棒性等。对抗攻击检测通过检测样本的对抗性，判断是否为对抗样本，从而拒绝样本输入，包括H&G检测方法、对抗性检测网络、逆交叉熵检测等方法。提高模型鲁棒性的防御手段包括：数据扩充等对抗训练方法；原有数据去噪、量化、离散化等预处理方法；深度压缩网络和防御蒸馏等增强对抗样本发现能力的正则化方法等[13]。

对于可解释性问题，一方面，可以通过设计“模型说明书”促进算法模型的透明度和可理解性[14]。如，谷歌模型卡片(Model Cards)针对其运行机制和关键限制要素进行描述，含算法基本功能和架构、面对不同变量的性能表现和局限。IBM推出AI事实清单(AI Fact Sheets)，提供AI模型重要基本特征信息，如目的、用途、性能、数据集等，加强技术人员在使用、开发和部署AI系统时的决策正确性。另一方面，通过发布可解释性技术工具促进算法透明度和可解释性[14]。如IBM提出的集成可解释性工具箱AI Explainability 360涵盖多种可解释方法和多维度评价矩阵。谷歌的可视化工具TensorBoard通过监督和呈现网络的训练过程和结果来实现可解释性，如编辑数据点，查看引起的推断变化。微软的可解释机器学习工具包lnterpretML针对模型调试、模型改进、偏见检测、模型合规等，提供明箱(Glassbox)和黑箱两种类型的可解释性。

对于公平性问题，构建更公正的数据集、引入公平性约束损失、提高算法可解释性等解决方案，有助于解决由数据偏差、算法本身缺陷、人为偏见等引起的问题。

政策和法规也是促进规制AI算法和系统安全稳定性、透明度和可解释性、公平性等的重要途径。美国计算机协会公共政策委员会(Association for Computing Machinery US Public Policy Council，USACM)的《算法透明和可责性声明》提出认识算法歧视、明确数据来源、提高可解释性与可审查性、建立严格的验证测试机制。美国《2022年算法责任法案》要求企业在使用自动化决策系统作出关键决策时，对关键算法偏见、有效性和其他因素进行影响评估。我国《关于加强互联网信息服务算法综合治理的指导意见》《互联网信息服务算法推荐管理规定》等针对加强互联网信息服务算法安全治理、规范算法推荐活动等确立了算法治理原则、对象、工具等，对AI算法应用的透明度和可解释性等提出要求。

4 AI治理问题和建议

我国政府和企业针对AI数据和算法治理，从法规、技术层面已经取得了一定进展。但是，目前尚未形成完善的AI治理体系，相关法律法规覆盖不全面；相关技术标准和治理工具不完备，以企业自主实践为主。本文针对我国AI治理，提出以下建议。

(1)构建人工智能治理体系的顶层布局。由政府等相关机构统筹规划，推动构建AI产业相关法律法规保障体系，加快推动重点领域规则制定；建设AI产业治理规范和评测体系，推动数据治理、算法规制等标准制定和安全评估能力建设。

(2)推动企业治理技术创新和实践。一是加强AI治理研究，加强AI基础理论、伦理问题、数据隐私、算法稳定性、可解释性、公平性、可问责性等技术研究和治理工具实践。二是开展企业内部治理机制和机构建设，促进AI产品研发、设计、制造、运营和服务等全生命周期治理。三是加强企业治理合作，从原则、工具、标准和评估层面形成行业内共识的治理体系。

(3)根据AI场景风险程度分类治理。采用分类治理的思路，对于涉及国家安全、社会稳定的自动驾驶、智能医疗等高风险领域，应加强事前监管与准入限制；对于涉及个人日常消费及服务等风险相对较低的电子商务、智能家居等领域，采取基于结果的规制思路，侧重事中事后监管。

5 结束语

针对中国AI治理问题，本文从顶层布局、技术创新和实践、分类治理等层面提出建议，为完善AI治理工作提供了参考。未来，如何使AI治理更有效、更完善的体系化，尤其是进一步落地化，促进AI产业健康和安全发展，将仍然是业界需要探索的重点。