人工智能应用的社会性风险与监管对策*

(1.南京信息工程大学中意网络侵权研究所，南京 210044；2.南京信息工程大学法政学院，南京 210044)

0 引言

尤瓦尔·赫拉利说：“我们无法真正预测未来，因为科技并不会带来确定的结果。”[1]自人工智能(Artificial Intelligence, AI)概念问世以来，数轮大起大落也未能阻止人们持续尝试搭建以智能化技术为核心的多元谱系来改善社会生产和居民生活。日益丰富的海量数据集、急剧下降的算力成本、迭代更新的算法模型等关键性技术进展，全球主要经济体的人工智能发展战略与巨量资本逐鹿人工智能市场的汹涌浪潮等，合力提升社会生产效率、降低精细化处理成本、改善生态环境、推动智能社会建设。

递归式自我学习加剧了人工智能技术的不透明性与不确定性，在深度挖掘全景数据、采用知识图谱辅助算法结构以及黑盒输出决策结果的过程中，逐渐暴露出高阶数据集聚与深度分析威胁个人信息安全、天然倾向垄断、侵蚀市场竞争、偏重特定技能导致就业两级分化等严重弊端，甚至引发部分顶尖专家对于机器终结人类文明的忧思[2]。从人脸识别第一案、蚂蚁金服上市风波、SDK事件与网信办下架违法违规APP到一度处于风口浪尖的社区团购，人工智能技术应用的社会性风险已经引起各界关注，“对社会的技术可行性失去信心几乎是必然的”[3]。亟待系统分析人工智能产品和服务，从设想提出、开发规划到终端应用的整个生命周期中存在的政策法律、伦理舆情与市场反馈等诸多社会性风险，为解决人类族群在推进使用人工智能技术的各类应用项目中无法避免的不同层级的机器威胁焦虑与人类中心偏移和终极价值受损之担忧提供监管路径。

1 人工智能应用的社会性风险

从词源学来看，“风险”一词源于西班牙航海术语，意思是遇到危险或触礁[4]，后被学界普遍定义为损失的不确定性[5]。近年来，突破信息存储与处理瓶颈的创新型信息革新被整合应用到生产制造、教育医疗、交通出行等诸多领域，既在一定范围内展现出超越人类认知的强大能力，也在众多场域中暴露出难以预估的巨大威胁[6]。不仅数据依赖、回音效应、鲁棒性缺失等技术难题对人工智能产品和服务的有序运作构成障碍[7]，人工智能应用全生命周期中有意或无意的偏见歧视、非正义或不平等的对待方式均引发有违人本精神的根本性危机。例如，从“ZAO”深度伪造事件[8]到“千人千价”的大数据“杀熟”[9]，算法黑箱及渗透在算法框架中的固有偏见在深度学习的引擎推动下愈发严重[10]。基于默示理由和隐性偏见造成的间接歧视，大幅加剧了系统监管的难度[11]。以数据资源为原料的人工智能技术打破了时空限域，不少国家和地区积极将法律管辖的长臂拓展到全球每一个角落[12]，亟待完善有利全球稳定并有益人类发展的跨国治理协议。

20世纪50年代以来，有关机器政策伦理与法律规制的探讨从未停歇。从机器人三定律到类人定则，智能化应用的伦理倡议、原则宣言与法律政策规则此起彼伏。近几年，欧盟、美国、中国、日本、法国等纷纷出台人工智能发展战略，既强调智能技术的巨大价值，又关注其对于社会稳定和人类发展的潜在威胁。学术界重点倡导科技向善、系统稳健、算法公平、结果有益以及自始至终贯彻“以人为本”的核心理念，实务界全面肯定透明度、最小化、强责任等调控措施，试图将人工智能技术的行业应用限定在人类理想范围之内。例如，“如何将人工智能可能对人类造成的损害控制在提前预测的范围内，是法律工作者应当提前应对的重要课题”[13]。当索菲亚取得沙特王国的公民身份[14]，有关智能机器的法律地位、权利义务和行为责任等问题成为了各界焦点[15]。面对智能代理人行为的不可预测性及其可能造成破坏性负面结果的现实情状，一味否认其法律地位必然导致“责任漏洞”[16]，亟待采用“部分法律地位”的概念体系予以填补[17]。

事实上，损失与不确定性是风险的两大根本特征，而竞争的不公平与社会分配的不平等是社会风险的根本原因[18]。例如，人工智能应用带来的一项重大社会性风险是失业问题。根据麦肯锡预测，到2030年，中国将有1亿人因自动化浪潮面临被迫转业[19]。虽然人工智能不等于自动化，技术性失业也并非人工智能应用引发的新问题。从瓦特改良蒸汽机到电气时代的更迭，技术革新浪潮一直与旧有行业失业潮密切关联。不过，这一次与以往大不相同。一是之前的工业革命创造的新就业机会明显高于挤占岗位，二是之前失去的基本为“劳动”岗位，人工智能技术应用导致的却是部分“智力”岗位失业潮。拥有无限存储容量、永久数据保存、高速计算运行、几乎不受环境状态影响等优势的人工智能应用似乎比人类更能胜任需要绝对理性和海量知识的工作岗位[20]。同时，数字经济的崛起使掌握着数据资源和人工智能技术的少数群体有能力进一步拉大数字鸿沟，加剧经济与能力的差距，逐步形成“无用阶层”[21]。

虽然伊萨克·阿西莫夫的“机器人三定律”已被诠释为无解的怪圈”[22]，但关于人工智能体的伦理探讨未曾停息，“我们不能将人工智能研究同它的道德伦理后果分离开来”[23]。欧盟高级专家团(AI HLEG)在《可信AI伦理指南》(简称《指南》)[24]中提出人工智能伦理治理的构想。从哥白尼的“日心说”到达尔文的“生物进化论”、从“上帝之子”到帕斯卡尔的“思想的苇草”，在传统意识和观念不断颠覆中“人类已从中心滚向了 X”[25]。快速迭代的人工智能技术恶化了不均衡性、目的与工具等逻辑悖逆[26]。虽然全面超越人类的智能机器难以现世，但不完整的类脑智能尚有可能实现。随着工具理性迭代革新，社会主体仍有可能落入自主缺失的境地。

2 人工智能应用风险的监管难题

2.1 不确定性回归

当哥白尼推翻罗马教廷的“地心说”、当伽利略纠正亚里士多德的错误结论、当牛顿构建经典力学体系、当引力波的存在证实爱因斯坦的预测，现代文明试图用科学的理性不断认识这个世界。理性的、可计算的、确定的东西可以给人带来安全感，“工业社会、民众的社会秩序、特别是福利国家和保险国家必须能够使人类的生存状况可由工具理性控制并使之可制造、可获取、可解释”[27]。人工智能似乎在挑战这种理性的确定。乌尔里希·贝克将理性本身的发展逻辑带来“风险”这一现象称为“不确定性”的回归[28]，而人工智能系统虽然严格执行算法，却产生不确定的输出结果。“不确定性回归”无疑增加了人工智能应用风险的监管难度。各种人工智能因素逐渐渗透社会生活方方面面，不断“内化”的潜在风险进一步增加了识别障碍。

2.2 监管基础薄弱

风险监管的目的在于预防风险并降低损失。人工智能应用中充斥的不透明因素导致算法很难被深刻而全面地理解，风险带来的不利后果亦很难通过传统因果分析模式发现问题的根源。这些障碍进一步割裂了损失与风险之间的联系，而这种联系是监管的理论基础。例如，《民法典》第1202条规定，产品生产者承担侵权责任的前提是“因产品存在缺陷造成他人损害”，损害与缺陷之间的因果关系是请求权的必要基础。又如，根据经典的歧视学说，歧视理由与不利条件之间的因果关系是判定歧视的前提。“马太效应”频发的人工智能应用领域很难证明上述因果关系，特别是在损失不可见、不确定或并非及时显现的情况下。例如，黑人图片被标记为“大猩猩”、微软聊天机器人Tay呈现不良价值取向[29]等事件中，潜在的受害人及其损害结果均难以全面确定，更难以承担个性化责任[30]。

2.3 机遇与风险同在

随着海量数据累计、算力瓶颈突破、机器学习革新，人工智能的第三次浪潮引发经济社会的全方位智能化变革[31]。智能技术必将带来新产业、新业态、新模式，成为新的技术革命的创新引擎，亟待“加快形成以创新为主要引领和支撑的经济体系和发展模式”[32]。面对风险与机遇并存的人工智能技术应用，需要切实把握监管问题。监管力度不足则无法防范诸多风险，可能会出现破坏技术向善原则的恶劣现象；过于严格的监管则很可能导致良机错失。亟待建立适时适事的监管机制。

3 人工智能应用风险的域外监管现状

3.1 主要国家和地区的监管实践

2020年1月，美国发布的以第13859号行政命令[33]为基础的《人工智能应用监管指南备忘录(草案)》(简称《备忘录》)[34]基本确立了审慎监管的原则，给出了特定的政策指南和框架、试点计划和试验、自愿性共识标准等具体措施，体现了“鼓励AI的创新和发展”的理念。2020年2月，欧盟发布的《人工智能白皮书》(简称《白皮书》)[35]尝试建立一个共同的欧洲监管框架，创建旨在提高公民技术信心的“信任生态系统”，并以“高风险”作为监管范围限定标准。根据《白皮书》的规定，如果某领域属于使用人工智能应用具有重大风险的特定领域且在该领域使用人工智能的方式属于具有重大风险的使用方式，则会被认定为“高风险”的人工智能应用(如医疗、运输、能源等)，并给出了具体的严格要求。例如，要求应用于高风险领域的人工智能系统在每一个环节都要达到稳健准确、确保成果可重复、确保人类的适当参与。欧盟《通用数据保护条例》《指南》与《可信AI评估列表》[36]基本确立了欧洲地区人工智能发展的伦理框架[37]。

3.2 相关国际组织的监管实践

近两年，众多国际组织参与到人工智能应用的监管实践中。例如，42个国家采用了国际经济合作与发展组织(OECD)关于人工智能的原则[38]；二十国峰会发布的《G20人工智能原则》列出了可信赖AI 的5条原则；美国电气电子工程师协会(IEEE)发布《人工智能设计的伦理准则》并组建了IEEE P7000工作组[39]，迄今为止已经发布了旨在解决系统设计过程伦理问题的多份具体标准，如IEEE P7001-自主系统透明性、IEEE P7003-算法偏见的处理等。

此外，谷歌、微软、亚马逊、苹果公司等也相继发布了人工智能治理原则或行动方案，试图通过自身加强监管的方式获取和留存终端用户。

3.3 特点分析

人工智能应用风险的域外监管实践呈现出如下特点。

3.3.1 以原则性框架为主

截至2019年4月，政府及非政府机构发布了80多份包含人工智能伦理原则或准则的独立政策性文件。其中大部分在2016年至2019年间发布，来自私人公司的占比最高(22.6%)，其次是来自政府机构的文件(占比21.4%)[40]。这类不具备法律约束力的“软法”与“硬性”法规不同，虽然不具有法律约束力，但具有说服力和更高的灵活性。

3.3.2 方向趋同与实质异化

监管机构发布的文件中，在透明度、正义、非恶意、责任和隐私等道德原则方面趋同，而在这些原则的解释方式、重要性依据、涉及范围及实施方案等方面存在实质性差异。

3.3.3 强化数据和算法监管

欧盟于2016年和2019年先后发布《通用数据保护条例》和《算法责任与透明治理框架》，从数据与算法等方面提出更为具体明确的监管指标。美国参议员在提出《2019算法问责制法案》(简称《问责法案》)时亦要求对算法实施严格监管[41]。

4 风险监管对策探索

4.1 确定监管机构，明确监管责任

个人信息保护领域的立法与实践经验对于人工智能应用社会性风险的监管机制建设意义重大。对于监管机构混乱或责任不明等引发的“监管空白”和“重复监管”等诸多问题，建立独立统一的监管体系是有效保护个人信息的关键环节[42]。欧盟在《通用数据保护条例》中明确规定了数据保护机构、运行机制并将其作为数据保护的核心制度[43]。虽然微软、IBM等巨头企业已经在内部设立了人工智能伦理委员会，却不足以应对人工智能应用的社会性风险。亟待建立和完善专门性政府监管部门，切实明确层级式监管责任。

4.2 注重风险评估，完善监管流程

在人工智能应用风险的监管范围上，不论是欧盟《白皮书》的“高风险”标准认定，还是《备忘录》的风险利益衡量，都不约而同地将风险作为出发点。有效的风险评估不仅为监管指明方向且避免了无价值的监管成本，并通过监管前置起到事前监督的作用，从而将损失降到最低。目前，各国立法并未对人工智能应用的风险评估作出明确要求，但是仍然有迹可循。欧盟《通用数据保护条例》第35条明确提出高风险数据处理行为的数据保护影响评估义务并规定了必须进行影响评估的三种情形和数据监管机构建立、公开评估列表的具体要求。《问责法案》提出了针对特定规模商业实体的高风险系统评估义务[44]。通过数据处理及算法应用的影响评估间接评估人工智能应用风险的做法成为应用风险评估一大趋势。我国《个人信息保护法(草案)》第54条规定了个人信息处理者对个人有重大影响的个人信息处理活动的事前风险评估及记录义务，可以看出涉及个人信息处理的人工智能应用的风险评估已经势在必行。

4.3 建立两端分类，形成全面监管

面对诸多风险，监管是必要的。但是，监管的目的不是限制技术发展。恰恰相反，监管的目的是推动人工智能产品和服务的健康有序发展。相关监管应当充分体现针对性。欧盟的高风险强制监管通过“应用领域+使用方式”予以界定，实现分类监管的目标。《算法问责法案》直接将算法影响评估义务对象的范围限定在每年收入超过 5000 万美元、持有100万人或者设备信息的公司或者主要作为买卖消费者数据的数据经纪人公司。以经济实力和用户数量作为监管范围的划分标准，可能会导致某些初创型人工智能企业被排除在监管范围之外。有必要在监管范围划定中，综合考虑人工智能应用的领域、使用方式、用户数量等因素，通过成本效益分析综合评判，形成全面的监管方案。

4.4 加快规则制定，抢占市场高地

在信息技术大力推动之下，全球已经成为一个难以分割的数据市场。虽然欧盟的《通用数据保护条例》通过严格的数据收集与使用限制阻碍新产业发展、削弱网络安全防护能力，某种程度上对欧盟数字经济的竞争力产生负面效应[45]，但这种“负外部性假象”[46]不能消减“布鲁塞尔效应”[47]。欧盟通过扩张单边管辖权、强化数据跨境传输限制等，对全球数字市场产生了深远影响，充分掌握了相关技术标准的话语权[48]。2021年4月21日，欧盟就人工智能监管提出了新的法律框架。通过一系列法规概述了自动驾驶、银行贷款、招生招聘以及执法部门和司法部门活动中限制人工智能使用的方式方法，“该法规解决了与人工智能具体使用相关的给人类和社会带来的风险。”我国亟需建立高质量的具有深远影响力的法律法规和标准体系，助力抢占全球人工智能市场高地。

4.5 改进安全港机制，营建创新环境

美国1978年的《破产法典》制定确立了安全港规则，用于指代破产事件中为金融合约提供豁免的一种法律制度[49]。之后，美国在信息领域提出的“信息安全港”[50]和英国在金融领域提出的“监管沙盒”[51]都可以窥见安全港机制的影子。这一制度既为技术实践提供真实的系统性评估测试环境，有利于最大限度地提供创新屠场，又可以完成提前介入与事前监督，有利于加强风险防范，从而实现灵活地平衡利益与风险的监管模式。

5 结束语

我国实现技术弯道超车、跻身创新型国家前列的目标有赖于智能社会的重大机遇[52]。在全球人工智能领域内，中美两国处于第一梯队；欧盟侧重于规则制定，特别是在道德国际准则方面走在前列[53]。我国对于人工智能社会性风险相关领域的关注度尚且不足，亟待在技术上不断推陈出新的同时，注重风险防范和监管制度完善。我国发布的《人工智能标准化白皮书》[54]从基础、平台/支撑、关键技术、产品及服务、应用、安全/伦理等方面提出标准框架，在“新基建”[55]背景下进一步为产业智能化提供底层技术支撑。亟待在借鉴域外经验教训的基础上，充分结合我国人工智能发展现状和社会性风险情状，建立统一独立的监管机构、完善监管流程、扩大有效监管范围、制定具有影响力的规则标准，推动人工智能发展，赋能数字经济。