欧盟人工智能立法最新动向

■文/李芳 刘鑫怡（中国科学技术信息研究所）

欧盟高度重视通过人工智能治理来加强新一轮人工智能竞争规则的主导权。欧盟关于人工智能的最新立法提案基于风险比例的方法，将人工智能系统分为不可接受、高风险、有限风险、最小风险四个风险等级，根据可能产生的风险强度和范围来调整规则的类型和内容。尽管部分规则仍存在一定争议，并且立法进程可能耗费数年时间，但在人工智能快速与经济社会融合带来的一系列隐私、安全、公平等问题下，相关条款可能在全球范围内引发“蝴蝶效应”，中国应加强对相关规则的研究，并积极寻求与相关人士交流更多的立法背景信息，并在中国的立法进程中，重视安全与发展的平衡。

2021年4月21日，欧盟委员会公布了有关《人工智能法》及配套立法的最新提案。该提案是欧盟委员会主席冯·德莱恩在其《2019—2024年政治指导方针》（Political Guidelines For 2019—2024）宣布的“一个为追求更多目标而奋斗的联盟”的政治承诺之一：加强人工智能伦理规范与立法。该提案提出了欧盟统一的可信赖人工智能法律框架，使欧盟成为促进人工智能安全、可信和道德的全球领导者。为此，该提案全面整合了欧盟现有的人工智能相关准则、法规等，基于风险比例方法，为不同风险类型的人工智能系统引入一套符合比例性和有效性的约束规则。这些规则涉及人工智能系统风险类别的界定、创新支持措施、治理机制、数据质量、市场监管与信息共享、保密性和处罚条款等。该提案将提交欧洲议会和理事会进行进一步审议。

一、近年来欧盟人工智能治理的相关行动

面对新一轮人工智能浪潮快速席卷全球以及美、中两国在全球人工智能研发与应用中日益突出的领先优势，欧盟尤其重视通过人工智能伦理、法律以及标准规范等治理方式，来加强全球人工智能治理的话语权与主导权。

欧盟《通用数据保护条例》(简称GDPR)自2016年4月通过以来，已经被越来越多的国家和国际组织采用。印度在2018年7月发布《2018年个人数据保护法案（草案）》，巴西2018年8月批准了《通用数据保护法》，在域外管辖、数据保护原则、数据主体权利以及行政处罚等方面与GDPR相似；2019年8月，国际标准化组织和国际电工委员会发布的“ISO/IEC 27701隐私信息管理体系标准”就覆盖了绝大部分GDPR的要求。

自GDPR生效以后，欧盟更是加快出台针对人工智能的相关治理举措。欧盟人工智能高级专家小组（High-Level Expert Group on Artificial Intelligence,AI HLEG）于2019年制定了《可信人工智能指南》，并于2020年制定了《可信人工智能评估清单》。2020年2月，欧盟委员会进一步发布《人工智能白皮书》提出一系列人工智能研发和监管的政策措施，以及“可信赖的人工智能框架”，旨在联合欧洲各国的力量，促进欧洲在人工智能领域的创新能力，推动道德和可信赖人工智能的发展。

二、欧盟人工智能立法框架的主要内容

在最新发布的欧盟人工智能立法框架中，欧盟将人工智能系统划分为不可接受风险、高风险、有限风险和最小风险四个等级，并对不同风险级别施以不同的规制措施，主要内容如下：

（一）基于风险比例的人工智能系统分类与规制方向

人工智能法律框架的适用范围包括：将人工智能系统投放在欧盟市场交易或提供服务的供应商；欧盟的人工智能系统用户；人工智能系统的输出在欧盟应用的第三国供应商和用户。总体来看，该提案大部分内容侧重于为高风险的人工智能系统制定强制性要求和义务等规定。对于不可接受的风险，明确列示了禁止的人工智能活动范围；对于聊天机器人、深度伪造等有限风险的人工智能系统规定特定的透明度义务。此外，对于诸如电子游戏和垃圾邮件识别软件等低风险或无风险的人工智能系统不加干预。对于非高风险的人工智能系统，提案鼓励供应商做出承诺，自愿应用高风险人工智能系统的强制性要求，并协助制定与环境可持续性、残疾人无障碍、利益相关者参与设计和开发等有关的行为准则。

（1）被禁止的四类人工智能活动。禁止向市场投放或使用违背欧盟自由、平等、民主和法治的价值观，或与基本权利（包括数据保护权、隐私权等）相抵触的人工智能系统。具体包括以下四类：一是禁止投放和使用在人的意识之外部署阈下技术（subliminal techniques），造成个人行为严重扭曲，并可能对本人或其他人造成身体或心理伤害的人工智能系统。二是禁止投放和使用利用特定人群因年龄、身体或精神残疾而存在的弱点，严重扭曲与该群体有关的个人行为，从而造成本人或其他人的身体或心理伤害的人工智能系统。三是禁止公共机构或其代理投放或用于对自然人的可信度进行评估或分类，导致歧视性结果的人工智能系统。四是禁止在公共场所为执法目的使用“实时”远程生物识别系统，但用于以下三种目标并且在遵循严格必要使用相关规则的前提下，可以有一定豁免，包括：寻找犯罪导致的特定潜在受害者；防止对自然人的生命或人身安全的具体、实质性的紧迫威胁或恐怖袭击；对特定刑事犯罪行为人或犯罪嫌疑人的侦查、定位、鉴定或起诉。

（2）针对高风险人工智能系统的相关规则。在界定高风险人工智能系统范围基础上，提案围绕系统本身及其生命周期内相关主体设定了一系列强制性要求和义务标准，确保在高风险人工智能系统的整个生命周期中保护人类基本权利和安全。高风险人工智能系统包括两类：一是经过第三方合格评估认证，作为产品或者产品的安全组件的人工智能系统。二是提案附件三列出的八个领域的独立人工智能系统，分别为：自然人的生物识别和分类，关键基础设施的管理和运作，教育和职业培训，就业，执法，移民，庇护和边境管制，以及司法和民主进程。欧盟委员会可依据给定标准进行风险评估，并据此决定是否增加附件三的高风险人工智能系统清单。

高风险人工智能系统必须满足的七项要求。一是应按步骤建立、实施、记录和维护与高风险人工智能系统整个生命周期有关的风险管理系统。二是应遵守适当的数据治理和管理规范，为系统提供高质量数据集，最大程度地降低风险和歧视。三是在高风险人工智能系统被投入市场或使用之前，按要求起草技术文档，并保持最新状态，供主管部门评估其合规性。四是具备自动记录日志功能，确保人工智能系统功能在整个生命周期中可追溯。五是按规定标准保持透明度并向用户提供信息。六是部署适当的监督措施，保证人类监督有效进行。七是确保高水平的鲁棒性、安全性和准确性。上述义务与其他国际建议和原则保持一致，与欧盟国际贸易伙伴所采用的人工智能框架具有兼容性。

高风险人工智能系统提供者、用户和其他方的义务。一是供应商需确保满足上述有关系统的要求并提供证明（如果不符，则需履行纠正和告知用户义务），并按规定建立质量管理体系、进行使用前的合规评估、注册、纠正措施、张贴CE标识等。二是在大部分情形下，产品制造商、进口商、用户及其他第三方都同属于供应商的范畴，应履行与供应商同等条件的义务。三是用户有义务按说明使用并监督系统，并确保输入数据的相关性等。此外，法规还要求各成员国制定或建立公告机构，进行合格评估机构的评估、公告和监督，并对公告机构、合格评估机构的设立和工作程序等进行了详细规定。同时，还对统一标准、共同规范、合格评定及证书、CE合格标识等设定了具体标准。

（3）具有透明度义务的三种人工智能系统。一是与人互动的系统，供应商应确保将旨在与人类进行交互的人工智能系统的设计和开发方式告知自然人。二是情绪识别系统或生物特征分类系统的用户应将系统的运行告知暴露在该系统下的自然人。三是如果使用人工智能系统生成或操纵与真实内容非常相似的图像、音频或视频内容（深度伪造），系统使用者应当披露该内容是通过自动方式还是人为操纵方式生成的。

（二）创新支持措施、治理与监管相关规则

围绕人工智能系统开发与应用的外部环境，提案从创新支持措施、治理体系、市场监管等方面，列明了相关规则。

（1）创新支持措施的相关规则。提案鼓励建立国家或欧盟层面的监管沙箱，为加快人工智能系统投入市场和使用提供受控环境，并规定此项工作应在主管当局的直接监督和指导下进行，以确保遵守本法规及其他成员国法规的要求。提案允许以公共利益为目的，在监管沙盒中进一步处理合法收集的个人数据，并为此设定了相关规则。此外，提案还设立相关程序，为中小企业和初创企业提供监管沙盒数据优先访问权，建立咨询指导渠道，降低合格评定费用，以减轻企业负担。

（2）建立欧盟和成员国层面的治理体系。一是设立欧洲人工智能委员会，由欧盟委员会和成员国国家监管机构的相关人员组成，负责在成员国之间收集和分享最佳实践，推进成员国之间统一行政管理，向欧盟委员会提供建议等等。二是成员国应设立或指定国家主管部门，以确保本法规的适用和实施。此外，提案还强调要通过欧盟委员会与成员国合作，建立独立高风险人工智能系统数据库。

（3）售后监测、信息共享与市场监管规则。一是高风险人工智能系统供应商应制定售后监测计划，并基于此建立售后监控系统。积极收集、记录、分析和评估系统生命周期内的性能数据。二是供应商应及时将违反该法规义务的事件或严重故障的系统上报国家监管机构。三是国家监管机构应定期向委员会报告有关市场监管活动的结果。四是市场监管机构应在其职权范围内访问数据和文档。此外，针对市场上可能存在风险的人工智能系统，提案还分别从国家、联盟和供应商层面规定了相关处理程序。

（4）对违规行为处以高额行政罚款。提案对各种类型的违规行为处以高额的行政罚款。程度最为严重的是对违反禁止性人工智能清单规定和高风险人工智能系统数据治理规定的情形，最高可处以3000万欧元的行政罚款；如果违规者是企业，则处以上一个财政年度全球年度总营业额6%的行政罚款，以较高者为准。这些严厉的处罚方式，增加了法规的强制约束性。

三、欧盟人工智能立法提案的可能影响与应对

在一定程度上，该提案从法律层面确定了贯穿人工智能系统全生命周期的指导与约束规则，如获通过，不仅将对欧盟成员国产生约束力，也将对欧盟内外的人工智能治理产生重大影响。

（一）相关规则设置或将引发“蝴蝶效应”，应加强相关内容和规则研究

鉴于人工智能在与人类经济社会的快速融合中，对人类隐私、安全、公平等方面的影响已经引发了社会各界的高度关注，甚至忧虑，加快人工智能伦理道德软约束向立法的强约束转变已经势在必行。欧盟率先从区域协调层面加快立法，为其他国家的立法探索提供了一定的参考，相关规则设置或将产生“蝴蝶效应”，对全球规则的塑造产生广泛而深远的影响。对此，中国立法界人士应当加强对相关内容与规则的研究，并考虑联合人工智能相关领域从业人员及利益相关者就相关条款进行广泛的利益征集，据此提出与中国人工智能发展相适应的规制条款。

（二）部分条款设置仍存在“模糊地带”，中国应加强与相关人士的交流

提案的部分条款或过于宽泛，或过于模糊，比如伦敦大学学院计算机科学荣誉副教授Julien Cornebise认为，新法规对AI的定义十分宽泛；非政府组织“欧洲数字权利”高级政策顾问Sarah Chander认为，草案规定的可豁免的用途范围过于宽泛。对此，中国应当通过多种渠道，寻求与提案制定或意见征询中的相关人士增进交流，获取更多相关信息，以便在未来的国际治理合作中，寻求与欧盟方面的更多共识。

（三）法案整体通过尚存“不确定性”，中国应重视安全与发展的平衡

尽管提案可能对全球人工智能立法产生广泛影响，然而，根据欧盟的立法程序，人工智能立法提案将提交欧洲议会和理事会进行进一步审议，这可能需要耗费数年时间，并且，最终通过的版本可能与提案版本存在较大差距。因此，中国在对欧盟人工智能立法动向保持密切关注的同时，应加强研究相关规则条款对人工智能发展的潜在影响，并且在中国立法规制进程中，注重寻求安全与发展的平衡。