欧盟高风险人工智能监管的五个特点——欧盟人工智能法案（草案）初步解读

□ 文 程 莹 崔 赫

0 引言

过去十年间，人工智能已成为世界各国的科技发展战略重点，同时风险和人工智能技术相伴相生，体现了技术的不可控性和动态性，成为人工智能立法监管的指向标。自GDPR推行“基于风险的路径（risk-based approach）”以来，风险成为各国规制人工智能立法的关键词。为避免过度的法律责任为公私主体，尤其是中小企业带来不合理、不必要的负担，多国立法中强调优先规制“高风险”的人工智能应用。2021年4月21日，欧盟委员会公布了名为“Laying Down Harmonised Rules on Artificial Intelligence (Artificial Intelligence Act) And Amending Certain Union Legislative Acts”的草案（以下简称《草案》），延续“基于风险”的监管理念，对人工智能技术应用进行风险划分。根据《草案》，欧盟将全面禁止大规模监控和利用人工智能技术的社会信用体系，同时对特定领域的“高风险”应用进行严格限制，为实现可信赖的人工智能生态系统提供初步法律框架。该草案最早有望在2023年正式出台。

1 出台背景：进一步推进欧洲人工智能战略实施落地

自2018年以来，欧盟先后出台《欧洲人工智能战略》、《人工智能协调计划》两个重要政策文件，初步勾勒出欧盟人工智能的发展战略框架。2019年4月，欧盟发布《可信人工智能伦理指南》，进一步完善细化了相关战略，明确了“可信人工智能”的两个必要组成部分和七个关键条件。2020年2月19日，欧洲委员会发布了两份有关“塑造欧洲数字未来战略”的政策文件。一份是《人工智能白皮书》，关注交通、医疗等公共领域的人工智能发展及风险化解；一份是《欧洲数据战略》，旨在推动欧盟成为世界上最具竞争力的数字敏捷型经济体，建立欧盟数字单一市场。在此背景下，欧盟出台《人工智能法案》，旨在法律层面强化落实欧盟战略，以期实现引领全球人工智能治理的目标。

欧盟竞争事务负责人Margrethe Vestager在公布《草案》时表示：“通过这一具有标志性的法规，欧盟正在确立全球规范，以确保人工智能是一项值得信赖的技术。通过制定标准，我们可以为符合伦理的人工智能技术铺平道路，并确保欧盟在此过程中保持竞争力。”Politico专门负责AI报道的Melissa Heikkilä则认为，《草案》有一定的先发优势，它将在很大程度上影响由欧洲理事会、经合组织、北约、联合国教科文组织和七国集团主导的全球人工智能伙伴关系的立场。

2 总体框架：延续“基于风险的规制”路径

按照风险高低，《草案》将人工智能应用场景分为“最低风险、有限风险、高风险、不可接受的风险”四个风险等级，等级越高的应用场景受到的限制越严格。

值得注意的是，《草案》将所有远程生物识别系统都划入高风险等级，禁止执法部门在公共场合使用这一技术，但同时也为其应用留下了余地，如在司法部门或独立机构的授权下，该系统可以用于寻找失踪儿童或防止个别恐怖袭击、甄别犯罪分子和可疑人员等。此外，在“不可接受”的风险等级所对应的三种情形中，首次以法律的形式禁止将人工智能系统用于获知并影响个人的潜意识，以避免造成行为扭曲和身心受损。

风险等级应用场景规制思路或建议最低风险电子游戏、垃圾邮件识别软件等多数的人工智能应用不做限制有限风险聊天机器人等建议确保用户知晓自己在与机器互动，并有权决定是否继续对话高风险可能对人们安全和生活造成严重影响的场景，包括交通基础设施、教育或职业培训、移民管理、医疗辅助等在启用前履行严格义务，如充分的风险评估、高质量的数据交换、确保可追溯的运行记录以及必要的人类监督等不可接受的风险某些明显威胁人类安全和生活，侵犯个人权利的AI系统，包括影响人的潜意识进而操纵人类思想行为、公共机构的社会信用评分等须禁止

3 规制手段：高风险人工智能规制的五大特点

整体来看，高风险人工智能的判定一般考虑应用行业、应用场景、覆盖范围等要素。例如，欧盟委员会在《人工智能白皮书》中从三个层面界定了高风险人工智能，首先，结合行业的典型活动特点，人工智能在该行业的应用极有可能引发重大风险，如医疗、运输、能源、移民、司法、救济所等公共行业。其次，行业应用风险的判定应结合具体场景，如在医院预约系统即不属于高风险。第三，基于招聘、监控等特定目的，显著影响个人劳工、隐私等重大利益的，认为属于高风险情形。美国2019年4月《算法问责法案》同样界定了“高风险自动化决策”的判定标准，同时仅规制年收入超过5000万美元或拥有超过100万用户的企业。德国则呼吁建立基于风险的五级监管体系，从不受监管的最无害的人工智能系统，到完全禁止最危险的人工智能系统。

3.1 高风险人工智能的范围

《草案》将高风险等级的人工智能系统应用列举如下：（1）可能使公民的生命和健康处于危险状态的关键基础设施（例如运输）；（2）教育或职业培训，可能决定某人生活中接受教育和专业课程的机会（例如，考试成绩）；（3）产品的安全组件（例如人工智能在机器人辅助手术中的应用）；（4）就业，工人管理和自营职业（例如用于招聘程序的简历分类软件）；（5）基本的私人和公共服务（例如信用评分可能会剥夺公民获得贷款的机会）；（6）可能会干扰人们基本权利的执法活动（例如，评估证据的可靠性）；（7）移民，庇护和边境管制管理（例如，核实旅行证件的真实性）；（8）司法和民主程序。GDPR第22条

3.2 高风险人工智能规制的五大特点

3.2.1 建立欧盟独立的高风险人工智能系统数据库。该草案要求欧盟与各成员国合作，建立并共同维护面向高风险人工智能系统进行登记的数据库，还提出“欧盟数据库中的信息应向公众开放”，欧盟委员会是该数据库的控制者，向系统供应商提供充分的行政支持。

3.2.2 强制使用“高质量”训练数据以避免偏见。《草案》要求，用于训练、验证和测试的数据应是具有相关性、代表性、没有错误且具有完整性。应依据预期目的，考虑高风险人工智能系统所投放使用的地域、功能设置的特征或要素。为了确保对高风险人工智能系统的偏差监控、检测和纠正，在严格必要的情况下，此类系统的提供商可以处理法定情形下特殊类别的个人数据，但需对自然人基本权利和自由予以适当保障。同时，欧盟将增加对人工智能领域投资，并在整个欧盟范围内汇总公共数据，以帮助训练机器学习算法。

3.2.3 强制性的风险管理。风险管理应嵌入高风险人工智能系统运行迭代的全生命周期，并需要定期更新，包括：（1）识别和分析高风险人工智能系统相关的已知或可预见的风险；（2）评估高风险人工智能系统在误用（misuse）情况下可能出现的风险；（3）在上线后动态监测系统所收集的数据，对其他可能的风险进行评估；（4）其他适当的风险管理措施。

3.2.4 明确的透明度要求。《草案》要求人工智能系统的提供者要确保用户知道他们正在与人工智能系统进行互动，并要求高风险人工智能系统告知以下信息：（1）提供者的身份和联系方式；（2）系统的性能特征、功能和局限性，包括预期目的、准确性、鲁棒性和网络安全级别等信息；（3）初评合格后系统及其性能的更改情况；（4）人为监督措施，包括为便于解释系统的输出结果而采取的技术措施；（5）系统预期寿命以及确保该系统正常运行（包括软件更新）的任何必要维护措施。

3.2.5 编写和留存详细的运行记录。《草案》要求，高风险人工智能系统的设计和开发应具有能够在其运行时自动记录日志的功能，这些记录功能应符合公认的标准或通用规范，以确保全生命周期的可追溯性。

4 各方评价：可能存在的问题及创新

这部全球首例人工智能专门立法快速引发了业界的反弹声浪。

4.1 批评该法案大幅提升企业成本，将遏制欧盟科技创新

欧洲数字行业协会表示，“将人工智能软件纳入欧盟的合规框架会给大量提供商带来沉重负担”，其董事西莉亚表示：“该法规之后，‘高风险’领域的企业是否会在欧洲继续开展业务，是一个悬而未决的问题。”还有担心认为，此监管框架的推行会阻滞欧盟的科技创新进程，为并未制定此类规则的国家或地区以发展“窗口期”。

4.2 条文内容流于宽泛，预留大量解释空间，容易导致适用困难

智库欧洲监管中心联席主任Alexandre de Streel表示，保护和创新之间很难达到平衡，他对法新社表示，《草案》“设定了一个相对开放的框架，一切都将取决于如何解读。”伦敦大学学院计算机科学荣誉副教授、曾在谷歌担任科学家的Julien Cornebise则认为，新的人工智能法案未必能够拥有与GDPR同等的广泛影响力，因为法案对人工智能的定义过于宽泛。他认为，人工智能技术就像“移动的球门柱”，包罗万象，此次欧盟提出的监管规则存在诸多晦涩不明的风险，“要么迷失在（对人工智能的）定义里，要么可能迅速过时。”

4.3 例外情形过多，有可能减损高风险人工智能的监管力度

以欧洲数字权利组织（EDRi）为代表的机构认为，该法规对生物识别的限制不够严格，尤其是“实时生物识别”（人脸识别）禁用场景中提到的几项豁免情形，会让欧洲人处于风险之中。欧洲数字权利组织高级政策顾问Sarah Chander认为，《草案》规定的可豁免的情形过于宽泛，这样一份豁免清单某种程度上违背了禁止或限制“不可接受风险”和“高风险”人工智能所要实现的目的。

与此同时，不乏支持声音，脸书、亚马逊、谷歌等多家美国科技巨头在欧洲进行游说的“计算机与通信行业协会”布鲁塞尔办公室负责人Christian Borggreen表示，欧盟委员会采取这种“基于风险的监管办法”是积极的。虽然距离草案通过生效还有可能长达数年的审查程序，但该框架已经具备了一定的规则示范效力。该法案着眼于技术风险，探索平衡风险管控与鼓励创新的进路值得肯定。欧盟委员会执行副主席Margrethe Vestager认为，欧盟正引领制定新的全球规范，以确保人工智能值得信赖。通过制定标准，欧盟可以为在世界范围内推广符合伦理的技术铺平道路，并确保欧盟在此过程中保持竞争力。欧盟内部市场专员Thierry Breton表示，人工智能存在诸多风险，欧盟的提议旨在提升其作为全球卓越枢纽的地位，确保和维护欧洲价值观，并充分激发人工智能在工业领域的潜力。此外，《草案》专节规定了支持人工智能创新的措施，包括将“监管沙盒”的机制引入人工智能开发应用场景中，允许在沙盒内测试人工智能新应用，以改进司法体系、医疗保健等，而不必担心受到监管处罚。

5 结束语

作为全球首部人工智能立法，《欧盟人工智能法案（草案）》体现欧盟利用规则确保人工智能可信可控，着力维护欧盟技术主权的思路。该法案以风险分析为区分方法，以分级分类监管为主线，并对其采取不同层级义务规定的思路值得我国借鉴。我国要加强人工智能发展的潜在风险研判和防范，维护人民利益和国家安全，确保人工智能安全、可靠、可控。在当前复杂国际大势之下，我国应同步推进人工智能发展与立法监管，处理好人工智能创新发展与有效治理的关系。在未来立法中，建议确立以风险为导向的分级分类治理理念，利用监管沙箱等新型智慧监管手段，考察重点场景下的人工智能风险，借此推动人工智能领域标准、指南的出台。建议以伦理规范引导先行、行业标准规范发展、法律法规明确底线，多管齐下的治理格局，及时引导科技向善、明确责任归属。充分凝聚社会共识，共同推动人工智能发展与治理形成相互促进的正向效应，推动实现灵活、敏捷治理。