欧盟人工智能法案综述

方旭　卫燕　张颖　王潇洒　孙琳潇　许磊

摘  要： 目前人工智能在各行各业中的应用不断深入，同时也面临着诸多风险。各国纷纷制定了人工智能发展规划，人工智能安全建设是各国人工智能智能规划的重要组成部分。2021年4月，欧盟出台了《人工智能法案》。通过与美国国家人工智能安全委员会出台的相关报告进行对比分析，可以看出欧盟人工智能法案与美国国家人工智能安全报告有诸多共同点，同时欧盟人工智能法案具有鲜明特色。在上述研究的基础上，结合我国的实际，提出了相关建议对策。

关键词： 人工智能; 法案; 特色; 对策

中图分类号：G40          文献标识码：A     文章编号：1006-8228（2022）05-92-04

Overview of European Union Artificial Intelligence Act

Fang Xu Wei Yan  Zhang Ying Wang Xiaosa Sun Linxiao Xu Lei

Abstract： At present， the application of artificial intelligence in all walks of life is deepening， but also faces many risks. AI development plans have been formulated in many countries， and the construction of AI security is an important part of the AI planning of each country. In April 2021， European Union pushed forward with 'Artificial Intelligence Act'. Through comparative analysis with the relevant reports issued by the National Artificial Intelligence Safety Commission of the United States， it can be found that the European Union Artificial Intelligence Act has many common points with the United States National Artificial Intelligence Safety Report， while the European Union Artificial Intelligence Act has the distinctive features. On the basis of the above research， combined with the reality of our country， the suggestions and countermeasures are put forward.

Key words： artificial intelligence; act; feature; countermeasure

引言

随着智能化社会的到来，世界各国纷纷进行人工智能布局[1]。人工智能已经在各行各业包括交通、教育、服务等领域有了越来越多的应用。与此同时，其安全问题也逐渐凸显出来。有关研究显示，人工智能面临着诸多风险，如数据风险（例如数据投毒、数据泄露、数据异常）、算法风险、网络风险以及其他风险。人工智能已经造成难以应对的各种风险，以及对复杂问题的分析带有种族主义和性别歧视（邓文钱，2020）[2]。黄崑等（2021）对近五年图情SSCI期刊人工智能伦理研究文献分析得出：人工智能在数据、算法和人工智能系统不同层次，以及医药卫生、文化教育、军事、政治等多个领域都面临着诸多风险，例如在金融信贷中，运用人工智能技术帮助金融机构决定提供贷款的对象，算法运行结果可能产生地域、种族和性别上的偏见[3]，而人工智能安全问题是各国人工智能发展规划必不可少的一部分。2017年1月国务院引发《新一代人工智能发展规划》指出：“加强人工智能相关法律、伦理和社会问题研究，建立保障人工智能健康发展的法律法规和伦理道德框架与建立人工智能安全监管和评估体系[4]。”

美国国家人工智能规划《国家人工智能研发战略规划2016》、《国家人工智能研发战略规划2019更新版》将人工智能安全建设列为重大战略方向之一[5]。2021年欧盟委员会发布了《人工智能法案》（Artificial Intelligence Act）（以下简称《法案》）[6]。该法案系统全面的提出了人工智能风险预防的保障机制和实施路径，该《法案》具有的诸多特色，可为我国人工智能的发展带来诸多启示。

1 《法案》出台的背景与目标

人工智能（AI）是一个快速发展的技术家族，可以为整个行业和社会活动的各个领域带来广泛的经济和社会利益。通过改善预测、优化运营和资源分配以及个性化服务交付等，AI的使用对社会和环境均有益。在欧洲，其影响重大的部门有气候变化、环境与卫生、公共部门、金融、内政和农业。

AI技术在给人类带来利益的同时，也可能给個人或社会带来新的风险或负面影响。欧盟一些会员国已经在考虑制定国家法规，以确保AI发展的安全性，并在遵守基本权利义务的情况下进行开发和使用。这可能会导致两个主要问题：①内部市场在基本要素上的分散化，尤其是在AI产品及其服务的需求、营销、使用、责任以及公共机构的监督等方面;②AI系统的提供者和用户在现有和新规则将如何适用于联盟中的那些系统方面的法律确定性将大大降低。鉴于跨境产品和服务的流通，可以通过欧盟统一立法来更好地解决以上两个问题。

AI通常依赖于庞大而动态的数据集，并且可以嵌入内部市场自由流通的任何产品或服务中。因此，单凭会员国的努力无法有效实现该提案的目标。此外，出现分歧的国家法规的拼凑将阻碍与AI系统相关的产品和服务在整个欧盟的无缝流通，并且无法确保不同成员国之间的基本权利和联盟价值的安全和保护。一些解决问题的方法只会增加法律上的不确定性和障碍，并会减慢AI的市场采用率。

《法案》的主要目标是通过制定统一的规则来确保内部市场的正常运作，特别是在開发与投放联盟市场，以及使用AI技术或作为独立AI提供的产品和服务的使用方面，要制定统一的规则系统。《法案》基于欧盟的价值观和基本权利，旨在使人们和其他用户有信心接受基于AI的解决方案，同时鼓励企业进行开发。委员会提出了拟议的AI监管框架，具体如下：①确保投放到联盟市场上并使用的AI系统是安全的，并尊重有关基本权利和联盟价值的现行法律;②确保法律上的确定性，以促进对AI的投资和创新;③加强对适用于AI系统的基本权利和安全要求的现有法律的治理和有效执行;④促进针对合法，安全和可信赖的AI应用程序的单一市场的开发，并防止市场分散。《法案》的制定与实施，对于保障AI的可持续发展具有重要的意义，对于保证AI系统在欧盟内更顺畅的流通、促进AI的创新发展等也具有重要的意义。

2 《法案》的特色

2.1 《法案》是全球范围内首份专门针对AI风险管理的法案

目前的规划和法案更多的集中在AI的建设和应用方面，而对风险的预防及解决策略关注不够。《法案》可以说是全球首份专门针对AI风险制定的相关法律。《法案》提出AI的发展应遵循明确定义的基于风险的方法，该方法应根据AI系统可能产生的风险的强度和范围来调整此类规则的类型和内容。因此，有必要禁止某些AI实践，为高风险的AI系统制定要求和相关操作员的义务，并为某些AI系统制定透明度义务。“严重事件”是指直接或间接导致，可能导致以下事件：一个人的死亡;对人的健康、财产或环境的严重损害;对关键基础设施的管理和运营造成了严重且不可逆转的破坏。

2.2 《法案》内容具体明确，具有很强的实际可执行性

《法案》在各个方面的规定都非常具体细致，具有较强的实际可操作性。在高风险AI系统方面，《法案》从高风险AI的角度，支持创新的措施。从AI监管沙箱、面向小规模提供商和用户的措施等方面，它系统全面的论述了高风险AI系统的风险防范措施，具有较强的可执行性。《法案》对各种高风险情形列出了常见的案例或表现。以“实时”远程生物特征识别系统为例，《法案》规定，在公共场所使用“实时”远程生物特征识别系统，出于以下目的，必须严格使用：有针对性地寻找特定的潜在受害者，包括失踪儿童;防止对自然人的生命或人身安全以及恐怖袭击的具体、实质性和迫在眉睫的威胁;侦测、定位、识别或起诉理事会所指的犯罪行为的犯罪嫌疑人，并在有关会员国处以监禁方式对其进行惩处。

在公共场所使用“实时”远程生物特征识别系统时，应考虑以下因素：当使用情况可能带来某些负面影响，特别是在不使用该系统的情况下会造成严重损害，或对有关人员的权利和自由产生严重后果。另出于执法目的，在公共场所使用“实时”远程生物特征识别系统，应符合与之相关的必要且相称的保障措施和条件，尤其是在时间、地理和个人限制方面。在公共场所使用“实时”远程生物特征识别系统的执法目的而进行的个人使用，均应首先获得司法当局的事先授权，或由使用的成员国的独立行政当局根据合理的要求发布的。但是，在有正当理由的紧急情况下，未经授权就可以开始使用系统，但是在使用过程中或使用之后，必须请求授权。司法或行政主管部门应仅在基于其客观证据或明确指示而感到满意的情况下，授予使用有争议的“实时”远程生物特征识别系统。而在违反《法案》的罚则方面，《法案》详细列出了处罚规定。具体包括：不遵守AI系统的任何要求，应处以最高20000000欧元的行政罚款，如果犯罪者是公司，行政罚款要占上一财政年度全球年度总营业额的4%（以较高者为准）;向指定机构和国家主管部门提供不正确、不完整或具误导性的信息以响应请求，应处以最高一千万欧元的行政罚款，如果犯罪者是公司，行政罚款要处以上一个会计年度的全球年度总营业额最高2%的罚款，以较高者为准等。

2.3 《法案》鼓励AI的发展，而不是限制

该提案建立在现有法律框架的基础上，对于目标实现是适当且必要的，因为该提案遵循基于风险的方法，并且仅在AI系统可能对基本权利和安全构成高风险时才施加监管。对于其他非高风险的AI系统，实施有限的透明性义务。例如在提供信息以标记与人类交互时使用AI系统等方面。对于高风险的AI系统，用于降低AI可能带来的基本权利和安全的风险，而其他现有的监控并不能满足这些要求，所以对于高质量数据，文档和可追溯性、透明度、人工监督、准确性和监督性的要求是绝对必要的。法律框架、统一的标准以及支持性的指导和合规工具将帮助提供商和用户遵守提案中规定的要求，并最大程度地降低其成本。运营商产生的成本与实现的目标以及运营商可从此提案中预期的经济和声誉收益成正比。

《法案》专门制定了鼓励AI创新的措施，包括建立AI监管沙箱、在AI监管沙箱中出于公共利益的目的进一步处理个人数据以开发某些AI系统等。《法案》有助于实现创建法律基础上的创新，永不过时且具有抗破坏能力的法律框架的目标。为此，它鼓励国家主管部门设立监管沙箱，并在治理、监督和责任方面设定基本框架。AI监管沙箱建立了一个可控环境，可以根据与主管部门达成的测试计划在有限的时间内测试创新技术。

2.4 具有很强的可信度

《法案》的出台经过了广泛的意见征询以及专家论证阶段，历时两年后出台，具有较强的可信度。欧盟于2020年2月19日至6月14日期间就《法案》进行了广泛的意见征询。法案的出台是与所有主要利益攸关方进行广泛协商的结果。它针对所有来自公共和私营部门的利益相关者，包括政府、地方当局、商业和非商业组织、社会伙伴、专家、学者和公民。在分析了收到的所有答复之后，委员会在其网站上发布了摘要结果和个人答复。 总共收到1215各回复，其中352个来自公司或商业组织或协会，406个来自个人（来自欧盟的92%），152个来自学术研究机构，以及73个来自公共机构。民间社会的声音来自160位受访者（其中9个消费者组织，129个非政府组织和22个工会），72位受访者为“其他”类。在352家工商代表中，有222家是公司和商业代表，其中41.5%是微型、中小型企业。其余的是商业协会。总体而言，企业和行业的答复中有84%来自欧盟27个国家。利益相关者之间就采取行动的需要达成了普遍协议，绝大多数利益相关者同意存在立法空白或需要新的立法。但是，一些利益相关者警告委员会避免重复、义务冲突和监管过度，并且有许多评论强调了技术中立和相称的监管框架的重要性。第二个阶段是收集和使用专业知识。

《法案》的筹备工作于2018年开始，建立了AI高级别专家组，该专家组由52名知名专家组成，成员广泛，除了为该委员会的AI战略的实施提供建议此外，AI联盟形成了一个平台，约有4000名利益相关者就AI的技术和社会影响进行辩论，最终决议每年召开一次AI大会。《法案》最终以两年的分析为基础，在广大利益相关者积极参与下，委员会根据“更好的法规”宗旨，对该建议进行了影响评估，并由委员会的监管委员会进行了审查。根据委员会的既定方法，對每种政策选择都针对经济和社会影响进行了评估，尤其侧重于对基本权利的影响：经济运营商/企业、合格评定机构、标准化机构和其他公共机构、个人/公民、研究人员等。

3 对我国AI风险管理的启示

3.1 增加对AI系统风险的关注

欧盟委员会提出的基于风险的监管政策是很有必要的，监管只有在问题发生之前才有意义，因此必须超前，对于AI技术我们有太多的未知，其未被发现的潜能、危害以及社会影响都是不可预估的，我们只能依赖于制定法律提供足够的时间与空间来进行评估、测试、学习以及应对。但无论如何，欧盟在在AI技术与产业方面的发展不占优势的情况下，仍把眼光放在了对技术的监管上面，不得不承认这是一种进步。当前我国AI的研究与应用正如火如荼，在特殊的时期，更应该把注意力更多的放在对系统的监控与管理上。防患于未然，增强企业、政府、个人、基础建设等领域的AI系统的危险防范意识，不把单纯的发展AI当作最终目标，力求在发展中更好治理，最大程度发挥AI系统的优势。

3.2 积极研究中国版AI法案的制定

目前中国也出台了相关AI发展规划，从总体上提出了相关AI发展规划，但还缺乏具体的基于风险管理的AI发展规划。中国还没有专门针对AI的相关法案。目前，AI时代已然到来，很多高校也开设了AI专业和AI学院，加强了AI硕士与博士的培养，AI正在越来越多的被应用各行各业[9]，因此制定专门的AI法案，对AI的深入发展有重要意义。随着AI技术在中国的发展，中国也难免遇到与欧盟或欧美国家类似的问题，中国可借鉴《法案》框架以及实施经验，制定适用中国的AI法案。在法案内容方面，应适度，既不能约束AI的发展，也要规避风险。在政策制定方法方面，应广泛征询相关人员的意见，并注重专家的参与，要注重法案的可执行性。欧盟法案对实施路径进行了明确，让《法案》易于实际的实施与执行。因此，我国建立AI法案不仅要明确目标、各利益相关者的责任、实施机制，更要明确具体实施路径，这样有利于法案的实际执行，这包括具体的实施者、实施步骤、实施要求以及实施结果等。应具体列出各类情形的常见案例或表现，方便执法人员执行法案。

3.3 明确各利益相关者的职责

AI的开发与使用涉及到诸多利益相关者，如企业、研发人员、开发商、分销商、使用者，管理机构等。AI系统在投放到市场之前，其提供者应当已经执行了适当的合格评定程序，同时系统带有要求的合格标记，并附有要求的文件和使用说明。如果是进口商认为或有理由认为高风险的AI系统不符合相关法规，则在该AI系统符合之前，不得将其投放市场。进口商应在高风险的AI系统上，或在其包装或随附的文件中（如果适用）指出其名称、注册商标名称或注册商标，以及可以与他们联系的地址。分销商方面，在市场上出售高风险的AI系统之前，分销商应核实高风险的AI系统是否具有要求的合格标记，并附有所需的文件和使用说明如果分销商认为或有理由认为高风险AI系统不符合本标题相关规定的要求，则高风险AI系统在该市场上不得进行销售。如果分销商认为其在市场上提供的高风险AI系统不符合相关规定的要求，则应采取必要的纠正措施以使系统是否符合那些要求，或者直接撤回。如果高风险AI系统存在相关风险，分销商则应立即通知提供该产品的成员国的国家主管当局，并提供详细信息，尤其是不遵守规定以及采取的任何纠正措施。根据国家主管部门的合理要求，高风险AI系统的发行商应向该机构提供证明高风险系统符合要求的所有必要信息和文件。发行人还应与该国家主管当局合作采取行动。对于用户来说，在使用过程中应在法律许可的范围内按AI的说明进行使用，如果在AI使用过程中遇到任何问题要及时反馈给相关部门，做好记录与数据保存工作。在多方共同配合下，相信AI会更好的发挥其应有的作用。

参考文献（References）：

[1] 方旭.智能化时代国外人工智能教育战略和启示[J].教育

信息技术，2021（Z1）：37-41

[2] 邓文钱.人工智能时代的风险隐忧和制度防范[EB/OL].

[2021-06-10].http：//www.elecfans.com/rengongzhineng/1274751.html

[3] 黄崑，徐晓婷，黎安润泽，等.近5年图情SSCI期刊人工智能

伦理研究文献分析与启示[J].现代情报，2021，41（6）：161-171

[4] 国务院.国务院关于印发新一代人工智能发展规划的通知

[EB/OL].[2017-7-8]http：//www.gov.cn/zhengce/content/2017-07/20/content_5211996.htm.

[5] 贺斌，李红美，王周秀，等.美国人工智能国家战略行动最新

动向：洞察与借鉴[J].情报杂志，2021，40（1）：25-32

[6] Europe Commission Proposal for a Regulation laying down

harmonised rules on artificial intelligence[EB/OL].[2021-4-21].https：//digital-strategy.ec.europa.eu/en/library/proposal-regulation-laying-down-harmonised-rules-artificial-intelligence

收稿日期：2021-11-03

*基金项目：2021年江苏省社科应用精品工程课题“多元共治视域下校外培训机构在线教育的治理策略研究”（21SY-024）; 2021年南通市社科基金项目“规制经济学视角下的南通校外培训机构治理路径优化研究”（2021BNT012）

作者简介：方旭（1981-），男，江苏宿迁人，博士，副教授，硕士生导师，主要研究方向：人工智能教育、在线教育、教育信息化。