人工智能

袁俊

2020年2月19日，欧盟委员会发布了人工智能白皮书《走向卓越与信任——欧盟人工智能监管新路径》（On Artificial Intelligence - A European approach to excellence and trust），旨在打造以人为本的可信赖和安全的人工智能，确保欧洲成为数字化转型的全球领导者。报告主要分为六大部分，首先概述了人工智能，进而阐述了需要利用工业和专业优势，抓住下一波数据浪潮机遇。其次重点围绕“卓越生态系统”与“信任生态系统”两方面展开，着重构建了可信赖与安全的人工智能监管框架。最后，还发布了《关于人工智能、物联网和机器人对安全和责任的影响的报告》和《欧洲数字战略》两份附件。本文着重介绍“卓越生态系统”与“信任生态系统”以及欧盟未来可信赖与安全的人工智能监管路径。

鉴于人工智能的飞速发展，欧洲可以将技术、产业优势和基于基本价值观的监管框架相结合，打造一整套人工智能生态系统，从而为欧洲社会和经济带来技术福祉。其中关键在于，人工智能必须以欧洲价值观和包括人类尊严、隐私保护等在内的基本权利为基础。

欧洲拥有众多研究中心、创新型企业。在机器人、制造业、服务业等领域居于领先地位。欧盟可通过强化下一代技术、数字基础设施以及数字能力的投资，增强欧洲在关键技术和基础设施方面的技术主权，创建欧洲数据池，以打造可信人工智能。

一、“卓越生态系统”（ecosystem of excellence）

1.与成员国合作

欧盟委员会将根据白皮书的公众咨询结果，向成員国建议修订2018年4月通过的人工智能战略和12月提出的约70项联合行动的协同计划。

2. 聚焦研究投入和创新社群

欧洲需要一个集聚研究、创新和专业知识的“灯塔型”中心，借此吸引最优秀的人才。因此将建立私营主体和监管机构合作的卓越和测试中心（excellenceand testing centres），创建从研究到创新的一整套价值链的卓越生态系统。同时专项拨款，用于支持数字欧洲计划下设在欧洲的世界参考测试中心（world reference testing centres），并且根据实际情况，作为2021至2027年多年期财务框架（MFF）的一部分纳入欧洲地平线（Horizon Europe）的研究和创新计划。

3. 能力方面

借助顶尖高等学府组成的“数字欧洲计划”网络，以吸引最优秀的教授和科学家，并提供全球领先的人工智能课程。

4.聚焦中小企业

欧洲投资基金将在2020年第一季度启动1亿欧元的试点计划，为人工智能的创新提供股权融资。欧盟委员会计划从2021年起通过“投资欧洲”（InvestEU）项目，大范围扩展多年期财务框架的规模。

5. 与私营机构建立伙伴关系

在欧洲地平线计划的背景下，欧盟委员会将在人工智能、数据和机器人技术方面开展新的公私合作伙伴关系。

6. 推动公共部门采购人工智能

在公共行政、医院、交通服务、金融监管机构等公共部门迅速部署人工智能产品和服务。

7.数据和计算基础设施访问

欧盟委员会已经提出40多亿欧元的“数字欧洲计划”，以支持高性能计算和量子计算，包括边缘计算和人工智能、数据和云基础设施等。欧洲数据战略进一步阐释了该优先事项，认为负责任的数据管理实践将有助于建立信任，确保数据的可重用性。

图1 你认为谁应该为使用大数据与人工智能技术带来的道德问题承担责任？

8. 国际方面

欧盟将密切关注其他国家限制数据流动的政策，并将在双边贸易谈判中通过世界贸易组织范围内的行动解决相关不适当的限制。欧盟确信，人工智能国际合作必须建立在尊重基本权利的基础上，包括人的尊严、多元化、包容性、非歧视、保护隐私和个人数据。值得注意的是，发展负责任的人工智能也可以积极推动2030年可持续发展议程。

二、“信任生态系统”（ecosystem of trust）：人工智能监管框架

在人工智能决策过程中，面对突显的人机能力不对称和系统信息不透明等问题，欧洲公民日益渐感自身权利的维护苍白无力。此种缺乏坚实的信任基础是阻碍人工智能进一步发展的核心困境。因此，构建可信赖与安全的人工智能监管框架就成为创建“信任生态系统”的当务之急。

（一）潜在风险问题

1.基本权利面临风险，尤其是个人数据隐私保护。现实社会中的运作机制将会全方位影响人工智能，人为产生新的偏见与歧视。此种偏见和歧视不来自于设计阶段，而是依托于现实社会而逐渐浮现。人工智能固有的算法黑箱、复杂性、不可预测性和部分自主性行为等，恐产生些许回溯和去匿名化个人数据的风险。

2.安全责任制度的有效运转。嵌入到产品服务中的技术会引发安全风险。例如由于识别技术缺陷，致使自动驾驶汽车错误识别了道路上的障碍物，造成相应的人身伤害和物质损失。而目前缺乏应对该风险的明确安全条款，此种法律不确定性会使得执法机构面临困境，即在未被明确授权下是否可以执法干预。

（二）当前欧盟人工智能立法的主要问题

一是欧盟和国家立法难以有效适用和执行。人工智能系统运作缺乏透明度会增加违法行为的识别难度和举证困难，包括基本权利保护的范围、违法归责的认定和法定索赔要件的满足等内容。

二是既有法律规范的适用范围受限。在相关欧盟产品安全立法中，当软件作为最终产品的组成部分时，必须遵守产品安全规则。但独立软件是否受欧盟产品安全法律规制实属未解之难题。目前相关立法的规范客体仅限于产品而非服务，所以原则上也不得适用于人工智能服务，例如医疗服务、金融服务和运输服务等。

三是功能更新后的责任立法存在空白。在人工智能系统的漫长服务周期内，需要不断更新软件、硬件和算法，尤其对需大数据频繁喂养的机器学习来说更是如此。即使技术嵌入产品之际不存在缺陷，但事后更新会产生新的风险隐患。遗憾的是，既有产品安全法律只规制上市时存在风险的产品，致使现行立法一定范围内失灵，无法及时规制问题产品。

四是产品供应链中不同运营者之间的责任分配不明确。一般来说，欧盟产品安全立法将责任划分给产品生产商，包括所有组件的生产者。但若人工智能产品安全事件是由生产者之外的第三方引起的，则需降低不同运营者之间法律责任分配的不确定性。

五是旧有安全思维亟需转换。人工智能恐引发立法目前没有明确的诸多风险。例如源自于网络威胁、个人安全隐患和失去连接而导致的风险等。此类风险可能是设计之初留存的，也可能是事后软件升级造成的，亦或深度学习自我进化产生的。欧盟应秉持新的安全观念，转换旧有思维，充分借鉴包括网络与信息安全局（ENISA）在内的各种机构的执法经验，以评估人工智能潜在的安全风险。

三、构建可信赖与安全的人工智能监管框架

未来人工智能监管框架应当以“风险进路”为核心，在达成既定目标的同时避免不成比例的企业负担。因此要从高风险的人工智能应用与非高风险的人工智能应用两大方面予以类型化监管。

人工智能应用的高风险应满足：第一，在某一可能会发生重大风险的领域，在该领域中的人工智能应用应被认为是高风险的。例如医疗保健、运输、能源和部分公共领域。第二，只有在相关领域不当地利用并且产生了重大风险，该人工智能才会被认为是高风险的。例如，医疗保健是人工智能应用的高风险领域，但医院预约系统的缺陷通常不会造成重大风险引起立法干预。

图2 人工智能运作路径。来源：36大数据

为了有效应对各种高风险的人工智能应用，应当考虑如下几项需求。

1.训练数据需安全度高、无歧视和保护隐私

安全度高：确保人工智能系统的训练数据在产品或服务的后续使用中持续安全。例如人工智能系统在足够广泛的数据集上进行训练，涵盖所有可能的应用场景，包括突发状态下危险情形的避免等内容。

无歧视：采取合理措施确保人工智能不生成歧视结果。例如广泛采用具备足够代表性的数据集，确保不同性别、种族和肤色等可能引发歧视的要素被涵盖其中。

保护个人隐私：在人工智能产品和服务使用期间，切实遵守GDPR要求的个人数据和隐私保护。

2. 留存人工智能训练相关的数据集与测试文件

準确记录数据集和测试：鉴于人工智能系统的复杂性、内部运行的不透明以及难以快速验证是否合规等情况，要确保留存与算法、编程有关的测试记录。准确记录特定情形下高风险人工智能应用测试的数据集，详细描述数据集的主要特征和选择方式。

留存资料文件：留存有关建立、测试和验证人工智能系统的训练方法、使用流程和相关技术的资料文件，包括预先制定的安全措施和避免歧视偏见的应对方案等。

3. 应用高风险人工智能时提供必要信息

系统信息：为了提升人机信任，打造负责任的可信AI，需要人工智能系统及时、主动提供关于高风险人工智能应用的必要信息。例如系统积极提供自身的应用范围、能力水平和设计局限，特别是涉及到系统的预设目的、预计发挥效用以及相应的准确程度等。

明确通知：当个人在与人工智能系统而非与人交互时应履行通知说明义务。系统可以根据不同场景提供客观、简明且易于理解的准确信息。

4. 人工智能系统应稳定地、准确地运行

稳定准确：必须确保人工智能系统在整个产品或服务的生命周期中，技术成熟稳定，准确反映出相应的运行水平。

可再现：确保人工智能系统生成的结果事后可再现、可复盘。

抵御能力：在整个技术生命周期内，人工智能需要有一定能力自行处理系统错误或下达的前后矛盾的指令。同时当面对外部公然入侵的严峻态势，或者精妙地操纵数据或算法的隐蔽情形，人工智能要具备一定程度的坚韧的抵御能力，采取暂时性措施阻挡既有侵害。

5. 人为监督

人为监督有助于确保人工智能系统不会侵蚀人类的自主性。只有确保人工适当参与到人工智能高风险应用当中，才能实现可信赖、合伦理和以人为核心的人工智能目标。人为监督人工智能系统可以采用如下形式。

其一，只有事前人为监督且批准后，人工智能系统输出的结果才能生效。例如拒绝社会福利保障的申请这种关乎到弱势群体切身利益的事项，只能人为操作。

其二，人工智能系统结果输出立即生效，但事后需人工审查。譬如人工智能系统可自行拒绝信用卡的申请，但稍后必须进行人工复查。

其三，人工智能系统运行时随时监控，遇到突发事件及时干预。例如自动驾驶中驾驶员突觉操作系统不太安全，可当即使用停止按钮。

其四，在早期设计阶段，预先对人工智能系统附加操作限制。比如当室外能见度较低时，一旦无人驾驶汽车的传感器不再灵敏或需保持安全车距，则驾驶系统自动停止。

6. 远程识别生物特征数据后收集和使用

目前，欧盟多国已经广泛在公共场所与商业场景中应用人脸识别系统，通过远程识别人脸，对公民的生物特征数据进行收集和使用。为了解决在公共场所大范围使用人工智能引发的社会担忧，并且防止欧洲单一数字经济市场碎片化，欧盟委员会将发起一场广泛的公共辩论，讨论此种情形下可能的合理的使用情形，以及采取何种措施确保相关行为合乎比例原则和必要原则。

7. 开展事前一致性评估

针对高风险人工智能应用的事前一致性评估，需要纳入未来的人工智能监管框架机制中。而该一致性评估机制需考量如下因素。

第一，谨记并非所有事项都可事先进行一致性评估。比如，应用高风险人工智能时提供必要信息这一场景，就无法先前开展评估验证。

第二，考虑到部分人工智能系统会不断进化和深度学习。这将有必要反复地、定期地评估人工智能系统的生命周期、运转状态。

第三，针对训练数据，以及用于测试人工智能系统的训练方法、使用流程和相关技术的资料文件，要客观地、专业地开展一致性验证与核实工作。

第四，所有市场运营者均需强制进行一致性评估。为了减小中小企业的负担，可以创建类似数字创新中心等机构。