人工智能、物联网、机器人技术 对安全和责任框架的影响

赛迪译丛

欧盟委员会于2020年2月发布《人工智能、物联网和机器人技术对安全和责任框架的影响》报告，赛迪智库安全产业研究所对该报告进行了编译。该报告介绍了当前的欧盟产品安全制度，并探讨了如何对其进行改进，以应对人工智能（AI）、物联网（IoT）和机器人技术领域的不断创新发展。

人工智能、物联网和机器人技术为我们的经济社会带来机遇，同时也可能会损害使用者的合法利益。欧盟委员会于2020年2月发布《人工智能、物联网和机器人技术对安全和责任框架的影响》报告，报告介绍了新兴技术的特征，深入分析了欧盟当前的安全和责任框架在哪些环节不能适用于这些新兴技术，并建议采取适当的举措对现行《产品责任指令》和《通用产品安全指令》等法规进行调整，以解决现有安全和责任框架的不确定性问题。赛迪智库安全产业研究所对该报告进行了编译。

欧盟委员会充分认识到新兴数字技术的重要性和潜力，以及在该领域大量投资的必要性，进而致力于使欧洲获得人工智能、物联网和机器人技术领域的世界先进地位。为了实现这一目标，需要一个清晰、可预测的法律框架来应对技术挑战。

安全和责任框架概述

安全和责任框架的总体目标旨在保障所有产品和服务（包括集成新兴数字技术的产品和服务）的安全、可靠、同步运行，并有效修复已发生的损失。虽然集成了新型数字技术的产品和系统具有很高的安全性，但安全和责任框架可以提供可靠的补救机制来弥补发生的损坏，有助于更好地保护消费者。当人工智能、物聯网和机器人等新技术兴起时，建立明确清晰的安全和责任框架势在必行，有利于保护消费者和企业的合法权益。

欧盟拥有健全的安全和产品责任监管框架，以及完善的安全标准体系，在保障公民在单一市场上的福祉的同时，鼓励创新和技术应用。但是，人工智能、物联网和机器人技术正在改变许多产品和服务的特性。

2018年4月25日，欧盟委员会通过了《人工智能通信》，宣布将提交一份报告，以评估人工智能、物联网和机器人技术对现有安全和责任框架的影响。本报告提出的目标以及《人工智能白皮书》仅供讨论，重点关注安全和责任框架已确定的关键问题。

人工智能、物联网和机器人技术的特征及机遇

（一）新兴技术的特征。人工智能、物联网和机器人技术有许多共同特征，包括连接性、自主性、复杂性和数据依赖性。配备人工智能的系统可以通过从经验中学习来改善自身性能。其复杂性既反映在供应链涉及多个经济运营商，又反映在构成新技术生态系统的组件、零件、软件、系统或服务的多样性。此外，随着投放市场的变化，它们的开放性进一步提升。同时，由于涉及大量数据，导致算法依赖以及人工智能决策的不透明性，使得对人工智能产品行为更难预测，对造成损坏的潜在原因排查难度加大。最后，连接性和开放性也可能使人工智能和物联网产品面临网络威胁。

（二）新兴技术的机遇。人工智能、物联网和机器人技术为人类社会创造了许多机遇。例如，可以增加用户对新兴技术的信任和社会认可，提高产品质量、改善流程和商业模式，以及帮助欧洲制造商提高生产效率。同时，该技术还有望帮助人类解决一些重大挑战：包括治疗慢性疾病、预测疾病爆发、减少交通事故死亡率、应对气候变化或预测网络安全威胁等。

一方面，新技术通过提高产品的安全性从而使产品降低某些风险。例如，网联汽车和自动驾驶汽车可以提高道路安全性，从而避免大多数人为错误引起的交通事故。另一方面，物联网系统可以接收和处理不同来源的大量数据，提高产品召回的有效性，提醒用户避免产品的安全问题。如果生产商发现物联网产品在使用期间出现安全问题，可以直接与用户沟通，警告其相关风险，或者直接解决问题。例如，2017年某智能手机生产商在召回设备时对软件进行升级，把待召回的手机电池容量降为零，以便用户停止使用危险设备。此外，这些新技术可以提高产品的可追溯性。例如，物联网的连接功能可以使企业和市场监督机构跟踪危险产品并识别整个供应链中的风险。

对现有安全框架的挑战及应对

欧盟委员会关于《建立对以人为本的人工智能的信任》指出，人工智能系统应综合设计安全机制，以确保每一步的安全性都经受得住检验，确保所有相关人员的身心安全。

欧盟产品安全法规旨在确保投放到欧盟市场上的产品满足高标准的健康、安全和环境要求，并且此类产品可以在整个欧盟内部自由流通。针对该行业的立法以《通用产品安全指令》为依托，要求即使不受欧盟立法监管的消费品也要保证安全。欧洲标准化是欧盟产品安全法规的重要组成部分。考虑到数字化和新兴数字技术的全球化特征，标准化领域的国际合作对维持欧洲工业的竞争力至关重要。

欧盟产品安全框架的很大一部分是在人工智能、物联网或机器人等数字技术出现之前制定的。因此，它并不完全包含解决这些新兴技术挑战和风险的明确规定。但是，由于现有产品安全框架是技术中立的，并不意味它不适用于采用了这些技术的产品。此外，在医疗设备或汽车等领域，该框架的后续立法已经明确将数字技术纳入考虑范围。

（一）新兴技术的连接性对传统安全概念提出挑战。连接性已成为新兴产品和服务的核心特征，对传统的安全概念提出了挑战。以冰岛儿童智能手表的“欧盟快速预警系统”为例，该产品预期利用本地化来确保儿童安全，却存在被用作接触儿童工具的危险。而德国乘用车中的无线电设备如果存在软件安全漏洞，允许未经授权的第三方访问其互连控制系统并进行恶意攻击，就会增加发生交通事故的风险。另外，工业应用缺乏必要的安全等级，也可能威胁员工的人身安全。例如，针对工厂的关键控制系统开展网络攻击，可触发导致死亡事故的爆炸。

欧盟产品安全法规中的安全性属于公共政策目标，旨在确保产品安全。根据规定，产品的使用范围包括预期用途、可预见用途，以及合理可预见的误用。产品安全性概念涵盖了各种风险的防护，包括网络风险和与设备断开连接相关的风险。

欧盟产品安全法规尚未针对影响用户安全的网络威胁制定特殊的强制性要求。不过，《医疗器械法规》《测量仪器指令》《无线电设备指令》和《整车型式批准法规》中包含了网络威胁安全性的相关规定。《网络安全法案》为信息和通信技术（ICT）产品、服务和流程制定了自愿性网络安全认证框架。

（二）人工智能自主性与制造商期望存在偏差。人工智能产品和系统的自主性可能会使机器做出的决策与生产者的最初意图，以及用户的期望有所偏差。欧盟产品安全框架规定制造商在将人工智能产品投放市场之前需进行风险评估，为用户提供明确的安全指示和警告。但是产品在全生命周期内都可能因自主行为对用户造成风险，需要实时更新风险评估程序。

欧盟产品安全法规尚未明确如何解决人工智能自主性产品和系统中由于人为疏忽导致的问题，从产品设计到人工智能产品全生命周期都需要人工监督来保障安全。目前，欧盟法律框架中的安全性通常指人身伤害威胁。由于人工智能应用的类人行为可能会给用户造成心理健康风险，所以应考虑将精神健康风险纳入立法框架。同时，要求生产商明确其产品可能对用户（特别是弱势用户，例如被护理的老年人）造成的心理损害。

（三）数据依赖产生的安全风险需要保障机制。数据准确性和相关性可以确保人工智能系统按照生产者意图做出决定。欧盟产品安全法规未明确解决由错误数据引起的安 全风险。根据产品的“用途”，生产商应在设计和测试阶段预测数据的准确性及其与安全功能的相关性。例如，设计用于检测特定对象的人工智能系统时，设计人员应收集在光线不足的典型环境中进行产品测试的数据。

欧盟产品安全法规应该作出规定，要求制造商在设计阶段解决错误数据带来的安全风险。确保在人工智能产品和系统的使用过程中有良好的机制来保障数据质量。

（四）人工智能的不透明性使决策过程难以跟踪。人工智能产品和系统的不透明性可能会导致难以跟踪系统决策过程，即所谓的“算法黑箱”。随着人工智能算法变得越来越先进，并部署到关键领域，人类理解系统如何做出算法决策具有决定性的意义，这对于事后执行机制尤其重要。

欧盟产品安全法规目前尚未解决基于算法不透明所带来的日益增长的风险。因此，有必要考虑制定更多与算法透明性、稳健性和问责制相关的法律规定。在发生事故的情况下，规定算法开发人员必须公开数据集的设计参数和元数据。这对于事后执行机制的完善、建立对新兴数字技术的信任尤为重要。

（五）软件更新对安全性构成风险。最终产品制造商有义务在产品投放市场时预见该产品中集成软件的风险。某些欧盟产品安全法规明确包含了产品中集成软件的规定。例如，《机械指令》要求控制系统软件出现故障时，不会导致出现危险情况。

欧盟产品安全法规规定，出于安全原因，可以將软件更新与维护操作进行比较，前提是不会对已经投放市场的产品进行重大更改，并且不会构成初始风险评估中未预见的新风险。但是，如果软件的更新对已下载的产品进行了实质性修改，则整个产品可能会被视为新产品，并且在执行修改时必须重新评估是否符合相关安全产品法规的规定。但欧盟产品安全法规仍需要对独立软件做出特定和明确的要求，确保人工智能产品和系统中的独立软件具备安全功能。此外，应规定制造商承担相关的强制性义务，以确保上传的软件不会在人工智能产品的生命周期内对安全性产生影响。

（六）新兴数字技术受复杂的价值链影响。在欧盟产品安全框架下，产品的安全性责任由生产者承担，包括产品中集成的各个部件。欧盟产品安全法规考虑了价值链的复杂性，并遵循“共同责任”的原则对多家企业施加了义务。

欧盟产品安全法规明确规定了价值链中的企业与用户之间进行合作的条款，尤其是价值链中影响产品安全的每个企业（例如软件生产者）和用户（通过修改产品）都会承担相关责任，并为价值链中的下一个行为者提供必要的信息和保护措施，以期为复杂的价值链问题提供法律依据。

对现有责任框架的挑战及应对

产品安全和产品责任法规是欧盟的两大互补机制，最大程度地降低新型技术产品和系统对用户的伤害，国家则通过民事责任框架对各种原因造成的损害进行赔偿，即与不同的责任人（例如所有者、经营者或服务提供者）沟通。民事责任法规在社会中起着双重作用，一方面确保受害者获得赔偿;另一方面为责任方提供经济诱因，以避免造成这种损害。责任法规必须始终在保护公民免受伤害与鼓励企业创新之间维持平衡。

（一）新兴技术降低责任框架有效性。人工智能、物联网和机器人等新兴数字技术的特征可能会在某些方面影响责任框架，并降低其有效性。《产品责任指令》规定生产商应对因产品缺陷造成的损坏承担责任。发生人身或财产损失时，如果受害方能够证明损失和产品缺陷（即产品没有提供公众预期的安全性）之间存在因果关系，则有权获得赔偿。根据严格的过错和责任认定，国家赔偿责任制度为产品和服务的受害者提供了几项并行的索赔要求。投保适当的保险可以为受害者提供稳定的赔偿，从而减轻事故带来的负面影响。明确的责任规定可帮助保险公司计算风险，并向承担损害最终责任的当事方要求赔偿。例如，如果事故是由产品缺陷导致的，则汽车保险公司可以在赔偿受害者之后再向制造商索赔。

与其他类似产品和服务相比，新兴数字技术产品和服务事故的受害者无法享受根据国家侵权法获得赔偿的保护，可能会降低社会对新兴技术的接受程度，增加应用阻力。此外，还需要进一步评估新技术对现有责任框架的挑战是否会导致法律适用的不确定性，可能会增加生产者和供应链中其他企业的信息和保险成本。

（二）产品、服务和价值链的复杂性增加索赔难度。人工智能应用通常集成在复杂的物联网环境中，相应提高了使用者的索赔门槛。首先，由于软件有多种类型和形式，因此不能简单地将软件归类为服务或产品。尽管《产品责任指令》对产品的定义很宽泛，但可以进一步明确生产者概念，扩大责任范围，对于软件或其他数字功能导致产品缺陷从而造成的损失，明确赔偿义务和责任范围。这样可以更好地根据相关法律规定判断是否可以将经济参与者（例如软件开发人员）视为生产者，从而确定相关责任人。其次，由于技术的复杂性，拥有专业知识的经济成本过高，受害者很难根据国家法律确定责任人并成功索赔。最后，人工智能产品和服务将与传统技术交互，这就增加了责任追溯的复杂性。例如，在可预见时期内自动驾驶汽车将与传统汽车并行。

可以通过修订《产品责任指令》，减少人工智能相关受害者的举证责任，进一步有针对性地统一国家责任规则。

（三）连接性和开放性对网络安全义务提出挑战。因产品网络安全漏洞而造成的损害是否能得到充分的赔偿问题尚没有明确的法律规定。在现有的责任框架中，应该建立明确的网络安全义务，使运营商明确自身义务从而避免承担不必要的责任。

根据《产品责任指令》，在产品的合理可预见使用方面，生产者是否可以预见某些问题可能会变得越发突出。一是“后期缺陷抗辩”可能会有所增加。如果在产品投入市场时或在“开发风险抗辩”（当时的最新知识尚无法预见到缺陷）中不存在缺陷，则生产商不承担责任。二是如果受害者未执行安全更新，则有可能将此视为共同过失，从而减少生产商的责任。三是由于可预见合理使用的概念和共同过失问题（例如无法下载安全更新）越发普遍，受害者可能会难以获得产品缺陷造成的损害赔偿。

（四）自主性和不透明性造成索赔困难。人工智能的“算法黑箱”效应，使得人工智能应用的自主性造成的损害，很难获得赔偿。理解人工智能所使用的算法和数据需要具有专业分析能力和技术专长，受害者可能會因此付出高昂的代价。此外，如果没有潜在责任方的配合，就无法访问算法和数据，因此导致受害者实际上无法提出责任索赔。

某些自主人工智能设备和服务的运行在责任方面可能具有特定的风险特征。这主要涉及在公共场所运行的人工智能设备（例如全自动驾驶汽车、无人机和包裹运送机器人），或具有类似风险的人工智能服务（例如引导或控制车辆的交通管理服务或配电管理）。严格的赔偿责任可以确保一旦发生这种风险，无论过错如何，都能给受害者提供赔偿。

针对运行具有特定风险的人工智能应用，欧盟委员会正在寻求相关意见，以便有效补偿潜在的受害者。此外，欧盟委员会还在征求关于“将严格的责任认定与潜在义务相结合”的意见，以制定可用保险的意见，以确保不论责任方的偿付能力如何，受害者都能获得赔偿。针对潜在责任方没有记录与评估责任有关的数据，或者不愿意与受害人分享数据的行为，欧盟委员会正在探讨是否需要调整因果关系和过错责任。

结论

人工智能、物联网和机器人等新兴数字技术的出现对产品安全和责任方面提出了新的挑战，包括连接性、自主性、数据依赖性、不透明性、产品和系统的复杂性、软件更新以及更为复杂的安全管理和价值链。当前的产品安全法规仍有待完善，特别是需要分别对《通用产品安全指令》《机械指令》《无线电设备指令》和《新立法框架》进行修订补充。根据现行法规，发生损害时的成本分配可能不公平或效率低下。为了解决该问题以及现有框架中的潜在不确定性问题，欧盟可以考虑采用针对性的、基于风险的方法，采取适当的举措对《产品责任指令》和国家责任制度进行调整，即考虑人工智能系统应用所带来的多重风险，以解决现有安全和责任框架的不确定性。