电车难题与自动驾驶系统算法设计中的伦理考量

□郑戈

内容提要 自动驾驶汽车是人工智能技术得到全面、综合应用的产业领域，涉及到算法自动化决策与人的自主性和尊严之间的潜在冲突。由于法律本身的回应性和救济性特征，导致它无法提前介入到算法设计过程之中，因而无法为算法设计提供向善的指引。我国虽然越来越重视人工智能伦理问题，并为此设立了相关机构，制定了相关规则，但关于人工智能伦理的讨论却停留在科技向善、以人为本等抽象原则的层面，没有形成有针对性的自动驾驶汽车算法伦理。本文通过对德国交通与数字基础设施部伦理委员会报告、伦理学中的电车难题讨论和道德心理学领域的“道德机器试验”的介绍和分析，讨论了为自动驾驶汽车装上伦理方向盘的必要性和可能的推进方式。

一、自动驾驶汽车为什么需要伦理？

2022 年11 月23 日闭幕的上海市十五届人大常委会第四十六次会议通过了《上海市浦东新区促进无驾驶人智能网联汽车创新应用规定》，这意味着车内不配备驾驶人和测试安全员的L4和L5 等级高度自动驾驶和完全自动驾驶的智能网联汽车在上海市浦东新区的划定路段和区域不仅可以开展道路测试，而且可以进行示范应用、示范运营和商业化运营等创新应用活动。这是继深圳经济特区于6 月通过《智能网联汽车管理条例》后又一自动驾驶汽车领域的重大地方立法进展，表明车上只有乘客而没有驾驶员的无人驾驶汽车在我国公共道路上行使已经不是梦想，而是有法律作为保障的现实。

另一方面，我国在人工智能伦理方面的制度建设也取得了显著的成就，并开始积极参与这一领域的国际规则制定。2022 年11 月16 日，中国裁军大使李松率团出席在日内瓦举行的《特定常规武器公约》缔约国大会，并向大会提交了《中国关于加强人工智能伦理治理的立场文件》。①文件主张“增进各国对人工智能伦理问题的理解，确保人工智能安全、可靠、可控，更好赋能全球可持续发展，增进全人类共同福祉”。在此之前，我国已于2020 年10 月21 日成立了国家科技伦理委员会，发布了《关于加强科技伦理治理的意见》，在科技伦理原则表述、治理体制、制度保障以及审查和监管等方面迈出了重要的步伐。深圳经济特区和上海市在先后通过的《人工智能产业促进条例》中都提出了科技向善、以人为本的伦理原则，并且都创设了伦理委员会，引入了伦理风险评估、伦理审查、伦理安全标准管理、伦理指引和伦理教育等制度。

但是，这两个方面的发展并没有有机结合起来。规范自动驾驶汽车的法律没有涉及伦理，涉及伦理的政策性文件和法律中又没有专门针对自动驾驶汽车的内容。这一方面导致自动驾驶汽车算法设计这一最需要伦理指引的人工智能应用领域缺乏伦理指引，甚至缺乏形成伦理共识的制度引导；另一方面又导致伦理方面的规范性文件过于抽象和空泛，只能提出类似于“科技向善”这样的原则，对具体行为缺乏明确的引导和评价作用，也缺乏场景适配性和语境敏感性，而这些品性是伦理考量的基本特征。

自动驾驶汽车是人工智能技术全方位、集成化应用的产物，自动驾驶系统是一个由感知、定位、决策和执行模块组成的复杂系统，每一个模块都涉及到不同的伦理问题。感知模块借助摄像头、激光雷达、毫米波雷达等各种传感器来采集车辆和环境信息，包括车辆和环境中的人的信息，这便涉及到隐私、个人敏感信息和其他个人信息。虽然法律上规定了告知同意、最少必要等原则，但如何通过技术设计来体现这些原则却涉及到伦理考量与安全考量、性能考量之间的权衡。定位模块同样涉及车辆和车辆中的人的信息，这里具体地说就是位置信息，同时，它还涉及到高精地图，而这又与测绘活动所触及的国家安全和公共安全等利益息息相关。决策模块处理感知和定位模块采集到的信息，并做出相应的选择：是继续沿原来的车道直行还是拐弯？是加速还是减速？是刹车还是通过？执行模块则执行决策模块的选择，做出相应的“行为”。决策模块和执行模块从表面上看类似于人的大脑和四肢，能表现意向性和行为，因此也最直接地关系到伦理，即行为主体出于自由意志而做出的行为，因其对他人、对社会产生的影响而接受的规范性评价。

最著名的人工智能伦理原则表述，即阿西莫夫的机器人律法②，就是以拟人化地想象机器人能够自主决策和行动为前提的。但实际上人工智能系统并不会通过解释文义而有意识地执行这样的准则，它不会像人类那样通过语言学习和经验累积而直观地判断什么是人，什么是伤害，什么是自我保存。让我们看看一个比自动驾驶系统简单无数倍的简单算法，也就是把垃圾邮件归入垃圾邮箱的算法。即便是如此简单的任务，用传统的符号—逻辑编程方法都难以完成。程序员需要界定无数个如果（如果邮件地址中包含abcde 等等字符，如果邮件内容中包含abcde 等等字符，……），而且即便是在设定了无数的条件之后，出错率仍然很高。如今的垃圾邮件归类算法则采用机器学习的方法，即把相当数量的邮件分别标注为正常邮件和垃圾邮件，然后让算法自己去其中寻找模式或规律，对正确的输出给予奖励，对错误的输出给予惩罚，如此不断优化。自动驾驶系统远比垃圾邮件归类算法复杂，所涉及的训练数据集更加庞大和多样，单是帮助系统识别行人和车辆的算法就需要海量的训练样本，任何用自然语言或数学语言表达的一般性规则都无法变成机器可以执行的命令。从这个意义上讲，人工智能伦理不是机器的伦理，而是人的伦理，是人工智能设计者的伦理，它旨在为设计者提供道德上的“北极星和罗盘”，指引设计者去选择符合伦理且技术上可行的设计方案。

为什么需要在法律中为伦理考量创造空间呢？首先，这是数字技术时代政府、数字技术企业与普通用户之间新型权力格局的必然需求。“算力即权力”已经成为当下的基本社会事实，而算力主要并不掌握在政府手中。人类社会生活越来越依赖网络和数字技术对海量人类行为数据的处理，从网上购物到日常消费支付，从核酸码到线上会议，从滴滴打车到自动驾驶汽车，每一项日常活动背后都涉及到算力支撑、算法处理和数据生成。在这样的总体数字化环境中，执法者和监管者去监督数据处理的全过程是完全不可能的，让数据主体通过诉讼或寻求行政救济的方式来维护自己的权利也只能起到个案纠错的作用，而无法成为常态。传统的权利本位的法律模式和命令—控制本位的规制模式都无法有效发挥权利保障和风险控制的作用。在这种背景下，由法律来确定框架性和底线性的基本原则，以平台责任的形式将遵循这些原则的责任落实到数据掌控者和处理者身上，使之内化为它们的运营准则和经营成本，政府从外部监督其合规行为，在出现可观察到的疏于履行责任的事件（往往是社会危害后果十分严重的事件）时强力介入，严厉处罚，这无疑是最为务实的一种制度设计方案。这种模式将权利本位和风险规制本位的因素融合到一起，形成了所谓的“元规制”，即强调监管者与被监管者之间的合作而非对抗，行为规则的内化，以及法律和伦理原则在整个数字基础设施中的泛在化。企业一方面需要向政府和公众表明自己在产品和服务设计中体现了保护法定权益和伦理价值的原则，即所谓通过设计保护隐私（privacy by design）、通过设计保障安全（security by design）等等，另一方面需要提出一套标准来规范设计者的行为，以确保规模化的产出不至于埋下出现严重后果引发舆情或导致监管者介入的隐患。这两方面的需求都使得企业本身也有动力去参与伦理原则的提出和公共讨论。

其次，法律本身就是社会的底线伦理，或“义务的道德”，如果突破了法律，人与人之间的和平共处就无法实现，基本的社会秩序就无法得到维持。但只有法律是不够的，因为我们不仅要活着，还要活得有尊严感和幸福感，这时候就需要伦理原则指引人们去做不止于守住底线的对社会有益的事情。在日常社会交往中，伦理是内生的，依靠社会评价、同侪压力和亲情友情来“执行”。但在人工智能等科技领域，由于信息不对称和专业能力不对称，普通社会公众很难对某种技术支撑的产品或服务的善恶利弊做出评价，因此需要专业化和制度化的伦理评价和伦理审查机制。

第三，法律是回应性的，它只能在特定损害结果发生后，判断这种结果是否是因为特定法律关系中的主体由于过错或违背法定义务而造成的，并且在损害行为与损害结果之间存在因果关系的情况下提供救济。在人工智能技术遍布于我们日常使用的各种手机应用、购物平台、社交媒体和交通工具背后的当下，很多损害结果是难以察觉但却像温水煮青蛙那样恶化着我们的总体生存环境的，比如大数据杀熟、过度获取和滥用个人信息、诱导青少年上瘾的常见用户界面设计和算法设计等等。在这种资本通过技术肆意利用人性弱点的背景下，个人觉察损害结果本已不易，证明平台有过错或违反法定义务更难，而证明因果关系则是难上加难。伦理在此时可以作为法律的补充，事前的伦理指引和伦理审查可以确保用户界面和算法设计者知晓什么样的设计是向善的，是在公众充分知情的情况下能够被接受的，从而至少确保有可持续商业追求的企业和工程师在进行相关设计时就遵循伦理原则。而法律则在出现可见的严重损害结果时强力介入，惩处那些触碰规则底线的行为主体。

第四，法律是一般性和刚性的，它更像是栅栏或围墙，界分出合法与非法的边界。它天然缺乏敏捷性、灵活性和场景适配性。如果法律规则过严过密，必会遏制技术创新和产业发展；如果过宽过疏，则又会留下巨大的漏洞，使大量模糊而又圆滑的危害民生福祉的行为成为漏网之鱼。这对于有人工智能助力的法律主体来说尤其如此。而伦理则具有更强的场景适配性和行业特定性，它更像是量身定制的合体衣服，由技术专家、人文社会科学家、行业组织和特定用户群体通过行为互动和协商沟通发展出来，约束从业者的行为，因此能够与法律配合营造出既有利于企业和创新者追求正当利益，又有助于维护个人尊严和权利的良好制度环境。

最后，法律的规范性本身就来源于伦理，而伦理则形成于社会生活中的基本预期，包括隐私预期、安全预期和风险预期。法律中的核心概念和标准，都来自于稳定的社会预期所支持的伦理准则，比如侵权法中的“注意义务”。康德曾言：“我们总有一天可以不去寻求民法的无穷无尽的杂多条款，而去寻求它们的原则；因为只有在这里面，才包含着人们所说的立法简化的秘密。”③这里的“原则”，就是上述意义的伦理原则。但对于自动驾驶汽车这样的新兴技术产品，人们就如何与之共处和互动尚未形成稳定的社会预期，因此还没有积累起足够从中提炼刚性的法律规则的伦理资源，在这个领域，以伦理讨论促进社会共识形成尤为重要，立法不可操之过急。

二、德国模式

2017 年，德国议会通过了《道路交通法》的第八修正案，④允许配备驾驶员的高度自动化和完全自动化汽车上路。⑤其中的§1b 款（标题为“车辆驾驶员在使用高度或全自动驾驶功能时的权利和义务”）规定：

（1）车辆驾驶员可以在按照第1a 款使用高度或全自动驾驶功能驾驶车辆时不再专注于交通状况和车辆控制；在这样做时，他必须保持足够的警觉，以便可以随时履行第（2）项规定的义务。

（2）车辆驾驶员有义务在下述情况下立即重新控制车辆，

a.如果高度或全自动系统请求他这样做，或

b.如果他认识到或由于明显的情况必须认识到高度或全自动驾驶功能的预期用途之先决条件不再满足。

与这一注意义务分配模式相配套的责任规则是：如果是在§1b（1）项规定的情况下使用自动驾驶功能时发生了交通事故，责任在自动驾驶汽车一方时，由自动驾驶汽车制造商负责赔偿；如果是在§1b（2）项规定的情况下，驾驶员应当接管而未接管，或接管后发生事故，责任在自动驾驶汽车一方的，则由驾驶员承担责任。

与此同时，联邦交通与数字基础设施部部长亚历山大·多布林特（Alexander Dobrindt）任命了一个“自动与网联驾驶伦理委员会”来讨论和确立自动驾驶汽车算法设计的伦理标准。这个委员会由十四名委员组成，分别来自哲学、法律、社会科学、技术影响分析、消费者保护、汽车工业和软法开发等学科和行业背景，主席由前联邦宪法法院法官乌多·迪·法比欧（Udo Di Fabio）担任。委员会最终提出了一份包含二十项伦理原则的报告。⑥我们可以大致把这些原则分成三类。第一类是确定基本价值并对它们进行排序的原则，比如第一条确认了安全、便捷交通和人的自主性作为基本价值，第二条确认了保护人的生命优先于所有功利性价值。第七条要求：“在采取了各种可能的技术审慎措施均无法避免事故的情况下，要把保护人的生命放在首位。在技术上可行的限度内，系统应当被编程为可以接受对动物和财产的损害，如果这样做可以避免对人的损害。”

第二类原则旨在为法律的执行创造技术条件，比如要求自动驾驶汽车算法设计必须使车辆能够辨识、记录和保存每一时间点上车辆的实际控制者：是人，是车载系统，还是远端控制者，从而为发生事故时确定责任分配提供证据支持。

第十六条：[系统的设计] 必须能够明确区分车辆是在使用无人驾驶系统还是一位有可能接管的司机在负责。就并非完全无人驾驶的系统而言，人机交互界面的设计必须使得在每一个时间点上都有明确的规则，并且能够辨识责任在哪方，尤其是能够辨识车辆的控制者。为了明确责任的分配（Zuständigkeiten）以及法律责任的承担（Verantwortung），与车辆操控相关的流程时间和接入规则都必须被记录和保存。这对于人和技术交接的情况尤为重要。应当致力于交接程序及其记录国际标准化，以确保面临车辆、汽车技术和数字技术的跨境流动时网络协议、记录格式和义务的可兼容性。

第三类原则强调算法决策的限度，确定某些决策只能由人来做出，这里最明显的例子就是第八条：

第八条：真正的伦理困境决策，比如生命与生命之间的比较权衡，取决于包含所有参与者的不可预测行为的具体事实情境。这种决策因此无法被标准化，无法根据一个确定无疑的伦理体系来进行编程。技术系统之设计是为了避免事故，而不是取代或预测一位道德上明辨是非的、负责任的司机的决策，因为它们无法被标准化，以做出对于事故结果的复杂的或直觉性的评估。虽然一位人类司机在紧急情况下可以采取客观上违法的行为，导致一人死亡而挽回一个或多个其他人的生命，他的行为不一定具有主观上的可责性。此种考虑各种具体情况的事后裁判难以被转化成抽象的、一般性的事前评估。它们同样无法被编程。因此我们认为有必要通过一个独立的公共机构（比如联邦自动化交通系统事故调查局或联邦自动和网联交通安全局）来系统处理相关经验。

正如大多数一般性的抽象原则一样，这一原则显得十分合理，而一旦将其置于具体的应用场景之中，立刻暴露出明显的问题。试想这样一个完全可能发生的场景：按照法律所允许的那样，自动驾驶汽车的驾驶员在开启了高度或完全自动化的驾驶系统后双手离开了方向盘，将注意力转移到手机屏幕或车载影音设备上。而车辆在平稳行驶一段时间后来到一个十字路口，由于此时面向车辆的交通信号灯是绿灯，车辆保持原速度继续直行。这时突然有三名儿童手牵着手冲过马路，即使刹车也无法立刻停下并避免撞到。唯一的替代方案是向右偏转，撞倒遵循交通规则在直行的一辆摩托车，并可能导致骑手死亡。这时，车辆向驾驶员发出了接管请求。我们知道，如果一个人持续专注于一件事情，保持精神上的适度紧张，她便有可能对这件事情中出现的未曾预料的情形做出迅速且有效的处理。而一个人如果已经完全放松，或者在专注地做别的事情，突然让她接手处理她没有保持持续注意力的事情中出现的意外，其结果必然是惊慌失措，有可能导致比不采取任何行动更加严重的后果，比如因为手忙脚乱乱打方向盘，既撞死了骑手，也撞死了三个儿童。

伦理委员会汇集了来自不同学科、不同行业背景的人士围绕一个问题进行聚焦讨论，从而有可能看到单一视角下被遮蔽的问题。同时，伦理讨论与立法过程不一样，无需追求文本内容中的逻辑一致性和无矛盾性，因此得以把矛盾和困境呈现出来，供公众进行进一步的讨论。比如，由于认识到了人类接管处理伦理两难问题这一要求可能导致上述认知和反应能力约束（或称人类算力约束）下的荒谬结果，报告对技术提出了更高的要求：

第十七条：高度自动化汽车的软件和技术应当做到实际上避免在紧急情况下突然将控制权转交给人类司机的情况。为了确保有效、可靠和安全的人机沟通并避免让人承担过重的负担，系统应当更强地适应于人类交流行为并且不要求人类的高度适应能力。

将第八条和第十七条放到一起，我们可以发现既要保障人的自主性又要确保安全性/有效性的困难。第八条是对人的尊严和自主性的保障，它要求人类承担起直面伦理困境并做出选择的责任，拒绝将权衡人的生命价值的决策交给机器，体现了康德所说的“人是目的，不是手段”的义务论伦理立场。而第十七条又承认了人自己的局限性，认识到在出现伦理两难选择时人类或许无能力做出符合伦理的选择，因此要求技术被设计为不能突然要求人类接管。但这两项要求是不可能同时被做到的。如果机器能够预见到两难选择即将发生，并在给人类留下充分准备时间的情况下请求人类接管，那么这就不是真正的伦理两难问题了，甚至不符合普通交通事故的实际情形。所有的事故都是突发的，而不是让人有准备时间的。

在一次访谈中，委员会主席法比欧指出，通过组建这个跨学科、跨行业的委员会，更容易在技术可能性的限度内寻找伦理或法律问题的答案，并且为技术发展构建规范指南针（normative Kompass）。委员会的任务是在较短的时间内提出可操作的方案。⑦但非常明显的是，时间约束压倒了可操作性考量，因为从康德式的“绝对命令”出发用演绎逻辑的方法推导出伦理原则是比较容易的，而考虑涉及无数技术细节的可操作性问题则是需要耗费大量时间的，而且是需要进行大量试验的。德国交通部伦理委员会所认可的伦理上的“绝对命令”就是确保自主决策并负责的个人（selbst-verantwortlichurteilenden Menschen）始终能够做出自由选择并对此负责。由此推演出的原则就是：技术只服务于无争议的人类价值，比如避免事故、减少交通拥堵、节能环保等等，而不能代替人类去处理人类自身都无法给出明确答案的两难问题。人的自主性在此得到强调，在面临伦理选择时，人类的接管成为技术设计上的当然选项。而为了使人类不至于为此承受过重的负担，机器还需适应人的认知和行为模式，在请求人类接管时不能过于“突然”。这是技术上难以做到的要求。

在伦理上提出超出现有技术能力的要求是没有太大问题的，“良师常常对自己的学生提出他知道他们不可能达到的要求。他这样做的时候是怀着逼出学生的潜力这一值得赞扬的动机”，但法律不能要求不可能做到之事，因为法律是有国家强制力所施加的制裁后果的，要求不可能之事就是强迫人追求卓越，这本身是不道德的。立法者不能将自己的身份混淆为教师：“对于未能做到他所要求之事的学生，老师照样可以为他们实际上做到的事情而表扬他们，不会因此便显得虚伪或自相矛盾。在类似的情况中，政府官员面临的则是这样一种选择：要么做出严重不义之事，要么对偏离法律要求的情况视而不见，从而导致人们不再尊重法律。”⑧在产品责任法领域，产业缺陷的判断是以现有技术发展水平为基准，而不是以理论上可能达到的技术水平为基准，并允许“发展风险抗辩”。因此，当德国于2021 年再次修改《道路交通法》⑨时，在接管问题上确立了与伦理委员会提出的伦理原则截然相反的规则：

本法所称的最低风险状态是指这样一种状态，在其中，车辆：

3.独立将自己置于最低风险状态，如果继续行驶只有在违反交通法规的情况下才能进行；

5.检查技术监督指定的操作并决定不予执行，而是独立将车辆置于最低风险状态，如果此种驾驶操作会危及交通参与者或无关人士。

这是一项极具创新性的规则，它要求自动驾驶汽车系统被设定为可以拒绝接受人类的接管，如果人类的指令（1）违法；或（2）威胁到他人的安全。这与人类的自主性原则形成明显冲突，是一种客观违法性或损害性标准。但如果技术上可以做到，的确是可以减少大量故意或过失造成的交通事故。这种系统不仅应当安装在无人驾驶汽车上，也应当安装在人类驾驶的车辆上。试想，如果大连“五·二二”事件⑩中肇事车主驾驶的是一辆安装了此种自动驾驶系统的车辆，即使他想要去撞死行人，车辆也不会听从他的指挥，这不仅可以避免多人伤亡的结果，也可以使他本人避免犯下后来被判处死刑的罪行。

德国交通部伦理委员会的工作给我们三点启示：首先，法律和伦理的交织和互补才能确保科技向善。伦理讨论可以揭示出自动驾驶汽车算法设计中需要考虑的为确保人的尊严和人类福祉所必须的因素，促使科技界和产业界围绕这些因素去寻找技术方案。在尚未普遍进入社会生活领域的新兴技术领域，由于还未形成社会的道德共识和稳定预期，立法恐操之过急，制度化的伦理讨论可以带动公共讨论。哪怕一开始提出的伦理原则不够完善，不具有技术可行性，但文本的形成有助于公共讨论的聚焦和细化深入，为此后的立法创造条件。其次，人工智能伦理要走出抽象原则的层面，真正落实为设计理念中不可或缺的要素，便需要结合具体的应用场景提出细致的对设计行为有指导意义的具体原则。德国交通部伦理委员会报告提出的二十项原则便是迄今可见的最细致的自动驾驶汽车算法设计伦理原则。这些原则虽然还不够完善，甚至存在上面分析过的显见内在矛盾，但却已经为进一步的提炼和发展打下了基础。第三，伦理委员会的工作也帮助德国汽车工业树立了重视伦理的形象，进一步增强了德国品牌的竞争力。上述报告形成之后很快就成为德国在国际交通政策对话中的王牌，并很快在G7 和G20 的交通部长会议上得到各国的认可。

三、电车难题

德国交通部伦理委员会报告中提到的必须交给人去决策的“真正的伦理困境决策，比如生命与生命之间的比较权衡”，就是伦理学上经典的“电车难题”。这个最早由英国伦理学家菲利帕·福特提出的思想试验迄今已经催生了无数的研究文献，以至于形成了所谓的“电车学”。毫无意外的是，绝大多数关于自动驾驶汽车伦理的讨论都会提到电车难题，并基于对电车学在自动驾驶领域应用前景的态度而分为“电车乐观主义”和“电车悲观主义”。“电车乐观主义”认为电车学的既有学术成果为发展自动驾驶技术伦理准备了丰富的理论资源，只要将这些理论资源稍加调整，使之更有针对性，就可以从中提炼出适用于自动驾驶汽车算法设计的伦理。而“电车悲观主义”则相反，认为电车学所体现出的思维方式与自动驾驶系统所使用的机器学习方式存在本质的区别，电车学对于思考自动驾驶汽车相关的伦理问题没有太大帮助。基于对自动驾驶汽车背后的机器学习算法的理解，本文认为电车悲观主义的立场更符合技术可能性。电车学的基本假定是：（1）存在一个独立的理性主体；（2）这个理性主体对车祸场景中的所有选项及其后果都有充分的信息；（3）这个理性主体可以根据这些信息做出道德判断，选择特定的行动，并承担相应的道德和法律责任。但这些假定对于人类来说就是不成立的，对于自动驾驶系统来说更是与其技术原理格格不入。在车祸发生时，驾驶员大多是凭本能而不是理性判断行动，她往往看不到所有的选项，即使看到了往往也来不及根据理性选择采取行动。而自动驾驶系统所采用的机器学习算法是从无数人类驾驶行为数据和模拟驾驶数据中进行学习，找出其中的规律或模式，选择决策逻辑并不断优化的。它不是一个按照演绎逻辑来推理的决策者。如前所述，这也是唯一技术上可行的路径。按照演绎逻辑编程的机器貌似算法透明逻辑清晰，但就连识别垃圾邮件这样的相对简单的任务都无法很好地完成，因为程序员需要将符合垃圾邮件特征的所有条件都事先编写成代码，这是一项难以完成的任务。同时，作为人工智能的自动驾驶系统并不具备“上帝视角”，它在视觉、听觉等方面还不如人类，目前导致人类死亡的自动驾驶汽车车祸，从中国的高雅宁驾驶特斯拉Model S 出车祸到美国的Uber 自动驾驶汽车车祸和特斯拉Model S 车祸，都是因为自动驾驶系统未能识别出前方车辆或人，而且都是在能见度很高的情况下，也就是说，在驾驶员没有转移注意力去做别的事情可以很容易看到的情况下。计算机视觉不是人们所想象的类似于人类的那种视觉，而是一种基于对大量样本的“学习”而形成的概率论判断。更具体地说，计算机视觉本质上是某种概率论的分类器，比如朴素贝叶斯分类器、决策树、支持向量机或逻辑回归模型。这种方法与人基于感知、直觉和经验的判断相比仍有相当大的差距。⑪虽然这在大多数情况下不会妨碍人工智能实现其功能，正如荷兰计算机科学家、图灵奖得主艾兹赫尔·戴克斯特拉（Edsger W.Dijkstra）所说：“追问计算机能否像人那样思考，并不比追问潜水艇是否会像人那样游泳更有趣”，⑫但对这一技术现实的理解至少可以让我们认识到人工智能技术（包括自动驾驶技术）的局限性以及对其做拟人化理解的不可取性。尽管如此，由于电车难题目前占据了人工智能伦理讨论（尤其是自动驾驶汽车伦理讨论）的核心位置，我们还是有必要理解它的逻辑和作用。

“电车难题”起源于一个与自动驾驶汽车无关，甚至与电车也没有关系的语境中，菲利帕·福特提出这个假想的例子是为了分析人们反对人工流产的理由，尤其是分析其中的一个经常被天主教徒提出的理由，即“双重效应学说”（The Doctrine of the Double Effect，简称DDE）：一个行为可能导致两个结果，一个是行为主体想要获得的结果，另一个是其可以预见但不一定想要的结果。⑬为了实现一个好的结果，可以预见的坏结果在某些情况下是一种不得不接受的代价。反之，故意为恶（比如杀害一个人）是应当绝对被禁止的，哪怕这样做可以挽救另一个人的生命。因此，按照反对人工流产的天主教徒的观点，施行人工流产手术来挽救一位难产的孕妇的生命是不应当被允许的，因为施行这种手术的人故意杀害了一个人（胎儿）的生命，尽管这样做的结果是救回了孕妇的生命。因为孕妇的死亡不是医生故意导致的，而胎儿的死亡则是。杀人显然比眼睁睁看人死亡更加恶劣。这里涉及两项义务：一是不伤害他人的消极义务，二是为他人提供帮助的积极义务，前者比后者更为优先。为了分析这个学说，福特假设了各种例子，其中一个就是：一辆刹车失灵的有轨电车（福特用的词是tram，而不是后来的电车难题讨论者们用的trolley）驶到了一个岔路口，按原定路线开会撞死轨道上五位正在施工的工人，而转到另一条轨道会撞死一位工人，这时司机应当如何选择。福特指出，“双重效应学说” 这时指出了一条帮助司机走出道德困境的出路：变道去撞向一个人，从而使五个人得救，因为这时司机不是故意想要杀害这个人，而只是预见到这个人可能会因为自己的变道而被撞死，更何况这个人还有一线生机，比如发现电车开过来惊险地躲开，因为此时他的自主行动能力并没有被剥夺，这与胎儿的情况不同。福特的整篇论文是复杂而没有定论的，她举的有些例子证明双重效应学说得出的结论是符合道德直觉的，而另一些例子则说明双重效应学说会得出与人们的道德直觉相悖的荒谬结论。有轨电车的例子属于前者。

可以看出，福特所描述的电车难题的例子在表述上还比较粗糙，很容易被人挑出毛病，比如很难说这位司机的变道选择不是故意杀害那一位工人，因为他毕竟是司机，他选择了变道，他明知变道会导致那一位工人的死亡。另一位著名的道德哲学家朱迪斯·查韦斯·汤森发现了这个问题，认为这个例子中司机做的事情与下面这个例子中的医生所做的事情很难区分开来：有一位手术技艺无可挑剔的医生，最擅长做器官移植手术，他目前有五位垂危的病人，两位各自需要一片肺，两位各自需要一个肾，一位需要一颗心。有一位健康的年轻人恰好来体检。这位医生可以把这个年轻人拆了救这五位病人吗？从表面上看，这两个例子大不相同，但汤森认为它们在分析的意义上并无二致：都是为了救更多的人而牺牲一个人，都并不希望这个人的死亡（有人会说：天哪，你都把人的心肺肾摘了还不希望人家死亡？但福特的司机同样是故意撞向了那个工人。两者都没有征求被牺牲者的同意）。汤森追问：为什么第二个例子会引起巨大的道德反感，而第一个不会？为此，她设计出两个更精致版本的电车难题例子：

例一，一辆失控的电车驶来，沿原轨道它会撞向五位正在施工的工人，而如果它变道则会撞向一位工人。这时一位正好站在扳道机旁的路人面对一个选择：要不要扳道？

例二，一辆失控的电车驶来，撞向五位正在施工的工人，它会先从一个天桥下穿过。你是天桥上的路人，你旁边有一个胖子，你准确地估算如果把这个胖子推下天桥落在轨道上，能有效地让电车停下来。你要不要把他推下去？

通过把司机替换成路人，汤森得以论证：站在扳道器旁的路人通过扳道“不仅仅是最小化了事故所造成的死亡人数；他最小化了已经在威胁人的生命的不可避免的事故所造成的死亡人数，无论这位路人做什么，都会有人死亡”。⑭换句话说，路人只是拨转了死神的矛头，使它指向一个人而不是五个人，但死神并不是他招来的。但天桥上的胖子这个版本却不一样。胖子本来是一个局外人，他站在天桥这个安全空间里。如果没有被人为地推下天桥，他是无法预期也没有理由预期自己会被天桥下的车辆撞到的。将胖子推下天桥的行为是将胖子当成实现外在于他的主观世界的工具（这时把胖子替换成大石头也能达到同样的目的，如果碰巧有块大石头的话）。⑮如果他是自愿做出牺牲就另当别论了。外科医生的例子与推胖子的路人的例子一样，而与扳道的路人的例子不一样，这便解释了为什么例一中路人应当扳道，而例二中的路人不应推下胖子。

为了使自己的论证更加严谨周延，汤森还加上了一个时态限定，也就是共时性的现在进行时：“如果一个人面临着此时此刻（here and now）立即采取某种行动的选择，一是做出一个行为会导致五个人死亡，二是做出另一个行为会导致一个人死亡，那么（在其他条件相同的情况下）他应该选择第一种行为而不是第二种。”⑯在外科医生的例子中，健康的年轻人与五位病人的生命危险既非同源，亦非共时，如果不杀害这位年轻人，五位病人也还可以等待合适的捐赠器官，无论可能性是大还是小。这与无法避免的交通事故场景完全不同。

汤森把司机替换成路人后，使得电车难题具有了与自动驾驶汽车伦理议题表面上的直接相关性：例子中的路人可以替换成自动驾驶系统。讨论者们天真地认为，只要将道德哲学家们已经通过周密的分析论证得出的结论用代码写进程序，让机器去执行，就可以一劳永逸地解决现实世界中类似于电车难题那样的问题了。但正如前面已经讨论过的，机器学习算法所采用的不是三段论式的演绎推理，而是学习大量范例的经验主义方法，而且这是包括自动驾驶技术在内的人工智能技术之所以能够比传统的编程更有能力处理真实世界中的复杂问题的原因所在。用哥德尔不完备性定理的表述方式，我们可以说：形式逻辑上越自洽的系统对真实场景的覆盖越不完整，能够处理的问题越简单；而覆盖了越多真实场景应对经验的算法，在形式逻辑上越不自洽。像电车难题这样假设其他条件相同的前提下孤立出A、B 选项的思维方式，如果用来给自动驾驶汽车编程，它就完全无法上路了。为了让自动驾驶汽车能够应对真实世界的电车难题，就必须用大量的事故场景数据集来训练它，但真实世界中的此种场景是很少的，无法满足训练的需要，因此还需要人为创造出许多模拟电车难题场景的数据。这样做不仅成本巨大，而且还存在很大的潜在风险，比如，一辆学习了大量应对电车难题的数据的自动驾驶汽车，在本来不至于发生事故的场景中，“看到”马路一边出现了五个人，另一边出现了一个人，它可能选择去撞那一个人，以“挽救”本来不需要它挽救的五个人。试图将电车难题作为自动驾驶汽车算法设计中伦理考量之重点的人士，完全无视了它的技术特点，只关注到它最后表现出的“行为”上，而忽视了训练出这种行为的前期工作中需要思考的包含伦理考量的问题，比如：（1）通盘的训练数据集合：在这个总体的数据集合中，有多少数据应该专门用来训练处理电车难题式事故的能力；（2）结构：假设事故场景被包含在训练理想驾驶操作的数据集中，这些场景的结构是否应该被设计成像电车难题那样？（3）裁断：是否应该以道德哲学家们关于如何在电车难题场景下做出选择的学说为标准来“奖励”和“惩罚”算法，使之最终能够做出令道德哲学家们满意的决策？如果是，应该采纳哪位或哪些道德哲学家的学说？要知道她们的学说可是不一样的，甚至有些是截然相反的。而将“电车学”思维方式引入自动驾驶汽车讨论的学者们多数关心的只是最后一个环节，即（4）是否应当按照电车难题那样的结构来设计自动驾驶汽车算法，使之在不可避免的事故场景出现时像道德哲学家们（现在先不管她们之间的分歧）所希望的那样去行动？⑰出于对这些因素的考虑，我认为在思考自动驾驶汽车伦理问题时，应当避开电车难题，或至少要将它摆到相当次要的位置。电车难题的意义在于训练人的伦理思维，而不适合用来训练机器。

四、道德机器试验

电车难题是道德哲学家或伦理学家们构建出来的思想试验，其主要目的在于通过类似于数学运算那样的推演过程，澄清在其他条件相同的情况下如何区分和判断选项A 与选项B 的伦理分值。但人类的现实生活却永远不是因变量和自变量、A选项和B 选项般界限分明的，我们所面对的所有现实问题都要求在信息不完备、行动结果不确定的情况下去采取行动。自动驾驶汽车所融入其中的交通场景尤其如此。因此，相较于伦理学层面的演绎推理式讨论，对相关立法、伦理原则发展和公共政策制定更有帮助的是社会科学的经验研究。通过这种研究，我们才能了解与自动驾驶汽车相关的社会预期和社会上多数人面对类似于电车难题那样的场景时愿意做出的选择，从而确定法律上的注意义务标准、责任分配原则以及风险规制强度。在这方面，“道德机器试验”是一个很好的范例。⑱

2015 年，三位分别来自法国和美国的科学家通过亚马逊的众包平台（Amazon Mechanical Turk）进行了一项涉及1928 位受试者的线上心理试验。这项试验具有十分明确的现实针对性：要让一种新技术产品被社会所接受，制造商和立法者都需要发展或制定出与这种产品相关的体现伦理的公共叙事和立法，这套公共叙事必须满足三个条件：（1）具有内部逻辑一致性（不自相矛盾）；（2）不引起公众反感；（3）对消费者有吸引力。这项试验就是试图搞清楚：自动驾驶汽车当然应该以安全为首要设计目标，但在事故难以避免而不得不两害相权取其轻的场合，人们期待算法设计让汽车做出何种选择？试验的方式是设计出若干类似于“电车难题”的自动驾驶汽车交通事故中的选择难题，让受试者在各种选项中做出选择。⑲这一试验得出的最重要发现就是：

1.绝大多数人都希望无人驾驶汽车被编程为：在采取了各种可能的预防措施都无法避免事故的情况下，如果车内乘客的人数少于车外潜在受害者的人数，车辆须牺牲自己（包括车内乘客）以避免伤害他人。

2.绝大多数人都表示不会购买如此编程的车。

这一发现与更具一般性的“社会困境”（即“囚徒困境”的扩大版）高度一致：

设想一种情境，在其中每一个人都面临一种选择：是选择社会合作性（或利他主义的）行动X，还是选择自利的行动Y。

1.几乎所有的人都会选择生活在一个所有的（其他）人都做X 而不是Y 的社会。换句话说，没有人喜欢生活在一个所有人都自私的世界。

2.但是，所有的人都会因为做Y 而获益。换句话说，不管其他人怎么做，我都宁愿生活在一个我有自由/权利做Y 的世界。

此项研究澄清了一个制度设计上的关键问题：自动驾驶汽车毕竟是一种消费产品，为了让这种产品能够有销路，车内乘客的安全应当被放在首位或者说应当被排除在功利主义计算之外。自动驾驶汽车内部应当是法律所划定的一个安全空间，就像步道、人行横道和安全岛一样。

这项研究成果在《科学》杂志上发表后，引起了很大轰动。原作者与麻省理工学院媒体实验室合作设计了一个专门的网站来继续这一试验，旨在“量化对应当指引机器行为的伦理原则的社会预期”，并进而为提出“普世机器伦理”（Universal Machine Ethics）做好准备。这个被命名为“道德机器” 的网站共收到来自233 个国家和地区的上千万志愿者对道德困境问题做出的四千万项决策，是迄今为止最大规模的心理学试验。这次的研究成果在《自然》杂志上发表。⑳在“道德机器”网站㉑的主界面上，用户可以依次看到13 种不可避免的车祸场景，取决于是保持车道还是转弯，每一种场景都有两种不同的可能结果，用户可以点击选择他们认为更可以接受的结果。选择主要围绕九个因素：避免撞人还是避免撞宠物；一直保持车道还是转向；优先保护车上乘客还是优先保护行人；保持车道撞向较多的人还是转向撞倒较少的人；撞男性还是撞女性；撞年轻人还是撞老年人；撞遵守交规过马路的行人还是撞乱穿马路的人；撞健康的人还是撞不健康的人（从身材判断）；撞社会地位较高的人还是撞社会地位较低的人（从衣着判断）。还有若干场景涉及不包括在上述类型中的特定角色，比如罪犯和社会贡献很大的专业人士（比如科学家和医生）以及孕妇。这项试验只发现了三项跨文化、跨国别的普遍道德偏好，即人的生命优先于动物的生命、更多人的生命优先于更少人的生命、年轻人的生命优先于老人的生命。围绕其他因素的选择则呈现出极大的文化差异性，即使在同一区域、同一国家、同一文化群体内部，离形成共识或者哪怕是大多数人同意的距离也较远。而比较有共识的三项道德偏好，除了人的生命优先于动物的生命以外，如果作为预先编程的设计都涉嫌违反法律，尤其是年龄（以及其他场景中涉及的性别、职业、身材、社会地位等等）属于法律禁止作为区别对待之基础的归类，基于这些归类的区别对待构成歧视。由此可见，德国交通部伦理委员会报告所提出的伦理原则中唯一允许机器自动化执行的选择是在事故难以避免的情况下可以牺牲动物和财产来保护人的生命，这一选择是符合社会预期的。

这项研究的政策和法律意义在于为今后的制度设计提供了关于社会道德预期的相对可靠的经验研究结论。正如作者所言：

关于指导自动驾驶汽车的伦理原则的决定不能完全由工程师或伦理学家来做出。为了让消费者从传统的人工驾驶汽车转向自动驾驶汽车，为了让广大公众接受人工智能驱动的汽车在他们的道路上扩散，这两个群体都需要了解被编程进这些自动驾驶汽车的伦理原则的起源。换句话说，即使伦理学家就自动驾驶汽车应该如何解决道德困境达成一致，如果公民不同意他们的解决方案，他们的工作也将毫无用处，无法促使公众选择自动驾驶汽车承诺的未来，从而改变交通现状。任何设计人工智能伦理的尝试都必须建立在至少了解公共道德的基础上。㉒

结论

伦理考量是自动驾驶汽车算法设计中不可缺少的因素，但企业出于利益最大化的动机往往缺乏内生激励来将伦理考量纳入自己的产品设计流程，因此需要国家通过法律来促使或迫使企业追求符合伦理的设计。同时，伦理原则不能只是恰好被赋予伦理把关权的那些人的个人道德偏好的表述，而必须是社会共识的产物，符合一般性的社会预期，因此需要通过制度设计来引导社会展开自动驾驶方面的伦理问题研究和讨论，促进社会共识的形成。从长远来看，重视伦理考量的商业氛围和社会环境不仅有利于企业竞争力的形成，而且有助于一个国家的整个行业获得国际竞争力。基于上述考虑，本文提出五项具体的建议：

首先，除了目前已经设立的国家科技伦理委员外，交通部内部应当设立专门针对自动驾驶汽车的伦理委员会。一方面负责提出供立法和公共政策制定者参考的伦理指导意见，另一方面引导行业和教育科研机构展开伦理讨论和伦理教育，将伦理意识的培育纳入到促进产业发展、实现交通强国的战略之中。

其次，应当在自动驾驶汽车测试、示范运营和商业运营的管理机制中加入伦理审查环节，由主管部门负责召集跨学科、跨行业、跨领域的人士组成伦理委员会，对自动驾驶汽车算法设计是否以及如何贯彻了政府的伦理指导意见和行业的伦理标准进行审查。这可以促使企业形成自己内部的伦理原则和伦理考量。

第三，我国汽车工业和数字技术领域的专业协会和行业协会应当像IEEE 那样在关注科技议题的同时注重伦理标准的研发，提出中国版的符合伦理的设计准则，并围绕着这些准则凝聚行业共识，使中国的自动驾驶汽车系统、产品和服务在具有更高质量的同时体现更高的伦理品质。

第四，应当在大学的相关专业（比如电子电气、计算机、自动化和汽车制造）中设置伦理课程，比如本文作者所在的大学就在电子信息与电气工程学院开设了“人工智能思维与伦理”课程㉓，不仅教育未来的算法设计者具备伦理考量的意识和能力，而且通过文理工交叉的教学和科研寻找技术上可能的科技伦理落实方案。

最后，我国应借助已有的国际磋商机制（比如联合国、G20、东盟等等）积极提出并倡议本国提炼和发展出的自动驾驶汽车算法伦理原则，参与和引领相关国际标准和规则的形成与制定，为未来交通注入中国元素，创造中国空间。

注释：

①《中国关于加强人工智能伦理治理的立场文件》，载中华人民共和国外交部网站，http://newyork.fmprc.gov.cn/ziliao_674904/tytj_674911/zcwj_674915/202211/t20221117_1 0976728.shtml。

②机器人律法（Laws of Robotics）是美国科学家和科幻小说作家伊萨克·阿西莫夫在1942 年的短篇科幻小说“转圈圈”中提出的内置于机器人设定中的伦理法则。其最初版本包含三项法则：1.一个机器人不能伤害一个人，也不能因为不作为而导致一个人被伤害；2.一个机器人必须服从人类对它的命令，除非该命令与第一律法相冲突；3.一个机器人必须保护自己的生存，只要这种自保不与第一和第二律法相冲突。Isaac Asimov,“Runaround”,in I,Robot,London: HarperVoyager,2013,p.31.

③[德]康德著：《纯粹理性批判》，邓晓芒译，杨祖陶校，人民出版社2017 年第2 版，第201 页。

④Achtes Gesetzzur Änderung des Straβenverkehrsgesetzes（8.StVGÄndGk.a.Abk.) G.v.16.06.2017 BGBl.I S.1648(Nr.38);Geltung ab 21.06.2017,可下载于：BGBl.I 2017 S.1648-Achtes Gesetz zur Änderung des Straβenverkehrsgesetzes-dejure.org.

⑤有不少评论者认为这部法律只允许L3 及以下级别的自动驾驶汽车上路，这是错误的理解。实际上，这次修订已经允许L4 和L5 级别的自动驾驶汽车上路了，只不过要求其必须有驾驶员。导致误解的原因是不少人混淆了技术等级和法律要求，L4 和L5 级别的自动驾驶汽车在技术上可以做到自主控制，不需要驾驶员，但法律要求其必须有驾驶员。法律要求并不因此降低车辆的自动化技术等级。

⑥Ethik -KommissionAutomatisiertes und Vernetztes-Fahren,Eingesetztdurch den Bundesminister für Verkehr und digitaleInfrastruktur,Bericht,Juni 2017,可下载于：berichtder-ethik-kommission.pdf (bund.de).

⑦“Paternalistischsindschon die Internetkonzerneunterwegs.” Staatsrechtslehrer Udo Di Fabio empfiehlt das Prinzip der PrivatautonomiealsKompass für die Regulierung des Internets Ein Interview.Sankt Augustin/Berlin: Konrad-Adenauer-Stiftung e.V.2018.

⑧[美]朗·富勒著：《法律的道德性》，郑戈译，商务印书馆2005 年第一版，第84 页。

⑨2021 年7 月，德国联邦议会通过《修订道路交通法和强制保险法的法律——自动驾驶法》（以下简称德国“自动驾驶法”），GesetzzurÄnderung des Straβenverkehrsgesetzes und des Pflichtversicherungsgesetzes-Gesetzzumautonomen-Fahren，下载网址：https://www.bgbl.de/xaver/bgbl/start.xav?startbk=Bundesanzeiger_BGBl&start=//* [@attr_id=%27bgbl121s3108.pdf% 27]#_bgbl_% 2F% 2F*% 5B% 40attr_id%3D%27bgbl121s3108.pdf%27%5D_1641381743887。此处所引条款在§1e(2)。由于高度和完全自动化汽车上不再有司机，监督车辆运行状态的人被称为 “技术监督”（TechnischenAufsich）。

⑩2011 年5 月22 日，刘某驾驶一辆黑色宝马轿车在大连市中山区五惠路由西向东行驶至劳动公园北门人行过道斑马线处，在等候绿灯指示时突然发动车辆，在7 秒钟内将速度从0 提高到108 公里/小时，故意冲撞行人，导致5 人死亡，多人受伤。2021 年10 月13 日，大连市中级人民法院公开开庭审理了刘某以危险方法危害公共安全案，判处刘某死刑，剥夺政治权利终身。

⑪关于概率论的算法与决定论的算法之差异及其对法律和伦理分析的意义，请参阅郑戈：《算法的法律与法律的算法》，《中国法律评论》2018 年第2 期。

⑫转引自：Virginia Dignum,Responsible Artificial Intelligence: How to Develop and Use AI in a Responsible Way,Springer Nature,2019,p.116.

⑬Philippa Foot,“The Problem of Abortion and the Doctrine of the Double Effect,” Oxford Review,Number 5,1967.p.5-15.

⑭Judith Jarvis Thomson,“The Trolley Problem,”94 Yale Law Journal 1395 (1985),p.1408.

⑮David Edmonds,Would You Kill the Fat Man? The Trolley Problem and What Your Answer Tells Us about Right and Wrong,Princeton University Press,2014,p.38.

⑯Judith Jarvis Thomson,“The Trolley Problem,”p.1415.

⑰对这些问题的详尽讨论请参阅Jeff Behrends and John Basl,“Trolleys and Autonomous Vehicles New Foundations for the Ethics of Machine Learning,” in Ryan Jenkins,Davidern,and TomHíbek (eds.),Autonomous Vehicle Ethics:The Trolley Problem and Beyond,Oxford University Press,2022,p.58-79.

⑱关于道德机器试验的设计初衷、试验方法、主要发现和成果发表过程，请参阅：Jean-François Bonnefon,The Car That Knew Too Much: Can a Machine Be Moral? The MIT Press,2021.作者让-弗朗索瓦·布勒丰就是这个试验的发起人和组织者。

⑲Jean-François Bonnefon,Azim Shariff,and Iyad Rahwan,“The Social Dilemma of Autonomous Vehicles,” Science,Vol.352,Issue 6293,June 24,2016,p.1573-1576.

⑳Edmond Awad,Sohan Dsouza,Richard Kim,Jonathan Schulz,Joseph Henrich,Azim Shariff,Jean-François Bonnefon,&Iyad Rahwan,“The Moral Machine Experiment,” Nature,Vol.563,November 1,2018,pp.59-78.https://doi.org/10.1038/s41586-018-0637-6.

㉑㉒https://www.moralmachine.net.

㉓俞陶然：《交大开设人工智能伦理必修课，为未来算法工程师输入伦理意识》，载《解放日报》2021 年9 月15日，可参阅新华社网站转载版：《AI 专业有门不教算法的“伦理必修课”》，载新华网，http://www.xinhuanet.com/tech/202110 09/cdb6ffb799764a82bfa0dd5df7418c28/c.html。