自动驾驶汽车事故的道德算法由谁来决定

孙保学

自动驾驶汽车成为未来社会的主要交通工具是大势所趋。但是，自动驾驶汽车被大规模地推广和应用有一个重要前提是它能够明显降低交通事故发生率和人员伤亡率。换言之，它应当具备更高的安全性。不过，自动驾驶汽车不可能做到万无一失，它同样会面临类似“电车难题”（trol ley problem）的道德决策困境。对此，学术界目前的讨论主要围绕两大问题展开：面临道德决策困境，自动驾驶汽车究竟该如何选择？自动驾驶汽车的道德算法基于哪种道德理论才能获得最大的可接受性？本文的讨论是与上述两大理论问题密切相关的一个现实问题：究竟由谁来决定自动驾驶汽车事故的道德算法？在很多人看来，个人、汽车制造商、政府管理部门和社会都可能成为候选者。通过本文的分析，我们将会理解道德算法的设置权不能完全交付给个人，它依赖于有效的社会共识的达成。

一、自动驾驶汽车的安全性与道德决策难题

自动驾驶技术被认为会引发人类交通史的一次革命，极大地改变汽车的安全性、交通拥堵状况和人们的出行行为。不过，自动驾驶汽车全面进入大众消费市场并取代现有的汽车仍然面临技术上和制度上的一些难题。目前，我们能够设想的自动驾驶汽车将会面临的种种困难其实都指向一个中心问题：自动驾驶汽车真的更安全吗？

据推测，自动驾驶汽车的引入能够在总体上大幅度减少交通事故的发生率，同时降低交通事故中人员的死亡率。麦肯锡的一项研究显示，自动驾驶汽车至少能够减少90%的交通事故[1]。目前，处于测试阶段的自动驾驶汽车的安全记录显示它比手动驾驶表现要好。在理想状态下，自动驾驶汽车的传感器技术会要比人类的感知能力更加精确，其视野广度和感知精度能够远远强于人类。

不过，技术不可能解决所有问题，自动驾驶汽车也不例外。自动驾驶汽车的安全性隐忧可能带来的伦理挑战越来越引人注目。自动驾驶汽车不可能做到万无一失，完全避免交通事故的发生是不可能的。自动驾驶汽车的性能严重依赖于传感技术和决策算法等，软硬件系统失灵的情况无法完全避免。即使它们运转正常，来自外部环境的不可控因素也可能导致两难情境的发生。当事故无法避免时，自动驾驶汽车可能会杀死或严重伤害某（些）人。设想如下的“隧道案例”情形：

你坐在一辆自动驾驶汽车里，正以稳定的速度驶入一个隧道，前方有一辆载满学生的校车以相同的车速行驶。忽然，你注意到在左边车道上有一辆载有两名乘客的轿车正在试图超过你。由于某种原因，前面的校车突然刹车，你的车已来不及刹车避免追尾。此刻，你的车可以有三种不同的选择：（1）刹车并撞向校车，这将导致校车上的部分学生伤亡；（2）左转，把左边的车推到墙上，救了你的命，却使轿车上的两名乘客丧命；（3）右转，把你的车引到隧道的右墙上，牺牲自己，拯救周围其他人的生命[2]。

作为乘客，如果你有资格为汽车设置撞击方案，你会确认上述哪种选择？针对上述情形，人们可能把第一种选择看作是受到义务论的指导，第二种是典型的利己主义选择，第三种属于功利主义中的利他主义。其实，乘客或司机最为担心的还是安全问题，可能都希望自动驾驶汽车最大限度地保护自己。当然，在他们面临道德两难时，的确会有人选择牺牲自己。人类在不同情境下既可能表现出保护自身的利己倾向，也能够表现出使他者免于伤害或使其受益的利他之心。

实际上，只要自动驾驶汽车与其他的道路使用者存在相互影响，自动驾驶汽车的零事故发生率就是不可能的。尤其是自动驾驶汽车和手动驾驶汽车同时在路上行使时，可能将是交通事故的高发期。此时，如果自动驾驶汽车事故责任归属不清晰，消费者的购买欲可能会受到抑制，进而影响到自动驾驶汽车的大规模应用。因此，确定自动驾驶汽车事故的撞击算法不仅要考虑技术问题，也会涉及很多现实层面的社会伦理问题。

可见，自动驾驶技术在试图解决现有的交通难题时，也给我们带来全新的伦理挑战。目前，我们并没有充足的证据得出自动驾驶汽车一定比现在的汽车更加安全的结论。有可能它在降低死亡率和事故发生率的同时，给我们的社会带来更多的新问题。正如更加便捷且效率更高的汽车代替马车后，导致了交通事故的死亡率上升、交通拥堵和尾气污染等社会问题。尤其，自动驾驶汽车的应用将会增大发生系统性风险的可能性。例如，当道路上联网的自动驾驶汽车都受到云端系统和标准算法的调配，一旦系统出现漏洞或遭遇不法分子劫持，有可能造成大面积的交通系统瘫痪和大规模的人员伤亡。总之，自动驾驶汽车的推广和普及事实上会产生什么样的后果仍然有太多的不确定性。

二、强制的伦理设定与个人的伦理设定

在面对道德两难的抉择困境方面，“隧道案例”与“电车难题”的确有很多相似之处。但是，两者有一个很大的不同：“电车难题”的决策者需要做瞬时的直觉判断，而“隧道案例”中自动驾驶汽车被要求在上路行驶前预置某种审慎的理性决策程序或伦理设定。显然，一个最为紧迫的问题是：究竟何种伦理设定才是正确的？与此相关的问题是，即使我们能确定某种倾向性的伦理设定，那么究竟由谁来决定这种伦理设定？是共同体集体决定还是由个人决定？根据扬·哥格尔（Jan Gogol l）和朱利安·缪勒（Jul ian Mül ler）的分析，符合全体社会成员最大利益的做法是在推行一种强制的伦理设定（mandatory ethics setting，简称 MES），而不是让每一个司机或乘客都选择个人化的伦理设定（personal ethics set ting，简称 PES），因为后者将会带来“囚徒困境”（prisoner’s dilemma）。

实际上，个体诉求与集体利益的冲突之处往往是道德难题的高发地。一方面，从社会发展的制度性约束角度考虑，群体内部的确需要其成员达成基本一致的强制性约定来维系；另一方面，在日常生活和生产活动中，工具的使用者在大多数情况下都可以根据实际需要和使用习惯对工具进行设置，以满足个性化需求。尤其，一个自由社会理应尊重并且允许工具使用者的自主权。因此，自动驾驶汽车作为一种交通工具应该允许司机或乘客对其进行个人化的设定。不过，帕特里克·林（Patrick Lin）对可调整的（个人化）伦理设定提出两个最突出的反对理由：第一，PES可能造成更多的道德问题。人们的财富状况、社会地位、肤色和宗教信仰等都可能成为个体设置道德算法的参量。尽管现代社会已经能够鉴别哪些行为属于歧视，但我们仍然难以避免PES在最初面对新情况时可能对乘客或司机造成不公正的对待；第二，PES可能给个体造成沉重的负担。如果执行PES，那么事故的责任可能要全部由个人来承担。很多人认为，除了公民之外，制造商和政府管理部门也被纳入考虑范围。但是，出于国际竞争压力和对消费者需求的尊重，制造商不会去冒险挑战行业标准；同样，管理部门制定法律和规章要反映公民的价值和集体偏好才能被通过。因此，道德难题的决策权或者说道德权威仍然是公民社会，政府和制造商的选择权是要得到公民的集体认可才行[3]。

与林的分析有所不同，哥格尔和缪勒是从博弈论的视角出发思考这一问题，给出了更具说服力的分析。首先，他们区分三个概念：自私主体（sel fish agent）是指最小化对自己的伤害那些人；功利主义主体（util itarian agent）会为了更大的善，牺牲自己，不论其他行动者怎么做；道德主体（moral agent）基于整体互惠原则，只要大多数同伴做出利他行动，他也会选择这么做，至少在某些情形下会牺牲自己。可以合理地推测，在完全由道德主体构成的群体中，每一个道德主体都会有充足的理由相信每一辆自动驾驶汽车的算法都是合乎道德的，并且有充足的理由为自动驾驶汽车选择个人化的伦理设定。不过，当群体中有自私主体，并且道德主体无法将他们分辨出来时，道德主体会考虑最好不要牺牲自己，因为他们无法确定其他人也像自己一样做道德的事，谁都不希望自己被自私主体欺骗。实际上，我们可以通过对“囚徒困境”的分析来刻画这种博弈关系。因为“囚徒困境”是对一些非常普遍人类行为模式的一种简单概括和抽象。“在这些情形中，从个人的角度考虑，背叛总是最好的选择，但双方背叛会导致不甚理想的结果。……个体的理性导致双方得到的比可能得到的要少，这就是‘困境’”[4]（P6-7）。

“囚徒困境”的结构有助于我们理解社会秩序的核心问题，它所包含的协调有不同动机的个体行为的要素有助于我们分析自动驾驶汽车情形中人们的道德决策模式。在理想状态下，如果每个人都选择道德的PES，那么交通对每个人都是安全最大化的，但现实并非如此。为了说明这个问题，哥格尔和缪勒构想了“跑车案例”情形：假设一个社会中只有三个人和两辆自动驾驶的跑车。每天出门时三个人轮换乘坐两辆车，其中一辆车载两个人，另一辆车载一个人。每天出发前，它们都要决定他们的跑车在面对道德两难时（其中一辆车要被撞毁）如何行为。同时，假定每个人在每台车的乘坐次数都相同[2]。

根据上述情境，如果每个人决定设置自私的PES，那么死亡期望值 E（PES）：0.5×2+0.5×1=1.5；如果采用 MES，那么死亡期望值 E（MES）：0×2+1×1=1。显然，E（PES）＞E（MES）。换言之，PES的社会后果比MES要糟糕得多。上述计算是从社会整体来考虑的，我们也要从个体视角出发来思考这个问题。如果采用PES，那么死亡期望值EPES（I）：（1/3）×0.5+（2/3）×0.5=1/2；如果采用 MES，那么死亡期望值EMES（I）：（1/3）×1+（2/3）×0=1/3。显然，EPES（I）＞EMES（I）。可见，无论从社会角度还是从个人角度，采用个人的伦理设定都将导致死亡率的增加。

在社会成员都选择道德的PES的社会中，如果某个体出于最大化自身安全的考虑单方面地设定自己的汽车，那么不论其他个体如何选择，自私的PES将是他的最佳选择。当然，他所获得的安全是以牺牲他人安全为代价的。所以，其他社会成员一旦知道有人选择自私的PES，那么他们很可能放弃道德的PES，也选择对自身伤害最小的策略。按照个体的理性决策逻辑，至少这样做能增加自身安全。随着选择自私的PES人数不断增加，道德主体的数量将随之减少，最小伤害总体安全的原则将渐渐失效，这最终将导致每个个体受到伤害的可能性不断增加。“基于这种逻辑，在一个没有人准备愿意为了更大多数人而牺牲自己的社会里，事实上发生的交通灾难必然更高。”[2]哥格尔和缪勒将这种现象概括为“道德挤出效应”。明白了这一点，无论自私主体还是道德主体都有充分的理由反对PES。

为了防止集体行为中“囚徒困境”的发生，PES的支持者可能提议通过引入非正式的规则和惩戒来做到这一点。但是，这种方案可能只在相对小型的组织中才方便实施[5]（P258-70）。随着组织的增大，监管和惩罚的成本将不断攀升。交通问题是极其复杂的，在相互匿名化的道路上试图公开每个车辆在某些时刻或某种情境下的伦理设定极为困难，非正式的规则和制裁往往很难发挥实际作用。根据哥格尔和缪勒的分析，我们最终只能诉诸政府干预手段来防止“囚徒困境”的发生，以此达到道德平衡。具体来说，政府要规定自动驾驶汽车的伦理设定，引入一种新的工业标准直接约束制造商，使自动驾驶汽车具备最大化交通安全（最小化对所有受影响的人的伤害）的能力。

当然，强制的伦理设定并不是要忽视人们的规范信念和民众价值观。应用伦理学恰恰最为关注这一点，这是它与传统的伦理学只注重抽象理论运思的明显不同。“原因很简单，任何不正确反映受影响民众价值观的提案，都不会被立法者或受影响的人所接受。”[2]而且，类似MES的方案具有很多经验数据的支持。研究显示，在类似电车困境的情境中，至少有81.3%的参与者倾向于选择将所有受影响的人的伤害最小化[6]（P83）。《科学》杂志发表的一项统计研究表明，尽管功利主义的自动驾驶汽车在最初推向市场时可能会遭遇一些困境，但大部分人都支持自动驾驶汽车被编程为事故死亡人数最小化的算法[7]（P1573）。

三、情境归责的伦理设定：一种混合版本

尽管强制的伦理设定相比于个人的伦理设定具有理论和经验上的优势，但它只是自动驾驶汽车伦理规制的一种可能的路径，仍然可能遭遇以下这些质疑或难题：

第一，强制的伦理设定可能会造成偏见和歧视。例如，如果将功利主义作为自动驾驶汽车的道德决策框架，那么只载有一名乘客的汽车可能更容易成为事故中的撞击目标，这可能导致很多人不愿意购买内置这种算法的汽车。基于最小化总体伤害的道德算法也可能导致自动驾驶汽车在两难情形中撞向较为坚固的汽车，这种算法都会对消费者和汽车制造商造成某种倾向性引导。

第二，仅仅基于互惠和利他来刻画智能机器的道德可能并不充分。道德理论本身都是抽象的，但在现实中人们进行道德评价往往不是基于某个单一的理论，往往还受到情绪和情境等因素影响。“现实世界的行动者通常不是基于纯粹的义务论和功利主义做判断。相反，现实世界中的行动者在评价某些行动或规章时，通常是依靠较为折衷的规范标准。”[2]不过，利他主义和互惠原则作为我们日常道德的核心观念应该是合理的。

第三，PES支持者可能会质疑用公权力来限制理性个体选择的做法。按照PES支持者的观点，自动驾驶汽车的乘客或司机应该并且能够对自己的伦理设定负责，任何公司或政府对他们选择的干涉都是家长式的[8]。然而，这些PES的支持者的态度并非一以贯之。例如，他们主张个人选择应当得到足够的尊重，可能会接受赋予癌症患者对自己生死的决策权，但是坚决反对醉酒驾驶的司机开车，因为这会给他人带来安全风险。其实，自我指定优先权的PES可能就属于后者。

第四，在某些情况下MES会显得不够道德。在某些情况下，某些本来有机会生还的人在两难情形中可能会出于人道主义关怀宁愿选择牺牲自我，而把生命权让给其他人。例如，一对年迈的老夫妇在事故中可能会自愿地选择把生存权让给一个孕妇或小孩的情形，但在MES并没有预置这种具有明显的PES倾向的利他选项的添加[2]。

当然，强制的伦理设定可能遭遇的质疑或难题远不止这些，它们是否对MES构成致命威胁仍是未知数。不过，PES所面临质疑和困境并不比MES少。其中，最突出的批评是，个体可以决定自己的生死，在危难之时选择自我牺牲，但个体没有权力决定他人的生死。PES恰恰是将个体置放于这种决定他人生死的特殊境地。PES的支持者强调技术要尊重使用者的自主选择权，而MES的支持者则强调对共同体价值和利益的维护是社会良序运行的必要之举。其实，问题的关键可能不是确定何者正确，而是如何兼顾两者，最大限度地发挥它们各自的优势，弥补缺陷。对于MES和PES的各种质疑和难题中，有很大一部分是没有足够重视现实情境所导致。在具体的碰撞情境中，自动驾驶汽车的道德算法可能需要引入某些特殊的社会价值因素作为参量。尤其在道德决策框架中，事故的责任方可能需要被优先作为碰撞算法的目标，而无辜者应当获得最大限度的保护。具体来说，这种情境归责方案至少包含以下要点：

第一，在“最小化总体伤害”的原则下，要将保护生命安全作为第一序列参量考虑，情境归责等因素作为第二序列参量。概括来讲，在进行风险责任评估的过程中，在单纯依据第一序列参量无法展开有效道德决策的情况下，可能有必要引入第二序列参量，以此来确定造成事故主要责任方，选择如何碰撞。例如，违规操作的自动驾驶汽车更应当成为事故算法中的受害对象。可能有人会认为在事故发生过程中确定责任方是非常困难的。不过，如果自动驾驶汽车能够正确地评估不同对象的生存可能性，那么在技术上确认事故责任方也将不是问题。在路况数据实时同步的条件下，自动驾驶系统能够快速地调取已有数据并进行责任分析，进而用来做决策，无需等到事故发生后在保险理赔阶段再进行人工认定。其实，在智能道路系统的配合下，每辆车都是整个交通系统的一部分，有很多事故能够通过算法被提前规避。

第二，明确界定与非歧视原则相容的特殊情境。按照IEEE的对专业人员的伦理规范要求，平等对待所有的人，不从事基于种族、宗教、性别、残疾、年龄、国籍、性取向、性别认同或性别表达的歧视行为[9]（P62）。但是，在现实情境中，尽管我们强调在生命面前人人平等，但在危难时刻大多数人会选择给予儿童、孕妇等更多的生存机会，这可能也是一项基本的道德要求。通过征集公民意见和对以往的交通事故进行案例分析，我们能够获得那些审慎选择结果的特殊情境分类系统。例如，在何种情况下乘客放弃自保的条款或请求可以被采纳，哪些对象不宜被作为撞击目标等等。

第三，在明显不会出现生命危险的碰撞情形可能不是以保护生命安全为最高原则。例如，城区道路上普通的刮擦和轻微追尾事故，如果自动驾驶汽车基于MES撞向了高级轿车可能面临高额的保险赔付。尽管自动驾驶汽车的事故算法应该以生命安全为最高指导原则，但这可能并不是最小化伤害原则的唯一指标。拯救更多生命的事故算法可能并不适用于普通事故，两者可能在有些情况下是互斥的。因此，我们可能需要两类不同的道德算法：一类是以人为中心事故算法，适用于涉及生命安全和人身伤害的情形；一类是以车为中心事故算法，适用于保险赔付等低损事故情形。自动驾驶汽车强大的数据分析能力，原则上可以对每一起交通事故现场进行模拟，通过对案例数据库的分析寻找总体上最优的撞击方案。

结 语

自动驾驶汽车不是完美的汽车，不可能永远不出事故。在事故情形中，道德算法应当以最小化总体伤害为原则，以生命安全为第一考虑因素，同时要兼顾具体事故的情境因素（考虑事故责任方、公众意见和普通碰撞情形等）。基于事故责任的碰撞算法在根本上支持强制的伦理设定，试图将事故的伤害指向责任方，同时尽可能地尊重个人在危难时刻个人的合理道德选择。实际上，自动驾驶汽车的伦理设定终将被看作是交通规则的一部分。在思考自动驾驶汽车的伦理问题时，需要尽可能地避免算法歧视和偏见，算法设计需要进行深入磋商才能获得广泛的社会共识。

[参考文献]

[1]Paul Gao，Russel l Hensley&Andreas Zielke.A road map to the future for the auto indust ry[EB/OL].McKinsey Quar ter ly，2014，October.ht tps：//www.mckinsey.com/indust ries/automotive-and-assembly/our-insights/a-road-map-to-the-future-forthe-auto-indust ry.

[2]Jan Gogol l and Jul ian Mül ler.Autonomous cars：in favor of a mandatory ethics setting[J].Science&Engineering Ethics，2017，23（3）：681-700.

[3]Pat rick Lin.Here’s terrible idea：robot cars with adjustable ethics set tings[EB/OL].Wired，2014.08.18.ht tps：//www.wired.com/2014/08/heres-a-terrible-idea-robot-cars-with-adjustableethics-set tings/.

[4]阿克塞尔罗德.合作的进化（修订版）[M].吴坚忠，译.上海：上海人民出版社，2016.

[5]Elinor Ostrom.Understanding Institutional Diversity[M].Princeton：Princeton University Press，2005.

[6]Bryce Huebner and Marc Hauser.Moral judgments about al truistic sel f-sacrif ice：When phi losophical and folk intuitions clash[J].Philosophical Psychology，2011，24（1）.

[7]Jean-François Bonnefon，Azim Shari f f，Iyad Rahwan.The social di lemma of au tonomous vehicles[J].Science，2016，352（6293）：1573-1576.

[8]Jason Mi l lar.Proxy prudence：Rethinking models of responsibi lity for semi-autonomous robots[EB/OL].SSRN Elect ronic Journal，2014.ht tp：//dx.doi.org/10.2139/ssrn.2442273.

[9]The IEEE Global Initiative on Ethics of Autonomous and Intel l igent Systems.Ethical ly al igned design：a vision for prioritizing human wel l-being with autonomous and intel ligent systems，Version 2[EB/OL].ht tp：//standards.ieee.org/develop/indconn/ec/autonomous_systems.html.