自动驾驶汽车的道德算法该如何设计

谭 艳，何礼广

(湖南师范大学道德文化研究中心，湖南长沙 410006)

目前，无人驾驶技术在飞速发展，在未来，就像机动车淘汰畜力车一样，自动驾驶汽车终将逐步淘汰手动驾驶汽车，或成为人类未来社会的主流陆路交通工具。自动驾驶汽车也存在面临交通事故的可能性，尽管无人驾驶技术和人工智能技术的使用会有效降低交通事故的发生率，然而它也绝不可能做到万无一失。在交通事故面前，它必然会面临众多道德抉择，甚至会陷入道德困境。那么，在面临交通事故时，自动驾驶汽车应当如何抉择？自动驾驶汽车的道德算法又应当采用什么样的道德原则呢？

一、电车难题概述

众所周知，最早的电车难题是由哲学家菲利帕·福特于1967年提出来的，当时是作为哲学上的思想实验，它主要用于模拟人在面临道德两难问题时会做出何种抉择以及为何如此抉择。它最初的描述是：电车刹车失灵而前方轨道上有五个人，如果不变更轨道，这五人将成为交通事故的受害者，但是有一个旁观者可以拉动改道装置使电车开往另一条轨道，然而在那条轨道上也有一个人，变更轨道意味着将原来五个人面临的交通事故转嫁给另一个无辜者。对于这个电车难题，每个人都能给出自己的回答。有些人认为五个人的价值更大，因此会选择改道，这符合功利主义思想，然而功利主义被人诟病之处就是它以整体之名来伤害个体之利益；所以，反对功利主义的人便会强调一个人的生命和利益不能为整体所牺牲，个人的生命神圣而不可侵犯，因此不允许改道，这符合道义论思想，它总是在一定程度上拒斥功利主义。还有人认为既然道义论约束了不能转嫁风险、危害他人，那么在原来五人已经面临交通事故的既定事实下，就应该认命，这符合宿命论思想，这种思想比较消极，既不敢站在道义论的角度拒斥功利主义，也不敢站在功利主义角度做出牺牲的抉择，实质上是一种不作为。当然，电车难题毕竟只是一个思想实验，它的解答是开放性的，并无绝对的对错之分，也不能凭借回答就评价某人道德与否。

随后电车难题发生了一系列变种，其中比较著名的就是“胖子”版本。它设计旁观者必须亲手把“胖子”推入轨道，用胖子庞大的血肉之躯阻挡火车继续前进，通过牺牲“胖子”这个无辜者来拯救原来面临交通事故的五个人。“胖子”版本最大的改动就是决策者在选择牺牲无辜者时是否和这个无辜者发生了直接的身体接触。在初始版本中，拉动一个开关，在很多人看来决策者只是间接造成了无辜者的伤亡，反观“胖子版本”，“亲手推倒”的方式让决策者和无辜者发生了直接的肢体接触，直接导致了无辜者的伤亡，这种直接的肢体接触成为了无辜者变成受害者的决定性因素。实际测试结果表明，这种设计差异将在很大程度上影响人们的决策。原本会有很多人选择变更轨道，通过牺牲另一个无辜者来拯救原本面临交通事故的五个人，甚至他们在做出上述决策时还会有着强烈的自我认同感，认为自己的决策是绝对正确的。然而，一旦换成“胖子”版本，他们的自我认同感就会消失殆尽，很大一部分人会开始质疑自己的决策是否真的那么正确，从而会转向选择“不作为”，哪怕仍然坚持选择牺牲一个“胖子”来拯救那五个面临交通事故的受害者，决策者的内心也会觉得不太能够接受这种“亲手推倒”的做法。

“电车难题仅仅作为思想实验是可能出现的，但是很多人都认为在现实生活中不会出现这样的情况。”[1]确实，在现实生活中，很少会出现这种极其边缘情况下的选择。即使我们碰到一些难以选择的问题，它给我们提供的选项往往也不仅仅只有两种，更不会只是单纯的两个互斥选项，一定会夹杂许多的可以帮助判断的内、外部因素。虽然在生活中这种极端的两难决策极其少见，但是人们仍然会面临许许多多在道德上仍然模糊的决策。

二、自动驾驶汽车的道德困境

自动驾驶汽车也不具有绝对的安全性，它也可能参与交通事故。在电车难题的思想实验上，自动驾驶汽车实际上就是“用一辆自动汽车代替电车，用汽车的软件代替旁观者”[1]。事实上，人工智能将在自动驾驶模式下代替驾驶者做出后续的所有决策。人工智能和人在决策权上的冲突是任何自动驾驶系统都首先要解决的问题。2018年10月和2019年3月波音737 MAX 8机型所发生的两起重大坠机空难震惊国际，事故调查人员怀疑错误的传感器读数触发了MCAS，从而迫使飞机进入俯冲状态，导致了惨案的发生。中国首先对波音737 MAX 8机型实施了禁飞限令，随后引发了全球禁飞浪潮。无论空难的真实原因是什么，国际对MCAS的担忧呈现了这个案例中的两个人机冲突：一是MCAS的生效不需要飞行员的指令，二是飞行员无法及时有效阻止MCAS生效后的错误俯冲。这表明人工智能作为人的附属品和创造物，它的决策只能是致力于实现人所能做出的最好决策，它的决策要为人所规定、约束、修正甚至是否决。自动驾驶汽车在电车难题上将创造一种新的情景，即它与传统电车难题不涉及旁观者切身利益不同，在自动驾驶汽车参与交通事故时，作为旁观者的乘客一方面变成了当事人，另一方面却将决策权赋予了人工智能。这种情景下，人工智能是否只能选择牺牲路边的无辜者？抑或是能够选择牺牲车主？即使如此，车上的乘客又是否愿意选择牺牲自己？在这个问题上，想必在当事人内心至少是犹豫的。

毋庸置疑，自动驾驶汽车在面临一场不可避免的交通事故时终究还是要做出一个决策，无论这个决策是关涉车上乘客的利益还是关切社会利益。那么人工智能系统又会选择撞向谁呢？老人或者小孩？男人或者女人？更多的人或者更少的人？是牺牲车主还是路人？这些决策的背后是否具有道德合理性和行为合法性？这些决策又能在何种意义上为广大人民群众在“无知之幕”的原初状态中所抉择从而具有公正性呢？电车难题考究的不是人工智能的道德决策能力，而是人的道德决策能力，毕竟人工智能只是遵循人类提前预设好的决策规则罢了。一个不可否认的事实是：在人工智能的软件或硬件没有出现故障的情况下，它的决策远远比人的决策要高效，它能够又快又好地按照人类所预设的规则尽可能地做出最佳的决策。自动驾驶汽车是人类科技进步的成果，不能因噎废食，是否愿意让人工智能来替人类做决定，这是自动驾驶汽车对人类发出的挑战。要克服这个挑战，至关重要的是要解决这个问题——自动驾驶汽车的道德算法应当如何设计？只有设计好道德决策规则，人工智能才能在正常工作情况下遵循人设计的规则做出更好的决策。

自动驾驶汽车的道德难题还有一个更为特殊的地方，那就是在这种道德难题中，我们往往要预测一切可能发生的场景。自动驾驶汽车在行驶的过程中所面临的问题是复杂多样的，可能会因为天气的原因产生事故，可能会因为突发的事件发生事故，也可能会因为汽车的故障导致不可避免的事故。那么当这些突发情况导致事故发生无法避免时，又该依据什么样的规则来进行决策呢？正是因为自动驾驶汽车在做道德决策时有那么多的不可控因素，所以对于自动驾驶汽车是否能够商业化，人工智能的决策是否真的能优于人的决策，这些问题目前都存在着很大的争议。但是不管争议如何，如果自动驾驶汽车将成为未来的主要交通工具是不可避免的，那么我们能做的就是选择一套尽可能好的道德算法植入到自动驾驶汽车中，用来达到最理想的效果。在用何种方式设立自动驾驶汽车的道德算法问题上，学界有两种相互对立的流派，即“屏蔽信息而依靠道德运气进行随机选择和基于完全信息的人工智能系统自主选择”[2]。前一种方式对完全信息尚存在质疑，它的随机性流露出一种简朴的平等观；后一种方式对人的道德理性以及人类的科学技术予以了肯定和信赖，它对信息的依赖性流露出对道德理性的推崇。我们同样推崇道德理性，也坚信信息总是会从不完全朝更完全发展，这个变化过程依赖于科学技术的发展进程。

三、关于自动驾驶汽车的道德算法设计

在设计自动驾驶汽车的道德算法时，以下几个问题总是绕不过去。第一，道德算法由谁来设计？第二，道德算法为谁设计？第三，应当采用何种道德原则作为这套道德算法的基本原则？只有正面解决了这几个基本问题，才算是进入了为自动驾驶汽车设计道德算法的殿堂，才能进一步去探寻自动驾驶汽车道德算法设计的基本原则。例如，余露曾指出：“我们在设计自动驾驶汽车的事故算法时，我们应该遵循两大原则：综合化和个性化。”[3]

首先，第一个问题，应该由谁来设计自动驾驶汽车的道德算法？有这样几种主体——汽车制造者、个人车主、政府[4]。如果由汽车制造者来设计，这些工程师、科学家会设计一些科学的程序，并且设置一些符合消费者需求的程序。但是，系统的设置和伦理规则的设置毕竟是两个不同的领域。术业有专攻，汽车制造厂商更擅长制造汽车，关于非正常的、涉及伦理的程序不能只由汽车制造商来设计。如果由个人车主设计，也就是由使用者来决定。这在一定程度上可以满足个人使用者的需求，保障个人的利益和安全。但是个体的道德倾向大多数情况下是不一致的，按照每个人不同的需求来设计不同的道德算法是完全不可取的，也是完全不合理的。如果由政府来设计，依照我们的国情也可以说是由集体来决定。大多数人都会同意这种方式，并以此来尽可能地保障更多人的社会利益。但是也有人会担心，政府的干预是否会使得效率降低？而且，政府机构分立很多，具体应该由什么部门来设计也是需要考虑的。因此，由单独的某个主体来设计是不太现实的，最好是采用一种混合制的方式。既要保障企业的利益，也要满足个体的需求，更要最大程度地保障社会的利益。

第二个问题，这套道德算法为谁设计？如果为车主设计，也就是设计一套在任何情况下都应该尽最大可能保护车主的道德算法。虽然这样可以最大程度地满足个人的需求，但是在个体自利的本性下，或许会走向“囚徒困境”，以致交通事故更加混乱，而且在面对不可控的突发情况下，是否能有效保证车主利益也是个未知数，人际之间的利益冲突和矛盾也会因此转向“车际之间”，交通矛盾与纠纷不可避免。如果为公众设计，即尽可能地保障集体的利益，那么在必要的情况下可以牺牲车上乘客的利益。虽然这是我们一直歌颂的品质，但是没有人乐意去选购一辆不会保护自身利益的自动驾驶汽车。所以，道德算法不能完全只为个人或者完全只为集体设计。我们应该尽量考虑个人的利益，更要考虑集体的利益。但这往往是很难衡量的，因为“个体诉求与集体利益的冲突之处往往是道德难题的高发地”[5]。

第三个问题，应该采用什么样的道德原则作为这套道德算法的基本原则？Noah J. Goodall在这个问题上具有一定的权威性，他在一篇名为《远离电车问题转向风险管理》(AwayfromTrolleyProblemsandTowardRiskManagement)的文章中提出了自己的见解，那就是采用一种风险管理的方法。风险管理的基本形式包括考虑每个潜在结果的大小和可能性。当然要进行这种分析就需要超大的数据支持，这是毋容置疑的。同时，要进行这种风险管理，对于设计自动驾驶汽车的程序员来说也是一项浩大的工程。或者是设计一种具有学习能力的人工智能程序，可以让自动驾驶汽车在工作时不断通过学习迭代更新，从而能够更智能地分析数据，在同一情景中做出更为优秀的决策。但是无论是哪种方式，都需要一个浩大的数据库来为这种风险管理的决策方式提供支持。

所以，在给自动驾驶汽车设计道德算法时，所要考虑的绝不是单纯地从某一个方面出发，更不可能只纯粹地保护某一方的利益，当然，要满足所有人的需求也是不可能的。从目前来看，最终的道德算法设计或许只能采取类似功利主义的原则，做到满足多数人的需求，保护多数人的利益。如果自动驾驶汽车能够做到：(1)在面对突发交通事故时，自动驾驶汽车可以迅速地进行判断，选择伤亡最小的方案；(2)在面向电车难题时，能迅速地做出风险评估，判断每个人的生存率和死亡率，最极端的情况下，判断每个人能为社会创造的价值，并以此作为决策的因素。那么，尽管会有人反对这种道德算法，但是保护多数人，保护能为社会创造更大价值的人也不失为一种通达“善”的可取原则。

因此，可以借鉴Noah J. Goodall的风险管理思路，也可以参照罗尔斯在作为公平的正义中对两个正义原则所采取的做法——建立一种词典序列以确定道德原则之间的优先序列，甚至为了克服道德算法中的功利主义成分，也可以汲取罗尔斯正义论中的契约论方法——对原初状态、“无知之幕”的引入。正如罗尔斯所言：“原初状态必须具有这样一种特征：在那里规定是被广泛接受的，正义的原则是在一种无知之幕后被选择的。”[6]在人工智能可以评估的情况下，牺牲谁和拯救谁，这本身就蕴含着一种关于合理性、公正性和对等性的评价。因此，一种致力于使自动驾驶汽车在电车难题中做出合理、公正、对等决策的道德算法就具有了正义的德性。这种道德算法便获得了去功利化的特质，在形式上采用了一种风险管理的方式，但它要设置有差序的道德决策原则。

第一原则称为生命原则。生命是指人的生命，它所依赖的只有那些类似交通事故中所积累出的风险评估数据，例如风险系数、相关的生存率、某种条件下的伤亡率等，从而综合决策，实行保护存活率更多的那种方案。虽然生命原则可能允许以更多的生命去伤害更少的生命，似乎仍然是功利主义思想，但是它作为优先级最高的道德原则，只允许生命层面的僭越。人工智能遵循生命原则做出的道德抉择并不是定向牺牲某一个无辜者(符合道德运气)，它的决策更是在“无知之幕”之后做出的，也就是不会关涉到交通事故场域中任何个体的自然因素和社会因素，这意味着它会忽视所有人的身体素质或身份地位等因素，至于其他动物和人造物，无论价值多高都不在考虑范围之内。或许，在传统契约论的原初状态中，个人会拒斥整体对个体生命的牺牲，但是传统契约论中那种基于个体的原初状态只存在于理论之中，那么是否可以将原初状态拉回现实，将它设定在一个社会化的场域中？这样，忽视个体的自然因素和社会因素便可以称得上原初状态，因为在社会化场域中签订契约的已经不是一个独在的个体，也正是这样，大多数人都能认同现实境遇下的基于“无知之幕”的生命原则。国家元首和普通人的生命权一样重，在生命原则下，老年人和年轻人的生命权一样重，重病者和健康者的生命权一样重……人工智能依据生命原则不会歧视任何人的生命，它只会致力于在交通事故中保存更多人的生命，这种优秀决策结果是人类决策难以实现的，甚至始终站在公正原则立场上也是人类在现实生活中几乎无法做到的。人工智能通过大数据分析所得出的结论，很大程度上是比人通过理性分析所得出的结论要可靠得多的。James H. Moor就说过：“最令人印象深刻的是，一个明确的道德代理人能够自主地处理现实生活中发生的一系列不可预知的事件。”[7]

第二原则称为价值原则。它是一种辅助式的原则，它所依据的恰恰是生命原则所屏蔽的个体的自然因素和社会因素，例如社会价值、身体健康状况、学历状况，精神状况，甚至是财产状况等。价值原则实际上需要超大的数据支持，甚至是追求完全信息。启用这个原则的前提条件是人工智能依据生命原则所评出的最优方案并不唯一，这种时候需要用价值原则辅助，以期在生命原则所评出的多个同等优先级别的方案中筛选出最优的那个。实际上，这两个道德原则的应用是同时的，也就是说在人工智能的决策中，信息是尽可能地向它开放的，包括所有个体的自然因素和社会因素，只是依据词典序列，生命原则的优先级别要绝对高于价值原则罢了。我们倡导生命原则，设计人工智能的决策处于“无知之幕”下，并不是意味着要刻意屏蔽科学技术能够获得的信息，甚至可以讲，价值原则的应用表明了我们对完全信息的追求。当然，生命原则所要求的信息量和信息技术是目前的科学技术水平能够轻易满足的，这也意味着，在自动驾驶汽车的发展应用过程中，一种应用生命原则的道德算法是能够实现的，同时，我们也追求信息技术所带来的便利，追求完全信息在人工智能决策中的作用。万物互联互通这项工作无疑是艰巨的，但是当有足够多的数据支持时，人工智能才能做出更加完善的决策，人们才能更好地享受自动驾驶汽车对生活带来的巨大便利。

第三原则称为人道原则。它是一个具有链式关系的补偿原则，也是一种预先设定的强制性原则。它的核心精神就是：在人工智能对电车难题的最终决策方案中，总是会存在无辜的牺牲者和间接的或直接的事故豁免者，这些被拯救者要按照一定的责任划分，向那些牺牲者的家庭予以无条件的相应经济援助。因为在一个交通事故中，人工智能的多种决策方案中总是链式地串联起许多人，这个链式关系上只有最小部分人被选择为牺牲对象，剩余的绝大部分人将被选择为事故的豁免对象。因为这个链式关系涉及的人群会比较大，倘若按照一定的责任划分方案来划分经济援助额，这种责任分流方式会使得链式关系中的个体所承受的经济援助压力非常小，甚至也可以想象，肯定会有保险公司出台“补偿援助险”。之所以人道原则是强制性的，一方面是因为它对事故豁免对象而言仅仅造成很小的经济负担，但对事故对象的家庭而言却有着“众人拾柴火焰高”巨大功效；另一方面是因为强制性的补偿保障会让生命原则更容易被广泛接受。人道原则对生命原则的功利主义思想也予以了一定程度的消解，即用补偿来消解整体对个体的“伤害”。但这并不是说，用经济补偿就能获得功利主义对个体伤害的正义性，生命原则的正义性本质上根源于它的决策处于“无知之幕”下，因而获得了社会场域原初状态下人们的广泛接受。

四、结语

在人类社会的发展进程中，人工智能的发展不会停止脚步，人类也不可能让它停止发展。自动驾驶汽车不是完美的，它也永远不可能是完美的。交通事故是无法杜绝的，无人驾驶技术和人工智能技术的应用只能让自动驾驶汽车以远超个体的能力去尽可能地降低事故的发生率，降低事故带来的伤害和损失。甚至可以想象，当自动驾驶汽车的普及率达到一定程度后，是否自动驾驶汽车在面临交通事故时会协同决策和协同处理？信息技术基础上的精准协同是人类驾驶员无法匹及的。在那些极端和突发的情况中，特别是涉及到人的生命安全的情况下，应当让人工智能遵循三大基本道德原则，并保证生命原则的至高优先级别，从而尽可能地保障更多人的生命不被损害，尽可能使事故中人的伤亡最小化，这是笔者所推崇的。人工智能基于生命原则的道德决策所需的数据量和数据技术是目前科学技术能够轻易实现的，当然，自动驾驶汽车也追求更好更强的信息技术，更多更快的信息支持。目前，一个较好的可取态度便是认清人工智能决策的优点，并给它足够的发展空间和信任包容。人工智能作为人之本质的对象化，它的决策依赖于人类对规则的把握。在未来，自动驾驶汽车能更快地做出比人类更好的事故决策，这便是人工智能的最大价值之所在。