论人工智能研究中的前瞻性道德责任

杜严勇

(上海交通大学 科学史与科学文化研究院，上海 200240)

2017年5月，谷歌人工智能“阿尔法围棋(AlphaGo)”与中国职业围棋高手柯洁之间的“人机大战”引发世人的高度关注。阿尔法围棋的胜利使人们再次真切地感受到人工智能越来越强大的能力，“人工智能威胁论”也再次成为一个街谈巷议的热门话题。如何让人工智能更好地为人类服务，尽量减轻甚至避免负面影响？对于这个问题，人们可以从不同的角度给出不同的答案，但无论如何，从事人工智能科技研发的科研人员的责任问题是一个无法回避的关键性问题。本文探讨了科研人员应该承担责任的原因，强调科研人员应该承担前瞻性道德责任，并初步讨论了科研人员履行前瞻性道德责任的可能进路。

一、为何负责？

第一，从科技的社会影响角度看，人工智能科技很可能产生巨大而深远的社会影响，由此突显了责任伦理的重要性。众所周知，美籍德裔学者约纳斯(Hans Jonas)的责任伦理思想产生了很大影响。约纳斯为何要强调责任伦理呢？他认为，随着人类能力的发展，人类的行为特征已经发生了变化，而伦理学与行为相关，那么人类行为特征的改变要求伦理学也需要某种改变。[1](P1)约纳斯所说的人类的新能力，就是指现代技术。现代技术对人类社会的影响无所不在，人类已经处于“技术化生存”的时代，这一点是不言而喻的。

现在学者们普遍认为，现代技术并不是“价值中立”的，技术可能导致人的异化。探讨技术的社会影响机制，努力避免或减轻技术的负面影响，已经成为技术哲学研究的一个重要话题。维贝克(Peter-Paul Verbeek)用调节(mediate)概念来解释技术对人类的具体影响。在他看来，技术不是中立的工具，技术人工物对人类的行为和经验起着调节作用，影响人类的道德行为、道德抉择以及生活质量。[2](P90)人们使用某一新技术导致的结果，可能跟预期的目标相符，但也可能导致不一样甚至完全相反的后果。特纳(Edward Tenner)把技术导致的跟人们预期相反的结果称为“技术的报复”。他认为：“报复效应的发生，是由于新的设备、装置和结构以人们未能预见的方式，跟实际情况下实际的人们相作用的结果。”[3](P9-10)

虽然技术的社会影响是哲学和社会学等领域的重要研究内容，但总的来说，目前学术界对人工智能的社会影响的研究是远远不够的。幸运的是，与人工智能有关的科技对社会的影响已经日益受到人们的关注。2013年，麦肯锡全球研究院(McKinsey Global Institute)在一份关于颠覆性技术(Disruptive Technologies)的报告中讨论了包括先进机器人在内的12种技术对人类生活、商业以及全球经济可能产生的影响。报告认为，先进机器人在带来许多益处的同时，也对就业、教育等方面提出了挑战。[4]2014年，英国发布的一份关于机器人学与自主系统(Robotics and Autonomous Systems，简称RAS)的战略报告称，RAS技术将彻底地改变整个社会的面貌。[5]2016年，美国斯坦福大学发布的一份专门研究人工智能及其社会影响的报告称，人工智能将对交通运输、服务机器人、健康护理、教育、公共安全、就业与娱乐等许多领域产生显著影响。报告还指出，这只是系列研究的第一份报告，该研究计划将持续至少一百年。[6]

从人类目前对个人电脑、手机等智能产品的依赖现状来看，未来人工智能产品对人类社会的调节作用会更加显著，将对人类产生更加深刻的影响。从许多文学和影视作品中反映出的人类对人工智能与机器人科技的忧虑，以及许多科学家与人文学者对无限制发展人工智能的谨慎甚至批评态度，我们也完全有理由认为，如果不从伦理道德等角度对人工智能的发展进行某种程度的控制，人工智能很可能会产生一些负面影响，甚至产生特纳所说的“报复”现象，而且这些负面影响可能是不可逆的。

第二，从确定责任主体的条件看，从事人工智能研究的科技人员应该承担更多的道德责任。约纳斯认为承担责任有三个必要条件，首要的、也是最基本的条件是因果力量，也就是行为对世界产生影响；其次，该行为处于行为体的控制之下；最后，他能够在一定程度上预见行为的后果。[1](P90)从这三个条件我们可以推出，从事人工智能研发的科学家、工程师应该是承担责任(包括道德责任)的主体。用韦尔伯斯(Katinka Waelbers)的话来说，就是实践者(practitioners)，即从事实际技术发展的工程师、科学家以及行政官员(包括个人与集体)。[7](P6)

的确，科学家与工程师作为科技知识与产品的创造者，自然应该为其成果与产品使用的后果承担道德责任。早在1968年，波普尔(Karl Popper)在名为《科学家的道德责任》的演说中就指出：“人们可以怀疑是否存在着有别于任何其他公民或任何其他人的责任的科学家的责任。我认为答案是，在他不是具有特殊力量就是具有专门知识的领域，他负有特殊的责任。因此，基本上只有科学家才能估计他们发现的含义。外行，因此还有政治家，却不能充分地了解。……智慧本身就意味着责任：是在知识上的预见创造了责任。”[8](P10-11)

事实上，一些从事人工智能研究的科学家也认识到自己应该承担的道德责任，积极投身于人工智能的社会影响与伦理问题等相关研究之中。比如，斯坦福大学组织的对人工智能及其社会影响的研究团队，主席就由德克萨斯大学奥斯汀分校的人工智能专家斯通(Peter Stone)担任。在该研究团队近20名成员中，绝大多数都是来自著名大学和研究机构的人工智能、机器人与计算机科学专家。在倡导对人工智能与机器人进行伦理控制并从事相关研究的学者中，也有相当一部分是科技工作者。比如，剑桥大学出版社2011年出版的《机器伦理》的两位主编，一位是哈特福特大学计算机教授迈克尔·安德森(Michael Anderson)，另一位是康涅狄格大学的哲学荣休教授苏珊·安德森(Susan Anderson)。毫无疑问，要让人工智能更好地为人类服务，没有科技人员的努力是根本无法想象的。

二、负何责任？

根据不同的标准，我们可以把责任分为不同的类型。比如，按照责任所涉及的范围，可分为“自我责任”和“社会责任”；按照责任的认定程序来划分，可以分为“追溯性责任”与“前瞻性责任”；根据责任主体与其所负责任之事物的关系来划分，可以分为“能力责任”与“角色—任务责任”；等等。[9](P123-125)我们在这里重点强调的是，人工智能的科研人员需要承担前瞻性道德责任。

道德责任是伦理学研究中的一个传统问题，但前瞻性道德责任的思想却是近几十年出现的新事物。1968年，阿伦特(Hannah Arendt)在《集体责任》一文的第一段就指出，存在这样的事情，当人们还没有完成它们时就要对其负责。[10](P43)阿伦特虽然是从政治哲学的角度论述责任问题，但她这里所讲的责任就是前瞻性责任。在伦理学领域较早强调前瞻性道德责任并产生很大影响的学者是约纳斯。他认为，传统的伦理学主要关注于当下的问题，具有明显的不足之处。“关于某种行为的善与恶必定密切关注行为，要么行为本身正在实践中，要么在其实践范围之内，而不是长远计划的事物。”[1](P4-5)但是，现代技术赋予人类的强大力量，要求一种考虑长远责任的新伦理学，从而实现对未来负责，也就是前瞻性伦理责任。甘绍平认为，约纳斯强调的责任伦理，其新颖之处就在于它是远距离的、也就是前瞻性伦理，以及它是整体性伦理。[11]米切姆(Carl Mitcham)对约纳斯的思想亦持赞同态度，他认为：“技术的力量使责任成为必需的新原则，特别是对未来的责任。”[12](P101)

韦尔伯斯也认为，要让技术实践者承担前瞻性道德责任，需要采用一种跟传统伦理学不一样的责任概念。许多哲学家都讨论了责任或义务，当他们论述责任时，负责任是指成为反应态度的正当目标。也就是说，你已经做了某些正确或错误的事情，为此你应该接受赞扬或谴责。赞扬或谴责显然是追溯性的，是在人们的行为发生之后进行的，此时行为导致的后果已经清楚明了。义务强调的是，你对某事负责是因为你有义务这样做。义务可以看作是前瞻性的，但前提是必须对负责任的行为的内涵进行清楚界定。但是，当我们讨论新技术以及技术的新用途时，一般做不到这一点，因此也就无法界定义务。前瞻性责任采用跟传统伦理学中的责任不同的责任概念，它集中关注人们对未来技术的社会功能之责任。[7](P5)

从技术的社会控制的角度看，倡导科研人员承担前瞻性道德责任，可能是解决所谓的“科林格里困境(Collingridge’s Dilemma)”的途径之一。在1980年出版的《技术的社会控制》一书的“前言”中，科林格里(David Collingridge)指出：“我们不能在一种技术的生命早期阶段就预言到它的社会后果。然而，当我们发现其不好的后果之时，技术通常已经成为整个经济与社会结构的一部分，以至于对它的控制变得极端困难。这就是控制的困境。当容易进行改变时，对它的需要无法得以预见；当改变的需要变得清楚明了之时，改变已经变得昂贵、困难而且颇费时日了。”[13](P11)

虽然“科林格里困境”看上去有点悲观主义和技术决定论的色彩，但科林格里本人并不认为技术就是无法控制的。他指出，为了避免技术产生有害的社会后果，有两件事是必需的：第一，我们必须知道技术将可能产生有害的影响；第二，以某种方式改变技术从而避免这些影响一定是可能的。[13](P16)技术在其发展的早期阶段尚未对社会形成明显的影响，其可控性也较强，目前人工智能技术就处于这个重要的发展阶段。如果我们及时地采取有力措施进行控制的话，在一定程度上应该可以避免落入“科林格里困境”。因此，强调科研人员的前瞻性道德责任，就是实现这一目标的重要手段之一。

从人工智能技术产品的特点来看，倡导前瞻性道德责任可能是解决责任鸿沟的一种重要手段。一般认为，如果行为体要承担道德责任，前提条件是行为体能够在某种程度上控制自身的行为。但是，人工智能产品拥有越来越强的学习能力和自主程度，它们的行为可能更多地取决于具体的环境及其与使用者的互动，所以科研人员无法准确预言和控制其行为。因此，有的学者认为，不能要求科技人员、制造商负责，由此可能导致无人负责的情况，造成人工智能产品的责任鸿沟。[14]我们认为，虽然科技人员可能无法对人工智能产品的行为进行直接控制，但对其行为模式、行为范围及行为能力等方面是可以控制的。而且，我们可以把科研人员承担责任的时间维度前移，要求他们设计出更安全、可靠的人工智能产品，这就可以在一定程度上解决责任鸿沟问题。

总的来说，承担前瞻性道德责任是要让责任主体提前充分考虑自己的行为及研究成果可能造成何种影响与后果，为将来可能发生的事情负责。江晓原认为，对人工智能的发展应该进行重大限制，而且这种限制现在就应该进行。[15]我们认为，让从事人工智能研发的科学家与工程师承担前瞻性道德责任，就是对人工智能发展进行限制的一种重要手段。

三、如何负责？

对人工智能科研人员而言，让他们从理论上承担一些道德责任并不困难。颇为困难也更为重要的是，如何让科研人员承担前瞻性道德责任。在此，我们尝试提出“一个原则、三种工具”，希望能够对建立人工智能科研人员承担责任的机制有所助益。

1.一个原则——预防原则

首先，人工智能科研人员在科研过程中坚持贯彻预防原则(precautionary principle)是履行前瞻性道德责任的基本指导方针。预防原则最基本的意思是，它是一种公共决策原则，它要求决策者在那些对环境和健康存在伤害“威胁”之处，不得以“缺乏充分的科学确定性”为理由而不去采取防止这种伤害的措施。[16](P2)预防原则最早在环境保护运动中得到广泛重视。提出预防原则被视为《里约热内卢宣言》最重要的创新之一。该宣言第15条原则规定：“为了保护环境，各国应根据其能力广泛运用预防的方法。”1990年以后通过的所有关于环境保护的国际法律文件几乎都规定了预防原则。[17](P93)目前，预防原则被应用于对新技术的发展与控制的管理实践当中。2003年，绿色和平组织首席科学家帕尔(Doug Parr)在一份关于纳米技术、人工智能与机器人等技术的研究现状、应用情况及前景展望的报告的前言中指出，预防原则已经成为国际法的一个重要组成部分，人们也致力于对预防概念进行拓展，现在人们认为在技术创新的控制及定向中应该更多地应用预防概念。[18]

已有的对预防原则的界定大多是从保护环境和健康的角度进行的，服务的对象主要是决策者和政策制定者。不同学者对预防原则的定义也存在一定差异，目前还没有一个统一的标准定义，因为对预防原则的理解与应用依赖于不同的具体领域。换句话说，虽然人们对预防原则有不同的理解，但如果将其应用于具体领域，我们还是可以对预防原则进行比较清晰的界定的。而且，从总体上看，预防原则还是有某些共同特点的。有学者把预防原则分为论证版本(argumentative versions)和规范版本(prescriptive versions)两大类。论证版本的预防原则不进行行为规定，而只是一些原则，用以解释哪些原因或论证是有效的。规范版本的预防原则要规范行为，在某些情况下要规定预防措施。第二种版本的预防原则可以被表示为：如果存在(1)某种威胁，它是(2)不确定的，那么(3)某种行为(4)就是强制性的。我们可以把(1)看作是威胁维度，(2)是不确定性维度，(3)是行为维度，(4)是规范维度。一般来说，规范版本的预防原则都有这四种维度。[19]

因此，如果要在人工智能领域应用预防原则，我们至少可以从上述四种维度展开讨论。人们对人工智能日益强大的能力感到一定程度的恐惧，主要是因为担心人工智能最终会达到甚至超过人类智能，从而对人类生存形成巨大威胁，事实上有的未来学家已经做出了这样的预言。但是，如何客观全面地评价人工智能的威胁及其不确定性，应该依赖严格的技术评估。虽然预防原则在许多领域得到广泛的应用，同时，来自不同领域的许多学者都提出要用预防原则防止人工智能对人类造成威胁或伤害，但还鲜有学者深入研究如何将其应用于人工智能领域，这方面的工作急需展开。另外，在人工智能发展日新月异的时代背景中，预防原则的应用也需要根据具体的科技发展水平不断进行调整。

2.三种工具

韦尔伯斯认为，为了探究某种技术将来可能产生的社会作用，减少在评估中的盲区和偏见，我们应该逐一思考以下五个方面的问题：技术的目标是什么？会影响哪些实践活动？在这些实践活动中，常见的行为理由是什么？考虑到这些理由和现有的技术，该技术可能有哪些用途？这些用途将会如何调节相关实践的行为理由？[7](P93)为了回答这五个问题，以及对新技术的社会功能进行评估，韦尔伯斯认为我们可以采用以下三种工具：(1)反思工具：想象力哲学(Philosophy of Imagination)，也就是想象技术可能产生的不同用途与效果。(2)主体间工具：建构性技术评估。(3)研究工具：行为研究，也就是运用行为科学的经验方法，探究人与技术的互动。[7](P96-99)接下来我们较为详细地讨论这三种工具。

(1)反思工具：想象力哲学

事实上，韦尔伯斯提出的三种工具已有一些学者有过相关的论述。比如，约纳斯提出所谓的“恐惧启发法(The Heuristics of Fear)”，以及“未来伦理学(Ethics of the Future)”的两条义务，其实质就是要激发人们的道德想象力。“恐惧启发法”的意思是，我们只有认识到事物可能产生的危险，我们才能认识这种危险的事物，也才能明白我们应该保留什么，以及为何要保留。他强调，道德哲学应该考察恐惧在前，考察愿望在后，从而了解我们真正珍爱的是什么。[1](P26-27)在约纳斯看来，道德哲学中对善的概念的研究主要是考察我们的愿望，但事实上恐惧应该是更好的向导。就像健康那样，当我们拥有它的时候，我们通常不会发现它是我们所渴望的；但当我们要为健康而忧虑的时候，我们才能真正明白它的重要性。

约纳斯提出的未来伦理学的两条义务直接与道德想象力相关。第一，想象技术活动的长远影响。由于我们所恐惧的尚未发生，而且在过去和现在的经验中也没有类似的情景，我们只能充分发挥创造性的想象力。第二，激发一种适合于我们所想象的场景的情感。由于我们想象的遥远的恶并不威胁我们，也并非近在眼前，所以激发起来的恐惧感会很少。因此，我们要设身处地为子孙后代考虑，使我们的精神心甘情愿地受到后辈人可能遭遇的命运和灾难的影响，给他们留下更大的发展空间，而不是无用的好奇心和悲观。[1](P27-28)

道德想象力及其重要功能已得到不少学者的重视。杨慧民等人认为：“道德想象力能有效地扩展和深化人们的道德感知，使其超越直接面对的当下情境，并通过对行为后果的综合考虑和前瞻性预见为人们提供对长远的、未充分显现的影响的清晰洞察。而这正是后现代人类行为可能结果的不确实性(即责任的缺位)向人类提出的新要求。”[20]总的来说，道德想象力有助于人工智能研发人员识别设计问题的道德相关性，创造新的设计选择，并设想其设计可能产生的后果，从而提高其承担责任的能力。[21]

另外，通过培养与提升科研人员的道德想象力，进而激发起他们承担责任的自觉意识，这一点亦至关重要。石里克(Moritz Schlick)指出：“与宣布一个人什么时候该承担责任的问题相比，他自己觉得什么时候该承担责任的问题要重要得多。”[22](P120)目前学术界已有一些关于道德想象力的代表性论著发表，当务之急是参考借鉴已有的理论与案例研究成果，结合人工智能科技的特点，充分利用虚拟现实等技术手段，以及文学、影视作品等各种资源，提升人工智能科研人员的道德想象力。

(2)主体间工具：建构性技术评估

利用道德想象力对技术进行预见的功能毕竟是有限的，许多学者提倡对新技术进行建构性技术评估(Constructive Technology Assessment，简称CTA)。CTA于20世纪80年代中期起源自荷兰。1984年，荷兰教育、文化与科学部在政策备忘录中表现出对CTA的浓厚兴趣，之后这个术语便流传开来。对“建构”的强调源于CTA的发展是由技术发展研究所引导；而技术评估的其他分支却不是如此，它们主要是受其他学科或跨学科的多个领域的影响。可以把CTA看作一种新的设计实践，各种不同的利益相关者从一开始就以相互作用的方式参与其中。CTA强调需求与可接受性的对话及清晰表达，这是CTA的重要组成部分。消费者与各种团体共同参与到专门为引入新技术而建立的“平台”，与公司一起讨论技术与产品的选择。CTA围绕对新技术的期望效果和影响的尝试来进行，其实这也是各种技术评估工作的核心部分。在传统的技术评估中，技术或工程是给定的，因此被看作是一个静态的实体。而对CTA来说，过程动力学(dynamics of process)是核心，在技术转变的过程中，各种影响被看作是正在建构中的，并且是合作产生的。这些影响来源于包括科研人员、管理人员、使用者以及相关组织等在内的各种行动者，也就是说这些行动者共同制造影响。[23]

总的来说，CTA的目的是想要在新技术广泛应用之前，综合各方的观点和利益，影响技术的设计过程，使技术产品能够更好地满足人们的需求，并减少负面影响。有的学者已经将CTA应用于对纳米技术的评估，[24]不过研究者选择的访谈对象主要是实验室的专家，也就是技术行动者，得出的结论难免会有一定的局限性。但是，所有的专家都认为，他们的研究将会对工业甚至整个社会都产生影响，显示出受访的科学家都清楚地认识到了自己的社会责任。

虽然CTA受到许多学者的高度重视，但仍然有一些关键性问题需要解决。比如，维贝克认为，CTA主要关注于人类行动者，对非人实体的调节作用关注不够；CTA关注技术发展的动力学，也就是打开了技术“设计语境”的黑箱，但并未打开技术“使用语境”的黑箱。[2](P103)而且，把不同行动者的反馈意见真正在技术的发展过程中体现出来，还存在诸多困难。尽管如此，CTA为我们评估人工智能科技提供了一个有用的理论工具，如果运用得当，完全可以对其发展发挥积极的影响。比如，在人工智能科技发展过程中，如果公众能真正参与其中，并对科技的发展产生实际影响，这对于减轻甚至消除对人工智能的恐惧感，显然是非常有益的。

(3)研究工具：行为研究

如果说CTA主要关注于科技“设计语境”的话，那么运用行为科学的经验研究方法可以更多地对“使用语境”进行探索。行为科学是指用科学的研究方法，探索在自然和社会环境中人(和动物)的行为的科学。虽然行为科学与社会科学有重叠与类似之处，但行为科学强调用客观的观察方法和现代技术手段直接收集资料，分析研究结果。由于行为科学研究中使用了比较科学的方法，因此可以对社会科学中的问题得到比较可靠的结果，并能预测社会现象的发展变化趋势。[25]我们可以应用行为科学的研究方法，探究人与人工智能产品(比如机器人)的互动。在逐渐向我们走来的智能时代中，机器人毫无疑问可以帮助我们解决很多问题，机器人的设计固然应该以实现任务为中心，但人类与机器人互动方面也必须得到充分的关注。

日本学者辻祐一郎(Yuichiro Tsuji)等对人与机器人互动的移情(empathize)现象进行了研究。在人与人的互动中，眼神交会、社会接触和模仿都可以用于提高移情作用，人与机器人也可以发生情感互动，那么在人与机器人互动中，哪些方法可以引起移情现象？人类的哪些行为可以作为移情的评价指标？辻祐一郎等人让4名大学生观察机器人玩游戏，并让他们对机器人在开始游戏时以及对游戏的胜利或失败的结果做出不同的反应，比如叫机器人的名字、轻拍机器人，等等。实验结果表明，人们通过叫机器人的名字和安抚机器人等行为，可以增进与机器人的移情作用，眼睛注视(eye fixation)可能可以作为移情的一种评价指标。[26]

奥斯特曼(Anja Austermann)等人对比了人类与不同类型的机器人的互动现象。通过对比研究人与人形机器人ASIMO、宠物机器狗AIBO之间的互动，发现使用者与这两种机器人之间的互动并没有明显的差别。也就是说，如果不同机器人根据同样的任务做出同样的表现，使用者的印象主要是根据机器人的现实表现，而不是其外观。不过，研究人员发现，机器人的外观在一定程度上还是会影响它们与人类的互动。最明显的差别是，人们经常采用抚摸的方式对AIBO的行为进行反馈，而对ASIMO几乎没有抚摸的现象发生；相反，使用者倾向于以对ASIMO说“谢谢”的方式进行反馈。[27]桑托斯(Thiago Freitas dos Santos)等人考察了人与AIBO之间的互动现象，得出了更为乐观的结论。他们发现，人们在与AIBO互动的过程中普遍感到很舒适，甚至有一名女士兴奋得不停地抚摸AIBO，还有一名小男孩要求他的母亲把家里的真狗换成AIBO。[28]

目前的许多研究都表明，人与机器人互动确实与其他的技术或人工物有着明显不同，特别是人与机器人之间可能产生的情感联系。因此，如何全面评价人与机器人的互动也成为一个重要问题。[29]不过，目前人与机器人的互动研究重点主要集中于研究人类的行为。我们认为，随着人工智能水平的进一步提高，我们必须把研究重点转向研究机器人的行为。毋庸置疑，深入探索、评价人与机器人的互动模式及其效应，对于机器人的设计、人类接受机器人以及对机器人的行为控制等方面都具有重要的理论与实践意义。

四、结语

在未来的智能时代，人工智能科技必将对人类生活的方方面面产生重大而深远的影响。如何更好地使人工智能为人类服务，避免或尽量减轻负面影响，是科研人员义不容辞的道德责任。与传统的对已经发生事件的追溯性道德责任相比，考虑到人工智能潜在的巨大影响，科研人员应该积极承担起前瞻性道德责任。也就是要求科研人员对人工智能研究的目的、方向以及可能产生的社会影响有比较清醒和全面的认识，并在研究过程中采取必要的防范措施。如何使科研人员承担前瞻性道德责任的方式机制化，也就是形成一套完整的机构与制度来保证科研人员履行道德责任，我们还有大量的工作要做。