人工智能道德顾问的合理性反思

刘 星

道德心理学和决策心理学的研究表明，直觉和情感在大多数时候驱动着我们的判断和决策，而其方式通常不能令人满意。根据我们自觉的道德目标和原则，我们经常“不道德地”或至少以不道德的方式判断和行事［1］（367-392）。很多时候，个体带有错误的道德信仰、缺乏道德判断的关键信息和道德偏见等原因，很容易得出错误的道德判断，进而阻止个体作出正确的道德选择。例如，假如你有遵守环保的道德承诺，所以你希望把杯子投放到正确的垃圾箱中，尽管你的道德承诺很简单，但你通常无法根据自己的道德标准作出正确的选择。可能由于你不确切知道杯子的材料，你经常把杯子丢到错误的垃圾箱中，而达不到自己的道德标准。你可能致力于社会公正或减轻动物痛苦，因此，你可能想购买正宗的公平贸易产品或正宗的散养鸡蛋。但是，当你在超市时，你没有时间和精力来收集和处理所需的所有信息，以便与你的原则保持一致。你可能会根据包装上的图像或颜色购买产品，同样你的选择达不到你自己的道德标准。各种各样的例子都显示出关于人类的简单事实：我们通常无法作出符合自己的道德目标的选择，尤其是当我们必须在短时间内或紧急情况下作出决定时。因此，情感和直觉的判断通常会取代信息的收集、反思和计算［2］（170）。简而言之，我们是次优信息处理者、道德判断者和道德主体。

在本文中，我们描述了一种“人工智能道德顾问”形式，即一种基于道德标准的软件，它将比我们的大脑更快、更有效地向我们提供道德建议。例如，我们告诉它要作出环境友好的选择之后，它将告诉我们将空杯子准确丢到哪里；关心动物福利时，它将告诉我们要购买哪些鸡蛋。更广泛地说，它将帮助我们进行许多道德选择，因为我们有认知局限性，我们很可能无法达到自己的道德标准。这种道德人工智能不仅可以在实际应用中使我们的判断和行动与我们明确的道德目标更加一致，而且在哲学上也将是一种有趣的技术，因为它可以实现“理想观察者”的准相对论版本，从而弥补人类道德动机及其实现目标之间的信息缺口，具有可及的现实基础和应用价值。但是，由于个体道德判断和道德行为的复杂性，以及情感和直觉等各种因素的角色和影响，在缺乏必要的信息解释和合理性反思时，人工智能道德顾问也可能陷入伦理争议，这是本文致力于解决的重点内容。

一、问题缘起：人工智能道德顾问与理想观察者

1952 年，罗德里克·费斯（Roderick Firth）在论文《道德绝对主义和理想观察者》中提出了著名的理想观察者理论。经典的“理想观察者”理论认为，与其他类型陈述不同，道德陈述是一位“理想观察者”以某种方式作出反应的陈述，也即如果一个完全知情的、智力没有缺陷的、有道德的观察者认为该行为是正确的（该信念是合理的），那么在特定情况下，行为是正确的［3］（198）。费斯的“理想观察者”的特征是：（1）对非道德事实无所不知；（2）全知全能（有能力同时可视、想象和使用所有信息）；（3）无私；（4）冷静；（5）始终如一；（6）在所有其他方面正常［2］（170-172）。

理论上讲，这种基于道德绝对主义的理想观察者需要对非道德事实无所不知且无所不能，客观、公正、冷静且始终如一，而不是仅仅知道与道德相关的事实。这种理想的能力设置，导致理想观察者只能存在理论层面，不具有现实基础和应用价值。实际上，理想观察者不可能是人类，有限的人类与理想观察者相去甚远，因为我们无法收集或使用所有相关信息，并且不能保持公正和不受情绪的扭曲或影响。

2015 年，朱利安·赛维勒司库（Julian Savulescu）和汉纳·马斯伦（Hannah Maslen）在一篇题为《道德增强和道德人工智能》的文章中曾提出“道德人工智能”理论［4］（79-94）。在此背景下，2018 年阿尔伯托·朱比利尼（Alberto Giubilini）和朱利安·赛维勒司库（Julian Savulescu）在《人工智能道德顾问：“理想观察者”遇上人工智能》的文章中描述了一种基于道德标准的软件，它比我们的大脑更快，更有效地向我们提供道德建议，帮助我们进行道德选择，从而实现“理想观察者”的准相对论版本，也即更好地接近“理想观察者”的人工智能道德顾问（Artificial Moral Advisor，AMA）。

通常，此类技术基于环境智能，即一种主要通过“上下感知”起作用的人工智能形式。换句话说，它可以通过数字对自然的和用户环境中的物理实体进行建模，并对相关信息进行持续的解释和分类，从而对这些信息进行识别和理解，通过与人的交互进行响应，以定义和服务特定的需求。根据阿尔伯托和朱利安两位教授的描述，AMA 能够收集环境信息，依照我们的操作标准（道德标准，道德价值观、目标和原则等）处理信息，提供道德上最好的建议，使我们能够（几乎）作出最佳的道德选择，从而帮助人们根据自己的道德标准成为更好的道德主体［2］（172）。但与“理想观察者”不同，AMA 不是道德绝对主义的理论建构，而是基于个体道德价值观的操作系统，它致力于尊重并确定增强个人的道德自主权。

在此理论预设下，AMA 引起了道德理论家们的广泛关注，褒扬和批评相伴而生。对AMA 的质疑主要有：它是否限制个体自主性从而妨碍道德自由？它是否引致道德增强从而挑战人的“自然性”和人类尊严，包括“自举问题”、违反直觉，以及是否导致道德相对主义？它是否影响个体意志和情感等因素从而扰乱行为主体道德责任判定？这些问题既是AMA 社会运用合理性反思的核心内容，也是其道德价值评判的重要参照。

二、人工智能道德顾问与道德自由

所谓道德，就是“以善恶评价为标准，依靠社会舆论、传统习惯和内心信念的力量来调整人们之间相互关系的行为原则和规范的总和”［5］（221）。道德本质上是需要以人的社会关系为载体并致力于处理好人际社会关系的［6］（29-30）。自由是指具有自主行为能力的个体能够自我决策，在给定情境中能够不受内在外在因素强制，作出一种与既定选择完全不同的选择［7］（86-88）。从个体角度看，自由有行为自由与意志自由，意志自由是内在基础而行为自由是外在表现。意志自由的首要环节是“能够乐意”，也即能够自我决定，当事人是自主的和自由的；行动就是达到意志设定目的的手段，行为自由体现意志自由，真实的意志自由总是逻辑地内涵一种行动设置［8］（10-12）。理论上讲，意志与行动之间是连续性的，但是事实上，由于个体意志运行关涉到复杂的行为方式和内外环境，自由个体的信念、愿望的设定及其目标实现之间，却并非总是连续的谱系。

道德自由问题实质是指个体自由的社会实现问题，其本质是行为自由也即道德领域或范围内的有限自由。与此不同，道德自主是个体道德范畴内的自主和自控状态，是道德自由的基础。道德自由一定是道德自主的，但道德自主却不一定是道德自由的，自主只表明道德主体求善弃恶的努力自控状态，至于能否达到游刃有余、随心所欲的道德自由高级境界则不一定［6］（22-27）。换句话说，意志自由奠定了行为自由，行为自由彰显了道德自由，道德自由是道德自主的高级境界。

影响个体道德自主状态的因素有很多。某些情况下，道德个体会不适当地行动或产生不适当的信念，因为他缺乏有关自身认知情境的重要信息，这些信息与个体彼时的行动信念高度相关。有鉴于此，我们将不能充分可靠地认定道德个体的行为都是道德的，并且我们通常无法作出符合自己道德目标的选择。特别是在紧急情况下或短时间内，情感和直觉的判断通常取代信息的收集、反思和计算。简而言之，我们是次优信息处理者、道德判断者和道德主体［2］（170）。在我们经常无法获取理性或道德决策所需的所有相关信息的层面上，我们是次优的信息处理者。有时，由于我们没有足够的时间或认知资源，我们无法获得这些信息；有时，我们掌握了这些信息，由于直觉和情感的影响，我们未能给予适当的判断。例如，由于害怕某个结果发生，我们会认为它比实际更有可能发生。有时，即使我们可以根据所有相关信息作出最佳判断，但意志或特定神经生理状态阻止我们采取相应的行动。例如，我们的动机可能受到许多无法控制的生理因素影响，使我们变得激进或偏执，从而脱离应有的道德轨迹。因此，似乎设立一个全知全能的、公正无私的和始终如一的理想观察者的角色，从而帮助个体化解道德冲突是十分必要的。

根据阿尔伯托等人的预设，AMA 可以向代理人提出一系列问题，以了解代理人的道德价值观，并制定出适合该代理人的一套道德规则，这些规则可以用来提供个性化的道德规范与将来的建议。因而这种相对论的AMA 可能比专制的理想观察者更可取［2］（175-176）。例如，当我想找到一家好的餐厅时，AMA 编程会询问我是否要考虑任何特定标准（如动物福利、公平贸易等），从而为我提供一系列可能的道德标准与选择。根据我的回答，AMA 还将记录我的道德规则，并在将来为我选择最合乎我的道德规则的餐厅。当然，每个主体都有不同的参数来指导AMA，并根据不同的道德标准选择AMA 编程。因为人们对什么是“道德的”有不同的看法，因此，不同的AMA 会收集不同类型的事实信息，这取决于对事实的道德相关性的不同标准，如自由主义、保守主义、功利主义、道义论、混合论或其他。最终AMA 建议的呈现形式为：“如果这些是你的原则（如减轻动物痛苦），那么你应该做X（选择特定餐厅）。”

当然，AMA 收集信息和道德运算的标准依据个体的自由选择，AMA 所提供的建议能否被个体践行、如何践行以及践行的程度，也取决于用户的自主决定。通过AMA 软件的建模和使用，我们收集足够的认知资源，排除情感和直觉的影响，经过审慎的反思平衡，自主地坚持道德原则，从而使自己成为更好的道德主体。因此，AMA 可帮助人们突破“有限的存在者”的局限，在信息获取、身体功能和思维方式以及现实环境和主体自身的限制方面，增强个体的道德自主性并保证其最大化的道德自由。

三、人工智能道德顾问与道德增强

研究表明，通过调节某些神经生理状态包括情绪以增强人类的道德素养或认知能力是可能的，比如摄入催产素（Oxytocin）促进诸如信任、同情、慷慨等亲社会态度；适度使用选择性血清素再吸收抑制剂（SSRIs）能增强人的公平意识与合作意愿；通过深层脑刺激降低侵略性等［9］（47-49）。这种通过药物手段或技术方法修正人的情感动机或认知能力从而达到道德增强目的的方法，被称为生物道德增强。然而，道德增强一直招致反驳，理由包括人的自由、人格同一性、公正性和自然主义等方面。比如有人声称，人类的生物增强不能“不受限制地开放”，否则，我们将无法完全欣赏我们生命的天赋，因其损害了我们的真实性或者人类的尊严，无法保存人性价值包括人类的自然局限性。

道德增强的伦理争议有两种基本进路：第一是强调干预措施的预期结果，包括情感增强、认知增强或神经增强等干预措施，它们导致的增强结果是否可逆，是否附带安全性风险，以及是否造成个体同一性和自主性的丧失等问题；第二是基于干预手段的内在错误，比如基因编辑和基因工程等技术手段，它们可能涉及“扮演上帝”或违背人性等问题。而作为实现道德增强目的的一种外部技术，在不涉及上述道德内部增强的相关争议的情况下（下文另述），AMA 可能面临以下三个逐渐递进的问题：

第一，“自举问题”。“自举问题”是指，如果我们通过干预神经生理机制以提高个体道德能力，我们将没有独立的角度（参照）评估这种增强的成功性［10］（597-798）。AMA 涉及“自举问题”的推理如下：首先，假如我们认为改变某些道德倾向会以不受欢迎的方式改变我们的道德心理，例如使我们过于功利或太富同情感，那么对道德判断的持续监控和评价，以及控制道德倾向改变的能力是非常重要的。其次，AMA 的道德建议方式同样发挥着对道德判断的持续监控和评价，以及控制道德倾向改变的能力，并且这种能力可能导致个体神经生理机制的改变。最后，基于神经生理机制干预和改变基础的道德增强后的个体，因为内省能力有限，因此可能无法理性地和客观地评价某种道德倾向是否以期望或欲望的方式得到了增强，也即无法评估某种增强的成功性。

“自举问题”本身符合逻辑推理，但据此针对AMA 道德增强的反驳却存在以下问题：首先，作为提供道德建议的外部道德增强手段，AMA 与传统的教育或学习工具（计算机）并无本质区别，在道德保守主义不反对通过传统手段使人们变得更聪明或更道德的情况下，针对AMA 道德增强的攻击或诘难需要提供更多的“举证”或更充足的理由；其次，通过道德判断的持续监控和评价，以及控制道德倾向的改变，AMA 可能导致个体神经生理机制的改变，但这种改变的效力和可能性与权威的“道德专家建议”殊途同归，在可能性转变为现实性前，针对这种“渺茫预期”的负面评判是苍白无力的；最后，在暂且悬置AMA 道德增强的道德正当性评价的情况下，AMA 道德增强的效果评价或增强的成功性评价也并非仅仅依赖于个体内省，还可依据个体道德的纵向的前后对照评价以及横向的道德他评等手段。综上，有关AMA 道德增强的“自举问题”诘难是站不住脚的。

第二，AMA 的建议违反直觉或过分要求。据推测，AMA 有时会带来违反直觉的响应。AMA 旨在弥补我们的直觉和情感的道德心理的局限性，这是可以预料的，但在这种情况下AMA 将是无用的，因为人们不愿意认可或采取违反直觉的道德判断［2］（179-181）。例如，如果我想以一种功利主义的方式变得无私，AMA 会经常建议我做一些我的直觉认为是过度屈服的事情，比如捐赠大部分财产，而这与我的道德原则或判断方向是不一致的。

正如作者所言，AMA 的违反直觉的响应或道德建议会促进我们在直觉和建议之间取得平衡，达到“反思性平衡”，进而帮助人们突破“有限的存在者”或“次优的信息处理者”的局限，这正是它的优势或价值所在。因为我们中的大多数人不能平衡不同的相互竞争的基本原则。例如，道德心理学研究表明，自由主义者和保守主义者的道德方法基于不同的直觉和情感基础［11］（98-99）。

具体来说，反思性平衡有狭义和广义两个层面。从狭义上讲，反思性平衡是指个体的判断和基于某些道德观点（如平等主义、功利主义或宗教观点）的道德原则保持某种程度的一致性。从广义上讲，反思性平衡需要个体在不同的道德观点之间取得平衡（比如功利主义与平等主义、功利主义与道义论、功利主义与宗教主义）［12］。AMA 的响应将是帮助个体达到反思平衡状态的外部贡献。更准确地说，AMA 违反直觉的响应会在动力学中引入新的元素，通过该元素我们可以平衡相关的判断和原则。AMA 的违反直觉的响应会促进我们质疑自己的判断和原则或者坚持的基本道德理论，通过审慎思考从而进行相关的调整，包括调整判断和原则，甚至是改变道德观点或AMA 的违反直觉的响应编程。

第三，道德相对主义危险。从认识上看，道德相对主义认为我们没有普遍性和普适性的道德规范、道德原则甚至是道德体系，道德总是在特定的时代、社会、民众和文化中才是确定的和有效的，不存在普遍有效的和必不可少的道德规范与道德价值，因此没有合理的方法来解决或评价不同文化的道德习俗所产生的根本道德分歧［13］（23）。AMA 的编程或操作标准依赖于用户的道德价值观及自主选择，因此无论用户是圣人还是精神病患者，是利己主义的还是利他主义的，AMA 都将为其同样有效地工作。但鉴于道德多元化和同一道德价值的理解差异，AMA 输入的操作标准对相同社会的不同个体而言，或不同社会文化的不同群体而言，其道德正当性是不同的。因此AMA 需要处理三个最基本的问题：

首先，不道德目标的执行风险。如果用户利用这种技术来追求邪恶的或不道德的目标，AMA 如何执行？作者认为，AMA 致力于为我们调整原则和判断作贡献，在操作标准编程时接受尽量广泛的道德标准，同时使用基本的“道德过滤器”以限制作为输入的操作标准范围，比如相互尊重、宽容、保护人的生命等，无论某些人或道德体系是否承认这些基本原则，他们都将得到执行［2］（180-182），从而确保基本的底层原则之上的个体自由的道德选择，换句话说，即使个体没有对道德的基本承诺，AMA 也不会使其更加不道德。

其次，道德规范的优先性问题。因为没有普遍性和普适性的道德规范、道德原则甚至是道德体系，道德总是相关于特定的时代、社会、民众和文化，因此在设定AMA 时，不同个体将会面临道德规范的选择以及如何权衡不同道德规范的优先性的问题，原因如下：（1）不是所有人都有基本的道德承诺，他们在选择AMA 编程的不同道德标准时可能面临困境，例如利己或利他等；（2）即便某些人拥有基本的道德承诺，选择了特定道德标准的AMA，依然会在不同民众和文化中因道德规范的相对性而面临道德规范的执行困境。针对这个反驳，笔者认为道德相对主义是AMA 不可否认的立场，我们暂时不需要思考道德相对主义的对错问题。在AMA 编程设计时，我们会通过提问的方式确定适用于个人的道德守则，可以咨询一些道德专家以确保它的建议始终符合这些基本的道德原则；通过显示行为的全部后果和影响来促进这种道德守则，同时也提供替代的行动路线或道德价值观的建议。在更完善的版本中，AMA 可以被编程来提供不同情况下道德模范或领导者选择了什么，努力接近理性的主体间性；AMA 甚至可以结合个体的道德和心理来促进更客观的道德规范的发展，理想情况下它可以充当道德顾问，甚至是劝导者。也就是说，AMA 可以判断个体基本的道德守则，并在不同情况下给予道德建议，甚至充当道德顾问和劝导者，但它不会威胁个体的道德理性和道德权威。

最后，道德冲突的权威判定。道德相对主义认为，当不同文化的根本道德原则发生冲突时，我们没有客观的标准可以用来判断它们的优劣，也没有办法对它们的权威性或合法性进行客观的辩护［14］（12）。按照道德相对主义的理解，即使AMA 采用并促进了个体的基本道德承诺，它也无法为个体面临的可能道德冲突提供客观的判断和辩护。笔者认为，这种反驳对AMA 要求过高且不符合它的功能定位。人类拥有丰富的道德生活，并且有实施高尚行为的能力，AMA 不会篡夺或超越人类的道德权威，它只致力于尊重并切实增强个人的道德自主性。道德相对主义不承认任何道德原则都是有效的和真实的，也与共同体成员间的契约形式的道德体系不同，但在实践层面我们需要关注的是人们的行为的约束性，有无客观的道德标准都无法抛开对人们行为约束的实用性或政治性目的，因此，我们最高的目的是规范不同人的共同生活，这并不需要基于元伦理学的道德规范的客观性考核。

四、人工智能道德顾问与道德责任

传统的道德责任理论通常认为，道德责任的必要前提是个体自由，特别是个体的意志自由。“只有当我们的行动在某种意义上是自由的行动时，我们才能说对我们自己的行动负责。”［15］（10-16）因此，道德责任的充分赋予是以一个人的行动是否自由为条件并以其意志是否自由为前提的。在现实生活中，意志自由并非一种完全不受任何限制的绝对自由，它有时由主体的身体、心智能力等决定。“事物有存在条件就必有依赖性，主体的大脑结构、身体功能、思维方式、行为方式、亲身经历、信息获取等，都直接限制甚至规定着主体的意志的形成。”［6］（24）主体自身既有的物质条件和精神状况影响和限制着大脑活动。因而与AMA 相关的个体道德责任判定问题，则主要取决于它对个体的行动和意志发挥作用的三个方面。

第一，AMA 对意志的作用。道德作为一种社会现象，是社会个体应对现实限制的一种智慧选择。人作为道德行为主体，其承担道德责任的关键是拥有意志的完全自由状态，这是传统道德责任判断的基本预设，其前提是意志等同于个体理性。但研究表明，理性不同于意志，理性是一种稳定的思维能力，而意志包含理性、情感、无意识和潜意识等内容。理性与价值相互交融，理性的深思往往关联着价值的关怀，理性的认知往往负载着价值的评估［16］（102）；而意志会受到许多无法控制的生理因素的影响，比如，通过调节某些神经生理状态包括情绪等影响人类的意志能力是可能的，对此上文已有详细论述。因此，意志既包括自由弥散的心智状态，也包含稳定的理性思维能力。从AMA 对意志的作用而言，关键的问题是AMA 是否能够影响个体意志状态，同时这种作用或影响是否被社会允许或认同。研究表明，通过道德判断的持续监控和评价，以及控制道德倾向的改变，AMA 可能导致个体神经生理机制的改变，从而影响个体意志状态［2］（177-179），但这种作为提供道德建议的外部道德增强手段，并不会直接干预并左右大脑内部神经生理机制，与“道德专家建议”、传统的教育以及自主学习的外部潜移默化的培育并无本质区别，应得到传统教育同等的价值认同和对待。因此，从AMA 对个体意志的影响尤其在这种作用方式的伦理正当性方面来看，AMA 对个体道德责任的判断和归因并不应导致额外的争议，更不会提供道德责任评判免责的正当依据。

第二，AMA 对理性的影响。道德责任是对道德行为主体自主性和创造性能力的一种要求，这种自主性和创造性能力是道德主体理性能力的具体表现，因此相对于意志自由，理性更应成为道德责任评判的合理依据。同样地，对于AMA 而言，关键的问题是AMA 是否能够影响理性，这种作用或影响是否应当被社会允许或认同。根据上文论述，AMA 旨在弥补我们的直觉和情感的道德心理的局限性，AMA 有时会带来违反直觉的响应，而这种违反直觉的响应或道德建议会促进我们在直觉和建议之间达到“反思性平衡”。换句话说，AMA 违反直觉的响应引入了新的思考元素，促进我们质疑原有的判断和原则，通过审慎的理性思考和评估而实现反思性平衡。总之，AMA 提供了个体实现反思性平衡的外部贡献，这种理性思索的养料供给并不影响个体的理性自由和自主决策。因此，AMA 对理性的影响同样不影响个体道德责任评判和归因。

第三，AMA 对情感的考量。事实上，情感和直觉驱动着我们大多数的道德和实践决策，大多数人的实际判断都基于“影响启发”，即直觉和情感上的快速反应。通常情况下，情感被认为在人类道德中至少发挥两项重要的功能：第一项是道德评价功能，在休谟主义者看来，相信某事在道德上是对的还是错的，归根结底是赞成或不赞成的情感态度；第二项是道德动机功能，情感对于道德动机是必要的，它在道德判断和道德行为之间提供了不可或缺的联系［2］（183-185）。例如，脑损伤患者显著地缺乏某些情感（同情、羞耻、内疚、悲伤）的矫正功能，他们对于适当的社会行为有足够的知识，但却不会按照自己认可的应当去行事。

诚然，情感对于道德的促动是必要的，是道德体系的重要组成部分，这是AMA 无法替代的。但是，使情感和直觉成为我们实际的与道德的判断和决定的重要组成部分的特性（自动性、不依赖于认知资源、最小化精神努力等）也使情绪和直觉不可靠，因为情感和直觉通常也是偏见和其他类型的非理性和不道德判断的来源，它们使我们成为“不良的信息处理者”“不良的道德判断者或不良的道德行为者”。情感状态的这些可能的扭曲影响，使我们不仅无法接受看似合理的道德判断，而且也无法据此采取行动。

如何在保持情感的积极作用的同时避免其负面影响，提高个体道德能力以增强道德，成为提升个体道德水平的紧迫需求。根据AMA 的编程设计，AMA 是客观的，不受情感影响，仅执行不需要情感作用的认知功能（收集、建模、解释和处理信息等）。鉴于情感和直觉在人类道德决策中的局限性，独立于情感的扭曲影响是AMA 的目标之一，也是人们选择AMA 的重要原因。与此同时，基于情感在道德中发挥的重要作用，从情感上独立也是AMA 最受批评的原因之一。但是，独立于情感的编程设计并非不考虑情感的积极作用和实际价值。参照情感在人类道德心理学中的两大作用，AMA 将发挥相应功能：其一，对于复杂的推理和计算，我们没有足够的时间和脑力资源，AMA 将提供“真实的东西”——信息处理、计算、预期效益的权衡等，从而为个体提供最优的“启发式”建议；其二，避免情感无意识的自动的道德评判牵引，提供客观的合理的道德建议［2］（180-182）。在某些情境中，在有意识的反思之前，情感会自动将我们的注意力吸引到道德相关的方面（例如，厌恶可能会将我们的注意力吸引到反社会行为上，像在公共场合酗酒或违反公序良俗等），如上所述，情感执行的这种活动方式不可避免地是次优的。根据已有的软件中的情境建模和分类，AMA 会立即指出特定情境中的道德相关方面，从而执行相同的更优的道德评判（道德建议）功能。例如，AMA 与情感和神经生理检测技术集成，搭建“环境辅助的情绪调节系统”，监视神经生理状态（异常或威胁状态），以使我们意识到情感的可能影响，从而协助我们更好地进行道德判断和行动。综上所述，对于道德判断的启发式影响，AMA 与情感发挥着同样功能却提供了更优的客观真实的道德建议，AMA 编程在情感方面的独立设置，包括情感异常或威胁状态的提示，旨在提升个体自我控制和决策能力以增强道德，同样不影响个体道德责任评判和归因。

结语

无论是功利主义者还是义务论者，抑或其他任何道德理论的支持者，在面对复杂情况下的行动决策时，都可能出现困难和疑惑。作为有限的人类，我们不能确定已经得到了客观而正确的答案，这并不奇怪，也不是理论的缺陷。由于道德判断的高度复杂性以及情感的影响，人类始终服从直觉的命令可能是愚蠢的。在复杂的情况下，作为人类并不总是能够肯定地选择正确的行动，这只是我们有限的认知和情感能力的反映，也是客观事实［17］（362）。作为人类，我们应该了解并认识到，是什么决定了我们的道德能力和判断水平，主要的影响因素是什么，如何排除影响并提升道德自主性和道德水平。

人类拥有令人难以置信的丰富的道德生活，并且有实施高尚行为的能力，AMA 不会很快篡夺或超越人类的道德权威。作为“理想观察者”的准相对论版本，AMA 将收集与道德相关的信息进行处理并根据用户道德目标返回道德建议。AMA 能够增强个体的道德自主性并保证最大化的道德自由，其方式有望比生物道德增强技术更加有效且争议较小；AMA 旨在弥补我们的道德心理的局限性，帮助我们达到“反思性平衡”；AMA 在信息处理、计算、预期效益的权衡等方面将提供客观合理的道德建议，从而避免被情感的无意识的道德评判牵引。总之，我们应该承认自身的道德局限性并利用自身的人工智能的编程长处，抛弃传统固有的对新兴技术的刻板的警惕，利用强大的认知能力以更加开放的姿态开发技术来“克服我们的局限性”，从而全面开发并实现我们作为道德主体的潜力。