人工智能时代的价值审度与伦理调适

段伟文

人工智能时代的价值审度与伦理调适

段伟文

人工智能体的拟主体性赋予了人工智能特有的拟伦理角色。通过对此拟伦理角色的分析，可以看到人工智能的价值审度与伦理调适的基本路径应为负责任的创新和主体权利保护。立足对合成智能与人造劳动者的价值审度，可提出寻求算法决策与算法权力的公正性，呼唤更加透明、可理解和可追责的智能系统，反思智能化的合理性及其与人的存在价值的冲突等价值诉求。应从有限自主与交互智能体概念出发，进一步展开对人工智能的价值校准和伦理调适，这不仅有助于把握人工智能伦理研究与相关伦理规范和标准的内涵，还可揭示“科技—产业—伦理”异质性实践所应有的明智。

人工智能；伦理；智能体；拟主体性；负责任的创新

对于人工智能，大多数人是通过国际象棋、围棋的“人机大战”以及在《终结者》、《少数派报告》、《机器管家》、《黑镜》之类的科幻影视作品中得以初识的。20年前，当国际象棋大师卡斯帕罗夫在对弈中负于机器人“深蓝”时，通过电视直播目睹这一震撼性事件的人们不禁对计算机的强大计算能力叹为观止。随着新一波人工智能大潮涌动，谷歌围棋机器人接连战胜围棋大师李世石和柯洁，则迫使人们不得不开始思考人工智能超越人类智能的现实可能性及我们的应对之道。对此，发明家出身的未来学家库兹韦尔(Ray Kurzweil)在《灵魂机器的时代》(1999)、《奇点临近》(2005)等书中描绘了一幅机器乌托邦图景：计算机将超过人类智能并帮助人在大约50年内接近永生。但同为科技界意见领袖、曾为太阳微计算公司首席科学家的比尔·乔伊(Bill Joy)则认为这大大低估了其导致负面结果乃至未来危险的可能性。他在《连线》上发表一篇题为《为什么未来不需要我们？》(2000)的文章警示世人：在21世纪，我们最强大的技术——机器人、基因工程和纳米技术——将使人类在物种意义上受到威胁。

在相关科幻影视作品中，往往更多地折射了人们对智能化未来的忧思：机器人与人工智能系统会不会变得不仅比我们聪明，而且具有自我意识而不为人所掌控，进而毁灭整个人类？那些数据驱动的智能商业推荐系统会不会发展成一眼看穿我们心机的“巫师”，让我们因为内心的一个“坏”念头而被“预防犯罪”小组警告？机器人会不会突然产生自我身份认同？应该如何面对各种具有自我意识的智能体？等等。回到现实世界，曾几起几落的人工智能再度爆发，大数据智能、跨媒体智能、自动驾驶、智能化自动武器系统迅猛发展，其影响可谓无远弗届。科技创新界意见领袖马斯克等纷纷疾呼：要对人工智能潜在的风险保持高度的警惕！霍金不无担忧地指出，人工智能的短期影响由控制它的人决定，而长期影响则取决于人工智能是否完全为人所控制。客观地讲，不论是否会出现奇点与超级智能，也不论这一波的人工智能热潮会不会以泡影告终，毋庸置疑的是人工智能时代正在来临。故通观其态势，审度其价值进而寻求伦理调适之道，可谓正当其时。

一、人工智能的内涵与智能体的拟伦理角色

2015年9月，由国际期刊《负责任的创新》发起，包括中国学者在内的全球十多位科技政策与科技伦理专家在《科学》杂志上发表了一封题为《承认人工智能的阴暗面》的公开信。信中指出，各国的科技、商业乃至政府和军事部门正在大力推动人工智能研发，尽管考虑到了其发展风险以及伦理因素，但对人工智能的前景表现出的乐观态度不无偏见，因此，建议在对其可能的危险以及是否完全受到人的控制等问题进行广泛深入的讨论和审议之前，放缓人工智能研究和应用的步伐。[1](P1064)此举旨在将人工智能的社会伦理问题纳入现实的社会政策与伦理规范议程。

要全面理解人工智能的发展所带来的社会伦理冲击，先要大致了解一下人工智能的基本内涵。像所有开放的和影响深远的人类活动一样，人工智能的不断发展和加速进步使人们很难明确界定其内涵。综观各种人工智能的定义，早期大多以“智能”定义人工智能，晚近则倾向以“智能体”(agents, 又译代理、智能主体、智能代理等)概观之。从人工智能的缘起上讲，以“智能”定义人工智能是很自然的。就智能科学而言，计算机出现以前，对智能的研究一直限于人的智能。有了计算机的概念之后，人们自然想到用它所表现出的智能来模仿人的智能。人工智能的先驱之一图灵在提出通用图灵机的设想时，就希望它能成为“思考的机器”：一方面，能够做通常需要智能才能完成的有意义的事情；另一方面，可以模拟以生理为基础的心智过程。[2](P11)1956年，在美国达特茅斯学院召开的“人工智能夏季研讨会”上，会议发起人麦卡锡(John McCarthy)、明斯基(Marvin Lee Minsky)、罗彻斯特(Nathaniel Rochester)和香农(Claude Elwood Shannon)等指出，从学习与智能可以得到精确描述这一假定出发，人工智能的研究可以制造出模仿人类的机器，使其能读懂语言，创建抽象概念，解决目前人们的各种问题，并自我完善。[3]但在真正的人工智能研究开启后不久，人们发现能够实现的人工智能与通常意义上的智能(人和动物的智能)很不一样。特别是人工智能的研究者莫拉维克(Hans Moravec)发现，让计算机在一般认为比较难的智力测验和棋类游戏中表现出成人的水平相对容易，而让它在视觉和移动方面达到一岁小孩的水平却很困难甚至不可能。这就是所谓的“莫拉维克悖论”，它表明，不仅人工智能与人和动物的智能不一样，而且人工智能在不同研究方向上实现的机器智能也不尽一致。尽管有人认为，由于人工智能的大多数工作与人所解决的问题相关，而人脑为这些问题的解决提供了天然的模型，也有很多人相信通过研究计算机程序有助于了解大脑的工作机制，但迄今既未出现一种普适的智能理论，也没有开发出图灵和麦卡锡等乐见的可模拟人脑思维和实现人类所有认知功能的广义或通用人工智能[Artificial General Intelligence(AGI), 又称强人工智能、人类水平人工智能]，而目前可实现的人工智能主要是执行人为其设定的单一任务的狭义人工智能[Artificial Narrow Intelligence(ANI)，又称弱人工智能]。这使得人工智能研究依然是一门综合性的实验科学。

普适的智能理论难以构建，实际上意味着人们对人类智能的内涵和机器智能的可能性均知之甚少，由此晚近主流人工智能教科书转向以“智能体”定义人工智能。尼尔松(Nils J.Nilsson)在《人工智能：新综合》(1998)前言中指出：“这本人工智能导论教材采用一种新的视角看待人工智能的各个主题。我将考量采用人工智能系统或智能体的发展这一较以往略为复杂的视角。”[4](Pxvii)罗素(Stuart J.Russell)和诺维格(Peter Norvig)在《人工智能——一种现代方法(第一版)》(1995)前言中说：“本书的统一主题是智能智能体(intelligent agent)。在这种观点看来，人工智能是对能够从环境中获取感知并执行行动的智能体的描述和构建。每个这样的智能体都实现了把一个感知序列映射到行动的函数。”[5](Pvii)该书指出，在八种教科书中，对人工智能的定义分为四类：像人一样行动的系统(图灵测试方法)、像人一样思考的系统(认知模型方法)、理性地思考的系统(思维法则方法)和理性地行动的系统(理性智能体方法)。人们在这四个方向都做了很多工作，既相互不服，又彼此帮助。若将人工智能研究视为理性智能体(rational agents)的设计过程，则更具概括性并更经得起科学检验。在内涵上，智能体一词源于拉丁文agere，意为“去做”，在日常生活中有施动者或能动者的意思；基于人工智能的智能体则可以在工程层面“正确地行动”或“理性地行动”，是遵循合理性的理性智能体。基于人工智能的理性智能体的设计目标是使机器通过自身的行动获得最佳结果，或者在不确定的情况下，寻求最佳的期望值。[6](P3-8)其中的合理性与理性主要指技术与工程上的合理性或理性，即一个系统或智能体能在其所知的范围内正确行事。而且，这种合理性或理性往往是有限的而非完美的，并可以通过人工实现，亦即西蒙在《人工科学》中所探讨的有限理性。

人工智能智能体——基于人工智能的智能体或理性智能体(简称人工智能体或智能体)是理解人工智能的核心概念，亦应是人工智能时代的价值审度与伦理调适的关键。在人机交互实践中，人工智能体可通过自动的认知、决策和行为执行任务(暂且不论其实现条件)，这使其在一定程度上显示出某种“主体性”，成为一种介于人类主体与一般事物之间的实体。值得追问的是：智能体所呈现的这种“主体性”有何内涵？智能体因此可能扮演什么样的伦理角色？

先讨论第一个问题。目前人工智能体所呈现的“主体性”是功能性的模仿而非基于有意识的能动性(agency)、自我意识与自由意志，故应称之为拟主体性。在人的感受中，智能体虽然貌似抽象，还有点似是而非，但就像柯洁与人工智能体对弈后感觉到某种神般的存在一样，人们在面对各种智能化技术和设施时，会自然地感受到一种可以具有认知和行为能力的非人又似人的存在。从人类主体的认知、行动和交互的角度来看，人工智能体可以在功能上模拟人的认知和行为：既可能具有认知行动能力也可能具备沟通交往能力，既可能是实体的也可能是虚拟的，既可以模仿人的认知和行动也可以通过机器实现理性认知和行动。由此，人工智能体已经逐步发展成为在认知、行动和交互等能力上可以部分地和人类相比拟的存在，故可视之为“拟主体”，或者说人工智能体具有某种“拟主体性”，就是指通过人的设计与操作，使其在某些方面表现得像人一样。而“拟”会表现出某种逆悖性：一方面，它们可能实际上并不知道自己做了什么、有何价值与意义；另一方面，至少在结果上，人可以理解它们的所作所为的功能，并赋予其价值和意义。

从技术细节上讲，智能体的功能和拟主体性是通过软件编写的算法对数据的自动认知实现的。智能体“能够从环境中获取感知并执行行动”与智能体“实现了把一个感知序列映射到行动的函数”是对同一个过程的两种表述，前者是从外部对智能体的拟主体性的描述，后者则揭示了更为本质的智能计算过程。为了完成一项任务，运用智能算法所形成的映射关系对数据进行自动感知和认知，并据此驱动智能体的自动决策与行为。在当前迅猛发展的数据驱动的人工智能中，这种映射关系往往不是对研究对象本身的模式识别，而可能基于高维的非本质的相关性和对应关系。概言之，智能算法是智能体的功能内核，智能体是智能算法的具身性体现。

再来看第二个问题。原则上讲，人工智能体的拟主体性使人工智能具有不同于其他技术人工物的特有的拟伦理角色。对此，我们可以从智能体的能力和关系实践入手，在智能体的价值和伦理影响力以及由智能体的应用所汇聚的行动者网络两个层面展开初步的分析。

在智能体的价值和伦理影响力层面，计算机伦理学创始人摩尔(James H.Moor)对机器人的分类具有一定的启发性。他根据机器人可能具有的价值与伦理影响力，将其分为四类：(1)有伦理影响的智能体(ethical impact agents)——不论有无价值与伦理意图但具有价值与伦理影响的智能体；(2)隐含的伦理智能体(implicit ethical agents)——通过特定的软硬件内置了安全和安保等隐含的伦理设计的智能体;(3)明确的伦理智能体(explicit ethical agents)——能根据情势的变化及其对伦理规范的理解采取合理行动的智能体;(4)完全的伦理智能体(full ethical agents)——像人一样具有意识、意向性和自由意志并能对各种情况做出伦理决策的智能体。[7]若借助摩尔的划分，可从价值与伦理影响力上将智能体分为伦理影响者、伦理行动者、伦理能动者(施动者)和伦理完满者等具有四种不同能力的拟伦理角色。

智能体可能的拟伦理角色及其能力是通过设计实现的。其中，伦理影响者强调的是智能体中没有任何伦理设计；伦理行动者意指设计者将其价值与伦理考量预先嵌入智能体中，使其在遇到设计者预先设定的一些问题时得以自动执行；伦理能动者则试图通过主动性的伦理设计使智能体能理解和遵循一般伦理原则或行为规范，并依据具体场合做出恰当的伦理决策；而伦理完满者则以智慧性的伦理设计令智能体可以像人类主体一样进行价值伦理上的反思、考量和论证，甚至具备面对复杂伦理情境的实践的明智。目前，人工智能体大多属于伦理影响者，只有少量可以勉强算作伦理行动者，伦理能动者还只是机器伦理等理论探索的目标，伦理完满者则属于科幻。目前的人工智能体应以“有限自主与交互智能体”加以概观。由此可见，智能体的价值与伦理影响力迄今无法独立地主动施加，而只能在人机交互的关系实践之中体现，故只有把智能体放在其与人类主体构成的行动者网络之中，才能真正把握智能体拟伦理角色的实践内涵。

通过行动者网络分析，在由智能体的应用所汇聚的行动者网络层面，不仅可以较为明晰地看到智能体的拟伦理角色与相关主体的伦理角色的关联性与整体性，还有助于透视它们之间的价值关联与伦理关系，廓清其中的责任担当与权利诉求。一般地，对于人工智能体A，存在设计者D，故智能体可记为A(D)。若以拉图尔式的行动者网络来看智能体和人类主体的关系网络，则可见由人工智能引发的价值关联与伦理关系的基本模式不是简单的“人—机”之间的二元关系，而是“控制者(C)—智能体[A(D)]—一般使用者(U)”之间的复合关系(其中一般使用者强调与控制者无直接共同利益且无法主导技术应用的非主导者和不完全知情者)。更重要的是，在基于此复合关系的行动者网络中，“控制者”(C)、“智能体”[A(D)]和“一般使用者(U)”所具有的控制力或“势”是不一样的。因此，不能简单地将这种复合关系看做是C与U以A(D)为中介的关系，而主要应该从“C—A(D)” 整体与U之间的关系来展开分析。由此，一方面，鉴于“C—A(D)”是主导者与施加者，U是承受者与受动者，前者的责任和后者的权利无疑是相关价值与伦理考量的重点；另一方面，由于A或A(D)的价值与伦理影响力的不同，“C—A(D)”整体责任的内部划分变得较其他技术人工物更为复杂。

这些分析不仅有助于廓清智能体与相关主体的伦理角色和伦理关系，也大致指出了人工智能体的价值审度与伦理调适的两条现实路径：负责任的创新和主体权利保护。负责任的创新的路线图是：“控制者—智能体”应主动考量其整体对一般使用者、全社会乃至人类的责任，并在“控制者—智能体”内部厘清设计责任和控制责任，以此确保一般使用者的权利，努力使公众和人类从人工智能中获益。主体权利保护的路线图是：由权利受损的一般使用者发出权利诉求，展开对“控制者—智能体”的责任追究，进而迫使“控制者—智能体”内部廓清责任——区分智能体的控制与设计责任。不论哪条路径，都必须与人工智能的具体实践和场景相结合，这样才能使价值审度与伦理调适具有针对性和实效性。

二、合成智能与人造劳动者的兴起及其价值审度

众所周知，正在爆发的这场人工智能热潮，得益于大数据驱动、计算能力的提升、深度学习算法等带来的数据智能和感知智能上的突破，可视为计算机科学与统计学、数据科学、自动传感技术、机器人学等长期积累与相互融合的结果。对于当前人工智能的典型应用，集人工智能技术专家、创业家和伦理学家于一身的斯坦福大学人工智能与伦理学教授杰瑞·卡普兰(Jerry Kaplan)指出，目前的人工智能所创造的机器智能在合成智能(synthetic intellects)和人造劳动者(forge labors)两个方向有所突破，并正在向自主智能体(autonomous agents)发展。[8](P2-6)

合成智能与人造劳动者等应用人工智能(applied AI)主要是由数据驱动的，可称之为数据驱动的智能。目前，应用人工智能中的数据主要指那些可以通过不同的信息表达形式和载体记录下各种经验事实。这些作为经验事实的数据大致可分为三类：(1)量化的观测事实，如基因组、宇宙结构等科学数据，可穿戴设备、移动通信定位系统等传感器记录的运动、生理、位置、空气质量和交通流量等实时数据；(2)人类在线行为的数字痕迹，如网络搜索、社交媒体以及电子交易记录等数据；(3)原始事实的多媒体记录，如视频、音频、图片等记录原始事实的数据。正是它们为各种数据驱动的人工智能提供了智能化认知的素材。

合成智能在很大程度上是数据驱动下对数据挖掘和认知计算等相关技术的综合集成。根据研究重点和方法的不同，研究者们一般称其为机器学习、神经网络、深度学习、大数据智能、跨媒体智能、认知计算等，而各种已有的人工智能的成果，如专家系统、计算机视觉、语音识别、自然语言处理等也往往根据需要融入其中。当前常见的合成智能是基于大数据与深度学习及机器学习的智能辨识、洞察和预测等自动认知和决策系统，广泛应用于人类无法直接高效认识的各种复杂的经验事实。其基本认知模式是，用计算机软件和智能算法自动处理及分析各种类型的数据，以获取知识和形成决策。如通过对人的位置信息、网络搜索与社交媒介行为等数据的分析、挖掘和聚合，对人的特征进行数字画像，从中找到有商业价值的特征或各种人难以直接洞察的有意义的相关性等。目前，从个性化商品推荐到广告推送、从信用评分到股市高频交易、从智能监控到智慧城市、从智能搜索到潜在罪犯的“智能识别”，合成智能已普遍应用于各种场景，正在全面颠覆着我们熟知的生活。

人造劳动者一般指可以模仿或代替人完成特定任务的智能化的自动执行系统，其智能也是数据驱动的，关键在于对数据的采集、处理、加工和控制。这类系统由各种能与设定环境互动的自动传感器和执行器结合而成，既可以是有物理结构的能加工、挖矿、扫地、救火、搜救、作战的操作机器人，也可以是社交聊天、手机导航、知识抢答、智能客服之类交互性的软件系统。最常见的人造劳动者是工业机器人和简单的家用机器人，它们一般按照预先编好的程序工作，多为重复性的操作，工作环境一般也是简单和可预见的。例如，一个工业机器人手臂在某个时刻出现在某一位置时，它所要拧紧的螺栓会恰好出现在那个地方。虽然人造劳动者可以使人们从一些烦琐的事务和繁重、危险的劳动中解放出来，但令人普遍担心的是，其对专业技能的取代可能导致技术性失业甚至“人工智能鸿沟”。

合成智能和人造劳动者的兴起，使人工智能和自动智能系统在商业、制造、管理和治理等领域的应用获得大量投资，但要使这种可能带来重构性和颠覆性影响的力量造福人类，必须对其价值进行系统的审度。可以从澄清技术现状、揭示价值负载、明确价值诉求三个层面加以探究。

澄清技术现状的关键在于要分清事实与科幻，认识到合成智能与人造劳动者等应用人工智能当前发展的局限性。首先，当前数据驱动的人工智能既不具备人类智能的通用性，也没能实现功能上与人类智能相当的强人工智能，更遑论全面超越人类智能的超级人工智能。其次，目前应用人工智能的智能模式远低于人类的智能模式，而且神经科学和认知科学对人类智能的了解还非常有限。具体而言，目前数据驱动的人工智能所使用方法本质上属于分类、归纳、试错等经验与反馈方法，在方法论上并不完备。机器翻译、智能推荐、语音识别、情绪分析等看起来功效显著，但高度依赖于以往的类似经验和人对数据的标注，其所模拟的“智能”往往只能推广到有限的类似领域(局部泛化)，而难以推广到所有领域(全局泛化)。很多数据驱动的应用人工智能主要适用于认知对象及环境与过去高度相似或接近的情况，其理解和预测的有效性依赖于经验的相对稳定性，其应对条件变化的抗干扰能力十分有限。以自动驾驶汽车为例，一旦出现未遇到过的路况和难以识别的新的物体等无法归类的情况，就容易发生事故。

揭示价值负载的目的是反思人工智能的设计和应用中的客观性，厘清相关主体的价值取向和价值选择在其中的作用。一方面，数据的采集与智能算法的应用并非完全客观和无偏见，其中必然负载着相关主体的价值取向。在人工智能与智能自动系统的数据选取、算法操作和认知决策中，相关主体的利益与价值因素不可避免地渗透于对特定问题的定义及对相应解决方案的选择和接受之中，它们既可能体现设计者与执行者的利益考量和价值取向，也会影响到更多利害相关者的利益分配及价值实现。另一方面，合成智能和人造劳动等人工智能应用一般是通过人机协同来实现的，相关主体的价值选择必然渗透其中。通过机器学习和智能算法对数据进行洞察之类的应用人工智能不仅是各种计算与智能技术的集成，还必须将人的判断和智能融入其中。要把握数据所反映的事实及其意义，必须借助人的观察和理解进行标注。在视频理解等智能化识别(如视频鉴黄等)中，将人的经验通过人工标注融入数据之中，是提高准确率的关键因素。有标注的数据是深度学习最为重要的资源，这就是业内常说的“有多少人工，就有多少智能”。

明确价值诉求旨在寻求使应用人工智能的发展更符合公众利益和人类福祉所应该具有的价值目标。为此，尤需慎思细究者有三个方面：

第一，寻求算法决策与算法权力的公正性。诸多“算法决策”——基于数据和算法的智能化认知与决策——运用日广，这一智能化的“政治算术”正在发展为“算法权力”。从政治选举、产品推荐、广告推送到信用评分和共享服务，算法决策普遍用于个人、组织和社会层面的特征洞察、倾向分析和趋势预测，业已形成具有广泛和深远影响力的算法权力。算法决策常被简单地冠以高效、精准、客观和科学，但像所有人类社会认知与决策一样，服务于问题的界定与解答的数据和算法是负载价值的，其中所蕴含的对人与社会的解读和诠释难免牵涉利害分配、价值取向及权力格局，其精准、客观与科学均有其相对的条件和限度。在信息与知识日益不对称的情势下，若不对此加以细究，算法决策与算法权力很可能会选择、听任、产生甚至放大各种偏见和歧视，甚或沦为知识的黑洞与权力的暗箱。在智能算法拥有的权力越来越大的同时，它们却变得越来越不透明。而这将可能使个人被置于德勒兹式的“算法分格”，而不得不承受各种微妙的歧视和精准的不公：搜索引擎会根据你以往的搜索兴趣确定你的搜索结果；商家依照算法推测购买过《哈利·波特》的用户可能会购买《饥饿游戏》并给出更高的报价；谷歌更倾向于招聘那些有熟人在其中供职的应聘者；机场会为那些收入高且愿意多付费以快速通关者提供较近的车位。[9]

在社会管理层面，算法权力影响更甚，更应谨防其被滥用。当前，整个社会逐渐被纳入基于数据和算法的精细管理及智能监控之下，各种决策与举措愈益建立在智能算法之上，必须关注和防范由算法权力的滥用所导致的决策失误与社会不公。尤其应该关注的是，对智能算法的迷信与滥用往往会造成公共管理系统的漏洞，甚至将其引向“人工愚蠢”。例如，某算法根据某种偏见将某一类人列为重点犯罪监控对象，但不无吊诡的是，对这类人的关注貌似会证实其预设，却可能会遗漏真正应该监控的对象。

为了披露与削减算法权力的误用和滥用，应对数据和算法施以“伦理审计”。其基本策略是，从智能认知与算法决策的结果和影响中的不公正入手，反向核查其机制与过程有无故意或不自觉的曲解或误导，揭示其中存在的不准确、不包容和不公正，并促使其修正和改进。特别是算法权力的执行者应主动披露自身在其中的利益，公开自身利益与他人利益和公众利益之间可能存在的利益冲突。唯其如此，智能算法才可能避免力量的滥用，公正地行使其权力。

第二，呼唤更加透明、可理解和可追责的智能系统。虽然基于计算机、网络、大数据和人工智能的智能系统已成为当代社会的基础结构，但其过程与机制却往往不透明、难以理解和无法追溯责任。除了隐形的利益算计、设计偏见以及知情同意缺失之外，导致此问题的主要原因是：智能系统及其认知与决策过程复杂万分，远远超过了人的理解能力，对其机理即便是研发人员也不易做出完整明晰的解释，且此态势会越来越严重。一旦人工智能和自动系统的智能化的判断或决策出现错误和偏见，时常难于厘清和追究人与机器、数据与算法的责任。例如，在训练深度学习的神经网络识别人脸时，神经网络可能是根据与人脸同时出现的领带和帽子之类的特征捕捉人脸，但只知道其识别效率的高低，而不知道其所使用的究竟是什么模型。正是这些透明性和可理解性问题的存在，使得人工智能潜在的不良后果的责任难以清晰界定和明确区分。

在自动驾驶、自动武器系统等智能系统中，涉及大量自动化乃至自主智能决策问题，如自动驾驶汽车中人与智能系统的决策权转换机制、紧急情况下的处置策略等。由于这些决策关乎人生安危和重大责任界定，其透明性、可理解性和可追责的重要性愈发凸显。为了解决这一日渐迫切的问题，欧洲议会2016年4月颁布的《一般数据保护条例(GDPR)》(拟于2018年实施)规定，在基于用户层面的预测的算法决策等自动化的个人决策中，应赋予公众一种新的权利——“解释权”，即公众有权要求与其个人相关的自动决策系统对其算法决策做出必要的解释。这项法律将给相关产业带来很大的挑战，应会促使计算机科学家在算法设计和框架评估阶段优先考虑透明性、可理解性和可追责，以免于偏见和歧视之讼。

第三，追问智能化的合理性及其与人的存在价值的冲突。近代以来，人类在合理性和理性化的道路上不断前进，从计算机、互联网、大数据到人工智能与机器人的发展将理性化的进程推向了智能化的新纪元。但人工智能所呈现的合理性与理性只是工程合理性或工具理性，应进一步反思其会不会给整个社会带来更广泛和更深远的不合理性。对此，人们普遍关注的是可控性问题：鉴于人工智能拥有巨大的理性行动能力，这种力量能否为人类或社会的正面力量所掌控？一方面，它会不会因为太复杂而超越人的控制能力，使人们陷入巨大的风险而不知晓？另一方面，长远来看，人工智能本身会不会发展成为一种不受人类控制的自主性的力量？

而更根本的问题是这种合理性与人的存在价值的冲突：人的存在的价值是不是应该完全用其能否适应智能机器来衡量？19世纪中叶，马克思看到了彼时资本与劳动力之间存在不可调和的矛盾：资本通过工业自动化取代劳动。今天，迈过智能社会门槛的我们所面对的是：资本会不会通过人工智能取代人的头脑？人工智能对普通劳动乃至专业技术劳动的冲击，会不会在范围、规模、深度和力度上引发前所未有的全局性危机？人工智能的发展会不会与人的存在价值发生深层次的难以调和的本质性冲突？对此，德国哲学家京特·安德斯指出，虽然人们一再强调“创造是人的天性”，但当人们面对其创造物时，却越来越有一种自愧弗如与自惭形秽的羞愧，这种羞愧堪称“普罗米修斯的羞愧”——在机器面前，这种“创造与被创造关系的倒置”使人成了过时的人！[10](P3-6)

在初步辨析人工智能体的拟伦理角色并对合成智能与人造劳动者等新近发展展开价值审度之后，我们必须对智能机器越来越多地替代人类决策和行动的未来发展趋势进行进一步的追问。在迫近的未来，必将呈现的情境是：人类要么允许机器在无人监督的情况下自行做出决定，要么保持对机器的控制。正是这一挑战，迫使我们进一步尝试性地探讨面向人工智能时代的价值校准与伦理调适之道。

三、有限自主交互智能体的价值校准与伦理调适

从一般的伦理学理论来看，只有当人工智能发展到具有与人的智能相当的强人工智能时，才可能被接纳为道德共同体的成员。对此，人工智能哲学家玛格丽特·博登(Margaret A.Boden)指出，人工智能一旦被纳入道德共同体，将以三种方式影响人机交互：(1)强人工智能将和动物一样得到人类的道德关注；(2)人类将认为可以对强人工智能的行动进行道德评估；(3)人类将把强人工智能作为道德决策的论证和说服目标。[11](P162-163)然而，鉴于当前的人工智能发展还远未达到这一或许会出现的未来情境，面向人工智能时代的价值校准与伦理调适，应与未来学家的悲观主义和乐观主义预见保持一定距离，而更多地诉诸人工智能当下的真实发展程度与可预见的未来的可能性。唯其如此，才能系统深入地慎思、明辨、审度与应对人工智能的伦理挑战。

若以主流人工智能教科书主张的智能体概念通观人工智能，其当下及可预见未来的发展程度可概观为“有限自主与交互智能体”。其具体内涵包括四个方面：首先，机器人和人工智能是可以在功能上模仿智能的理性智能体，但它们迄今没有意识和理解力，是“无心”的智能体。其次，机器人和人工智能具有一定的自主性，可在一定条件下实现有限度的自动认知、决策和行动功能。再次，随着其自主性的提升，人可能会在一定程度上将决策权转让给机器，但即便是设计者对其所设计的机器的自主执行过程也往往并不完全理解。最后，人工智能和机器人具有一定的交互性，虽然人机互动或“人机交流”实质上只是功能模拟而非实际意义上的沟通，但随着逼真程度的提高，人们会在一定程度上将机器人和人工智能等具有拟主体性的智能体想象成跟人类似的主体，从而难免对这种替代性的模拟或虚拟主体产生心理依赖甚至情感需求。

从“有限自主与交互智能体”这一真实状态出发，可以将其与人类主体构成的行动者网络放到经验环境即数据环境之中，进行价值流分析，为面向人工智能时代的价值校准和伦理调适奠定基础。所谓价值流分析，其基本假设是：智能体与主体相关并负载价值，其每一个行动都有其价值上的前提和后果，都伴随着价值上的输入和输出。价值流分析的目的就是厘清这些输入和输出的价值流向，找到那些输入价值的施加者与责任人和接受价值输出的承受者与权益人，使责任追究与权利保护有源可溯、有迹可循。在价值流分析的基础上，可以具体地廓清智能体所执行任务的利益诉求和价值取向，辨析相关数据采集与处理中的事实取舍和价值预设，进而系统地追问其中的智能感知和认知的客观性与公正性、智能行为的利益分配与风险分担等更为现实的问题。

当前，有关人工智能与机器人的伦理研究可大致分为四个进路：

(1)面向应用场景的描述性研究。这类研究旨在揭示大数据智能、跨媒体智能、社会化机器人(家用、护理、伴侣)、无人机、自动驾驶以及致命性自动武器系统等在发展中呈现出的亟待回应的道德冲突与伦理抉择，其中既有对算法权力的滥用、人工智能加剧技术性失业、自动驾驶中的道德两难等现实问题的揭示，也涉及机器人的人化、人对机器人的情感依赖、实现超级人工智能的可能性及其风险等前沿性问题。

(2)凸显主体责任的责任伦理研究。这类研究的出发点是强调人类主体特别是设计者和控制者在人工智能与机器人的研究和创新中的责任——优先考虑公众利益和人类福祉、减少其危害与风险以及对后果负责等，包括机器人伦理及相关工程伦理研究等。其中影响较大的是维格(G.Veruggio)等人2002年倡导的“机器人伦理”(roboethics)。他们将“机器人”与“伦理”合并为复合词“机器人伦理”，主要探讨机器人的设计者、制造者、编程者和使用者在机器人研制与应用中的伦理责任与规范之道，并强调与机器人相关的人应该作为道德责任的主体。[12](P1499-1524)此后，他们在欧洲机器人学研究网络(EURON)资助下提出了“EURON机器人伦理学路线图”。

(3)基于主体权利的权利伦理研究。这类研究的出发点是强调主体在智能化生活中的基本权利，旨在保护人的数据权利等，试图制约社会智能化过程中的算法权力滥用。目前主要包括针对数据与算法的透明性、可理解性和可追责等问题展开的数据伦理与算法伦理研究，聚焦于数据隐私权、数据遗忘权、数据解释权、算法的透明性与公正性以及算法的伦理审计和校准等问题。

(4)探讨伦理嵌入的机器伦理研究。人工智能与机器人智能体都被视为伦理影响者(有伦理影响的智能体)或伦理行动者(隐含的伦理智能体)，其中涉及的责任和权利都是相对于主体即人而言的。机器伦理的倡导者则主张，可以通过伦理规范的嵌入使人工智能体成为伦理能动者(明确的伦理智能体)。在他们看来，随着智能体的自主性的提升，自动认知与决策过程已呈现出从人类操控为主的“人在决策圈内(Human in the Loop)”模式转向以机器操控为主的“人在决策圈外(Human out the Loop)”模式的趋势，而日益复杂的智能体一旦功能紊乱，可能导致巨大的伤害。因此，问题不仅是人工智能的设计者、控制者和使用者应该遵守特定的伦理规范，而且还需要将特定伦理规范编程到机器人自身的系统中去。为此，他们致力于探讨将道德理论和伦理原则嵌入机器人和人工智能之中或使其通过成长性的学习培育出道德判断能力的可能性，力图使机器人和人工智能发展成为人工的道德智能体(Artificial Moral Agents，AMAs)。[13](P51-61)这一构想堪称“机器人三定律” 的升级版(机器人三定律是由美国科幻小说家阿西莫夫提出的机器人必须遵守的道德律令：第一定律：机器人不得伤害人类或坐视人类受到伤害；第二定律：在与第一定律不相冲突的情况下，机器人必须服从人类的命令；第三定律：在不违背第一定律与第二定律的前提下，机器人有自我保护的义务)。尽管此进路已有一些探索，但在技术上存在极大困难，理论上也受到不少质疑。实际上，不论是自上而下地在自动驾驶汽车等人工智能系统中嵌入伦理代码，还是自下而上地让其从环境中学习伦理规范，在近期都很难实现。信息哲学家弗洛里迪(L.Floridi)指出，为机器制定一套道德无异于白日梦科幻，而更为负责任的策略是在智能体内部嵌入一定的安全措施，同时在机器自动操作时，人可以作为“共同决策人”发挥监管作用。[14](P28-29)而更为吊诡的是，假若真能将合乎道德的伦理规范嵌入机器人和人工智能之中，是否意味着也可以轻而易举地将非道德和反伦理植入其中？

由于机器人与人工智能近年来的爆发式发展，其社会伦理影响已经引起全社会的高度关注，在产学研各界的推动下，对机器人与人工智能的伦理研究开始直接影响到国际人工智能与机器人的伦理规范和标准的制定。它们既充分考量了人工智能作为“有限自主与交互智能体”的现状，也系统体现了人工智能体的价值审度与伦理调适的两条现实路径——负责任的创新和主体权利保护。在机器人原则与伦理标准方面，日本、韩国、英国、欧洲和联合国教科文组织等相继推出了多项伦理原则、规范、指南和标准。日本早在1988年就制定了《机器人法律十原则》。韩国于2012年颁布了《机器人伦理宪章》，对机器人的生产标准、机器人拥有者与用户的权利与义务、机器人的权利与义务做出了规范。2010年，隶属英国政府的“工程与物质科学研究委员会(EPSRC )”提出了具有法律和伦理双重规范性的“机器人原则”，凸显了对安全、机器人产品和责任的关注。“英国标准协会(BSI)”在2016年9月召开“社会机器人和AI”大会，颁布了世界上首个机器人设计伦理标准《机器人与机器人系统设计与应用伦理指南(BS8611)》。该指南主要立足于防范机器人可能导致的伤害、危害和风险的测度与防范，除了提出一般的社会伦理原则和设计伦理原则之外，还对产业科研及公众参与、隐私与保密、尊重人的尊严和权利、尊重文化多样性与多元化、人机关系中人的去人类化、法律问题、效益与风险平衡、个人与组织责任、社会责任、知情同意、知情指令(Informed command)、机器人沉迷、机器人依赖、机器人的人化以及机器人与就业等问题提出了指导性建议。[15]

2012年欧盟在科技发展“框架7”下启动“机器人法(ROBOLAW)”项目，以应对“人机共生社会”所将面临的法律及伦理挑战。2016年5月，欧盟法律事务委员会发布《就机器人民事法律规则向欧盟委员会提出立法建议的报告草案》，提出了包括机器人工程师伦理准则、机器人研究伦理委员会伦理准则、设计执照和使用执照等内容的《机器人宪章》(Charter on Robotics)。同年10月，又发布了《欧盟机器人民事法律规则》(European Civil Law Rules in Robotics)，对智能自动机器人、智能机器人、自动机器人做出了界定，探讨了机器人意识以及阿西莫夫机器人定律的作用，还从民事责任的角度辨析了机器人能否被视为具有法律地位的“电子人”(electronic persons)，最后还提出了使人类免受机器人伤害的基本伦理原则。同年，联合国教科文组织的世界科学知识和技术伦理委员会(COMEST)的一个新兴技术伦理小组发布了《机器人伦理报告初步草案》，不仅探讨了社会、医疗、健康、军事、监控、工作中的机器人伦理问题，而且对运用机器伦理制造道德机器进行了讨论。

自2015年以来，人工智能与机器人的发展在全世界掀起了高潮，社会各界和世界各国对人工智能与机器人的社会影响和伦理冲击的关注亦随之高涨。尤其值得关注的是2017年 1月在阿西洛马召开的“有益的人工智能”(Beneficial AI)会议上提出的“阿西洛马人工智能原则” (Asilomar AI Principles)，以及2016年12月电气电子工程师协会(IEEE)颁布的《以伦理为基准的设计：人工智能及自主系统以人类福祉为先的愿景(第一版)》。“阿西洛马人工智能原则”强调，应以安全、透明、负责、可解释、为人类做贡献和多数人受益等方式开发AI。其倡导的伦理和价值原则包括：安全性、失败的透明性、审判的透明性、负责、与人类价值观保持一致、保护隐私、尊重自由、分享利益、共同繁荣、人类控制、非颠覆以及禁止人工智能装备竞赛等。IEEE的《以伦理为基准的设计》则将专业伦理中的专业责任、工程伦理中的公众福祉优先以及工程师的责任落实到人工智能领域，把负责任的研究与创新和道德敏感设计等观念运用于对人工智能和自主系统的价值校准与伦理调适。其指导思想是：人工智能及自主系统远不止是实现功能性的目标和解决技术问题，而应将人类的福祉放在首位，应努力使人类从它们的创新潜力中充分获益。其在伦理层面关注的要点是，人工智能与自主系统应遵循人类权利、环境优先、责任追溯、公开透明、教育与认知等伦理原则，并使之嵌入人工智能与自主系统之中，以此指导相关技术与工程的设计、制造和使用。

这些原则和伦理规范的提出，将使科技界、产业界和全社会更加重视从产业标准层面展开对人工智能的价值校准与伦理调适，尤其是它们与人工智能伦理研究的结合，正在形成一种具有现实影响力的“科技—产业—伦理”实践。在面向人工智能时代的异质性实践中，应充分凸显实践的明智，关注真实的价值冲突与伦理两难。为此，特别应该从自然主义的伦理立场出发，将技术事实的澄清与价值流的分析相结合，通过更细致的考量和更审慎的权衡探寻可行的解决之道，主要体现在三个方面：

第一，从理论层面和规范层面提出各种伦理原则以用于实践时，必须考量其现实可能性并寻求折中的解决方案。以透明性和解释权为例，不论是打开算法决策的“黑箱”，还是保留相关数据与算法决策过程的“黑匣子”，都必须考虑技术可行性以及成本效益比，都应有其限度。而更现实的办法是在其应用出现较大的危害和争议时，一方面，借助特定的伦理冲突，从对后果的追究倒逼其内在机制与过程的透明性、可理解性和可追责；另一方面，将责任追溯与纠错补偿结合起来，逐步推进防止恶意使用、修复非故意加害等更务实的目标的实现。

第二，应摆脱未来学家的简单的乐观主义与悲观主义立场，从具体问题入手强化人的控制作用和建设性参与。尽管未来学家的乐观主义或悲观主义基调在媒体相关讨论中往往居于主导地位，却带有极大的盲目性。特别是未来学家的断言经常在假定与事实之间转换，大多不足为据。以技术性失业为例，应超越简单的乐观主义和悲观主义之争，从受到人工智能发展威胁的具体的行业入手，通过建立负面清单、寻求最佳行业转换实践等办法，强化有针对性的技能培训和教育，使受到冲击的劳动力实现有计划的转型。

第三，要从人机协作和人机共生而不是人机对立的角度探寻发展“基于负责任的态度的可接受的人工智能”的可能。应意识到发展人工智能旨在增强人类智能而非替代人类，要强调人类的判断、道德和直觉对于各种智能体的关键决策不可或缺。同时，应通过更有效的人机协作，在人机交互中动态地加强机器的透明性、可理解性和可追责，以便更有效地消除人对人工智能的疑惧。当然，通过人机协同的“混合增强智能”实现有效的价值校准与伦理调适需要多学科的共识和协作，在理论和实践上皆非易事。

展望未来，人工智能无疑将是人类最具开放性的创新，人工智能的伦理应属“未完成的伦理”，其价值校准与伦理调适之路亦未有尽头。从伦理实践策略来看，鉴于伦理原则规范体系的抽象性，很难通过一般性的规范或伦理代码的嵌入应对人工智能应用中各种复杂的价值冲突与伦理抉择。在人工智能伦理研究的四种进路中，唯有从面向应用场景的描述性研究入手，作为关键诉求的凸显主体责任的责任伦理(“问责”)和基于权利的权利伦理(“维权”)，才会不失空洞并得以实质推进。概言之，应立足作为“有限自主与交互智能体”的人工智能和机器人的现状与发展，通过对人机交互的“心理—伦理-社会”的经验分析，把握各种智能体在其应用的现实和虚拟场景中呈现出的具体的自主性及交互性特质，进而在具体的场景中细致地校勘相关的控制、决策、问责、维权等在价值和伦理上的恰当性，并形成动态的和对未来场景具有启发性的伦理共识。

[1] Christelle Didier, Weiwen Duan, Jean-Pierre Dupuy, and David H.Guston,etc.“Acknowledging AI’s Dark Side”.Science，2015, 349(9).

[2][11] 玛格丽特·博登：《人工智能的本质与未来》，北京，中国人民大学出版社，2017。

[3] J.Mc Carthy, M.L.Minsky, N.Rochester, and C.E.Shannon.“A Proposal for the Dartmouth Summer Research Project on Artificial Intelligence” .1955, http://www-formal.stanford.edu/jmc/history/ dartmouth/dartmouth.html.

[4] Nils J.Nilsson.ArtificialIntelligence:ANewSynthesis.San Francisco: Morgan Kaufmann, 1998.

[5][6] Stuart J.Russell, and Peter Norvig.ArtificialIntelligence:AModernApproach.New Jersey:Prentice Hall, 1995.

[7] James H.Moor.“Four Kinds of Ethical Robot”.PhilosophyNow, 2009,72(March/April).

[8] 杰瑞·卡普兰：《人工智能时代》，杭州，浙江人民出版社，2016。

[9] 段伟文：《大数据与社会实在的三维构建》，载《理论探索》，2016(6)。

[10] 京特·安德斯：《过时的人：论第二次工业革命时期人的灵魂》，上海，上海译文出版社，2010。

[12] Gianmarco Veruggio, and Fiorella Operto.“Roboethics: Social and Ethical Implications of Robotics”.In Bruno Siciliano，and Oussama Khatib(eds.) .SpringerHandbookofRobotics.Berlin, Heidelberg: Springer,2008.

[13] Allen, C., Wallach, W., and I.Smit.“Why Machine Ethics”.In Anderson,M.,and S.L.Anderson (eds.).MachineEthics.Cambridge:Cambridge University Press, 2011.

[14] 朗伯·鲁亚科斯、瑞尼·凡·伊斯特：《人机共生: 当爱情、生活和战争都自动化了，人类该如何相处》，北京，中国人民大学出版社，2017。

[15] The British Standards Institution.GuidetotheEthicalDesignandApplicationofRobotsandRoboticSystems.London:BSI,2016.

ValueReflectionandEthicalAdjustmentintheEraofArtificialIntelligence

DUAN Wei-wen

(Institute of Philosophy,Chinese Academy of Social Sciences,Beijing 100732)

The quasi-subjectivity of artificial intelligence agents gives artificial intelligence a unique quasi ethical role. Through analysis of the quasi ethical role of the agents, we can see that the basic approach of value reflection and ethical adjustment on the artificial intelligence should be responsible innovation and the protection of subject rights.Based on the evaluation of the value of synthetic intelligence and artificial laborers, it is necessary to put forward some value pursuits, which include seeking fairness of algorithmic decision and algorithm power, calling for a more transparent, understandable and accountable intelligent system, reflecting on the confliction between the rationality of intelligence and the value of human existence. What is more, we should introduce the value alignment and ethical adjustment of AI based on the concept of limited autonomy and interactive agent, so as to facilitate the analyzing of the meaning of artificial intelligence ethics and related ethical norms and standards, as well as the exploringof the necessary prudence in the heterogeneity practice of “science and technology-industry-ethics”.

artificial intelligence; ethics; agents; quasi-subjectivity; responsible innovation

段伟文：哲学博士，中国社会科学院哲学研究所研究员(北京 100732 )

(责任编辑林间)