人工智能的伦理风险及其治理

郭 锐

(中国人民大学 法学院，北京 100872)

一、引论

近年来，人工智能因技术的迅速进步和巨大的发展潜力进入公众的视野。在对人工智能革命欢呼的同时，不少人提出了对人工智能的担忧，以往只有在科幻作品中才会出现的隐忧突然之间似乎离人们只有一步之遥。如何应对以人工智能为代表的新一轮科技革命带来的伦理和治理上的挑战？人工智能不可逆转地塑造着人们的生活、工作，改变了人们的交往方式，也带来了诸多伦理问题。这些问题一小部分可以通过技术的更新换代解决，大部分问题则需要在治理的层面得到认真对待，风险管理是当前应对这些问题最有潜力的进路。

人工智能伦理问题的出现有其复杂性①。一方面，新科技的出现冲击了长久存在的社会秩序，民众恐惧和担心秩序的改变；另一方面，人工智能的发展也让普通人在生活中遭遇种种新问题。梳理不同场景下人工智能伦理问题是提出治理应对方案的前提。如何应对人工智能带来的伦理问题？近年来，全球业界、学界和民间团体的专家们逐渐达成一致，就是将其视为伦理风险，并通过风险管理的方式应对。基于这个共识，一个 使世界各国都可以从人工智能中受益并防止其危害的治理体系正在逐步成形。文章的进路建立在这个共识之上。

在当代，治理本身的内涵较之以往已更为丰富，特别是公共权力机关在治理中的传统角色已经逐渐改变。传统的治理观念大致等同于统治，指的是在国家层次上展开的一种正式的制度化的过程，目的是维持公共秩序和处理公共事务。但在 20 世纪后期，随着社会转型、结构变革和人们对发展趋向的认知，治理被赋予了新的内涵②。上述治理的新内涵在中国学界被广泛接受。有学者认为，“必须对原有的以政府为主导的社会治理模式进行根本性变革，最终形成多元社会治理的格局，提高社会治理水平，逐步实现建设和谐社会的目的。”[1]同时，它也在中国实践中得到了相当程度的接受。

在上述思路之下，人工智能伦理风险的治理不是形成一套规则或者指向一种活动，而是一个过程。人工智能伦理问题的应对不仅仅依赖某个制度，还需要持续的社会互动。这恰恰是文章提出的风险管理进路的长处。文章就人工智能伦理风险的管理流程和机构建设提出了建议。在文章结论部分，作者还就人工智能伦理风险管理进路与中国建设法治社会的长期任务给出了建议。

二、人工智能伦理问题的典型表现

作为一种革命性的新技术，人工智能的新特征需要得到足够的关注。随着人工智能技术的发展及其在电子商务、自动驾驶、传媒、金融、医疗、政府等越来越多领域和场景应用的不断扩大和深入，人工智能的伦理风险已经出现不少。该节梳理了已有人工智能应用出现伦理问题和治理挑战的一些典型案例[2]。

1.电子商务平台的精准营销

在有效的人工智能推荐算法出现后，电子商务平台针对用户的精准营销成为可能。网络经营者通过收集并处理用户网络行为所形成的数据，绘制成数据化的人格图像，并以此为依据进行精准的广告投放。从正面来看，这体现了个人信息的商业价值，能够让经营者通过高效投放广告获得更高的营销收益比，故此被称为是“大数据红利”；就用户而言，精准营销有助于提升用户体验，精准满足用户需求，解决信息过多带来的决策难题，从而起到降低交易成本的作用。但这也使得“大数据杀熟”成为可能，即商家为了实现营利最大化，对于同一商品或服务，对于不同的用户制定不同的价格。“大数据杀熟”的实现基础是电子商务平台对用户个人信息的记录，这让针对消费者个体的定价成为可能。通过综合已有的信息和有针对性的交互，平台可以更精确地预测用户可以承受的价格，了解用户的价格接受程度与敏感度，给出消费者最能够接受的价格。用户信息的数量越多、内容越详细，平台算法给出的用户画像就越精确，实现价格歧视的可能性就越高。用户的性别、年龄、地点、兴趣爱好、浏览行为、个人移动轨迹、手机型号、网络状况等信息，都是平台常规收集的内容。大部分电子商务平台不仅自身记录用户行为数据，还对外合作，通过第三方数据结合用户历史行为数据进行挖掘，这可能会导致推荐系统过度收集用户个人数据，甚至在用户完全不知情的情况下跟踪和识别用户。

2.自动驾驶

对普通人而言，自动驾驶是人工智能最直观的应用领域。不少人认为，自动驾驶汽车不得不面对的伦理难题是：在面临突发情况时是坚持乘客安全至上，还是要保障行人生命权？这是经典的哲学难题。但是，实践中这类问题出现的可能性不大，更可能出现伦理讨论之处是自动驾驶汽车上市前对事故风险的必要社会共识的讨论，以及自动驾驶与现行交通法律法规体系的关系协调。在可见的将来，政策和法律需要面临的问题是：自动驾驶汽车的车速与可行驶范围应当如何确定？发生交通事故后，事故责任如何认定？自动驾驶汽车上记载的大量个人数据该如何保护？自动驾驶也在民法的侵权领域中带来新的讨论。同时，鉴于自动驾驶与道路交通相关的危险可能危及生命，而国家有保护人民生命和人身的宪法义务，相关的管制问题可能在生命权这一基本权利之下进入宪法讨论。

3.媒体的智能推荐

当代媒体，已经从进行内容推送的“把关人”，变成了基于用户画像进行推送的营销者。定向推送以用户的喜好为主要标准，能为用户精准地“量体裁衣”。这当然带来了隐私方面的问题，如为了精确刻画用户画像，算法需要对用户的历史行为、个人特征等数据进行深入细致的挖掘，这可能导致推荐系统过度收集用户的个人数据。同时，由于用户每每点击其所喜欢的内容，推荐系统便如同收到指令一般，为其源源不断地推送相似的内容，这限缩了普通人探索新领域的可能。

4.金融领域的智能风控

金融领域的数据可能会直接影响用户的个人信用，因此金融机构在收集用户的海量数据(如年龄、收入、职业、学历、资产等)时，既要保证数据的安全性，即数据不被泄露、窃取或篡改，又要保证数据的准确性。鉴于现有的金融数据收集处理体系尚不完备、过程尚不够透明，用户的个人信用数据可能在用户不知晓的情况下发生负面变化；算法的缺陷，还容易引发大范围的歧视问题。

5.医疗人工智能

人工智能在医疗场景下主要被应用于诊断、治疗和研究等领域。可能的伦理问题包括：人工智能进行疾病诊断和治疗，可能出现的算法安全和准确性问题可能损害患者的身体健康；人工智能提供的医疗诊断方案源于算法，而算法可能存在的不可解释性可能与作为病人基本权利的知情权产生冲突。

6.人工智能司法

用于司法的人工智能，可能因算法不完备、数据偏差导致对案件得出错误的结论，这在美国已经引发了宪法诉讼。智慧司法还存在着技术黑箱引起司法透明度缺失、数据的相关关系与法律中的因果关系联系不明、法官产生技术依赖等相关伦理问题。这些问题尽管不如上述两类问题紧迫，但同样应当引起重视。

三、人工智能伦理问题的风险性质

文章第二节讨论到的人工智能应用出现的典型伦理问题，均可看作是人工智能伦理风险的表现。不同于纯粹的技术风险，人工智能伦理风险的渊源是人工智能系统的应用对现有的伦理与社会秩序的冲击。从人工智能技术相关维度来观察，人工智能伦理风险按照其起源可以分成算法、数据和应用方面的风险。

在算法方面的人工智能伦理风险主要包括算法安全风险、算法可解释性风险和算法决策风险。算法安全问题产生于算法漏洞被黑客攻击和恶意利用的挑战。同时，算法从设计、训练到使用中面临可信赖性问题，算法随时可用对可靠性也带来了挑战。算法可解释性关涉人类的知情利益和主体地位，这对于技术的长期发展和社会公众的信任而言是非常重要的一个 因素。提升可解释性，基本是当代共识③。算法决策困境源于人工智能自学习能力导致的算法结果的不可预见性。为此要减少或杜绝算法决策困境，除了提高算法的可解释性，还可以引入相应的算法终结机制。

在数据方面的人工智能伦理风险主要包括侵犯隐私的风险和个人敏感信息识别与保护的风险。在现代社会，隐私保护是信任和个人自由的根本，同时也是人工智能时代维持文明与尊严的基本方式。人工智能时代下侵犯隐私的风险更大，受害者也更多。人工智能技术的应用极大地扩展了个人信息收集的场景、范围和数量。图像识别、语音识别、语义理解等人工智能认知技术实现海量非结构化数据的采集，而人工智能与物联网设备的结合丰富了线下数据采集的场景。例如，家用机器人、智能冰箱、智能音箱等各种智能家居设备走进人们的客厅、卧室，实时地收集人们的生活习惯、消费偏好、语音交互、视频影像等信息；各类智能助手在为用户提供更加便捷服务的同时，也在全方位地获取和分析用户的浏览、搜索、位置、行程、邮件、语音交互等信息；支持面部识别的监控摄像头，可以在公共场合且个人毫不知情的情况下，识别个人身份并实现对个人的持续跟踪。这些都会产生人工智能的伦理风险。

在应用方面的人工智能伦理风险主要包括算法滥用和误用。算法滥用和误用是指在利用算法进行分析、决策、协调、组织等一系列活动中，其使用目的、使用方式、使用范围等出现的偏差。例如，算法设计者出于经济利益或者其他动机的操纵行为、平台和使用者过度依赖算法、将算法的应用盲目拓展到算法设计未曾考虑的领域。电商平台算法设计者推荐不符合用户利益的产品，或者娱乐平台为了自身的商业利益对用户的娱乐或信息消费行为进行诱导、导致用户沉迷等，都是算法设计者操纵行为的展现。在医疗领域过度依赖人工智能平台的读图诊断导致误诊以及在安防领域和犯罪误判导致的问题，都直接关系到公民的人身安全与自由。

上述伦理风险从根本上来源于人工智能技术自身的限制。人工智能在某些方面参与人类决策或者独立做出决策时，有两个方面的根本限制：其一，人工智能对决策结果的伦理判断能力不足。这表现在人工智能系统无法全面把握设计者指令的真正含义或者说人工智能系统缺乏对伦理意义的算法描述，这往往导致错误执行指令或者无法产生有意义的指令。同时，人工智能系统执行指令需要的时间极短，或者算法模型极为复杂导致人类无法理解，最终造成人对人工智能系统的错误无法进行有效干预。其二，人类对解决真正的伦理难题往往意见不一、并无共识。上述两个根本限制只有前者可以通过改善技术或者治理来应对，后者则是人类社会长期面对的困境。

就人类有共识的伦理问题而言，人工智能的伦理风险体现在两大方面：人工智能技术是否最终以实现人类利益为终极目标？人工智能系统的高度甚至完全的自主性，给风险的预防和责任的界定带来了怎样的挑战？就此，中国标准化委员会在人工智能伦理标准制定中已经提出了两个基本原则，分别是人的根本利益原则和责任原则。人的根本利益原则指的是技术必须促进人类的善，责任原则是指在越来越发达的机器的自主性背景下必须确认人的主体性④。

四、人工智能伦理风险的持续管理

人工智能的独特技术特征和人工智能产业的发展模式对治理提出了理念和实践上的挑战。人工智能的治理应对产业的发展产生积极影响，同时确保社会对技术发展的持续信任。这意味着当前人工智能伦理和治理的重点应针对国情和发展现状提出方案。当前人工智能治理的重点应以建立风险管理体系为基础，通过标准、政策、法律等多个渠道实现对人工智能伦理风险的治理。

以风险管理来推动人工智能治理，已经是很多国家的共识。风险管理是当代一个广为应用的概念。其结构化、可重复的管理架构适于人工智能这类发展潜力巨大但难以完全掌控的新兴技术。风险管理允许根据事件的可能性及其对利益相关者的影响的程度来衡量或评估风险，并采取相应的风险管理措施。人工智能的风险管理既需要高屋建瓴的指引原则，也需要具体而微的评估指标。应着力建构人工智能风险评估体系，将指标具体化、操作化，为相关研究及应用提供指引。在实践中，风险管理应贯穿风险识别、评估、处理、监控及汇报等各环节，明确各主体的风险管控责任。具体而言，对每一个人工智能产品或者服务进行风险评估，建立类似家电效能评级的直观标志(家电效能评级以绿色、黄色、红色代表高效能到低效能的不同等级，消费者一目了然)，使主管机关、企业、科研机构、消费者都能了解产品、服务涉及的伦理风险。同时，各相关机构要建立风险评估流程，以便对人工智能伦理风险进行持续管理。

在风险评估的指标方面，根据前文算法、数据和社会三个来源，可以提出相应的评估人工智能伦理风险的指标⑤，如表1所示。

表1 人工智能伦理风险评估指标

为管理人工智能可能产生的伦理风险，从事人工智能开发与应用的机构可以建立相应的内部制度对风险进行识别、评估、处理、监控及汇报，以管理相关风险。对于伦理风险的管理应从人工智能产品或服务的设计阶段开始，并贯穿于产品或服务的整个生命周期。从风险管理的有效性出发，相关机构应在人工智能风险控制中遵循下列原则：其一，重视事前控制，前置性的风险管理措施在人工智能风控体系中尤为关键；其二，将动态风险防控意识贯穿始终，人工智能从设计、研发到应用等每一环节都有不同的风险，应让风控措施适应日新月异的技术发展和不断变换的应用场景；其三，将风险评估的责任分配给每一个环节的参与者，不论是个人、企业、政府亦或是研究机构，其中各环节的每位参与者都应承担相应的风险管理责任；其四，根据风险严重程度的不同采取相称措施，控制风险不等同于消除风险，而应当根据风险性质、严重程度进行区分，有针对性地采取应对措施。

在人工智能伦理风险管理中，应明确两类人工智能治理问题：第一类是政府对企业、科研和其他社会机构这些应用人工智能的主体的监管；第二类是政府对自身应用人工智能技术的合理约束。这两类治理问题有区别：第一类需要政府以管制者的角色解决市场和社会主体带来的问题；第二类则涉及政府的合法性和决策合理性等政治、宪法问题。政府所须承担的独特的义务和企业是完全不同的。首先，政府需要注意算法公平性，防止算法歧视导致歧视强化。算法的偏差可能产生歧视，同时机器的抉择往往被包装上“科学”“客观”的外衣，在公共决策中这个问题更应谨慎对待。其次，政府也需要注意数据的安全保障。政府通常没有足够的技术实力自行管理所收集的数据，引入第三方的参与十分常见。但让企业接触海量隐私信息或个人数据，是不可忽视的安全漏洞。再次，政府还需要防范决策主体的错位。随着人工智能参与公共决策的深度逐渐增加，在某些场景下，政府正在从决策者的角色退位，将核心决策的论证拱手交由人工智能完成。这样的情形现在尚不多见，但若不加限制，政府对人工智能的应用将向这一方向逐渐靠拢。此处产生的决策主体错位，将产生重大合法性危机。最后，新的技术条件下如何遵守公共决策的基本规则。如何在新技术条件下的公共决策仍然保持对社会的开放、坚持平等原则和保护基本权利，决定着人工智能时代公共决策的程序正义能否得到贯彻。

在上述前提下，好的人工智能伦理风险管理应包括以下六个层面：第一，机构管理者应建立明确的伦理风险认知并进行承诺。这意味着政府、企业和科研机构的管理层应明确企业管理伦理风险的基本目标及工作原则，在整个企业内塑造伦理风险管理的意识和文化。第二，机构必要时应设立伦理风险管理的部门。在政府和企业内部组织架构方面，有必要的情况下应设立相应的伦理风险管理部门，并明确各部门之间的分工及领导关系，提供必要资源。第三，有条件的机构还应设立伦理风险监督部门。单独设立伦理风险监督部门对伦理风险管理的实施进行监督，职责可包括监督伦理风险管理各部门的运作情况、相关政策及流程的执行情况等等。第四，机构应制定内部相关制度。根据机构自身的情况，风险管理部门应制定与伦理风险有关的内部政策及制度。第五，机构应建立畅通的沟通和咨询渠道。机构内部个人和部门与伦理风险管理部门之间的沟通与咨询渠道应畅通，以便在具体实施伦理风险管理政策的过程中，个人和部门可以及时将相关问题反馈至伦理风险管理部门，进行相关讨论，并由伦理风险管理部门作出必要决策。第六，机构应建立对合作伙伴的审查机制。在建立合作前，机构应先行评估该合作涉及的伦理风险的可能性大小。

五、结论

人工智能的伦理问题是一个未被以往任何单个领域的讨论所涵盖的问题，也无法通过单一的方式进行治理。文章提出的风险管理进路、指向的治理方式是结合伦理风险技术标准、政策、立法，建立风险管理的完备体系。

需要注意的是，风险管理作为一种现代社会应对风险的主流方法，往往伴随着一种技术乐观主义的倾向：风险被看作是客观的、可计算、进而可预防的。对此，已有学者提出了警告：社会对风险的警觉，并不能简单看作是对问题解决的预见，而是源自固有的秩序被危及时展示出来的社会集体信念与价值。换言之，人们对社会秩序的改变和重新构建，会产生自然的抗拒。这种抗拒表面上产生于技术、经济等领域，更深层的是社会伦理秩序的危机。在人工智能的伦理风险中，体现出的是“创造秩序危机”：人们担心的不是机器有时会做出某个不利于人的行动和决策，而是机器将取代人的行动和决策这件事本身。某些具体应对方案有助于解决人工智能带来的已知和直接风险，但无法应对人工智能带来的全部风险，特别是不确定的和长期的风险。

人工智能伦理风险管理绝不应简单等同于对短期和孤立问题的解决，而应当建立在人们对人工智能技术风险更深入的认知之上。在这个意义上，人工智能风险管理的流程设计，目的也在于将社会各个群体特别是弱势群体纳入系统，使技术的发展更忠实地反映人类伦理生活的丰富性。这也恰是中国建设法治社会的题中之义：当个人的权利和利益得到切实保护、侵害行为得到及时纠正、制裁，社会秩序得到有效维护时，才称得上“良法善治”。

注释：

① 人工智能可分为专用人工智能(弱人工智能)、一般人工智能(强人工智能)和超级人工智能三类。后两者是否可能，在技术上仍有争议，目前的迅速发展和广泛应用的是专用人工智能。

② 关于治理的新内涵，联合国“全球治理委员会”(Commission on Global Governance)提出了一个著名的治理定义：“治理是各种公共的或私人的个人和机构管理其共同事务的诸多方式总和,它是使相互冲突的或不同的利益得以调和并且采取联合行动的持续的过程。它既包括有权迫使人们服从的正式制度和规则,也包括各种人们同意或以为符合其利益的非正式的制度安排。”

③ 解释什么、解释到什么样的程度，让技术专家了解还是让普通的社会公众了解，对此学界还有一些不同的看法。

④ 人工智能伦理问题是关于价值判断的伦理问题，属于技术伦理范畴。以往针对技术的伦理思考，大多关注人类是否负责任地使用了技术以及技术的使用对人的利弊。这也是国内外提出应对人工智能的基本原则的考虑。例如，北京智源人工智能研究院发布的《人工智能北京共识》，提出了隐私保密、安全、透明度、问责制、公平性五个原则。这些原则是基于世界各国提出的原则的重叠共识部分提出的。中国人工智能标准化总体组社会伦理研究专题组提出了两个原则：人的根本利益原则和责任原则。这两个原则的提出，是从人工智能技术本身的特征来考虑的。相比以往的技术，人工智能的独特之处就在于它的“自主性”。换言之，或由于技术本身的特性、或由于其应用过程中社会赋予了它特定角色，当代人工智能技术已经在深度“参与”人的决策。在这个意义上，人工智能技术与传统的工具意义上的技术有质的区别。针对人工智能这种对人的决策的深度“参与”的技术，人的根本利益原则和责任原则有助于应对诸多看似纷繁复杂的伦理问题。

⑤ 上述风险评估指标的提出，依据的是人工智能伦理风险产生的来源，以便明确各相关主体的责任。此外，上述风险还可能对社会产生远期发展的风险，如对既有的就业、市场竞争秩序、产权等法律制度的挑战，甚至生产方式的根本变革，这些文章将其归入长期和间接的伦理风险之中。