人工智能使能系统的可信决策:进展与挑战

孔祥维 王子明 王明征 胡祥培

(浙江大学 管理学院,浙江 杭州 310058)

0 引言

快速发展的人工智能(AI)技术使智能决策应用迅速渗透至各个领域,对社会经济和人们生活产生重大影响。《管理科学技术名词》将智能决策定义为利用人类的知识并借助计算机通过人工智能方法来解决复杂决策系统的决策问题。利用人工智能技术赋能现有复杂决策系统以提高其智能决策能力,这种系统被称为人工智能使能系统。目前人工智能已成为中国、美国、欧盟、日本等世界主要国家和地区的重要发展战略,AI 的应用和基于AI 的决策竞争将直接影响未来国际格局演变的进程。

然而,随着其在相关行业的深入融合,AI 使能系统决策的事故频繁出现,例如自动驾驶汽车致死事件,IBM Watson医疗中心错误诊断,美国COMPAS AI 司法审判结果偏见等案例。人们发现:AI 使能系统在某些性能超人的同时,本身还存在着黑盒、偏见、安全、不可问责性等内生性风险,人们在与AI 使能系统交互过程中还存在着信任风险,共同导致了AI 决策的信任危机。尤其在高风险场景时,AI 使能系统的错误预测和糟糕决策将导致人们无法承受的后果。为了应对以上多种风险和不确定性的现实问题,针对人工智能使能系统的可信决策在学术界被广泛讨论,成为备受关注的研究热点。

为了提高不确定性环境下AI 使能系统应用和决策的可信性,美国、欧盟等用AI 技术的道德伦理原则来推动可信AI决策的发展,其共同目标是让人们和社会毫无畏惧地开发、部署和使用AI 系统[1-3]。欧盟于2018 年发布了可信AI 的伦理准则《Ethics Guidelines for Trustworthy AI》,提出了实现可信AI 全生命周期的框架。我国新一代人工智能治理专业委员会在2019 年发布《新一代人工智能治理原则-发展负责任的人工智能》,提出AI 治理的框架和行动指南。2020 年2 月19 日,欧盟发布了《AI 白皮书》,旨在通过防范和处理AI 技术带来的各类风险,推动道德和可信AI 的发展。2020 年5 月8 日美军启用AI 伦理原则,意味着未来战争的全面升级。截至2020 年4 月,全球AI 指南清单已收录伦理准则160 余部。然而,针对人工智能使能系统可信决策的学术问题研究尚处于起步阶段:目前的研究主要从宏观层面探讨了AI 决策的风险来源,提出了多种可信AI系统的设计原则和方针,以及针对不同风险或原则提出解决方法。但在具体应用中,仍然缺乏具有指导意义、贯穿AI 全生命周期的可信决策实施路线。同时,这些伦理原则之间存在一定的重叠和冲突,各类原则之间的优先级关系和内部边界还没有清晰地界定,对不同风险程度和应用行业的AI 决策异质性和共性规律的关注不够,存在着许多值得探讨的问题。

本文首先分析了影响AI 使能系统可信决策的风险来源,包括人工智能模型和数据的内生风险以及AI 的信任风险,根据不同的风险来源,从模型、数据和信任等三方面视角重点阐述了人工智能使能系统可信决策的相关研究进展。进而分析了管理视角下,多重不确定情境中AI 可信决策的挑战,提出了贯通人工智能开发生命周期的人机协同可信框架,思考典型领域的AI 决策风险与可信性的异质性与共性规律,最后对人工智能使能系统的可信决策进行了展望,对风险犹存的人工智能可信决策具有一定的理论贡献和指导意义,本文研究框架如图1。

图1 研究框架Figure 1 Research framework

1 人工智能使能系统的内生风险与信任问题

对现有的人工智能使能系统应用研究进行归纳发现,其风险主要来源于系统自身的内生性风险以及人机交互中的信任问题两个方面。前者主要是模型角度和数据驱动的内生风险,包括AI 模型黑盒特性导致的不可解释风险与不可问责风险,以及数据偏差导致的不公平风险和数据安全引发的不可靠风险等四个方面;后者是需要委托人工智能进行直接决策或者采用人机协同决策时产生的信任风险,上述这些风险严重影响了用户对AI 系统的采纳和决策的信任。本节对AI 模型和数据的内生风险以及人机协同中的信任问题分别进行归纳分析。

1.1 AI 模型的内生风险

AI 模型的内生风险包括AI 模型的不可解释性和不可问责性。一方面,AI 模型性能虽高,但固有的黑盒特性难以解释,导致人们无法理解其端到端的内在逻辑,故而难以信任AI 系统决策是否正确。例如在高风险的医疗诊断、自动驾驶、金融贷款和司法裁判等领域,人们难以接受用AI 黑盒模型去决定患者的健康生死、乘客的安全、贷款的批准和被告的量刑等。因此对AI 模型需要合理的解释,使黑盒模型变为透明模型,人类可以理解其输出结果,才能促进对AI 的信任。

另一方面,AI 使能系统在高风险决策应用的事故频出,对AI 的监督和问责问题备受关注[4-7]。例如无人驾驶AI 系统的自主决策目前仍存在问责难题,特斯拉自动驾驶致死事故维权困难,其根源在于数据所有权和AI 问责制度界定不明确。问责性还衍生了可审计性的概念,要求对系统进行审查、评估和审计[8]。虽然AI 使能系统的普遍性、复杂性和规模逐渐增长,但对决策主体责任的界定和追责并不完善,因此识别与AI 系统相关的潜在问责性问题对于提高决策信任是必要的[9]。

1.2 大数据驱动的内生风险

大数据驱动的内生风险主要包括缺陷数据导致的决策偏见和数据驱动导致的安全风险。早期研究表明,人们长期以来存在一个广为人知的误解:人类决策是有偏见的,而算法决策是公平理性的[10-11]。实际上,大数据预测也可导致偏见或歧视,影响决策的公平性。美国NIST 报告指出,一些AI 算法中亚裔和非裔美国人被误认的可能性比白人高100倍[12]。Nature 上的多篇文章也指出:看脸的世界,AI 却心怀偏见,歧视重重[13-14]。从深层次来看,有偏见的AI 算法会陷入难以发现和自我迭代的负反馈循环中:历史偏见和模型偏差由于系统的黑盒特性难以被诊断发现,被重新包装在AI的黑盒子里,表面上带着客观中立性,实际上却在决策应用中加重了偏见,影响人们对AI 决策的信任。

数据驱动系统需要大数据支撑,但存在内生安全风险。一是对抗样本,由输入数据中添加细微干扰生成,导致AI 模型以高置信度输出错误,例如误导自动驾驶系统造成交通事故。二是数据投毒,是指在训练数据中加入精心构造的异常数据,导致预测模型输出错误。三是生成伪造数据,指AI 无中生有自动生成图像、视频、音频等数据,例如深度伪造(deepfake)技术的AI 换脸、换声、换动作等[15],扰乱了数据驱动生态空间的秩序,让人类难以信任AI 系统。四是隐私问题,在数据驱动的AI 使能系统的生命周期中,从数据采集和标注、到数据使用和数据共享阶段,都存在着敏感信息违规获取、标注、滥用与泄露等隐私风险,例如一些城市已开始限制面部识别系统的应用[16],针对经营场所滥用人脸识别技术进行人脸识别等行为,我国最高法明确将之界定为侵害自然人人格权益的行为。数据驱动决策需要大数据,但数据的内生风险是AI 可信决策必须解决的问题。

1.3 人机协同的信任风险

大数据时代,人类面对涌现的大数据难以进行独立决策,通常需要委托AI 进行直接决策或者进行人机协同决策,此时AI 人机交互和协同过程中会产生新的信任风险,例如人机团队交互如何协同? AI 错误后如何产生再次获得信任?

信任是用户在不确定条件下,可以在多大程度上依赖代理来实现其目标的态度判断[17]。在具体应用环境中,常常出现动态的不确定性,此时AI 使能系统的可靠性会发生变化。若出现偏离常识的错误,用户难以校准对代理AI 的信任,容易处于过度信任或信任不足的状态。过度信任时,用户高估了代理AI 的可靠性,会误用超出其设计能力的代理,从而导致代价高昂的灾难,造成人员伤亡和昂贵设备的毁坏[18-21]。信任不足时,用户低估了代理AI 的能力,这可能导致代理停用,用户工作负载过大或整体系统性能下降。只有用户对AI 的信任处于合适的状态,才能实现人机协同的效用最大化。

2 人工智能使能系统可信问题的研究进展

为了应对上述存在的风险,AI 使能系统的可信决策研究主要从系统、模型、数据和信任等4 个方面展开,包括可信AI,AI 模型的可解释和可问责,数据引发的不公平和安全隐私、AI 决策信任等方面的研究,本节对这些研究进展进行介绍。

2.1 可信AI 研究的文献趋势

本研究对已有文献进行梳理。首先,对人工智能可信决策的概念进行基本检索和理解。其次,以检索结果中的重要文献为支撑依据,确定人工智能可信决策相关的检索关键词。本文分别以 “trustworthy AI decision”和“可信AI 决策”等同义拓展词为关键词,在Scopus 数据库和CNKI 中文数据库对文献关键词、摘要和主题进行筛选,发现相关主题的英文文献研究进展如图2,中文文献进展如图3 所示。由图中看到,对于可信AI 相关的研究在2016 年之后开始爆发式增长,在AI 应用不断深化的未来,这一趋势会继续延续下去。将可信人工智能原则中涉及的“可解释性”“安全隐私”“公平性”“可问责性”等关键词作为拓展后,分析发现:大部分可信人工智能文献为会议论文和预印本,期刊论文的数量较少,说明目前针对可信人工智能的研究尚处于起步阶段。其中,大部分文献都集中于可信人工智能的理论和应用研究,说明当前对可信人工智能方法的研究正处于探索阶段。

图2 可信AI 决策研究英文文献趋势图Figure 2 Trend of English literature about trustworthy AI decision

图3 可信AI 决策研究中文文献趋势图Figure 3 Trend of Chinese literature about trustworthy AI decision

针对人工智能使能系统可信决策的研究最早从可信AI系统的设计原则开展,期望从宏观方向上指导AI 应用向着可信AI 的方向发展。可信的AI 决策通常需要两方面的准则,一是功能性准则,要求AI 使能系统在技术和功能上可信,即要求AI 模型具有较高的准确率、泛化性等,这是AI 使能系统应用的共识前提。二是伦理性原则,即AI 决策在保证系统性能准确的前提下,应符合人类社会的道德伦理准则和法律法规,才能得到人类的信任[22]。我们对具有代表性的可信AI 伦理原则归纳见表1。从归纳结果可知,可信AI的伦理原则中,1)可解释性、2)公平与偏见、3)安全与隐私性、4)可问责性等四个方面最受关注,是当前业界和学术界较为公认的最重要的四个原则,这与上节所述的AI 使能系统的内生风险一一对应。许多研究都是从这四类原则和风险出发开展,试图对部分原则给出实施方法,下一节首先从模型的可解释性和可问责性、数据的公平性和安全性四个维度对相关研究进行总结。

表1 代表性的可信AI 伦理原则Table 1 Representative ethical principles for trustworthy AI

这些伦理原则之间存在一定的重叠和冲突,各类原则之间的优先级关系和内部边界还没有清晰地界定,因此实施这些原则有许多值得探讨的问题。例如,一方面,对数据隐私的保护可能会影响系统输出的可解释性和透明性,要求算法公平性可能会损害某些群体的准确性和鲁棒性。另一方面,各种原则在不同风险等级和应用场景中的重要程度也不同。例如,高风险应用中对可信的要求普遍高于低风险决策,智能医疗领域和自动驾驶领域的决策涉及人类生命安全,金融领域的AI 决策涉及投资收益,司法领域的AI 决策涉及公平正义,而无人化工厂生产线的AI 决策则仅仅涉及产品质量,因此本文将主要关注高风险AI 应用。综上,可信AI 的构建应该通过系统性的权衡来建立,并充分关注行业的异质性。随着时间的推移,早先提出的原则也在不断地被补充和修改,力求平衡AI 技术发展和符合社会价值观的平衡,以指导可信AI 健康地发展。

2.2 AI 模型可信的研究进展

AI 模型可信需要事先能够理解AI 模型的逻辑,事后对错误AI 决策进行问责。从对AI 模型可信的角度,相关研究主要围绕着AI 的可解释性和AI 的可问责性展开研究。

2.2.1 AI 的可解释性研究进展

对AI 黑盒进行解释是解决AI 使能系统可信问题最直接的方法。如果用户能够理解AI 做出决策的过程和逻辑,就可以像信任人类代理一样信赖AI。为了让用户信任AI,可解释AI(XAI)的研究备受关注,并在学术界和工业界快速发展[23-29]。

在智能决策应用的早期,主要采用线性回归算法和决策树模型等相对简单的模型,人类容易理解其逻辑并直接决策。随着AI 模型精度的提高,其不确定性度也急剧增加,例如上百层网络上亿级参数的深度神经网络等黑盒模型难以解释。AI 的不同利益相关者对AI 透明度的需求,使得XAI的研究备受关注。可解释的含义和需求对不同领域和不同利益相关者有所不同,目前在方法层面的研究,主要集中在对现有黑盒模型的事后解释[27-28]方面。从用户需求的角度,可以将可解释AI 方法分为直观探测内部的视觉解释[30-33]、从外部扰动的探索解释[34-36]、基于用户常识的知识解释[37-39]和反映决策因果关系的因果解释[40-43]四类,期望能将AI 黑盒决策解释为透明决策。在应用研究方面,可解释AI 在智能医疗[42,44-45]、无人驾驶[38,46]、智能金融[47-48]、智能司法[49-50]等领域的应用研究也相继开展,目标是提高AI使能系统预测或决策的可信度。

2.2.2 AI 的可问责性研究进展

可问责性指的是第三方能够回溯AI 的操作和结果,获取定责信息的方法[51]。AI 问责的动机来源于可解释性、公平性和安全隐私性三个属性,当模型错误决策时,需要对AI进行问责,证明其为什么以特定方式运作,在事故发生时提供必要的数据以供定责。

为了探究AI 的可问责性,在方法研究层面,AI 的可问责性主要涉及评估输入数据对模型输出的影响,称为“决策起源”[52]。例如模型起源方法[53]中的数据起源研究,包括来源数据存储方法[54-55],查询可解释性[56-57],试图在不暴露用户隐私[58]或揭示模型的知识产权[59]的前提下进行数据溯源和算法追责。

在监管层面,学术界提出的监管建议包括模型认证、第三方独立持续测试、算法审计与评估等方法[60-61],其中算法审计成为公认的确保AI 系统问责制并评估其对人类价值多方面影响的方法[62];还有一些研究设计了检查表,定性地评估问责性和可审计性[63-64]。Percy 等提出了一个人工智能问责制的生态系统,并以赌博业为案例说明了对行业特定的问责原则和程序的需求[65]。

欧盟的GDPR、中国网络安全法和个人信息安全规范等对通用数据的监管对AI 行业产生了重大影响,如欧盟发布了《人工智能法》提案强调了AI 系统生命周期的不同阶段均需要执行风险管理方法。美国政府问责署(the U.S.Government Accountability Office,GAO)发布的AI 问责框架包含了治理、数据、性能和监测四个部分。除了对AI 系统的监管法规外,目前仍然缺乏监管工具,因此AI 决策可问责性的具体实施意见需要进一步细化。

2.3 大数据决策可信的研究进展

数据驱动的AI 系统不应受到人类主观性的影响,但有缺陷的数据可以引发偏见和不公平的决策,对抗性的数据可以导致严重的决策错误,严重影响着AI 使能系统应用和决策的可信性。

2.3.1 AI 决策公平性的研究进展

针对缺陷数据导致的AI 偏见,主要集中于AI 公平性的研究,公平的决策能够有效的增强信任。AI 公平性研究首先需要对公平进行界定,Narayanan 提出了不同背景下的21种公平定义[66],AI 沿用最多的是个体公平、群体公平和反事实公平三种公平。个体公平要求相似的个体被同等对待[67];群体公平强调少数群体应该和优势群体受到相似的对待[68-69];反事实公平要求如果改变个人的敏感属性值不会影响决策[70]。AI 决策的公平性既要满足个人和组织公平,又要满足因果性,即反事实公平,实际中很难同时满足这三种公平性,需要根据不同需求进行选择。

从方法研究层面,如何解决不公平的研究发展经历了三个阶段。第一阶段是感知公平,研究如何直接处理受保护属性以获得公平,在决策过程中采用直接剔除种族、性别等受保护属性等差别处理[71]。从公平表征方法到公平词嵌入技术[72],都试图避免敏感或受保护属性对决策过程的不道德干扰。感知公平符合人类的直觉,但存在冗余编码、交叉属性干扰以及降低模型准确率的问题。针对以上局限,第二阶段引入统计公平性,考虑了个体和群体统计意义上的公平性,通过数据纠偏和对抗性学习的方法消除统计上的不公平性[73]。这些方法寻求在统计上平衡模型对整个敏感群体的行为,但难以明确被保护属性对预测结果的因果效应[74]。第三阶段引入了干预因果模型,研究受保护属性对结果的因果影响。Zhang 首次提出因果公平性的研究[75],继而Kusner等要求公平模型在个体层面实现反事实配对[70]。Garg[76]等与Wu[41,77]等提出了反事实公平方法及其度量。

在应用研究方面,已在人脸识别[78-79]、金融贷款[80-81]、疾病控制[82-83]、人力资源[84]、战略决策[85]等领域开展研究应用,在公平性度量下,保障弱势人群的公平性权益。

2.3.2 AI 数据安全性的研究进展

AI 数据安全性的方法研究方面,主要针对和数据相关的对抗攻击与防御开展。针对AI 的对抗样本攻击防御,多种角度提出的防御策略包括直接对抗训练[86]、梯度掩模方法[87]对抗样本检测[88]等。另一方向是对模型鲁棒性进行形式化验证,例如Lecuyer[89]等对ImageNet 分类器鲁棒性进行理论分析,但难以对该集合外的样本提供理论证明和保证[90]。针对数据投毒的防御研究,主要有增强机器学习模型的鲁棒性机器学习[91]。针对深度伪造的防御,在语音、图像和视频多个模态数据的研究进展主要有基于图像取证的方法、基于生理信号特征的检测方法、基于篡改伪造痕迹的方法和基于数据驱动的视频检测等方法[92-93]。

针对保护数据隐私的差分隐私方法研究包括训练阶段、预测阶段的差分隐私研究,以及成员防御攻击方法等[94]。针对多组织的数据孤岛、跨组织难以融合和传输数据等引发的数据泄露,采用联邦学习在数据不共享下完成联合建模,达到数据在本地以保护隐私的目的[95-96]。Nature 最新的研究群体学习(swarm learning)结合了边缘计算和区块链技术,提出对等网络协调的分布式机器学习方法,整合不同医疗机构之间数据,在隐私保护层面或将超越联邦学习[97]。

在应用研究方面,目前安全隐私方法已在人脸识别[98]、自动驾驶[99]和医疗推荐[100]等领域研究开展。微众银行开放了通用的联邦学习框架平台Federated AI Technology Enabler (FATE),在多个行业领域场景应用。在对抗环境下保障数据安全和隐私,提高数据驱动的可信决策是当前的严峻挑战之一。

2.4 AI 使能系统信任的研究进展

对AI 使能系统信任的研究主要从其概念定义、影响因素和风险应对三方面展开。

2.4.1 AI 使能系统信任的影响因素

对AI 使能系统信任的研究,与信息系统信任、人机交互信任、决策支持系统信任和自动化信任等领域的研究具有继承性和扩展性。信任概念由于其抽象性和结构复杂性,在哲学、心理学、社会学、市场营销学、信息系统或人机交互等领域,有不同的概念和定义[101]。共识的观点是:信任是涉及交易或交换关系的基础,且信任他人意味着必须承受被对方行为伤害的脆弱性。Jacovi等[102]通过考虑和扩展人际信任的概念,将人类AI 信任定义形式化,便于在人机协同领域研究AI 信任。

探索什么因素影响人们对智能系统的信任尤其重要,因为AI 可以被视为社会技术工件[103-104],它们不是孤立地发挥作用,而是嵌入特定的社会、制度或组织结构中,拥有自己的机制、激励、权力关系和社会角色[105]。人类和AI 系统的协同只有在信任前提下才能产生合力和增效。人类之间的信任有经验支撑,人们会根据经验对被委托人的行为、逻辑和价值观等有一定的期望,但当被委托信任的主体由人变为AI,委托人难以对AI 进行合理的期望。

几十年来的研究对自动化信任的影响因素达成的共识为:自动化信任取决于操作者、自动化和环境因素之间的动态交互[106]。在此基础上,本文分析AI 使能系统信任的影响因素如图4 所示,其中包括功能因素、伦理因素、环境因素和操作者因素。不同的影响因素关系到不同种类的信任,功能因素主要从理性上影响用户的认知信任(cognition-based trust,指对同伴的能力、可靠性和专业性的信任),而伦理因素、环境因素和操作者因素,主要影响用户的感性信任(affect-based trust,建立在人际的关怀和彼此间的感情联系的基础上)。在不同的情境下和不同的人际关系中,认知信任和感性信任分别发挥不同的作用。

图4 AI 系统信任的影响因素分析Figure 4 Analysis of the factors influencing trust in AI systems

2.4.2 应对AI 使能系统信任风险研究

对AI 系统产生过度信任或者错误的不信任会导致严重的信任风险[19,107]。为了应对风险,帮助人类对AI 决策建立合理的初始判断,使人类对AI 的信任水平与其能力相匹配,避免出现过度信任或不信任的情况,需要进行信任校准。如图5 所示,信任校准帮助匹配AI 能力与人类信任,实现适度的信任。现有研究表明持续显示系统信息对信任校准具有重要作用[108-109],后续研究强调了系统透明度在维护信任校准中的重要性[110-112]。

图5 信任校准示意图Figure 5 Trust calibration schematic

在应用研究方面,对自动驾驶不确定性的可视化研究[113-114]表明,通过不断呈现系统信息来提供透明度,有助于保持对车辆的适当信任,对自动化行为的持续反馈可以有效地促进信任校准。Caballero等[115]提出了一种提供信任校准工具的自动驾驶决策建模手段。

另一个方面是研究已经出现不良信任校准时,如何进行及时的信任修复。例如文献[116]等提出了一系列信任修复的方法,这些方法侧重于使用自然语言(例如,解释、道歉)和传达绩效信息的示例,使人类重新恢复对AI 的适当信任。Okamura 和Yamada 重点研究了过度信任或信任不足的问题,提出了一种新的自适应信任校准框架,用于检测不适当的信任校准状态提供认知线索,以提示用户重新启动信任校准[117]。信任校准方面目前较少有成熟应用,最新的研究提出了智能医疗领域的信任校准解决方案[118]。

2.5 可信AI 研究进展汇总和分析

对可信AI 研究进展,本节按照风险来源、伦理性准则和行业应用的角度进行归纳,对可信AI 的行业异质性和共性规律做出初步讨论,研究进展汇总表如下。

由表2 可知,从业务应用的角度看,虽然医疗、交通、金融、司法、人资等领域都已经开始对可信人工智能系统的应用和探索,但各领域关注的人工智能风险和原则是不同的。所有行业均对AI 的功能性准则有着通用要求,即要求AI 系统在技术和功能上可信,AI 模型具有较高的准确率、鲁棒性等,这是AI 应用的共识前提。

表2 可信AI 相关研究进展的汇总表Table 2 Summary table of progress in trustworthy AI-related research

在伦理性准则方面,不同领域各有侧重。对于智能医疗领域,可信决策的需求最为迫切,要求也最为严格,对模型可解释性和问责性、数据公平性和安全隐私性以及人机信任等维度都需要开展广泛的应用研究。这是因为可信人工智能系统的应用对于医患双方的意义最为重大。一方面,因AI诊疗系统犯错而造成的损失对于患者而言是难以承受的,依靠可信人工智能系统提供的可解释性依据来判断医疗专家或辅助诊疗设备的诊断结果是否准确、可信,也需要可问责的机制建立信任。另一方面,医生需要应用可信人工智能系统为其诊断过程和结果提供充足的解释力,保证患者隐私和公平,以此防范错诊和误诊带来的道德或法律风险。而在司法领域,关系到司法公正公开的价值定位和取向,AI 决策的公平性和可解释性最受关注。金融领域对可解释性和公平性需求较高,招聘和战略决策等领域主要面向内部的决策更关注公平性。

3 AI 使能系统可信决策的挑战

从管理角度考虑,AI 使能系统的可信决策是一个连续有机的整体系统,覆盖AI 使能系统的整个生命周期,需要同时满足可解释性、公平性、安全隐私性、可问责性,又要在人机交互中获得信任,才能切实提升AI 使能系统应用和决策的可信性。本节从管理视角讨论多重不确定性下AI 使能系统的可信决策挑战,提出了贯通AI 系统生命周期的人机协同可信框架。

3.1 多重不确定情境下AI 使能系统可信决策的挑战

管理决策过程中的重要影响因素包括外部环境特征、内部组织特征、高管团队特征和行为、其他团队特征、决策问题的特征、决策者个人特征、数据和技术、认知问题等多个方面[119]。从传统决策到数据驱动的决策,管理决策已经发生了重大转变[120-122]。从管理决策范式的角度来看,在大数据的环境下,管理决策范式在信息情境、决策主体、理念假设和方法流程四个方面发生了转变[123]。在模型和数据内生风险以及信任问题导致的多重不确定情境下,AI 使能系统的可信决策又产生了新的挑战[124]。

3.1.1 不确定情境下对AI 使能系统的持续信任

传统的自动化系统的特点通常是针对简单环境、特定问题决策,不能处理动态情境,在系统封装之后进行的是固定交付[125]。自动化系统的人机协同主要遵循两种范式:决策支持和监督控制[106]。决策支持是指自动化系统仅为决策人员提供可能的选择,由人做出最终决策;监督控制则是指自动化系统在人类代理监督下实施决策,人类仅在出现故障时接管控制权进行干预。

而AI 使能系统具有新的特征:复杂情境、自适应学习、不确定性以及持续交付。其对应的决策存在着人机协同决策和自主决策两种范式,理想情况是根据实际情境灵活地切换决策控制权,以达到提高决策正确性的目的。

比较AI 使能系统和自动化系统的特点,在不确定情景下,人机交互和协同不是一次性完成的,而是随着时间的推移持续进行交互,此时AI 系统不断获取新的数据、得到新的预测和决策,因此涉及对AI 系统的初始信任和持续信任两个问题。AI 系统的人机协同与持续信任如图6 所示。

图6 AI 系统的人机协同与持续信任Figure 6 Human-machine collaboration and continuous trust in AI systems

先前的文献主要研究了初始信任的建立条件和潜在决定因素[126]。AI 使能系统是一个技术概念,而信任是以人为主体的概念,目前的AI 使能系统的决策过程很难与人类进行沟通,因此初始信任建立后,如果AI 系统出错或隐瞒信息,初始信任将会受到伤害。AI 系统与用户的主动交互和透明沟通将有助于促进信任的发展和维护,例如一个直观的系统界面和便捷的交互手段,可以促进它和用户之间的交流。如何在长期的人机交互中衡量信任,并维持对AI 使能系统的持续信任,是人机协同成功运用的基础和需要解决的挑战问题。AI 系统可信的发展应该建立使人类使用者对系统的认知与AI 系统能力相匹配的信任机制,使系统决策处于最佳信任水平,才能实现人机协同决策优于独立决策的理想效果。

3.1.2 数据和模型不确定下的AI 可信决策

在多风险环境下,AI 使能系统引发了数据和模型两个维度的不确定性。数据风险将会导致预测或者决策结果发生改变,模型风险可以对输入呈现出错误的结果,进一步影响信任的持续性,以上的风险导致不确定性增加,见图7。

图7 不确定性增加与人机协同中的决策迭代Figure 7 Increasing uncertainty and decision iteration in human-machine collaboration

在多重不确定下的AI 使能系统可信决策,针对的信息情境中数据来源是跨域的,数据不再是完美数据,可能是存在偏见或对抗的风险数据,导致决策模型的不公平或者错误结果。在方法流程上,提出问题—制订方案—选择方案—评估方案—人机协同决策的决策流程需要引入对多风险的考量,决策主体转为了在风险下的人机协同决策。在人机协同决策的过程中,需要对个例水平上的结果进行信任校准,达到增强人或AI 单一决策的目的。对错误导致的信任中断,需要进行信任恢复,对AI 的信任贯通在用户与AI 系统决策的环节中。综上,人机交互的相互理解、对系统错误的信任恢复、在新数据上的表现,以及AI 使能系统的致命事故等等,都给数据和模型多重不确定性的AI 使能系统可信决策提出了新的挑战。

3.1.3 新型人机协同团队的决策模式

当一个人紧密地处于人工智能系统的循环中时,人在回路中的人机协作决策非常重要。例如,人和机器共同解决一个目标,在这种关系中,人和机器是平等的贡献者,在未来,AI 使能系统将与人类成为协同决策团队。不同的应用对人机协同工作的紧密程度方面会有不同的要求,任务权限可以在人与机之间动态变化,达到人机协调增强人类决策的目的。

高绩效的人类团队决策的一个重要特征是他们能够在长时间内建立、发展和校准信任,而机器尚不具备与人类透明沟通的能力,这为新型人机协同团队的可信决策提出了新的挑战。人机团队(humen-robot team,HRT)的定义为至少由一个人和一个机器人、智能代理和/或其他AI 系统组成的团队[127]。在高风险决策领域,许多人类专家依靠AI 的输出形成最终决策,组成人机团队。研究表明,这些人机团队的绩效可能比单纯人类或单纯AI 团队的绩效更高[128-129],为了实现这一点,人类必须具有适度校准的信任水平,否则会对AI 的信任水平进行错误的校准,人机团队将表现不如单独的人类决策[17,130-131]。对于信任校准,Reynolds[130]提出需要了解系统的能力(通过可解释性提供)和系统输出的可靠性(通过不确定性估计提供)的信任度校准。因此增强AI 使能系统的可理解性、响应性和解决冲突目标的能力,可能远比单纯提高AI 的准确率更有意义。Shrestha等[132]将人类决策和智能决策两种决策模式结合起来,构建了一个新的框架,以优化组织决策的质量,聚合人类和AI 决策者各自的优势为集体决策。Cai等[133]拓宽并丰富了人机协同决策在医疗领域的应用,Jussupow等[134]建立了一个用人工智能建议进行医疗诊断决策强化的过程模型。

由经验决策变为数据和算法驱动的智能决策时,人工操作员将转变为AI 的可信合作者,但AI 有风险,人类有偏见,因此风险下新型人机协同团队决策问题、风险下的机器行为问题、风险下的决策迭代问题、多级人机决策审核问题、人机跨组织决策问题等一系列和管理相关的人机协同决策都面临着新的挑战。

3.2 AI 系统生命周期的人机协同可信框架

高风险场景带来了多重不确定性,如何在动态不确定性下进行人机协同应用和决策,是一个值得研究的挑战。理想情况下,系统将是包含人、环境和任务的模型,以便推断未来的预期行为,然后,这些预测可用于做出决策。

为此,结合上文所述,需要从AI 使能系统生命周期的整体视角去实现AI 可信决策的目标[135]。AI 系统的生命周期包括AI 需求定义、数据收集和审查、模型设计和训练、模型测试和验证、模型部署和应用以及AI 持续交付等环节,见图8中的外环所示,各阶段的每一步都影响着AI 使能系统的可信应用和决策。AI 使能系统的主要参与者包括AI 用户、AI 开发者、AI 系统,这三者之间的协同交互,贯通于整个AI 使能系统的生命周期,共同决定可信决策,如图8 中的内环所示。

图8 AI 系统生命周期和人机协同可信框架Figure 8 AI system lifecycle and human-machine collaboration trusted framework

本节从三者的协同出发,提出了贯穿于整个AI 使能系统开发和部署一体化的人机协同可信框架,将AI 可解释性、公平性、安全隐私性、可问责性以及相关的可信组件在框架中实施,期望对AI 可信决策具有指导意义。

3.2.1 AI 用户与AI 开发者间的协同

为了使AI 系统能够满足实际需求,AI 用户需求与AI 开发者在AI 开发使用的生命周期中进行不断地交互和协同。AI 用户与AI 开发者间的协同主要发生在AI 使能系统需求定义、数据收集审查和持续交付阶段。例如,在项目启动期间,开发者需要与用户交流以定义问题的范围,并就数据需求、项目时间表和其他资源达成一致,这会便于用户增加对系统的理解和信任,有利于开发者设计出可信的AI 系统。在数据收集阶段,开发者向用户收集相关数据,通过数据纠偏等公平性方法确保训练数据集的有效性和公平性,同时保证数据隐私安全。在持续交付阶段,用户提供关于系统准确性、可解释性等的反馈,以供系统开发者进一步完善系统功能。

一个典型例子体现在医疗健康智能决策中。随着AI 辅助决策在医疗保健领域广泛应用,医生可以利用AI 使能系统对患者进行病情监测、医疗诊断、预后跟踪等[136-137]。在建立AI 智能医疗系统时,医生在系统需求定义阶段参与需求确认,如定义诊断内容、对误判率的容忍度等方面;在数据收集审查阶段,提供例如患者电子健康记录、生物医学研究数据库、基因组测序数据库等数据,供开发者进行训练。

目前得到批准应用的多为固定模型的AI 算法。以美国食品药物管理局(FDA)为例,2019 年前批准的60 多个AI 辅助的医疗器械软件产品都是固定模型,不具备自适应学习能力[138]。随着带有自适应学习功能的AI 不断被开发(例如IDx-DR、Caption Guidance),临床医生借助AI 系统为患者提供诊断决策,将新产生的相关临床数据记录到患者的EHR中,并反馈到AI 辅助诊断系统中进行增量机器学习。在持续交付阶段,AI 开发者根据用户反馈改进系统,并提供数据表单、模型卡片、公平性检查表等信任文档供AI 用户验证。

3.2.2 AI 开发者与AI 系统的协同

AI 开发者和AI 使能系统之间的协同主要发生在模型设计训练、模型测试验证、模型部署应用阶段。在模型设计和训练期间,系统开发人员需定义模型的可信价值观,利用平衡且正确的数据集,设计出恰当的模型。模型构建后,开发者必须根据AI 伦理规范所描述的可解释性、可问责、公平性、鲁棒性等方面的约束条件对初步模型进行测试,并设计信任校准工具,例如实时展示系统信息的用户界面、系统错误边界等。在模型测试验证期间,开发者将不断检查该系统的运行时行为,并判断其是否符合道德要求。如果违反道德约束,工程师则必须进一步改进AI 模型,并启动新一轮的AI使能系统生命周期。在模型部署和应用期间,AI 开发者需要对已开发的AI 使能系统进行定量和定性分析,记录开发活动以确保结果的可追溯性。

以自动驾驶系统为例,自动驾驶汽车(AV)可以消除与人类疲劳、误判和醉酒等驾驶风险,但也有许多潜在的新风险。目前的AV 不太可能理解人类价值观、权利、社会规范[139]。此时便要求系统开发者在设计决策模型时必须对人和其他动物生命等优先级进行符合伦理的定义,使模型的伦理价值观同时符合法律法规、社会规范等。构建可解释性和可问责性约束条件的模型,同时保障安全隐私性、公平性。当难以避免的事故发生时,AI 系统应对实时的情况进行解释和决策,迅速进行合理的人机控制权交换,这需要AI 开发者设计可解释的AI 交互界面,并且提供系统相关运行参数和开发日志以分析责任界定,加强AI 决策信任。

3.2.3 AI 系统和AI 用户间的协同

AI 系统和AI 用户之间的协同主要发生在模型部署应用阶段。模型部署过程中,用户结合AI 使能系统的预测结果和专业经验进行决策,同时用户将提供关于系统是否可信、是否易于使用,以及解释是否足够等反馈信息,并采取适当的人为监督措施。在应用过程中,系统用户利用信任校准工具对AI 的决策进行校准,避免产生盲目性的过度使用或弃用,在人类专业知识和AI 决策结果一致时相信智能决策,在决策不一致时,根据校准工具判断机器决策的置信度,选择接受或不接受机器决策的结果,降低决策误差。

AI 用户与AI 系统协同的典型案例发生在AI 贷款核保领域。传统的核保系统大多基于特定规则,当规则库中的某些默认规则被触发时,贷款承销商接受或拒绝贷款的放出。由于AI 模型可以结合大量数据集和动态模型的结果进行预测与决策,智能核保的准确度比人工手动核对高出许多[140],人工智能系统的快速决策提供了令人满意的客户体验[141]。但是信用评分任务通常有两种类型[142,143],第一类是将申请人简单地分为“拒绝”“通过”等类别,可以由自动承销系统完成。第二类的信用评分任务需要发现现有的客户还款模式,以更新未来的贷款策略,这通常需要从有经验的保险商和资深人士的领域专家获取信息,这些专业信息因贷款产品的类型和承销商的经验而异,超出了原规则库的默认范围[48]。在AI 系统部署应用时,系统需要提供决策的依据与边界,用户在校准的基础上,结合领域特定的专业知识与非结构化的经验进行综合决策,并且对于系统所提供的信息是否准确、解释是否充分等做出反馈和人为监督。

最后,为了验证人机协同可信框架的实施,AI 开发者需要在整个AI 生命周期过程的各个阶段完成信任文档。信任文档是对可信赖AI 开发提出的标准化的文件,用以记录训练的AI 模型的性能特征[102]。目前被开发的信任文档包括数据表单[144](记录每个数据集的动机、组成、收集过程、推荐用途等)、模型卡片[62]详细说明模型性能特征的文件,提供了在各种条件和预期的应用领域下的基准评估、可重复性检查表[145](记录模型重复实现的条件和过程)、公平性检查表[146](确定了AI 公平性检查表的总体要求和关注点等)。

至此,形成了贯通AI 系统生命周期的人机协同可信框架,为实现人机系统协同应用和决策优于独立决策的效果提供可实施的路径。

4 人工智能使能系统可信决策的展望

对AI 使能系统的可信决策研究仍处于起步阶段,还存在众多亟待解决的问题,本节从管理视角对AI 使能系统的可信决策研究进行展望。

可信人机协同团队组建。人机协同的决策模式需要组织建立高效的人机协同团队。随着AI 不断深入决策制定过程,在各种组织内建立高效可信的人机协同团队是一个全新的命题。未来的研究应该对人机团队的组织架构、团队信任和绩效管理的理论基础和应用方面进行探索,提出建立高效、可信的人机团队的科学方法。

跨组织的可信决策问题。复杂组织应用AI 决策时面临决策权力分配和决策时间挤压的问题。不同组织级别的决策参与者对AI 系统的认知与信任程度不同,在决策传递时可能存在偏差和意见冲突,如何确定最佳行动方案就会变得更加复杂。对于要求实时决策的应用场景,跨组织智能决策的决策时间将受到挤压,未来的研究应关注合理协调跨组织层级智能决策的人机权力分配和有效的人机协同,进一步促进可信决策的发展。

可信人工智能监管问题。人工智能可信决策在政府监管层面和业界利益方面存在着一定的隔阂。从企业的视角出发,一方面他们重视可信AI 的发展研究,是出于为了在竞争中维持优势的目的,试图打造更优秀和适合市场需求的AI产品;另一方面,他们并不追求最高质量的可信,只追求在不发生重大AI 决策事故的前提下,尽量满足监管标准或政策要求,摆脱政策合法性的质疑,避免政府的干预和制裁。这种倾向可以从私营企业逐利性的根本本质分析得出,各企业的相关AI 发展报告中也可以佐证。由此,人工智能可信决策的监管,在政府和监管层面必须给出充分严格的要求,要在对业界应用情况充分了解下,有高于现实的远见。另一方面,政策制定应该考虑各项原则之间的协调,避免“一刀切”,在提升AI 商业价值和保护公众利益之间达成平衡,考虑不同决策类型、应用场景、风险等级的具体要求。

AI 可信决策的度量和标准。随着AI 使能系统可信决策的研究不断进展,各类不同的原则和方法在行业应用中存在的问题将会逐渐暴露出来,可信决策的度量和标准化是必经之路。目前AI 技术迅速发展,配套的标准化管理方案尚未实现,一方面要从开发者训练、测试与实验、部署运营和监管的角度对AI 可信决策进行设计,另一方面则要从芯片等硬件、算法、系统等出发,共同制定标准和规范。未来研究应关注AI 使能系统可信决策的度量和标准,统筹指导和监管可信决策,促进AI 可信决策的健康持续发展。

5 小结

AI 的迅速发展和广泛决策应用过程中暴露出了诸多的信任风险,为了应对这些信任风险,本文首先讨论了AI 模型、数据驱动和AI 信任的风险来源,重点分析了应对风险的AI 使能系统可信决策相关的研究进展。讨论了多重不确定下的可信决策的挑战,包括持续信任、多重不确定性和人机团队的构建。基于AI 开发生命周期,提出了具有指导意义的人机协同可信框架,最后对人工智能使能系统可信决策的未来研究发展进行了展望。