李 游 梁哲浩 常亚平
(1. 华中科技大学管理学院; 2. 华中科技大学公共管理学院)
大数据的积累赋予了算法从经验中学习、理解和表达人类语言,甚至认识和模仿人类情感的能力。如今面对复杂的预测和决策任务(如疾病诊断、自动驾驶、法律咨询和表情识别等),以算法为核心的人工智能产品能以超越专家级的准确性为用户提供服务[1]。鉴于算法的准确性高于一般人类的直觉和判断,人们理应信任并接受它的建议。然而,事实并非如此。现有研究已经注意到:招聘人员更相信自己而不是算法的推荐[2],审计师更信任自己而不是智能辅助工具的欺诈预测[3],病人更愿意采纳医生而不是医疗人工智能的诊断结果[4],消费者更喜欢依靠朋友而不是计算机系统推荐的书籍、电影和音乐[5]。总而言之,在许多引入算法的预测和决策任务中,人们往往表现出更加信任和依靠人类而非算法判断力的倾向。研究者将这种倾向称之为“算法厌恶”,用以描绘人们对基于算法的人工智能产品的不信任倾向[6,7]。
营销领域相关研究已经发现,算法厌恶降低了用户对人工智能产品的接受意愿,这直接损害了用户的满意度、人工智能产品的发展和企业的收益率。对用户而言,算法厌恶造成了他们在预测和决策任务中忽视最优选择,这将带来不理想的用户体验[4]。对人工智能产品而言,算法厌恶使得这些产品失去了收集数据和人机互动的机会,这阻碍了基于数据和用户反馈的产品优化。对企业而言,算法厌恶导致人工智能产品带来的收益难以覆盖高昂的引入和运营成本[8]。因此,算法厌恶有可能为用户、人工智能产品和企业带来“三输”的局面,而认识和应对算法厌恶已成为企业设计和推广人工智能产品的重要内容。
然而,作为一个在2015年才被提出并得到证实的概念[6],算法厌恶仍然是营销领域中一个较新的主题。因此,当前学者们仍在积极地从各种人工智能应用场景(如预测、专业医疗、服务沟通和员工培训)中揭示算法厌恶的现象,并分别提出对应的解释。例如,在专业医疗领域,病人出于独特性忽视的顾虑而抗拒人工智能产品[4];在预测领域,消费者出于情感和认知上的不信任而排斥人工智能产品[9];在员工培训领域,员工出于沟通技能的不认可而拒绝人工智能产品[10]。尽管这些研究均在各自的场景下描绘出了用户对算法的主观感受和理解,但就整体而言,尚未有研究揭示出算法厌恶的底层根源和形成机理,也由此大大限制了现有研究所提出的各个应对策略的外部效度和实践价值。因此,对已有文献进行详尽地梳理,明确现有研究的局限并洞悉未来研究方向就显得格外重要。
本研究以“algorithm aversion”“algorithm”“artificial intelligence”等为检索词,对Web of Science 核心合集数据库中2005年至今“business”“management”“psychology”和“information science”四大领域的核心论文进行检索;以同样的英文关键词在谷歌学术中收集相关的会议论文和工作论文;以“算法厌恶”“算法”“人工智能”为检索词对中国知网2005年至今CSSCI期刊论文进行检索。通过对以上中英文研究结论的回顾和梳理,本研究从算法厌恶的概念、测量、发生机制、应对策略和理论基础等角度进行了系统性阐述。在此基础之上,本研究进一步指出现有研究不足,并从算法厌恶的边界、根源、应对策略和动态变化方面分析了未来的研究前景。
广义而言,算法是指计算机执行任务时可以遵循的一系列步骤,它涵盖了任何基于证据的预测公式和规则,如统计模型、决策规则和所有其他可用于预测的程序。因此,人工智能产品是以适应环境和主动学习的智能化算法为核心,并且能够代替人类执行那些通常被认为需要具备智能和自主决策能力才能完成任务的产品[8]。从20世纪50年代起,围绕算法与人类之间关系的研究开始出现在科技史、社会学和心理学等不同领域。下文中首先回顾算法厌恶现象的发展,继而根据相关研究的深入归纳出算法厌恶的狭义和广义定义,最后梳理出实证研究中的测量方式。
算法厌恶现象最早得到学界的注意源自MEEHL[11]的研究结论。他发现基于算法的统计判断可以优于医学专家们的临床判断,但是专家们却并不愿意相信这一点。简而言之,算法厌恶源自于人们对“算法优于人类”这一研究结论的否定[12]。在此之后,其他领域的专家和学者也在一些研究中表露过对算法的怀疑[13, 14],这也意味着算法厌恶现象可能广泛存在于运用算法技术的各个场景中。
虽然相关现象早已被注意到,但是直到2015年,DIETVORST等[6]才对算法厌恶给出了第一个狭义的概念定义,并在实证研究中证实了它的存在。他们指出,(狭义的)算法厌恶是指人们不情愿使用优于人类但并不完美算法的倾向。当人们看到算法出错后就会对算法快速失去信心,因此被试宁愿选择水平较低的人类预测者也不愿意选择算法。在这一定义下,对算法的消极体验至少(部分)导致了人们的算法厌恶倾向。然而,现实中人们时常在缺乏此类经验的情况下怀疑算法的能力。例如,PETROPOULOS等[7]证实即使强调了智能算法的优越性,缺乏经验的被试仍然拒绝智能算法并支持他们自己的(错误)判断。针对前述狭义定义的局限性,LOGG等[8]提出了广义的算法厌恶,并指出不管人们是否有过使用算法的经验,都会认为算法的可信度低于人类。他们还指出,现有研究常常引用狭义算法厌恶的定义来表述广义算法厌恶的内涵。因此,从定义可以看出,狭义的算法厌恶是用户对算法的自我改进能力的否定,而不涉及他们对未使用过的算法的能力预判;广义的算法厌恶是用户对未使用过的算法的能力否定,而不涉及他们对算法的自我改进能力的预判。虽然二者所涉及的研究情境不同,但是都指向用户对算法智能化的学习和适应能力的否定。
在已有文献中,算法厌恶有直接和间接两种测量方式。在狭义与广义的定义中,算法厌恶都表现为人类不情愿使用或者不相信算法(或人工智能产品),因此基于这一概念,最为直接的测量方式就是询问被试对算法或者人工智能产品的选择(例如,你是想靠自己还是统计模型来预测学生在MBA项目中的绩效表现?)[6]或态度(例如,你对算法有多信任?)[10]。此外,基于不同的实验情境,研究者们也提出了一些测量算法厌恶的间接形式。例如,在医疗情境中,测量被试对医疗人工智能的支付意愿、相对偏好和采纳意愿[4];在员工培训情境中,测量人工智能教练对员工绩效抑制效果[12];而在销售情境中,测量人工智能客服对消费者购买率的负面影响[9]。
随着算法技术的创新和企业营销实践手段的更新,消费者在日常生活中对算法的理解、感受和体验也在不断变化。学界已经开始意识到,一方面,算法厌恶现象正在伴随着算法技术在人们生活中的普及而越发广泛;另一方面,由于算法的呈现形式和具体任务的多样性,当下用户算法厌恶态度的形成是一个动态复杂的过程。这也导致学者们目前仍然着力于在不同领域、不同任务环境、不同的算法形式的各个具体案例中,讨论和挖掘不同形式的算法厌恶。因此,下文中将从算法属性、任务类型和个体差异3个方面,对现有研究的相关结论进行分类,从而梳理出现有研究已经发现的算法厌恶的影响因素,再从算法偏见机制和人类偏爱机制两大角度概括分析算法厌恶的发生机制。
通过对相关研究的梳理可知,算法厌恶的影响因素大致分为算法属性、任务类型和个体差异3类。
(1)算法属性基于风险导向框架,算法的可预测性和错误成本决定了人们对算法的信任和依赖程度[15]。这里可预测性是指算法的预测结果优于随机结果的程度;错误成本指的是算法预测失败所带来的经济损失。低可预测性和高错误成本会提高算法的使用风险,这削弱了人们对算法的信任和依赖。此外,算法的拟人化程度、自主性、兼容度和复杂度等都会影响人们的算法厌恶倾向[16,17]。
(2)任务类型面对主观(vs. 客观)的任务,人们认为算法的可信度和可靠程度更低[10, 18]。这里客观性任务指的是包含可量化和可衡量的事实性任务;而主观性任务指的是可以被开放性解释并基于个人观点或直觉的任务。人们的刻板印象中认为机器具有强大的认知能力,而缺乏情感能力[19],因此,缺乏情感能力的算法难以胜任主观任务[18]。此外,面对高创造性产品推荐(vs. 低创造产品推荐)任务,和高象征性消费任务(vs. 低象征性消费任务),人们同样认为算法难以胜任[20,21]。
(3)个体差异自我相关度和自我专业性会影响人们对算法的判断[8]。已有研究指出,当人们在算法估计和他们自己估计之间做选择,或者人们在某一预测方面具有专业知识时,算法厌恶效应显现[8]。也就是说,面对自我与算法的选择,人们选择相信自己。并且,自我专业性也会提升人们的一般自信,进而导致其非专业领域的过度自信[22]。此外,人们对算法的熟悉度、经验、控制点和身份强度也会影响算法厌恶倾向[10,23,24]。
算法厌恶现象的早期非实证研究阐述了人们对算法的通俗认知。通过对这些研究结论的归纳梳理可以发现,算法厌恶的产生原因大致可分为人们对算法的偏见和对人类的偏爱。对算法的偏见而言,人们认为算法无法学习进步、不人性化[14]、不关注个体目标、无法处理定性数据[25]、缺乏控制和使用动机、缺乏道德伦理感,并奢望算法能提供完美的预测[2,14,26];而对人类的偏爱而言,人们了解人类提出建议的基本过程,有向对方提出问题的机会,能够口头传达意见,可以提供决策的解释,感觉更有信心,需要维持声誉,以及拥有关于未来事件的信息[27,28]。上述早期的开拓性研究为后续实证研究的开展指明了方向。通过对相关实证研究的梳理发现,算法厌恶的确来自于人们对算法的偏见(如算法缺乏情感信任和认知信任[10]),以及部分对人类的偏爱(如人有责任感[29]),本研究将其分别概括为算法偏见机制和人类偏爱机制。
(1)算法偏见机制一些研究将算法厌恶的产生归结于人们对于算法本身的错误认知和理解。DIETVORST等[6]证实了在学生成绩预测任务中,当算法和人类专家被发现犯下同样的错误时,人们对算法的信心的降幅更为明显。这是因为人们不认为算法能够像人类一样改善和优化,这在引发算法厌恶中起着重要作用。在其他主观性或个性化的预测领域中,人们一方面不理解其运算过程、怀疑其运算结果;另一方面,算法对人类身份的挑战也让人们感到不适,这都会导致人们并不依赖于算法的建议[5,10]。在个人的专业医疗领域中,人们不理解AI诊断过程,以及担心它们对自身情况的独特性忽视而排斥医疗人工智能产品[4,30]。在服务沟通和员工培训领域中,人们认为AI产品缺乏共情能力、知识储备和沟通技巧而拒绝使用这些产品[9,12](见表1)。
表1 算法厌恶的发生机制:算法偏见机制(实证研究)
(2)人类偏爱机制除了对算法技术的错误认知以外,人们对自身以及对人类的某些身份特性的重视和偏好也推动了算法厌恶的产生。PROMBERGER等[29]指出在医疗领域,病人更愿意遵循来自医生的建议,这是因为他们觉得医生更有责任感来帮他们分担病痛。同样是在医疗领域,CADARIO等[30]指出,人们不但不理解AI医疗诊断过程,还过度高估了自身对人类医生诊断过程的理解程度。这种对医生决策的可理解性来自于人们对同类决策过程自以为是的认识[30]。基于自我感知的心理可理解性的人类偏爱,也同样存在于产品推荐领域。但是,人们实际上无法接触到自己大脑的联想机制,并且依赖启发式处理来理解他人的决策[32]。最后,在容错率较高的预测领域(如电影推荐),信任产生于预测者与自己的相似性[33](见表2)。
表2 算法厌恶的发生机制:对人类的偏爱(实证研究)
现有研究主要聚焦于算法厌恶的影响因素和发生机制,少部分学者基于各自的算法厌恶发生情境提出或证实了相应的应对策略。因此,基于上文所述的3类算法厌恶影响因素,可以用算法设计策略、任务干预策略和消费者教育策略,分别解决算法属性问题、任务类型问题和个体差异问题。
BURTON等[26]提出了具体的算法设计策略,来解决缺乏决策控制和缺乏激励的问题。面对缺乏决策控制的原因,作者指出需要提升人们对算法的控制感,即在算法辅助设计中,允许人们对算法的决策过程进行监督,这样能够增加决策透明度和参与感;而面对缺乏激励的问题,作者强调了行为设计的必要性,即设计助推程序来弥补人们使用算法的经济动机和社会动机不足。此外,在具体的算法应用场景中,提升算法的可解释性(如准确性、稳定性和因果性等)、情感相似性、个性化程度、诊断透明度(AI医疗诊断),以及人-机合作(AI教练和企业导师的合作)水平都被证明能够有效地改善人们的算法厌恶倾向[4,10,12,30,33]。
CASTELO等[10]研究发现,消费者信任算法执行客观性任务,而不信任算法承担主观性任务,提升任务的客观性可以有效增加消费对算法的信任度。由于大多数任务都包含或多或少的客观性和主观性,因此人们如何理解和判断某一任务的类型,也在一定程度上取决于该任务是如何被构建、解释和强调。此时,提升任务的客观性可以达到缓解算法厌恶的目的。此外,延迟披露AI的身份也是提高用户使用意愿的重要手段[9],这一方法力图使消费者无法察觉AI的存在,从而尽量在消费者能够产生算法厌恶之前回避问题。
由于算法厌恶通常源自人们对算法的错误预期,因此一些提升人们的算法素养的方式也可以有效缓解算法厌恶的问题[26]。例如,通过进行与算法技术相关的培训,来帮助人们建立对统计误差和不确定性等核心统计概念的认识;针对人们对专家的过度信任问题,可以向用户指出他们对专家的理解错觉,以缓解其对算法的抵制[4];增加人们算法相关产品的使用经验,也能够缓解算法厌恶的问题[9]。
研究者们注意到,现实中的人工智能产品常采用拟人化设计和推广方案,这让人们误以为智能算法就是“像人类一样思考”[36]。然而,人们通常认为包含认知和情感能力的智能是人类所专属的,算法难以具备这些能力来进行思考[36]。因此,当算法解决了那些被认为只能由人类智力所解决的问题时,人们就会对此感到不解和无法认同[5]。这种将“人工智能”类比为“人类智能”的策略,不但挑战了人们的固有认知,还对人类身份的独特性产生威胁,从而引发了消费者的算法厌恶[24,37]。由此可见,现有研究中关于算法厌恶的主要理论解释的根基,包括自我服务偏差理论、社会认同理论和常人理论。
自我服务偏差理论认为,当人们加工与自我有关的信息时,会出现一种潜在的偏见,也就是倾向于以有利自身的方式来进行自我知觉[38]。例如,大多数人都认为,相对于社会总体水平(或自己所属群体的平均水平),自己的道德水平更高、更有工作能力、更友善和更聪明[39]。此外,当人们拿自己和别人进行比较时,也常常觉得自己比他人更好,这也是自我服务偏差的一种体现[38]。
根据自我服务偏差理论,在将自身与人工智能进行比较时,人们一般认为自己或比人工智能优秀,而人工智能产品拟人化特征则会进一步强化人们的社会比较倾向。由于那些感知自我专业性水平(或与任务相关的能力)较强的个体,会在经验、知识和自我效能感上有较强的感受,因此,这类消费者会更加倾向于断定自己的专业能力远远高于智能算法。此时,若让基于算法的人工智能产品在相关任务中代替或部分代替此类高专业性消费者自身的判断,则会使他们产生较高水平的感知自主性威胁[40]。总而言之,由于人们难以接受算法所具备的“人工智能”超过自己的“人类智能”,从而诱发了算法厌恶的形成。
社会认同理论认为,人们从不同的群体成员身份中获得意义和满足感,为了维持群体成员的身份,个体会对其所属群体内的其他成员产生偏好,而对群体外成员产生排斥[41]。当外部群体威胁到内部群体的特殊性时,他们会对产生威胁的外部群体做出负面反应[41]。换句话说,人们倾向于认为其内部群体是独一无二的,当外部群体开始挑战这种感知独特性时,他们会对外部群体产生负面评价和反馈[42]。
根据社会认同理论,在将专家或服务人员与人工智能产品比较时,人们会把采用拟人化策略的人工智能产品类比成一个外群体的“新物种”来理解,从而将其与同属于“人类”这一内群体概念的专家或服务人员进行社会比较。在这种基于社会身份视角的比较关系下,人工智能产品拟人化特征会进一步强化人们的社会比较倾向。此时,个体的独特性直觉会让他们天然地对外群体产生排斥。自我独特性高的个体,在身份强度、社会比较倾向和独特性需求上较高,若让人工智能产品代替人类来为他们服务,则会让他们感觉不受重视,进而诱发感知身份威胁[37]。总而言之,由于人们不认为人工智能产品能够像人类自身一般对“独一无二”的其他人类个体产生理解和共情,从而诱发算法厌恶的形成。
常人理论是指外行人通常对自身所处社会和世界存在一种朴素的解释,这种解释被称为“常人信念”。常人信念会使个体在心理上形成一个稳固、有意义的系统,从而降低个体的认知不确定性,增加掌控感,并帮助他们以有效的方式来解释和预测自身所处的环境[43]。常人信念主要来自于个人经验和间接的环境体验。
基于常人理论,人们一般认为算法在推荐实用品时比人类推荐更准确,而算法推荐享乐品时则要低于人类推荐的准确性[18]。这是因为实用品的属性具有较高的客观性,人们倾向于认为,算法推荐在解决客观性强的问题时会比人类更加准确、稳健和低成本;然而,由于享乐品的属性具有较高的主观性,因此人们通常认为享乐品推荐需要与个体的独特偏好相匹配,而且这是算法所不具备的能力,从而不信任算法的推荐结果。总而言之,人们通常会认为算法无法理解个人偏好和处理主观任务,这诱发了算法厌恶的形成。
算法厌恶的相关研究最早起源于20世纪50年代的“人-机协同”问题,并随后在管理学、心理学和传播学等多个领域得到一定程度的讨论,但在产品与服务营销领域相关的研究却仍然十分有限。未来研究可以进一步从以下几个方面加以展开。
尽管现有大量研究可以证实,人们通常对那些预测能力优于他们的算法持怀疑态度;但是近期研究指出,这种算法厌恶的出现可能存在一定的边界条件,并且存在算法欣赏现象。LOGG等[8]提出并验证了算法欣赏现象,也就是当人们认为自己的能力水平明显不能胜任某一项预测任务时,作为外行的他们会更倾向于来自算法而不是其他人的推荐。此外,算法欣赏也会出现在定价领域,宋晓兵等[44]的研究指出当面对差别定价,消费者会认为人工智能定价比销售人员定价更加公正和公平。因此,上述研究所产生的结论似乎表明,产品类型和任务视角的组合有可能构成发生算法厌恶的边界条件[35]。
(1)基于人工智能产品类别的划分现有研究多针对不同的算法应用场景,分别提出各自的算法厌恶影响因素和发生机制。换言之,这些研究对于人工智能产品的选择是高度具体化和场景化的。综合来看,尽管此类研究已经确认人们对不同类别的人工智能产品存在不同的评判和比较标准,但是研究者们却未能厘清“算法产品的类别属性在影响和塑造人们对算法的感受中的作用”这一问题。该问题是算法厌恶发生机制的核心,也是各种算法厌恶解释中的潜在共性。因此,未来研究应考虑进一步探究人工智能产品的专业性、拟人性和可比较性等产品属性在算法厌恶产生过程中的潜在影响,从而力图依据算法应用的分类条件探索整合现有的相关研究解释。
(2)基于任务视角的划分围绕算法厌恶现有实证研究通常使用的是同一种任务情境,即:被试需要选择是依靠算法还是人类(既包括自己,也可能是作为第三方的他人)为自己的决策提供建议。与此相对应,算法厌恶的实验情境也可以设置为,被试需要选择是依靠算法还是人类(既包括自己,也可能是作为第三方的他人)为他人的决策提供建议。显而易见,上述两种有算法参与的任务情境中,被试的角色视角发生了明显的变化:在前一种条件下,被试处于该决策任务的第一人称视角,即被试本人就是需要做出与建议相关的最终决策的负责人;而在后一种条件下,被试则处于该决策任务的第三人称视角,即被试本人不需要承担与建议相关的最终决策的责任。因此可以认为,这种任务视角上的显著差异也有可能会影响算法厌恶的发生,而现有的研究还未探究任务情境对算法厌恶产生的影响。因此,未来研究可以进一步探究为他人决策的情境是否可能会降低算法厌恶效应,这可能是因为人们在为他人做决策时更少的个人代入感,更关注潜在的收益而不是风险和自我贬低。
现有研究揭示了算法厌恶现象普遍存在于各种人工智能应用场景(如预测、专业医疗、服务沟通和员工培训),并分别从消费者对算法的偏见或对人类的偏爱角度,提出或验证了可能的发生机制[4,9,30]。尽管这些研究证实并解释了面向不同类别产品的算法厌恶现象,但是还未抓住现象背后的底层根源和形成机理。
对算法的偏见和对人类的偏爱可能都起源于人类以自我为中心的思维倾向,即消费者在评判人工智能产品时以自我为中心的评价倾向,它让人们排斥那些可能让他们感到自我认知和身份被挑战的算法和人工智能产品。企业在产品设计中通常大量引入拟人化特征(包括外形、语言、思维和情感),希望促使消费者倾向于将人工智能产品当成一个人来对待。虽然对人工智能产品进行拟人化设计和推广有助于消费者理解产品的功能性价值,但也容易导致相关产品在人们的认知中被归入一种“似人非人”的状态,从而进一步激发人们与这个新物种进行比较的倾向。由此可见,消费者在评判人工智能产品时会受到自我为中心思维的影响和制约。换言之,“算法在能力上优于人类”和“算法认知和身份上模拟人类”可能构成了对人们的自我中心思维的双重挑战,并因此导致人们产生对算法和人工智能产品的消极态度。基于此,未来的研究可以进一步探究自我的专业性、独特性、身份强度和效能感等对算法厌恶的核心影响。
现有研究针对不同的人工智能应用场景分别提出了对应的应对策略[10,31]。然而,由于当前学术界尚未就算法厌恶这一普遍现象的底层根源和形成机理形成统一的认识,这极大限制了已有应对策略的实践价值。由此可见,未来研究可以从前文所综述的算法厌恶的发生机制、理论解释、心理根源等角度出发,尝试提出具有更广实践意义的整合性应对策略框架。例如,根据社会认同理论,从消费者的角度来看,那些更加基于自我中心思维进行思考且自尊水平较低的个体,更容易倾向于认为算法挑战了其固有认知和独特身份。这将激发消费者自我维护或保护性的倾向,从而对算法和相关产品产生抵制或不信任感。针对这样的情境,帮助消费者进行自我能力强化、自我身份强化和自我价值强化,或许可以作为缓解算法厌恶的一种较为有效的应对方式。
常人理论指出,人们对算法的认识和感知,包括厌恶感,应当是伴随着其个体经验和环境的改变而动态变化的。由于导致算法厌恶的常人信念根植于消费者真实的体验和当下的文化氛围,因此当消费者切实体会到了人工智能产品的好处,以及经历过营销人员持续不断地知识普及和产品推广后,他们对算法的认知和感受也可能发生改变。随着“人类-算法”接触的日益频繁,算法所嵌入的行业或社会环境也将发生改变,并反映到人们对算法的认识和感知之中。长期来看,未来人类社会必将逐步形成一种新的且更加有利于算法融入人类生活的“常人信念”。基于此,未来的研究可以进一步探究在不同社会经济文化背景、算法在同一时期的不同领域的应用普及度,以及算法在同一领域内不同时期的应用普及度等环境因素的影响下,有关算法的“常人信念”的动态变化过程,并力图将其与相关领域范围内的算法厌恶现象的发生和演化过程联系起来。