价值计算决定何时与如何努力*

曹思琪 汤晨晨 伍海燕 刘 勋

价值计算决定何时与如何努力*

曹思琪1,2汤晨晨3伍海燕4刘 勋1,2

(1中国科学院心理研究所行为科学重点实验室, 北京 100101)(2中国科学院大学心理学系, 北京 100049) (3北京体育大学心理学院, 北京 100084)(4澳门大学认知与脑科学研究中心, 澳门大学心理系, 澳门 999078)

优化努力的分配, 最小化努力成本和最大化收益是各个领域的关键问题。本文梳理了基于努力的决策(effort-based decision-making)的理论与实证研究, 讨论了努力的两面性：固有成本和潜在价值。通过拓展控制期望价值理论(Expected Value of Control, EVC), 本研究探讨了影响努力的非社会与社会因素。探索人们何时以及如何付出努力的计算神经机制,有利于理解与促进社会互动中的努力行为, 以及为干预精神疾病中动机缺失症状提供参考。

努力, 控制期望价值理论, 成本−收益权衡

1 引言

努力是一个复杂的概念, 它反映了有机体追求目标的意志(volitional)和意图过程(intentional) (Inzlicht et al., 2018)。以往研究简单地将努力定义为人们主观感知一项任务对体力或脑力的要求(Lockwood et al., 2017)。努力区别于任务难度。难度是一项任务的属性。理论上, 难度可以无限增加, 但是随着难度增加到一定程度, 努力水平呈现下降趋势(见图1) (Klein-Flügge et al., 2015)。努力也区别于动机, 动机具有方向性, 努力是目标导向的中间过程(Westbrook & Frank, 2018)。努力在能力和实际表现之间起到中介作用(Shenhav et al., 2017)。例如, 体测成绩不仅取决于个体运动能力, 还取决于努力程度。人们日常付出“努力”的过程与认知控制的运用有关(例如, 目标选择和主动控制等) (Kostandyan et al., 2019)。认知控制反映了灵活调动认知资源的心理过程(Parro et al., 2018)。测量认知控制的工具为量化努力提供了途径(Verguts et al., 2015)。然而, 认知控制存在上限和成本高昂。人们无法随意地运用认知控制, 这引出一个重要的问题：什么时候付出努力(运用认知控制)是值得的？努力是一种行为与决策的成本, 厌恶与规避高努力是人类行为的普遍原则, 但是努力的潜在价值对个体起到显著的激励作用(Hart & Izquierdo, 2019; Westbrook et al., 2020; Sandra & Otto, 2018)。研究者结合经济学与决策领域的理论, 提出控制是基于成本−收益权衡(cost-benefit tradeoff)过程的输出(Egner, 2017)。不同形式的激励(incentives)影响努力成本−收益的权衡(Yee et al., 2021), 最终改变付出的努力。因此, 如何最小化努力成本, 最大化收益是一个资源分配的优化(optimization)问题(Shenhav et al., 2013)。

本文梳理了基于努力的决策(effort-based decision-making)的理论与实证研究, 讨论了努力在成本−收益权衡(cost-benefit trade off)中的两面性：固有成本和潜在价值。通过拓展控制期望价值(Expected Value of Control, EVC)理论, 本研究探讨了非社会与社会因素对努力的影响。探索人们付出努力的认知与神经机制, 有利于理解与促进社会互动中的适应性努力。

2 努力“投资”——控制资源的分配

近年来, 研究者热烈地讨论了“人们对什么(what)付出努力？”, 以及“如何付出努力(how)？”等问题(Botvinick & Braver, 2015)。成本−收益权衡是行为决策的基础(Rangel et al., 2008)。本质上, 行为受到主观价值驱动(Croxson et al., 2009; O’Doherty et al., 2017; Shenhav et al., 2013; Vogel et al., 2020)。控制期望价值理论(Expected Value of Control, EVC) (Shenhav et al., 2013)指出, 分配控制资源主要考虑两个方面: 1)对当前任务状态的识别(identity), 如任务规则(Stroop任务中, 对字意或字的颜色进行反应的规则), 2)完成任务必须投入的认知资源量(intensity)。人们通过整合努力行为的成本(cost)和收益(payoff)计算控制资源分配的期望价值(EVC)。EVC的大小驱动人们努力的方向和程度。如果EVC不足, 则会表现出低动机水平的行为(例如, 拖延和淡漠)。为了探究努力成本-收益分析的机制, 研究者通过设置一系列参数变化来探索不同程度的努力需求对奖赏的影响,结果发现了类似时间折扣的效应(Białaszek et al., 2017; Prévost et al., 2010; Rudebeck et al., 2006)。努力影响人们计算奖赏的主观价值, 称为努力的折扣效应(Klein-Flügge et al., 2015; Seaman et al., 2018; Sullivan-Toole et al., 2019)。纹状体多巴胺可以增加人们对收益的敏感性从而促进更多的努力(Westbrook et al., 2020, 2021)。

图1 努力与其它关联概念的图示

注：动机具有方向性。基于动机人们朝着特定方向付出努力。努力是目标导向的中间过程。不同难度的任务要求人们付出相应的努力。但是, 努力区别于任务难度。理论上, 难度可以无限增加, 但是随着难度增加到一定程度, 努力水平呈现下降趋势。

虽然EVC理论提出了整合控制资源分配的收益(payoff)和成本(cost)的模型, 但是此模型未对不同激励类型如何调节控制资源的分配进行细致地描述, 尤其是未讨论社会因素的作用。非社会与社会因素一定程度上驱动适应性的控制资源分配(见图2, 左：计算)。社会行为需付出努力, Inzlicht等人(2018)提出努力反映了参与社会行为的幅度与强度。具备动力并付出努力对一个人的成功至关重要, 而缺乏动力则与较差的心理和身体健康、较低的教育成果和长期失业有关(Contreras- Huerta et al., 2020)。

2.1 非社会性动机

(1)不确定性: 风险与效力(efficacy)

努力的风险性, 体现在：1)努力的可变性, 2)奖赏的可变性。努力的可变性指的是, 即使明确行为的目标, 但是人们通常难以估计实现目标所付出的努力程度。在涉及认知努力的任务中, 人们存在风险厌恶, 偏好于确定选项(已知努力需求的选项) (Apps et al., 2015)。在涉及体力努力的决策中, 人们通过权衡平均运动成本(mean effort)和成本的可变性(effort variance)来优化决策(Nagengast et al., 2011), 并且表现出风险敏感性。Caraco (1981)发现小鼠的体力消耗增加了其对风险觅食行为的偏好。Miller等人(2013)提出参与努力和风险决策的神经系统之间可能有重叠。努力行为会引起多巴胺的释放, 从而提高了风险选项的偏好程度。另一种观点提出,需要控制的行为本身具有风险。对比习惯行为带来可预测的回报, 涉及控制的行为有时会导致不可预测或不常见的反馈(Zénon et al., 2016), 即奖赏的可变性。未来研究有必要理解不同类型的风险与不确定性对努力行为的影响。

图2 社会与非社会动机下努力成本−收益模型

注：Marr的计算框架包括三个主要结构(Marr & Poggio, 1979)：计算(computation), 算法(algorithm)以及执行(implementation)。首先, 计算(computation)指行为决策的具体目标。在图1左(橘色框)中, 基于努力的决策受到社会(合作、竞争与亲社会等)与非社会(奖赏、惩罚, 风险与效力等)因素的影响。这些不同的激励因素影响着大脑优化努力投资的算法(algorithm)。算法具体指的是EVC理论中成本−收益权衡(cost-benefit tradeoff)的框架(图1中间, 蓝色框)。最后, 大脑执行(implementation)目标导向行为的算法, 并最终指导行为(Shenhav et al., 2013, 2017)。眶额皮层(orbitofrontal cortex, OFC); 腹内侧前额皮质(ventral medial prefrontal cortex, vmPFC); 背侧前扣带回(dorsal anterior cingulate cortex, dACC); 外侧前额皮质(lateral prefrontal cortex, LPFC)。

人们普遍相信努力最终会转化为理想成果。事实上, 即使是明智的决定或巨大的努力也会产生不良的结果。行为并非总能带来期望的结果, 高努力不一定会得到高回报(Manohar et al., 2017)。人类认知能力有限, 因此我们无法完全地了解更多地付出努力是否能够增加获奖的可能性。EVC模型将这种现象描述为效力(efficacy), 即个体与环境交互的非社会不确定。效力反映了努力与奖励的关联性(performance-reward contingency)。效力评估依赖于个人对自己能力和任务难度的主观感知, 以及个体能动性和环境的可控性的评估(Shenhav et al., 2021)。Frömer等人(2021)考察了效力和奖励影响控制资源分配的相关神经机制。他们通过操纵表现与奖赏的联结(完全关联/完全不相关), 探究了奖励线索和效力线索如何影响人们在Stroop任务的表现。结果发现, P3b负责加工效力线索和奖赏线索, 反映了自上而下的刺激评估(Angus et al., 2017)。随后, 关联性负电位变化(Contingent Negative Variation, CNV)整合了奖赏信息和效力信息, 并且进一步指导控制资源的分配。CNV是一个前摄控制(proactive control)神经特征(Cudo et al., 2018), 更大的CNV幅度表示对目标更好的准备状态(Kang et al., 2019)。变化的环境中, P3b不仅参与任务相关刺激评估与分类, 也参与编码效力预测误差(efficacy prediction error)。通过更新对效力的预期, 人们适应性地调整分配在Stroop任务上认知资源(Grahek et al., 2021)。因此,效力是一个影响努力的重要因素。虽然行动与结果之间存在不可避免的随机干扰, 但是人们能学习或者依赖明显的线索认知当前环境中行动的效力, 并适应性地付出努力。

(2)奖赏与惩罚

“胡萝加大棒”是一种通过奖赏和惩罚协同指导行为的策略。获得奖赏或避免惩罚是驱动行为的重要动机。趋避动机的结合影响控制资源的调配策略(Yee & Braver, 2018)。研究者通过计算模型的拟合, 发现了奖赏与惩罚对个体适应性控制资源分配有不同的影响。Leng等人(2020)利用漂移扩散模型(Drift Diffusion Model, DDM)考察奖赏和惩罚对反应策略的影响, 结果发现奖赏主要调节漂移率(单位时间内证据积累的速率), 而惩罚主要调节模型中的反应阈值(证据积累的反应边界)。更高的奖赏会导致参与者兼顾速度和准确性, 而更高的惩罚会导致他们更倾向于确保准确性而不是速度。基于不同的激励措施, 人们可以适应地调整控制资源的分配。

2.2 社会动机

目标导向的社会行为也可以看做权衡利弊的决策过程与努力付出的执行过程(Shenhav et al., 2017; 曹思琪等, 2021)。Contreras-Huerta等人(2020)提出的社会动机表型理论(social motivation phenotype)强调社会行为是需要付出努力的, 社会动机能够调节努力成本−收益的权衡, 促进或降低个体在不同社会情境中付出努力的意愿。

(1)亲社会努力

在追求自我利益的同时, 人们还会关心他人的福利。为自己或为他人付出努力行动本身能够传递重要的社会信号, 例如意志力、沟通奉献、意图和承诺(Chennells & Michael, 2018; Kührt et al., 2021; Olivola & Shafir, 2013)。有趣的是, 研究发现两种截然不同的道德倾向：超利他倾向(hyper-altruistic) (他人利益>自我利益) (Olivola & Shafir, 2018)与“亲社会冷漠” (prosocial apathy) (他人利益<自我利益) (Lockwood et al., 2017; Volz et al., 2017)。

有时候, 人们会表现出一种超利他主义(他人利益>自我利益)：对比为了自己避免伤害, 超利他的个体愿意付出更多的代价阻止伤害他人(Crockett et al., 2014)。Olivola和Shafir (2013)发现, 对比简单和愉快的筹款方式, 痛苦和费力筹款过程增加人们的捐款意愿, 称为“殉道效应”。人们会从痛苦体验中增强亲社会的趋近动机, 增加捐款的意愿。高成本信号理论(high costly signal theory)指出, 高成本的帮助能够增加个人吸引力, 声誉与地位等(Millet & Dewitte, 2007)。另有解释表明个体更喜欢通过努力获得的事物和结果, 并且这种态度反映了一种为过去的努力辩护的动机, 例如宜家效应(Norton et al., 2012)、认知失调(cognitive dissonance)和努力的合理性辩护(effort justification) (Festinger, 1957)。

此外, 通过操纵框架(高娟等, 2020)、情境(如, 慈善与合作等) (Tusche et al., 2016)、关系亲疏(Vekaria et al., 2017)、社会规范和共情诱发(Decety & Yoder, 2016)等, 一系列亲社会研究发现了“先人后己”的行为(Bear & Rand, 2016)。但是个体为他人利益付出努力, 甚至做出更多的自我牺牲(self-sacrifice)的神经机制至今仍不清楚。虽然亲疏关系显著影响自我牺牲程度, 但是Charness和Gneezy (2000)指出研究匿名情境的亲社会行为是探索如何促进人文关怀, 提高集体利益的重要一环。

在考察为他人付出实质的努力时, 研究者观察到一种“亲社会冷漠”现象(他人利益<自我利益)。Lockwood等人(2017) 考察了人们为自己或他人的利益付出努力的意愿与实际行动。参与者需要为不同受益者(自己vs.他人)在低努力低奖赏与高努力高奖赏的选项之间进行选择, 随后完成对应努力程度的任务(持续3s按压握力计)来争取收益或避免损失。结果发现, 受益者是他人时主观价值受到努力的影响更大, 表现为抛物线模型中的折扣率(discounting rate)更大。拥有冷漠特质与精神病特质的个体表现出更明显的自私。Volz等人(2017)认为特定情境下, 人们可以表现出超利他的选择, 但是有强烈的利己主义倾向的个体仍然会更加重视自己的利益。因此, 不同实验情境的操控, 如放弃金钱奖赏或接受痛苦的电击会对利他的努力行为与决策有不同的影响。付出努力的水平能够反映出自身赋予行为的价值, 因此培养利他价值观对养成积极的利他行为有重要意义。

(2)合作与竞争

他人的选择偏好影响个体的选择偏好(Garvert et al., 2015; Zaki et al., 2016)。自我−他人融合(self-other mergence)影响人们对自己与他人的能力的主观评价, 也影响自己未来的表现。社会情境调节他人对自己的影响, Wittmann等人(2016)研究表明, 当合作伙伴的表现优异时, 个体更少地调节自身表现。反之, 当遇到较强的竞争伙伴, 个体能够及时调整自身表现。当合作伙伴付出更高的努力后, 人们会倾向于增加自己的努力程度(Chennells & Michael, 2018)。虽然努力行为在合作情境的机制十分重要, 但是非合作情境中人们也会选择性关注同伴的表现, 进而调整自己的行为。合作与非合作两种情境下思考他人的心理状态存在共享的神经激活(Reyes-Aguilar et al., 2017)。因此非合作的场合中他人的行为表现也可能影响个体投入的努力。然而, 目前研究专注于决策层面的探索他人对自己的影响, 很少在执行层面探究他人对自己的影响。

一般而言, 个体倾向于回避认知需求, 但是不同的激励因素能够影响努力的价值, 从而调节努力行为。一方面, 非社会与社会激励因素促进了个体积极的努力行为。另一方面, 不同因素的结合也可以用来约束个体的不道德行为。未来研究可以更多将社会与非社会因素进行整合, 探索社会交互情境下努力行为的计算神经机制。一些值得关注的问题包括：不同因素如何影响努力成本−收益的计算？以及大脑是如何执行这些计算, 并最后产生最优的努力分配？

图3 三种时间进程的努力

3 加工与计算努力价值的机制

3.1 努力的悖论：努力的固有成本与潜在价值

以往研究者从时间进程的三个阶段(预期, 进行时, 回溯)考察努力的本质(见图3)。一方面, “努力是一种成本”。在执行任务前人们对努力感到厌恶, 前瞻性地(prospective)感知努力是一种代价, 从而尽量减少努力(Apps et al., 2015)。但是在“殉道效应”现象中, 努力反映了一种潜在的社会价值。因此选择辛苦的筹款过程的人比选择简单的筹款方式的人有更高的捐赠意愿(Olivola & Shafir, 2013)。

另一方面, 努力与高价值联系紧密(Inzlicht et al., 2018)。努力的价值包括两个方面：努力本身的价值与努力成果的价值。一方面, “努力增加价值”具有回溯性(retrospective) (易伟等, 2019), 人们通常会积极地评价自己努力的经历(Norton et al., 2012), 即个体更喜欢通过努力获得的事物和结果(Festinger, 1957)。但是以往研究忽视了人们在付出努力时(如, 做作业或大扫除)也会对回报进行预期, 从而感知当前行为的价值(Eisenberger, 1992)。重要的是, 努力本身也具有价值, 例如攀登者享受登山的努力过程。如何塑造人们的攀登者精神, 养成迎难而上的积极态度？研究发现坚韧的意志和解决问题的投入可以被观察学习。当幼儿看到成年人坚持不懈时, 他们会更努力地去实现目标(Leonard et al., 2017)。如果辛苦付出却没有回报, 处理努力与回报之间的不平衡诱发的负性情绪可能涉及背侧前扣带回(dorsal anterior cingulate cortex, dACC)和脑岛(insula)之间的相互作用(Shenhav et al., 2013)。目前研究努力成果价值的工作要多于考察努力本身价值的工作, 未来研究的一个挑战将是理清这两个方面对于努力行为的相对贡献。

3.2 努力对奖赏的影响

努力分为体力层面和认知层面的努力。有的日常任务对认知要求较高, 而另一些则需要更多的体力劳动。经济学著名模型“最小努力原则” (the law of least effort)指出无论是何种努力, 人们都倾向于最小化努力(Morsella et al., 2011)。但是, 不同努力类型影响奖赏的计算机制不同。Chong等人(2017)使用经济学经典折扣模型拟合个体在高、低努力选项中的选择, 结果发现体力努力或认知努力对主观价值的折扣(discounting)方式不一致。体力努力的折扣方式更符合抛物线(parabolic)的形式, 而认知努力更加符合双曲线(hyperbolic)的趋势。在抑郁症患者中, 不同努力类型对疾病的亚症状的预测作用存在差异, 身体努力动机与快感缺失的严重程度有关, 而认知努力动机与生活功能有关(Tran et al., 2020)。测量患者在不同努力类型下的任务表现, 一方面可以反映其当前能力和现实需求之间的差距, 另一方面帮助检验治疗对不同亚症状的效果。

3.3 努力成本与奖赏的编码

是否存在统一加工不同成本(时间、金钱和努力等)与奖赏的脑区仍存在争议(Białaszek et al., 2017; Rudebeck et al., 2006; Westbrook et al., 2019)。Rudebeck等人(2006)比较了大鼠在延迟折扣任务与努力折扣任务中的表现。结果发现, 延迟折扣决策中, 眶额皮层(orbitofrontal cortex, OFC)的损伤导致大鼠的冲动行为。大鼠会更多选择时间短且奖赏低的选项。在努力折扣决策中, 只有前扣带回皮质(anterior cingulate cortex, ACC)病变的大鼠会更偏好于轻松而奖赏少的选择。因此, 即使决策的本质都是成本-收益权衡的产物, 大脑表征不同成本类型仍会存在差异。

3.3.1 不同努力类型的特异性与普遍性

愿意付出更多体力努力的人是否也愿意更多地付出认知努力？反之, 倾向于付出更多认知努力的人是否也会不懈怠地付出体力努力？对于体育特长人群, 更高的体力努力偏好能够预测其会在认知努力任务投入的更多(Chong et al., 2018)。运动员的高强度体育训练是其较高的认知动机的原因还是结果。相比于非运动员, 优秀运动员天生做事更有动力(Williams & Gill, 1995)。因此, 身体训练与认知训练之间是否有迁移效应还得在非体育生中进行验证。但是, 这一可能性对动机缺失患者和老年群体的认知与体能康复项目提供了参考。

不同的努力类型既有共享的神经表征, 也有特异性的加工的脑区(图4)。奖赏系统中的腹侧纹状体(ventral striatum), 包括伏隔核(nucleus accumbens, NAcc)以及控制系统中的前扣带皮质(anterior cingulate cortex, ACC)分别与奖赏信息和努力信息编码有关(Chong et al., 2017)。与体力努力不同, 认知努力并不会产生外显的代谢成本(Westbrook et al., 2021)。认知努力可能存在特异性加工的脑区(例如, 杏仁核) (Westbrook et al., 2019)。

3.3.2 努力与奖赏编码的重叠

成本−收益权衡过程产生的EVC决定了我们对什么付出努力, 以及付出多少努力(见图2, 中间：算法)。腹内侧前额皮质(ventral medial prefrontal cortex, vmPFC)是加工主观价值的关键脑区(Aridan et al., 2019; Will et al., 2017)。但是, vmPFC在努力决策中的作用存在争议。Arulpragasam等人(2018)发现vmPFC与努力成本加工不相关。然而, 也有研究表明vmPFC的活动与认知努力成本和奖赏有关(Westbrook et al., 2019)。该研究随机地序列呈现两个选项(高认知努力高奖赏VS.低认知努力低奖赏)。当高认知努力高奖赏的选项先出现, 且暂未提供另一选项的信息时, vmPFC的活动可以预测人们的选择偏好。较低的vmPFC活动预测了人们选择低认知努力的选项。加工努力成本的脑区还涉及dACC和前脑岛(anterior insula, AI)。选项间价值比较接近时, 选择通常比较困难。dACC、背外侧前额叶皮质(dorsolateral prefrontal cortex, dlPFC)和顶内沟(intraparietal sulcus, IPS)等脑区被认为参与选项间的困难表征。大脑加工努力成本的脑区与编码奖赏的脑区可能有部分重叠(表1), 奖赏和成本信息在重叠区域里整合, 发送信号给下游神经回路执行相应的控制行为(图2, 右：执行)。

3.3.3 dACC：努力成本−收益整合

控制的期望价值(EVC)理论重点强调了dACC参与认知努力任务里控制信号的整合和指导控制资源的分配(specification) (见图2, 中间)。dACC的作用包括接收监测冲突状态的信号(Botvinick et al., 2004), 整合控制的成本与潜在收益(Prévost et al., 2010), 形成指导认知控制行为的信号, 并传输信号至其下游神经回路进行控制的执行(implementation) (Heilbronner & Hayden, 2016)。认知努力的成本(N-back任务的难度水平)可以负向预测dACC的活动, 但奖赏不能预测dACC的活动(Westbrook et al., 2019), 表明dACC参与认知努力成本的编码。一项实证研究证明dACC通过整合不同动机来调节认知任务中的行为表现。研究者利用金钱激励(高VS.低)和液体激励(苹果汁VS.盐水)的组合, 探究dACC如何整合首要(primary)和次要(secondary)激励, 并影响目标导向的行为。结果发现, dACC编码整合不同动机的主观价值, 并与认知任务的行为表现有关, 也与自我报告的动机水平相关(Yee et al., 2021)。

图4 参与努力行为的脑网络

左图：腹内侧前额皮质(ventral medial prefrontal cortex, vmPFC); 前扣带回(anterior cingulate cortex, ACC); 背侧前扣带回(dorsal anterior cingulate cortex, dACC); 伏隔核(nucleus accumbens, NAcc); 杏仁核(amygdala)。右图：眶额皮层(orbitofrontal cortex, OFC); 外侧前额皮质(lateral prefrontal cortex, LPFC); 运动皮层(motor cortex)。

表1 基于努力的成本效益评估的神经机制

综上, dACC参与认知努力的多个关键环节(Klein-Flügge et al., 2016)。作为一个整合的动机−认知中枢, dACC作用于促进目标的追求(Holroyd & Yeung, 2012)。但是, 以往研究较少探究社会因素与非社会因素如何影响努力−成本收益整合, 以及不同的激励组合如何影响任务相关信息的表征结构。未来研究可以在社会层面拓展EVC理论, 并考察加工模式差异(例如, 多变量模式识别和相似性表征分析), 而不仅限于加工程度的差异(Freund et al., 2021)。

4 未来展望

“我们如何决定什么时候付出努力, 以及付出多少努力?”得到越来越多的关注。本文梳理了计算努力的价值的相关理论和实证研究, 讨论了努力本质的两面性, 以及影响努力的非社会与社会因素。EVC理论从冲突监控, 认知控制的成本−收益整合以及控制的执行角度讨论了人们计算努力价值的模型。社会与非社会因素对控制资源的适应性分配产生影响, 而不同激励因素的作用机制还鲜少有实证探索。未来研究需要采用神经生理的技术与建模等方法来探索动态过程中控制期望价值的影响努力的机制, 以及补充EVC理论在社会情境的应用。

4.1 冷漠与动机缺失的评估与干预

人们的努力程度受到内部动机(包括好奇、成就、快乐体验)和外部动机的驱动。一般而言, 个体倾向于回避认知需求。然而, 回避认知需求存在个体差异。个体在认知需求(Need for Cognition)和自我控制(self-control)的差异可以预测其计算努力对收益的影响程度, 以及其对认知需求的回避程度(Kührt et al., 2021)。高自我控制和高认知需求的个体更少地回避认知需求, 表现出较小的努力折扣效应(Duckworth et al., 2013)。因此, 整合努力成本的决策成本−收益模型应该考虑个人努力倾向(dispositional effort investment)。基于大脑加工努力类型的普遍性与特异性, 未来研究有必要寻找特定的神经目标帮助动机障碍的治疗。此外, 训练人们在体力层面更多地付出努力是否影响其在认知层面的努力意愿, 反之亦然。

4.2 激励习得性勤奋的发展观

尽管有丰富的证据表明努力可以增加价值, 但是努力更多地被看做是一种代价。目前控制资源分配的相关理论局限于非社会层面的探索, 缺少对激励类型(例如, 奖赏和惩罚)的作用的深入探讨, 尤其未讨论社会影响的作用。从发展的角度看, 幼儿和儿童缺少学习经验以及身体发育不成熟, 他们的努力行为的实施和坚持受限。了解激励努力的机制, 提高努力的社会意义与价值, 树立积极的榜样是指导青少年建立习得性勤奋观的重要一环。

4.3 社会动机对努力“投资”的促进作用

社会动机调节涉及努力的社会行为。目前涉及努力成本−收益权衡的研究要求参与者单独完成决策任务, 尚未充分讨论社会情境对努力行为的影响, 例如尚不清楚受益者匿名性和亲疏关系对社会行为的调节作用。不同情境是否会影响人们评估努力成本或放大奖赏的效应？后续研究可以设置多样的社会交互情境来探索努力的加工与计算机制。

曹思琪, 刘勋, 伍海燕. (2021). 共情可控? 以自上而下视角考察共情的可调节性.(8), 1420– 1429.

高娟, 王鹏, 王晓田, 孙倩, 刘永芳. (2020). 得失情境下他人参照点及心理距离对自我-他人利益权衡的影响.(5), 633–644.

易伟, 梅淑婷, 郑亚. (2019). 努力:成本还是奖赏?.(08), 1439–1450.

Angus, D. J., Latham, A. J., Harmon-Jones, E., Deliano, M., Balleine, B., & Braddon-Mitchell, D. (2017). Electrocortical components of anticipation and consumption in a monetary incentive delay task.(11), 1686-1705.

Apps, M. A. J., Grima, L. L., Manohar, S., & Husain, M. (2015). The role of cognitive effort in subjective reward devaluation and risky decision-making.,, 16880.

Aridan, N., Malecek, N. J., Poldrack, R. A., & Schonberg, T. (2019). Neural correlates of effort-based valuation with prospective choices.,, 446–454.

Arulpragasam, A. R., Cooper, J. A., Nuutinen, M. R., & Treadway, M. T. (2018). Corticoinsular circuits encode subjective value expectation and violation for effortful goal-directed behavior.,(22), E5233–E5242.

Bear, A., & Rand, D. G. (2016). Intuition, deliberation, and the evolution of cooperation.,(4), 936–941.

Białaszek, W., Marcowski, P., & Ostaszewski, P. (2017). Physical and cognitive effort discounting across different reward magnitudes: Tests of discounting models.,(7), e0182353.

Botvinick, M., & Braver, T. (2015). Motivation and cognitive control: From behavior to neural mechanism.,, 83–113.

Botvinick, M. M., Cohen, J. D., & Carter, C. S. (2004). Conflict monitoring and anterior cingulate cortex: An update.(12), 539–546.

Botvinick, M. M., Huffstetler, S., & McGuire, J. T. (2009). Effort discounting in human nucleus accumbens.,(1), 16–27.

Caraco, T. (1981). Energy budgets, risk and foraging preferences in dark-eyed juncos (Junco hyemalis).,(3), 213–217.

Charness, G., & Gneezy, U. (2000). What’s in a name? Anonymity and social distance in dictator and ultimatum games.,(1), 29–35.

Chennells, M., & Michael, J. (2018). Effort and performance in a cooperative activity are boosted by perception of a partner’s effort.,(1), 15692.

Chong, T. T.-J., Apps, M. A. J., Giehl, K., Hall, S., Clifton, C. H., & Husain, M. (2018). Computational modelling reveals distinct patterns of cognitive and physical motivation in elite athletes.,(1), 11888.

Chong, T. T.-J., Apps, M., Giehl, K., Sillence, A., Grima, L. L., & Husain, M. (2017). Neurocomputational mechanisms underlying subjective valuation of effort costs.,(2), e1002598.

Contreras-Huerta, L. S., Pisauro, M. A., & Apps, M. A. J. (2020). Effort shapes social cognition and behaviour: A neuro-cognitive framework.,, 426–439.

Crockett, M. J., Kurth-Nelson, Z., Siegel, J. Z., Dayan, P., & Dolan, R. J. (2014). Harm to others outweighs harm to self in moral decision making.,(48), 17320–17325.

Croxson, P. L., Walton, M. E., O;Reilly, J. X., Behrens, T. E. J., & Rushworth, M. F. S. (2009). Effort-based cost–benefit valuation and the human brain.,(14), 4531 – 4541.

Cudo, A., Francuz, P., Augustynowicz, P., & Stróżak, P. (2018). The effects of arousal and approach motivated positive affect on cognitive control. An ERP study., 320.

Decety, J., & Yoder, K. J. (2016). Empathy and motivation for justice: Cognitive empathy and concern, but not emotional empathy, predict sensitivity to injustice for others.,(1),1–14.

Duckworth, A. L., Tsukayama, E., & Kirby, T. A. (2013). Is it really self-control? Examining the predictive power of the delay of gratification task.,(7), 843–855.

Eisenberger, R. (1992). Learned industriousness.,(2), 248–267.

Egner, T. (2017).. New Jersey: John Wiley & Sons.

Festinger, L. (1957).(Vol. 2). Redwood City: Stanford university press.

Freund, M. C., Etzel, J. A., & Braver, T. S. (2021). Neural coding of cognitive control: The representational similarity analysis approach.,(7), 622–638.

Frömer, R., Lin, H., Dean Wolf, C. K., Inzlicht, M., & Shenhav, A. (2021). Expectations of reward and efficacy guide cognitive control allocation.,(1), 1–11.

Gangopadhyay, P., Chawla, M., Dal Monte, O., & Chang, S. W. C. (2020). Prefrontal–amygdala circuits in social decision-making.,(1), 5–18.

Garvert, M. M., Moutoussis, M., Kurth-Nelson, Z., Behrens, T. E. J., & Dolan, R. J. (2015). Learning-induced plasticity in medial prefrontal cortex predicts preference malleability.,(2), 418–428.

Grahek, I., Frömer, R., & Shenhav, A. (2021). Learning when effort matters: Neural dynamics underlying updating and adaptation to changes in performance efficacy., 2020.10.09.333310.

Hart, E. E., & Izquierdo, A. (2019). Quantity versus quality: Convergent findings in effort-based choice tasks., 178–185.

Heilbronner, S. R., & Hayden, B. Y. (2016). Dorsal anterior cingulate cortex: A bottom-up view.(1), 149–170.

Hogan, P. S., Galaro, J. K., & Chib, V. (2019). Roles of ventromedial prefrontal cortex and anterior cingulate in subjective valuation of prospective effort.,(10), 4277–4290.

Holroyd, C. B., & Yeung, N. (2012). Motivation of extended behaviors by anterior cingulate cortex.,(2), 122–128.

Inzlicht, M., Shenhav, A., & Olivola, C. Y. (2018). The effort paradox: Effort is both costly and valued.,(4), 337–349.

Kang, G., Chang, W., Wang, L., & Zhou, X. (2019). Reward expectation modulates multiple stages of auditory conflict control., 148–156.

Klein-Flügge, M. C., Kennerley, S. W., Friston, K., & Bestmann, S. (2016). Neural signatures of value comparison in human cingulate cortex during decisions requiring an effort-reward trade-off.,(39), 10002–10015.

Klein-Flügge, M. C., Kennerley, S. W., Saraiva, A. C., Penny, W. D., & Bestmann, S. (2015). Behavioral modeling of human choices reveals dissociable effects of physical effort and temporal delay on reward devaluation.,(3), e1004116.

Kostandyan, M., Bombeke, K., Carsten, T., Krebs, R. M., Notebaert, W., & Boehler, C. N. (2019). Differential effects of sustained and transient effort triggered by reward–A combined EEG and pupillometry study., 116-130.

Kührt, C., Pannasch, S., Kiebel, S. J., & Strobel, A. (2021). Dispositional individual differences in cognitive effort investment: Establishing the core construct.,(1), 1–14.

Leng, X., Yee, D., Ritz, H., & Shenhav, A. (2020). Dissociable influences of reward and punishment on adaptive cognitive control., 2020.09.11.294157.

Leonard, J. A., Lee, Y., & Schulz, L. E. (2017). Infants make more attempts to achieve a goal when they see adults persist.(6357), 1290–1294.

Lockwood, P. L., Hamonet, M., Zhang, S. H., Ratnavel, A., Salmony, F. U., Husain, M., & Apps, M. A. J. (2017). Prosocial apathy for helping others when effort is required.,(7), 1–10.

Manohar, S. G., Finzi, R. D., Drew, D., & Husain, M. (2017). Distinct motivational effects of contingent and noncontingent rewards.,(7), 1016–1026.

Marr, D., & Poggio, T. (1979). A computational theory of human stereo vision.,(1156), 301–328.

Millet, K., & Dewitte, S. (2007). Altruistic behavior as a costly signal of general intelligence.,(2), 316–326.

Miller, M. A., Thomé, A., & Cowen, S. L. (2013). Intersection of effort and risk: Ethological and neurobiological perspectives.,, 208.

Morsella, E., Feinberg, G. H., Cigarchi, S., Newton, J. W., & Williams, L. E. (2011). Sources of avoidance motivation: Valence effects from physical effort and mental rotation.(3), 296–305.

Nagengast, A. J., Braun, D. A., & Wolpert, D. M. (2011). Risk-sensitivity and the mean-variance trade-off: Decision making in sensorimotor control.,(1716), 2325–2332.

Norton, M. I., Mochon, D., & Ariely, D. (2012). The IKEA effect: When labor leads to love.,(3), 453–460.

O’Doherty, J. P., Cockburn, J., & Pauli, W. M. (2017). Learning, reward, and decision making., 73–100.

Olivola, C. Y., & Shafir, E. (2013). The martyrdom effect: When pain and effort increase prosocial contributions.,(1), 91–105.

Olivola, C. Y., & Shafir, E. (2018).. Available at SSRN 3101447.

Parro, C., Dixon, M. L., & Christoff, K. (2018). The neural basis of motivational influences on cognitive control.,(12), 5097–5111.

Prévost, C., Pessiglione, M., Météreau, E., Cléry-Melin, M. L., & Dreher, J. C. (2010). Separate valuation subsystems for delay and effort decision costs.,(42), 14080–14090.

Rangel, A., Camerer, C., & Montague, P. R. (2008). A framework for studying the neurobiology of value-based decision making.(7), 545–556.

Reyes-Aguilar, A., Fernandez-Ruiz, J., Pasaye, E. H., & Barrios, F. A. (2017). Executive mechanisms for thinking about negative situations in both cooperative and non-cooperative contexts.,, 275.

Rudebeck, P. H., Walton, M. E., Smyth, A. N., Bannerman, D. M., & Rushworth, M. F. S. (2006). Separate neural pathways process different decision costs.,(9), 1161–1168.

Sandra, D. A., & Otto, A. R. (2018). Cognitive capacity limitations and need for cognition differentially predict reward-induced cognitive effort expenditure., 101–106.

Seaman, K. L., Brooks, N., Karrer, T. M., Castrellon, J. J., Perkins, S. F., Dang, L. C., Hsu, M., Zald, D. H., & Samanez-Larkin, G. R. (2018). Subjective value representations during effort, probability and time discounting across adulthood.(5), 449–459.

Shenhav, A., Botvinick, M. M., & Cohen, J. D. (2013). The expected value of control: An integrative theory of anterior cingulate cortex function.,(2), 217–240.

Shenhav, A., Musslick, S., Lieder, F., Kool, W., Griffiths, T. L., Cohen, J. D., & Botvinick, M. M. (2017). Toward a rational and mechanistic account of mental effort.,, 99–124.

Shenhav, A., Prater Fahey, M., & Grahek, I. (2021). Decomposing the motivation to exert mental effort.(4), 307–314.

Sidarus, N., Palminteri, S., & Chambon, V. (2019). Cost-benefit trade-offs in decision-making and learning.,(9), e1007326.

Sullivan-Toole, H., DePasque, S., Holt-Gosselin, B., & Galván, A. (2019). Worth working for: The influence of effort costs on teens' choices during a novel decision making game., 100652.

Tran, T., Hagen, A. E. F., Hollenstein, T., & Bowie, C. R. (2020). Physical- and cognitive-effort-based decision-making in depression: Relationships to symptoms and functioning..(1), 53–67.

Tusche, A., Böckler, A., Kanske, P., Trautwein, F. M., & Singer, T. (2016). Decoding the charitable brain: Empathy, perspective taking, and attention shifts differentially predict altruistic giving.,(17), 4719–4732.

Vekaria, K. M., Brethel-Haurwitz, K. M., Cardinale, E. M., Stoycos, S. A., & Marsh, A. A. (2017). Social discounting and distance perceptions in costly altruism.(5), 112474.

Verguts, T., Vassena, E., & Silvetti, M. (2015). Adaptive effort investment in cognitive and physical tasks: A neurocomputational model.,, 57.

Vogel, T. A., Savelson, Z. M., Otto, A. R., & Roy, M. (2020). Forced choices reveal a trade-off between cognitive effort and physical pain., 9, e59410.

Volz, L. J., Welborn, B. L., Gobel, M. S., Gazzaniga, M. S., & Grafton, S. T. (2017). Harm to self outweighs benefit to others in moral decision making.(30), 7963–7968.

Westbrook, A., & Frank, M. (2018). Dopamine and proximity in motivation and cognitive control., 28–34.

Westbrook, A., Frank, M. J., & Cools, R. (2021). A mosaic of cost–benefit control over cortico-striatal circuitry.(8), 710–721.

Westbrook, A., Lamichhane, B., & Braver, T. (2019). The subjective value of cognitive effort is encoded by a domain-general valuation network.(20), 3934–3947.

Westbrook, A., van den Bosch, R., Määttä, J. I., Hofmans, L., Papadopetraki, D., Cools, R., & Frank, M. J. (2020). Dopamine promotes cognitive effort by biasing the benefits versus costs of cognitive work.(6484), 1362–1366.

Will, G. J., Rutledge, R. B., Moutoussis, M., & Dolan, R. J. (2017). Neural and computational processes underlying dynamic changes in self-esteem., e28098.

Williams, L., & Gill, D. L. (1995). The role of perceived competence in the motivation of physical activity.(4), 363–378.

Wittmann, M. K., Kolling, N., Faber, N. S., Scholl, J., Nelissen, N., & Rushworth, M. F. S. (2016). Self-Other mergence in the frontal cortex during cooperation and competition.(2), 482–493.

Yee, D. M., & Braver, T. S. (2018). Interactions of motivation and cognitive control., 83–90.

Yee, D. M., Crawford, J. L., Lamichhane, B., & Braver, T. S. (2021). Dorsal anterior cingulate cortex encodes the integrated incentive motivational value of cognitive task performance.(16), 3707–3720.

Zaki, J., Wager, T. D., Singer, T., Keysers, C., & Gazzola, V. (2016). The anatomy of suffering: Understanding the relationship between nociceptive and empathic pain.(4), 249–259.

Zénon, A., Devesse, S., & Olivier, E. (2016). Dopamine manipulation affects response vigor independently of opportunity cost.(37), 9516–9525.

Value Analysis determines when and how to strive

CAO Si-Qi1,2, TANG Chen-Chen3, WU Hai-Yan4, LIU Xun1,2

(1CAS Key Laboratory of Behavioral Science, Institute of Psychology, Chinese Academy of Sciences, Beijing 100101, China)(2Department of Psychology, University of Chinese Academy of Sciences, Beijing 100049, China)(3Department of Psychology, Beijing Sport University 100084, China)(4Center for Cognition and Brain Sciences, Department of Psychology, University of Macau, Macau 999078, China)

The optimization of effort investment, which minimizes the cost of effort and maximizes benefits, is a core issue in every field. This study aims to review previous theoretical and empirical studies on analysis of effort value. Based on the Paradox of Effort theory, this study expounds on the two sides of effort: inherent cost and potential value. By extending the Expected Value of Control theory, we discussed the non-social and social factors that influence effort. Studies on the mechanisms of effort provide essential insights into understanding the adaptive effort in social life and provide references for treating motivational disorders, shaping learned industriousness and prosocial behavior.

effort, Expected Value of Control theory, cost-benefit trade-off

2021-04-28

*澳门科技发展基金(0127/2020/A3)。

伍海燕, E-mail: haiyanwu@um.edu.mo;

刘勋, E-mail: liux@psych.ac.cn

B849: C91; B845