外在奖赏对陈述性记忆的影响*

王松雪 程 思 蒋 挺 刘 勋 张明霞

(1 北京师范大学心理学部,北京 100875) (2 中国科学院行为科学重点实验室,北京 100101)(3 中国科学院大学心理学系,北京 100049)

记忆构成了一个人“心理上的过去”,是个体学习和经验积累的前提。良好的记忆对于我们的学习、工作和生活至关重要。相比于琐碎的信息、司空见惯的小事,我们的大脑更容易记住有意义的知识和事件(Mather & Schoeke,2011;Satoh et al.,2003)。记忆系统的这种选择性加工具有适应性(Cowan et al.,2021)：如果我们的大脑对所遇的每一件事情都不加选择地接收、处理和存储,那么大脑将不堪重负;与此同时,记忆的准确性也会受到干扰信息的影响而快速衰退(Brown et al.,2007)。当前记忆研究的关键问题是记忆系统如何选择性地加工,哪些因素会导致我们能记住某些事件。

奖赏是一种趋近动机,能诱发愉悦感,是学习、认知和其他行为的基础(Jia et al.,2016)。奖赏作为一种有效激励手段,能够使我们识别出对我们具有重要意义或价值的事件,并指导我们做出富有成效的行为(Fiorillo et al.,2003)。从进化的角度出发,追求奖赏的能力对于我们生存和繁殖至关重要,趋利避害是人类在数万年更迭变换的生存环境中进化出来的重要机制。奖赏对学习和记忆的影响反映了生物的适应性机制(Wimmer & Büchel,2016),这个方向在近年来已经成为认知神经科学领域的研究热点。鉴于外在奖赏相比于内在奖赏更易于操作、量化和比较,并鉴于陈述性记忆能让过去经验指导未来行为,对日常生活、学习和工作具有重要意义,学者们围绕“外在奖赏如何影响陈述性记忆”开展了大量研究。本文将从奖赏和陈述性记忆的定义和机制出发,进而分析外在奖赏通过编码和巩固阶段影响陈述性记忆的机制,最后进行总结并提出未来研究方向。

1 奖赏和记忆的机制

1.1 奖赏的定义与机制

奖赏可以表现为任何人们渴望获得的刺激。奖赏既可以是初级奖赏,即具有与生俱来的价值,是我们生存和繁殖所必需的事物,如食物,水和性;也可以是次级奖赏,即不直接作用于人的生存,需要通过与初级奖赏进行关联而获得其价值的事物,如金钱,权力和社会资源等(Sescousse et al.,2013)。奖赏还可以分为内在和外在奖赏(Ryan & Deci,2020),内在奖赏是指完成任务本身带来的愉悦和满足感,如兴趣、好奇心或成就感等;外在奖赏是指非任务本身带来的奖赏体验,而是通过完成任务获取的额外奖赏,前面提到的初级、次级奖赏和社会性奖赏(如口头表扬)等都属于外在奖赏。本文将聚焦外在奖赏(目前研究主要采用金钱奖赏)对记忆的影响。内在奖赏对记忆的影响也是十分有意义的课题,由于其涉及到其他复杂的理论和机制(Blain & Sharot,2021),本文没有在这个方面延展开来,而是提出其作为未来研究的方向(见小结与展望)。

大脑中存在着一个对奖赏做出响应的中脑多巴胺系统(midbrain dopamine system),其关键组成部分是一些皮下核团,包括腹侧被盖区(ventral tegmental area)、黑质(substantia nigra)、腹侧纹状体(ventral striatum)等,多巴胺是这些脑区的关键神经递质(Cromwell & Schultz,2003;Fiorillo et al.,2003;Paton et al.,2006;Schultz et al.,2021)。多巴胺神经元从腹侧被盖区投射到腹侧纹状体,形成中脑边缘回路,负责编码奖赏效价、凸显度等(Fields & Margolis,2015)。同时,多巴胺神经元还会从腹侧被盖区投射到前额皮层(prefrontal cortex),形成中脑皮层通路,主要负责调控生物在奖赏下的注意控制过程(Russo & Nestler,2013)。

1.2 陈述性记忆的定义与机制

陈述性记忆包括情景和语义记忆,是有关事实的记忆,能够被有意识地提取出来。陈述性记忆加工包含编码(encoding)、巩固(consolidation)和提取(retrieval)三个阶段(Shigemune et al.,2014)。编码是获取信息、对信息进行最初加工并形成记忆表征的过程;巩固是存储信息的过程,这个阶段中神经突触发生持久性改变(Brown et al.,2007);提取是对先前储存在大脑中的信息进行再现。研究中常采用编码-测试(encoding-test)两阶段范式来考察陈述性记忆。编码后立即进行测试所测得的记忆称为即时记忆(immediate memory),间隔一段时间再测得的记忆称为延迟或长时记忆(delayed or long-term memory)。

在大脑结构中,由海马(hippocampus)及邻近的鼻周(perirhinal)、内嗅(entorhinal)和旁海马(parahippocampal)皮层组成的内侧颞叶(medial temporal lobe)在记忆编码、巩固和提取过程中起着重要作用(Faraut et al.,2018)。其中,海马对学习和长时记忆的形成具有特殊的意义。海马一方面与旁边的新皮层(如内嗅皮层)连接,接收各种感觉信息的输入,另一方面与皮下核团(如腹侧被盖区)连接,接收动机情感信息的输入,对这两方面信息进行整合,从而形成记忆,指导生物的适应性行为(Miendlarzewska et al.,2016;Pohlack et al.,2014)。

1.3 奖赏与记忆的生理关联基础

大脑奖赏系统跟海马记忆系统之间具有结构(Gasbarri et al.,1994)和功能(Gregory et al.,2020;Kahn & Shohamy,2013)上的连接环路。动物研究发现,中脑多巴胺神经元会直接投射到海马及周围其他内侧颞叶区域(Gasbarri et al.,1994);人类fMRI 研究也发现海马和奖赏系统(腹侧纹状体和腹侧被盖区)在静息状态下有自动化的功能连接(Gregory et al.,2020;Kahn & Shohamy,2013)。海马系统中记忆的形成需要依赖中脑多巴胺神经元的活动;记忆形成中奖赏和记忆系统的功能连接也会增强(Lisman et al.,2017;Lisman et al.,2011)。

中脑多巴胺奖赏系统(如腹侧被盖区)和海马记忆系统会以两种方式交互,促进记忆的编码和巩固(Shohamy & Adcock,2010)。第一种机制是由海马向腹侧被盖区多巴胺神经元发出信号,腹侧被盖区多巴胺神经元接收到海马发出的信号后,放电的神经元数目会增加,从而促进腹侧被盖区多巴胺神经递质的释放(Floresco et al.,2003)。第二种机制是腹侧被盖区多巴胺神经元激活并向海马发出信号,多巴胺发出的信号会增强海马中突触的可塑性(Lisman et al.,2011),调节海马的活动(Braver et al.,2014;Gee et al.,2018)。多巴胺神经递质会在不同的时间进程中影响记忆的编码和巩固,从而影响即时记忆和延迟记忆成绩(Shohamy & Adcock,2010)。

2 奖赏对陈述性记忆的影响

过往十多年,心理学和神经科学探讨了奖赏影响记忆的行为规律和神经机制,已有研究从奖赏引起的唤醒增强、注意捕获、感知变化到记忆的促进以及奖赏效应的泛化讨论了奖赏对记忆的影响(Miendlarzewska et al.,2016)。本文主要从奖赏如何作用于记忆编码和巩固阶段分析和阐述奖赏对记忆效果的影响机制。奖赏在记忆的编码和巩固阶段主要通过奖赏系统、注意控制系统和记忆系统交互作用促进记忆效果,不同阶段涉及到不同加工过程和神经机制。

2.1 奖赏对记忆编码的影响

在记忆编码阶段,奖赏可以通过有意和无意两种方式影响记忆效果。在有意记忆范式中,被试在编码阶段前就明确被告知随后会进行记忆测验,其获得的奖赏取决于记忆测验中的成绩。这种跟表现相关的奖赏(performance-dependent rewards)对记忆成绩具有促进作用。Adcock 等人2006 年首次对此进行了考察,他们采用图片为记忆材料,在编码阶段先呈现高低奖赏的线索,再呈现记忆材料,告知被试如果在第二天的测试中正确再认该项目便能获得与线索对应的奖赏金额。结果发现,相对于低奖赏项目,人们对高奖赏项目的再认成绩更好(Adcock et al.,2006)。随后研究发现,奖赏对有意记忆的促进不仅表现在情景记忆中(Gruber et al.,2016;Spaniol et al.,2014;Wolosin et al.,2012),还表现在语义记忆中(Elliott et al.,2020;Gruber et al.,2013;Middlebrooks et al.,2017),不仅能促进再认测验的成绩(Elliott et al.,2020;Gruber et al.,2016;Gruber et al.,2013;Spaniol et al.,2014;Wolosin et al.,2012),还能促进自由回忆的成绩(Castel et al.,2007;Castel et al.,2013;Cohen et al.,2014,2016)。

奖赏对有意记忆的影响可以通过奖赏系统对记忆系统的调控来实现。Adcock 等人2006 年的研究不仅考察了奖赏对记忆影响的行为模式,还采用fMRI 技术考察了这种行为表现背后的神经机制(Adcock et al.,2006)。结果显示,与低奖赏条件相比,在高奖赏条件下奖赏相关脑区(腹侧被盖区及伏隔核[nucleus accumbens,腹侧纹状体的主要部分])和记忆相关脑区(海马)在编码阶段有更强的激活;高奖赏(相对低奖赏)对这些区域激活强度提升越多,其对记忆效果的提升越大。有意思的是,他们不仅发现了单个脑区(奖赏和记忆脑区)在编码中的激活强度与记忆提升效应有关,还进一步发现了脑区间(奖赏和记忆脑区间)功能连接强度与提升效应的关系。这体现出编码过程中大脑多巴胺中脑奖赏系统和海马记忆系统共同合作来影响记忆效果(Shohamy & Adcock,2010)。

奖赏对有意记忆的影响除了涉及奖赏和记忆系统,可能还会卷入执行控制系统。在此过程中,被试会根据奖赏金额对不同项目进行优先级排序,再使用学习策略对不同优先级项目进行记忆(如主动将注意和认知资源分配给高奖赏项目,且对其进行更多的复述),从而使得高奖赏项目(相比低奖赏项目)更好地编码进长时记忆系统(Ariel & Castel,2014;Castel et al.,2013;Elliott et al.,2020)。这种说法得到了神经证据的支持。fMRI 研究发现,在奖赏对有意记忆影响的过程中,除了多巴胺中脑奖赏系统(如腹侧纹状体)参与(Shigemune et al.,2010),注意控制相关的额-颞网络(fronto-temporal network)也卷入其中(Cohen et al.,2014,2016),各系统之间还交互连接影响记忆效果(Cohen et al.,2019)。电生理研究也揭示,注意策略相关的theta和alpha 频率参与到了这种奖赏相关的有意记忆编码中(Gruber et al.,2013;Nguyen et al.,2020;Nguyen et al.,2019)。

在无意记忆范式中,被试并不知道随后会有记忆测试,奖赏伴随着记忆编码过程,但记忆成绩并不会带来更多奖赏。这种跟记忆表现无关的奖赏对记忆成绩也具有促进作用。例如,有研究用刺激材料类别(如生物/非生物)来提示是否会有奖赏(实验中被试看到某种类别将会得到奖赏),发现有奖赏类别比无奖赏类别的记忆成绩更好,高奖赏类别比低奖赏类别记忆成绩更好(Apitz & Bunzeck,2012;Cheng et al.,2020;Patil et al.,2017;Wittmann et al.,2011;Wittmann et al.,2005)。另有研究将奖赏与其他实验任务(而非记忆成绩)的表现关联,在随后的记忆测试中也发现了奖赏对记忆效果的提升(Mather & Schoeke,2011;Wimmer & Büchel,2016)。

奖赏对无意记忆的影响机制仍然存在争议。有研究者认为,在无意记忆范式中,奖赏与记忆成绩无关,被试没有动机要取得奖赏条件下更好的记忆效果,因此排除了编码过程中注意、策略等因素的影响,奖赏不经由注意控制系统而直接作用于记忆过程。这种说法受到了一些质疑,一些研究者认为奖赏对编码过程的无意影响也不能完全排除注意、加工深度的作用(Murayama & Kitagami,2014)。在这个过程中,即使被试没有有意地、自上而下地、有策略地分配认知资源来更好地记忆奖赏条件的项目,但带有奖赏信息的刺激本身会自动化吸引注意(Failing & Theeuwes,2018;Pessoa,2015)。同时,我们对奖赏条件下的任务进行反应时,会更努力、更集中注意(Braver et al.,2014),这可能会使得奖赏条件的项目被编码更深(Buckner & Koutstaal,1998),记忆效果也更好。

奖赏对无意记忆的影响主要是通过多巴胺中脑奖赏系统参与其中发挥作用(Bialleck et al.,2011;Luo et al.,2011;Shohamy & Adcock,2010;Wittmann et al.,2008;Wittmann et al.,2005)。例如,Wittmann等(2005)使用刺激材料类别(如生物/非生物)来提示是否会有奖赏,随后进行记忆测试的研究中发现无意编码过程中奖赏相关脑区(如黑质)的激活强度影响奖赏记忆的形成,但不影响非奖赏记忆的形成(Wittmann et al.,2005)。此外,有研究报告注意控制相关区域(如内侧前额叶)也参与到奖赏相关的无意记忆中(Bialleck et al.,2011;Bunzeck et al.,2010),这说明奖赏对无意记忆的影响不能完全排除注意的作用。

综上,奖赏在编码阶段主要通过奖赏和注意控制系统对记忆系统的调控影响记忆效果。如果将奖赏施加在巩固阶段,可以完全排除注意的影响,探究“纯粹”奖赏对记忆的作用(Murayama & Kitagami,2014),同时还能考察奖赏是否能在编码以外的阶段发挥作用。我们将在下一小节阐述奖赏是否影响、如何影响记忆巩固阶段。

2.2 奖赏对记忆巩固的影响

奖赏对记忆巩固阶段的影响及其机制是近几年的研究新方向,其主要理论基础为多巴胺记忆巩固理论。该理论认为,长时记忆的形成涉及到记忆的再巩固阶段,海马体将编码的信息整合进长时记忆中时,记忆项目会重新激活,在海马记忆系统中进行连续且循环的播放和巩固(Alberini,2011;Forcato et al.,2011;McKenzie & Eichenbaum,2011),在此过程中,奖赏激发的多巴胺可以调控海马记忆系统(Stickgold & Walker,2013),从而影响记忆的效果。

多巴胺记忆巩固理论的提出最初是基于动物研究中的证据。早期动物研究发现,多巴胺对海马的作用不会很快消失,而会持续很长时间(影响海马的晚期长时程增强) (Frey et al.,1990;Huang & Kandel,1995),对学习和记忆的影响也是延迟而不是立即的(Salvetti et al.,2014;Wang & Morris,2010)。进一步通过奖赏或者药物在学习后的离线(巩固)阶段调控多巴胺神经元,也能影响海马记忆系统,进而影响延时学习和记忆效果(Lansink et al.,2009;Lisman & Grace,2005;Singer & Frank,2009)。动物研究的发现为我们理解多巴胺奖赏系统对记忆巩固阶段的影响提供了基础。

Murayama 等人2014 年通过在巩固阶段施加奖赏,直接在人类被试身上揭示了奖赏可以不经由注意,通过巩固阶段直接影响记忆效果,支持了多巴胺记忆巩固理论。该实验先呈现目标图片让被试进行类别判断(编码阶段)。判断后(巩固阶段)进行与记忆无关的调节任务,在此阶段的奖赏条件下,被试需要在时间到达3 秒时尽快停止秒表,成功完成可得到金钱奖励,非奖赏条件下,被试需要在秒表自动停止后尽快按键,成功与否均无金钱奖励。利用这种范式(奖赏操纵在编码完成之后),研究者可以考察没有注意干扰下奖赏对目标图片记忆巩固阶段的影响。结果表明,被试对巩固阶段呈现奖赏任务(相比中性任务)的图片记忆效果更好,并且,这种记忆增强效应只在延迟记忆测试(24 小时之后)中出现(Murayama & Kitagami,2014)。这为奖赏通过巩固阶段影响记忆效果提供了直接的证据。有意思的是,研究者们还发现,在图片巩固阶段,对某一类别图片进行奖赏能提升之前出现过的这类图片(相对于不同类图片)的长时记忆效果(Patil et al.,2017),这说明奖赏能促进概念相关(同一类别)项目的巩固,影响其记忆效果。

近期Gruber 等人采用fMRI 技术,首次在人类被试身上揭示了奖赏影响记忆巩固的生理机制(Gruber et al.,2016)。这项研究是在编码阶段施加奖赏调控,但是同时扫描了编码和编码后的巩固阶段(10 分钟静息态)大脑的反应,并对巩固阶段进行了重点分析。利用功能连接技术,他们发现在奖赏记忆的巩固阶段多巴胺中脑奖赏系统(腹侧被盖区及黑质)与海马记忆系统交互连接,连接强度与记忆的奖赏效应相关。利用多元模式分析技术,他们还揭示在巩固阶段,海马表现出对高奖赏记忆项目(相比低奖赏项目)更强的再激活模式,即,巩固阶段中海马更多采用编码阶段中高奖赏记忆项目的激活模式,高奖赏项目再激活模式的增强也跟记忆的奖赏效应相关。奖赏和记忆系统在巩固阶段的交互连接以及奖赏信息在学习之后的再激活模式在随后的研究中也得到了进一步证实(Murty et al.,2017;Wimmer & Büchel,2016)。近期还有脑电研究指出,记忆巩固阶段奖赏的调控作用主要是通过theta 频率实现(Pu & Yu,2019)。

综上,在编码之后,海马记忆系统会将编码内容进行自动化巩固,如果将奖赏施加在巩固阶段,也能促进记忆效果。奖赏在巩固阶段主要通过多巴胺奖赏系统直接作用于记忆系统(不经由注意控制系统)对记忆效果产生影响。

3 总结与展望

综上所述,奖赏系统和记忆系统具有结构和功能上的连接,奖赏可以通过记忆编码和巩固阶段影响记忆效果。在有意编码阶段,奖赏激活奖赏系统、注意控制系统,使得个体将注意和认知资源有意识地分配给奖赏项目,且对其使用更多的学习策略;在无意编码阶段,奖赏也会激活奖赏系统,并且自动化吸引注意,对材料进行更深入的加工。即,在编码阶段,奖赏系统、注意控制系统与记忆系统交互合作,将奖赏项目更好地编码进记忆系统,从而取得更好的记忆效果。在巩固阶段,奖赏激发的多巴胺调控海马记忆系统,增强对奖赏项目的再激活,使得奖赏项目记忆效果更好。目前为止,研究者对记忆编码和巩固阶段的考察加深了我们对奖赏影响记忆机制的理解,但同时该领域还有一些问题有待进一步探讨：

首先,现有研究更多强调奖赏对记忆的促进,对奖赏影响记忆的模式缺乏全面的刻画。奖赏对行为的影响并非单一促进而是具有复杂的模式,研究提示实验材料、奖赏额度、个体差异等因素可能会影响记忆的奖赏效应。例如,研究者发现外在奖赏能促进人们对无趣材料的记忆,而对有趣材料却无效(Murayama & Kuhbandner,2011)。此外,我们最新一项研究发现,奖赏额度与记忆效果呈倒U 型模式,中等奖赏可以促进记忆,高额度并不能促进(Cheng et al.,2020),这种“过度奖赏”效应在其他非记忆任务中也有报告(Lee et al.,2019;Lee & Grafton,2015)。我们的另一项研究还显示,外在奖赏效果与人格特质有关,外在奖赏促进了低伤害回避个体的学习效果,而对高伤害回避个体不起作用(Zhang et al.,2017)。现有研究对于记忆奖赏效应受何种因素影响(如,不同类别材料[图片和文字材料]的奖赏效应是否一致？不同记忆方式[有意和无意记忆]的奖赏效应是否一致？),这些因素是通过编码还是巩固阶段发挥作用,以及这些复杂模式背后的神经机制尚不得而知。因此,未来研究需要更多关注影响记忆奖赏效应的因素及背后机制,构建更完善的记忆奖赏效应模型,为现实学习和生活提供更准确的指导(何时进行奖赏,怎样进行奖赏)。

其次,现有研究更多聚焦于奖赏对编码阶段的影响,对记忆巩固和提取阶段,尤其是提取阶段的考察相对较少。巩固对记忆形成至关重要,个体在记忆巩固阶段可能会处于多种多样的情景(有时处于休息甚至睡眠状态,有时处于任务中会接收新的信息),奖赏的效果也可能会有所区别。现有研究对于奖赏影响巩固阶段的机制,尤其是各种复杂状态下奖赏对巩固阶段的作用机制缺乏考察。在提取阶段,记忆的效果已经形成,因此研究者对这个阶段的关注更少。目前仅有零星研究表明提取阶段呈现奖赏可以提高提取正确率,其效果受到项目难易度和情绪效价的影响(Shigemune et al.,2017;Yan et al.,2018),这一结果有待后续研究进一步验证。测试/提取本身也是再学习和再形成记忆的过程(Kuhl et al.,2013),能提升长时学习和记忆效果。现有研究对于奖赏如何影响提取阶段,从而影响后续记忆效果缺乏探究。因此,未来研究需要更多考察奖赏对记忆巩固和提取阶段的影响(奖赏对不同巩固状态影响的机制、奖赏如何影响记忆提取及后续记忆),构建更加完善的奖赏影响编码、巩固和提取阶段的行为和神经模型。

最后,现有研究更多考察外在奖赏对记忆的影响,对内在奖赏的考察相对较少(Di Domenico & Ryan,2017)。如前所述,奖赏既可以是外在的金钱、物质、荣誉等,也可以是内在的自主性、好奇心、兴趣等。内外激励是否促进学习效果,哪种对学习效果贡献更大,外在奖赏是否破坏内在动机的作用是传统心理学和教育学领域的经典研究课题(Cerasoli et al.,2014),具有重要的现实教育意义。我们最新一项研究发现,外在奖赏虽然提升了相关任务的行为表现,却降低了无关任务的表现(Qin et al.,2020)。这项研究中的两项任务并非同时出现,而是间隔几秒到几十分钟,因此不是外在奖赏引起的注意资源分配给奖赏任务,而说明了外在奖赏会破坏完成任务的内在动机,从而降低了非奖赏任务的表现。近年来,研究者们开始转向考察内在奖赏对记忆的影响,发现内在自主性、好奇心也能激活奖赏系统,与海马记忆系统共同促进记忆成绩(Gruber et al.,2014;Gruber & Ranganath,2019;Murty et al.,2015)。现有研究对内在奖赏影响记忆的机制的考察尚不充分,对内外奖赏影响记忆的机制缺乏比较,对二者如何交互影响记忆(外在奖赏是否会破坏内在奖赏的作用)的机制也缺少探究。因此,未来研究需要更多关注内在奖赏影响学习记忆的规律和机制,对比内外奖赏影响记忆的行为规律和神经机制是否一致,考察二者是否会交互作用影响记忆效果。