言语工作记忆内容在语义水平的注意捕获*

李毕琴 李 玲 王爱君 张 明

(1江西师范大学心理学院,江西省心理与认知科学重点实验室,南昌 330022)(2苏州大学心理学系,心理与行为科学研究中心,苏州 215123)

1 引言

视野范围内往往存在大量的信息,在有限注意资源下,不同客体之间需要相互竞争才能获得更多注意资源。基于刺激驱动的注意选择是解决注意资源竞争的一种偏向竞争机制(Desimone &Duncan,1995;Eimer,2014),同样地,保存在视觉工作记忆的信息对视场中注意选择过程存在优先性,这种基于工作记忆(Working memory,WM)的优先性(注意捕获)是由于与客体相关特征的激活,使得特定特征得到主动编码,从而在众多客体中凸显或突现获得更多注意资源。一些研究相继证实了WM内容对注意的自上而下的捕获效应(胡艳梅,张明,2016;潘毅,2010;张豹,胡岑楼,黄赛,2016;张豹,黄赛,祁禄,2013;张豹,邵嘉莹,胡岑楼,黄赛,2015;Greene,Kennedy,&Soto,2015;Hollingworth &Hwang,2013;Olivers,Meijer,&Theeuwes,2006;Soto,Heinke,Humphreys,&Blanco,2005;Soto,Hodsoll,Rotshtein,&Humphreys,2008;Soto &Humphreys,2007)。基于WM内容的注意捕获符合偏向竞争机制,在实验研究中通常指视场中“凸显”或“突现”的客体,即与记忆项在朝向、颜色和形状等单一或多特征维度相似或相同的客体;当该客体是靶刺激时,搜索反应变快,是干扰刺激时,则反应变慢(潘毅,2010;张豹,黄赛,2013;张豹,黄赛,候 秋 霞 ,2014;Gil-Gómez de Liaño,Potter,&Rodríguez,2014;Olivers et al.,2006;Sasin,Morey,&Nieuwenstein,2017;Soto et al.,2005,2008)。

基于 WM 内容的注意捕获不仅发生在知觉水平,还可以发生在语义水平,即与抽象概念字词匹配的刺激也能捕获注意(潘毅,2010;Huang &Pashler,2007;Soto &Humphreys,2007)。例如,当你在超市购物的时候,事先在头脑中想象一下你打算购买商品的样子(视觉图像),可以让你很快找到相应的商品。同样,提前写一份购物清单(单词词汇)也可以为你节省搜索商品的时间。现有研究中,相对视觉WM而言,基于言语WM内容的注意捕获的研究较少(潘毅,2010;Belke,Humphreys,Watson,Meyer,&Telling,2008;Kawashima &Matsumoto,2017;Moores,Laiti,&Chelazzi,2003;Sasin &Nieuwenstein,2016;Soto &Humphreys,2007;Sun,Shen,Shaw,Cant,&Ferber,2015;Telling,Kumar,Meyer,&Humphreys,2010,详见表 1)。Huang和Pashler (2007)探讨了言语工作记忆内容在语义水平上对视觉搜索的影响。实验中要求被试先记住一个单词(如“原子”),随后在搜索序列中随机选一个数字并记住,结果发现与记忆项存在语义相关的单词(如“分子”)位置上的数字更容易被选中,这说明视场中与言语 WM 存在语义匹配的刺激能自动引导视觉注意。同样,潘毅(2010)采用言语刺激为记忆项,即描述颜色或形状的字词(如“红色”或“圆形”),结果发现,保存在外显记忆(工作记忆)或内隐记忆的抽象语义信息,都会自动引导注意选择视场中与之匹配的视觉信息,即工作记忆中抽象语义维度与注意任务特征维度不一致条件下比一致条件反应更慢。Sun等人(2015)的研究也支持了该结论,实验要求被试记忆一个色盘(如红色圆盘)或词汇(如“玫瑰”),与记忆项匹配的刺激永远是干扰项。结果发现,相对于无匹配条件,与记忆项知觉水平或语义水平的匹配刺激均能捕获注意,且两者捕获效应量没有差异。这说明保存在WM中的颜色或词汇都能自动引导注意,无论视觉特征存在与否,与WM内容在语义水平匹配的信息都可以捕获注意。

表1 与言语WM内容引导注意现象有关的研究文献

然而,言语 WM 内容在语义水平是否引导注意存在以下问题：(1)言语WM内容的注意引导,到底是基于语义水平还是基于视知觉水平尚不明确。目前探讨 WM 内容对注意语义水平引导作用的文章有两类：一类是用言语WM作为记忆存储或线索,其与搜索项之间语义匹配关系是通过“单词 vs.客体”实现(见表1);另一类是视觉WM作为记忆存储,语义匹配关系是通过“客体vs.客体”实现(Calleja &Rich,2013)。后者对前者提出质疑,认为言语WM内容的“语义匹配”是基于视知觉水平,即单词项在记忆存储过程中是以视觉编码为主,而非真正的语义水平上对注意的引导作用(Calleja &Rich,2013;Olivers et al.,2006;Sun et al.,2015;Wolfe et al.,2004)。例如,Olivers等(2006)比较了易言语(more verbal)条件(记忆项色块容易命名,如红、黄、蓝和绿)和易视觉(more visual)条件(记忆项色块不容易命名,如饱和度不同的几种红色)下视觉 WM 内容的注意引导。结果发现,易视觉条件下出现了基于工作记忆的注意捕获效应,而易言语条件下的注意捕获效应消失,即与记忆项匹配的干扰项与无匹配条件反应时无显著差异。研究者认为在易言语条件,被试对记忆的颜色通过命名更方便记忆并区分,最终言语内容不能引导视觉搜索中的视觉干扰项,注意捕获效应消失。因此,只有视觉编码的WM内容才能够引导注意,而涉及言语编码的语义匹配特征不能引导注意。同样,Wolfe等(2004)采用变化目标的线索化范式,比较了视觉线索和言语线索条件的注意捕获。结果发现,视觉线索匹配下,视觉搜索中的目标能被快速捕获;而言语线索下,则不能。他们认为,当个体记忆言语信息(如“动物”)时,如果被试没有被明确要求去注意 WM 概念范畴内某个内容(如“狗”),那么与 WM内容存在语义匹配的刺激(如“鸟”)并不能捕获注意。因此,Calleja和Rich(2013)认为与 WM 内容范畴匹配(语义匹配)的刺激能引导注意是基于刺激间的客体相似性,而非语义相关。实验通过降低客体相似性,选择范畴相同但 视觉特征不相同的客体(形状完全不同的茶杯),结果发现范畴匹配的客体并不能引导注意。他们认为客体相似性(即知觉匹配)是WM内容引导注意的原因,WM的注意引导依赖于WM内容在知觉水平的编码形式,只有视觉编码充分匹配的刺激才能够引导注意。

(2)不能基于相同记忆内容检验两种注意引导作用。以往研究对言语WM的注意引导作用的研究都是间接与视觉 WM 相比,例如 Soto,Rotshtein,Hodsoll,Mevorach和Humphreys (2012)的结果发现,言语和视觉 WM 对注意的引导过程涉及不同的脑区,前者与枕外侧皮层有关,而后者与额上回和颞叶部分脑区关系密切。虽然两种引导过程的神经机制存在分离,但是由于两者的记忆项不同(记忆项分别为色块和字词),这一结论并不能否定 Calleja和 Rich (2013)对两种引导都是基于视知觉水平的质疑。此外,Sun等人(2015)在讨论中同样指出由于记忆项不同,当视觉搜索任务都是基于视觉特征时,被试可能使用基于视觉编码的任务策略,以避免不必要的转换损耗。因此,被试在记忆言语 WM 时,可能会自动生成图像,如记“玫瑰”时直接产生心理表象,而不是记单词。因此,两种引导过程在神经机制的分离可能是引导产生之前的心理表象过程,而不是真正的引导过程。

基于上述对言语 WM 内容在语义水平引导注意的质疑,本研究将从两个方面改进实验研究。首先,实验 1通过设置相同记忆项,直接比较语义水平和知觉水平对注意的引导过程。实验中记忆项始终是汉字,搜索项由汉字和外框组成。当搜索项与记忆项的汉字匹配时,被定义为知觉水平的匹配关系,而搜索项颜色与记忆项的词义匹配时是语义水平的匹配(见图 1)。被试完成记忆任务的同时完成注意搜索任务,注意搜索任务是基于视觉特征的(找开口方向),如果被试倾向于视觉编码的搜索策略,那么语义匹配将存在引导注意,而知觉匹配不能引导。如果不是,那么知觉匹配和语义匹配都可能引导注意。其次,已有对言语WM的研究都是视觉呈现,而没有研究者使用听觉呈现,实验 2尝试探讨听觉呈现的言语WM内容对注意的引导作用。Baddeley (2000)的工作记忆模型指出,语音回路是一个由语音短时存储和默读复述组成的子模型,以听觉呈现的言语信息可以直接进入语音短时存储装置,而视觉呈现的言语信息则需要通过外部或内部发音装置的默读复述才能进入语音短时存储。在言语产生的过程中,视觉呈现和听觉呈现的相同信息可以通过不同感觉通道的分析通路来进入语音编码和加工过程(Baddeley,2003)。既然不同呈现方式在编码和加工过程存在区别,那么当听觉呈现的言语 WM 内容直接以语音编码的形式进入到语音短时存储时,是否来自不同感觉通道的信息加工将竞争有限注意资源,假如来自听通道的WM的存储加工和视觉选择性注意共享相同注意资源,那么不同呈现方式的WM对注意可能产生相同的影响。与此不同,跨通道选择性注意研究指出不同感觉通道的信息加工可能存在通道特异性(modality-specific)(Chambers,Stokes,&Mattingley,2004;Santangelo,Fagioli,&Macaluso,2010),即注意资源可以被有效的分为两个部分,分别完成视觉任务和听觉任务,对视觉和听觉事件的加工是平行的、相互独立的,这就是注意资源的感觉通道特异性(Wickens,2002),这意味着视觉和听觉注意网络在空间上相对分离,不同信息在视觉和听觉通道可以独立表征,不同感觉通道的信息编码和加工存在不同(Donohue,Liotti,Perez,&Woldorff,2012)。通道特异观点预期有限注意资源的预先分配,视觉搜索任务对注意资源的需求将主动抑制来自不同感觉通道的信息加工。因此,实验2将考察听觉呈现下与WM内容不同匹配类型的刺激对注意的引导作用。

2 实验1：视觉呈现的言语工作记忆内容的注意捕获效应

2.1 方法

2.1.1 被试

选取29名在校大学生,其中男生12名,女生17名,年龄在 18～21岁之间(M=19.52,SD=0.87)。被试均为右利手;视力或矫正视力正常,无色觉障碍;母语均为汉语,完成实验后获得相应的报酬。

2.1.2 实验设备与材料

使用 20英寸彩色液晶显示器呈现刺激,屏幕分辨率为1024×768像素,刷新频率为60 Hz。实验在灰色背景(128/128/128)和微亮的环境下进行,被试眼睛水平正视屏幕,且距离屏幕中心70 cm。实验材料包括记忆项和搜索项,记忆项是白色的描述颜色的汉字(1.03°×1.03°),搜索项由汉字(0.99°×0.99°)和兰道环(1.20°×1.20°,开口宽 0.5°,线条粗0.09°)组成,每个搜索项距离屏幕中央至少 1°,且搜索项之间距离最少1° (Woodman &Luck,2007)。汉字从《现代汉语常用字表》中选取四组字词,选取的标准是每组字的字形基本相似(选用相同偏旁或字结构),从而保证与记忆项匹配的字不是从整体结构上就可以快速被区分。最终,实验中汉字包括“红” (“纠”和“纤”)、“绿” (“线”和“组”)、“黄” (“曹”和“莫”)、“蓝” (“盖”和“著”)。

2.1.3 实验设计

实验采用单因素四水平的被试内设计。自变量为分心物与记忆项是否匹配(匹配类型：控制条件、知觉匹配、语义匹配和知觉语义匹配条件)。控制条件是指记忆项与搜索项均不同;知觉匹配条件下记忆项汉字与部分搜索项(即分心物)的汉字相同,如白色“红”字;语义匹配条件下记忆项词义颜色与分心物的颜色匹配;知觉语义匹配条件下记忆项与分心物汉字及颜色均匹配,如红色“红”字。因变量为搜索目标的反应时、搜索目标和记忆项目的正确率。

2.1.4 实验程序

首先,屏幕中央呈现 500 ms的“+”作为注视点。空屏1500 ms后,屏幕出现记忆项(如“红”字)。记忆项呈现500 ms后空屏500 ms,随后出现持续时间为3000 ms的搜索屏。搜索屏由6个搜索项组成,其中 5个搜索项方框开口朝左或朝右,只有 1个搜索项方框开口向上或向下,即搜索目标,被试任务是快速找到目标并判断其开口方向(向上按“K”键,向下按“M”键),搜索屏中 6个搜索项分布在屏幕对角线位置。空屏500 ms后出现记忆探测项,要求被试判断探测项与记忆项是否一致(一致按“1”键,不一致按“2”键)。实验中有一半试次的探测项与记忆项相同。每个被试实验之前均被告知“记忆项目绝对不同于搜索目标”。实验程序如图 1所示。

匹配条件下有3个搜索项(即分心物)与记忆项匹配,实验过程中将明确告诉被试分心物绝对不可能成为搜索目标,要求被试在保证记忆正确的情况下,同时又快又好的完成搜索任务。被试先练习16个试次,练习合格后进入正式实验,正式实验包括192个试次,四种条件各48个试次。正式实验分为4个区组,被试完成一个区组后休息2 min,整个实验完成大约需要45 min。

2.2 结果与分析

对被试正确率进行单因素重复测量方差分析,结果发现,搜索正确率和记忆正确率在匹配条件上主效应不显著;F(3,84)=1.95,p >0.05;F(3,84) =1.19,p >0.05。选取记忆探测判断正确和搜索任务均反应正确的试次,并剔除反应时在正负3个标准差之外的试次,分析发现,匹配条件主效应显著,F(3,84)=3.93,p <0.05,η=0.12。由于本研究更关注不同匹配条件下的注意捕获效应,进一步将3种匹配条件与控制条件的反应时分别进行配对样本 t检验。结果显示,知觉匹配条件(1268 ms)、语义匹配条件(1279 ms)和知觉语义匹配条件(1287 ms)的反应时均显著大于被试在控制条件下的反应时(1220 ms);t(28)=2.81,p=0.008 <0.01,d=0.43;t(28)=2.60,p=0.015 <0.05,d=0.37;t(28)=2.77,p=0.010 <0.05,d=0.43。而知觉匹配条件、语义匹配条件和知觉语义匹配条件之间不存在显著差异(p >0.05),详见图2。

图1 实验1的实验流程图

图2 实验1搜索任务和记忆任务的反应时和正确率

为了进一步揭示基于 WM 内容的注意捕获效应的时程特点,用反应时累积分布(Cumulative RT distributions)的方法分别求出每个十分位点上不同匹配条件下的平均反应时(见图 3)。如果知觉匹配和语义匹配刺激可以迅速地进入信息加工过程,那么在信息加工的早期阶段,这种基于 WM 内容的匹配刺激就可以迅速引导注意,干扰相关任务的完成,即在反应时前 10%的试次上,控制条件与匹配条件之间会存在显著性差异。对第一个十分位点的反应时数据进行秩和检验。结果发现,控制条件的平均搜索反应时(585 ms)显著地小于知觉匹配条件(615 ms,Z=-4.59,p <0.01)、语义匹配条件(610 ms,Z=-3.76,p <0.01)以及知觉语义匹配条件(619 ms,Z=-5.35,p <0.01);而知觉匹配条件、语义匹配条件、知觉语义匹配条件三者的反应时不存在显著性差异,即知觉匹配条件下搜索反应时与语义匹配条件(Z=-0.70,p >0.05)、知觉语义匹配条件(Z =-0.86,p >0.05)之间没有差异,语义匹配条件与知觉语义匹配条件间也不存在显著性差异(Z=-1.55,p >0.05)。

2.3 讨论

实验1中记忆项是描述颜色的汉字,即既有知觉属性也有语义属性,控制条件以外的匹配条件中记忆项永远和搜索屏中干扰项匹配,指导语同样告知被试“记忆项目绝对不同于搜索目标”。结果发现在明知与记忆项匹配的干扰项不可能成为靶子的前提下,被试仍会被动注意该干扰项。与控制条件相比,知觉匹配条件的反应更慢,这与注意偏向竞争机制相符(Desimone &Duncan,1995),表明与视觉呈现的言语 WM 内容在知觉水平上匹配的刺激能够自动地捕获注意。其次,语义匹配条件的反应也比控制条件慢,说明语义匹配的刺激也能够自动捕获注意。这与Soto等(2007)结论一致,支持了基于言语 WM 内容的注意捕获可以发生在语义水平的结论。更重要的是实验在基于相同言语WM内容下,证实知觉水平和语义水平的匹配刺激都可以捕获注意,说明不同水平的注意引导机制可能不同,视觉编码的优先策略并不能解释语义水平的引导作用是由于视觉编码引起。最后,知觉语义匹配条件的反应时比控制条件更长,而与知觉匹配条件、语义匹配条件之间并没有差异,说明知觉和语义两种匹配同时存在的情况下,注意捕获的效应量在知觉和语义水平并不能叠加,知觉水平和语义水平的注意引导可以分离,但并不是完全独立,两者之间可能存在相互影响。

图3 实验1不同匹配类型中搜索反应时的累计概率分布图

此外,实验还采用反应时分布的方法计算快速反应试次的捕获效应,结果发现,在最小的反应时等级(第一个十分位点)上,控制条件的反应显著快于另外三种匹配条件,说明与言语 WM 内容在知觉和语义水平匹配的刺激,即使在快速完成靶子搜索的过程中也捕获了注意。这结果与Soto等(2005)和张豹等(2016)的研究结论是一致的,支持了信息加工的早期阶段,这种基于 WM 内容的匹配刺激可以迅速引导注意。实验1证实了与视觉呈现的言语 WM 在语义水平匹配的刺激可以捕获注意,但言语 WM 既包括视觉呈现的言语信息,也包括听觉呈现的言语信息,且从感觉通道输入来看,后者直接进入语音短时存储,可以理解为更纯粹的言语WM。实验2将考察听觉呈现的WM内容的捕获注意效应。

3 实验2：听觉呈现的言语WM内容的注意捕获效应

3.1 方法

3.1.1 被试

选取29名在校大学生,其中男生11名,女生18名,年龄在 18～21岁之间(M=19.31,SD=0.81)。被试均为右利手;视力或矫正视力正常,无色觉障碍;母语均为汉语,完成试验后获得相应的报酬。

3.1.2 实验设备与材料

除了记忆材料换成听觉呈现(“红”、“黄”、“蓝”、“绿”),音频信息使用Golden Wave软件处理。音频文件采样大小为16位,44 kHz,双声道音频,音强约为65 dB,持续时间为500 ms。

3.1.3 实验设计与程序

实验采用单因素四水平的被试内设计。具体实验条件和实验程序除了记忆项和探测项是听觉呈现外,其他与实验1完全相同。

3.2 结果与分析

对被试的正确率进行单因素重复测量方差分析发现,搜索正确率(F(3,84)=0.630,p >0.05)和记忆正确率(F(3,84)=1.17,p >0.05)的匹配条件主效应不显著。选取记忆探测判断正确和搜索任务均反应正确的试次,并剔除反应时在正负3个标准差之外的试次,结果发现,在搜索反应时上,匹配条件的主效应显著,F(3,84)=4.27,p <0.01,η=0.13。进一步将3种匹配条件与控制条件的反应时分别进行配对样本t检验,控制条件(1239 ms)下的搜索反应时显著地大于语义匹配条件(1193 ms),

t(28)=2.07,p=0.048 <0.05,d=0.38;控制条件同样显著大于知觉语义匹配条件(1190 ms),t(28) =2.52,p=0.018 <0.05,d=0.47,而控制条件与知觉匹配条件之间不存在显著性差异,t(28)=-0.15,p =0.882 >0.05,d=0.03。知觉匹配条件(1241 ms)下的搜索反应时显著地大于语义匹配条件,t(28)=2.52,p=0.018 <0.05,d=0.47;知觉匹配条件同样显著大于知觉语义匹配条件,t(28)=2.56,p=0.016 <0.05,d=0.48;详见图4。

图4 实验 2搜索任务和记忆任务的反应时和正确率(M±SD)

与实验1相同,对第一个十分位点的反应时数据进的秩和检验,结果发现,控制条件的平均搜索反应时(547 ms)显著地小于语义匹配条件(576 ms,Z=-4.08,p <0.01),而与知觉匹配条件(552 ms,Z=-0.49,p >0.05)以及知觉语义匹配条件(541 ms,Z=-1.18,p >0.05)之间没有差异。而且,知觉匹配条件、语义匹配条件、知觉语义匹配条件三者的反应时也存在显著性差异,语义匹配条件下的搜索反应时显著高于知觉匹配条件(Z=-3.58,p <0.01)和知觉语义匹配条件(Z=-5.0,p <0.01)之间,知觉匹配条件与知觉语义匹配条件之间不存在显著性差异(Z=-1.59,p >0.05),详见图5。

3.3 讨论

实验2结果发现,控制条件下的搜索反应时与知觉匹配无差异,两者均显著大于语义匹配和知觉语义匹配条件,在语义水平出现了基于言语 WM内容的抑制现象,也就是说当个体知道言语 WM内容与当前任务无关时,被试会主动地采用策略来抑制与WM存在语义相关的刺激。此外,控制条件和知觉匹配条件无差异,语义匹配和知觉语义匹配也无差异,这可能是因为由于感觉通道特异性造成。由于实验是双任务范式,被试要求在保证记忆正确的情况下又快又好地完成视觉搜索任务,此时搜索任务是基于视觉通道且相对更难的任务,被试需要消耗更多的注意资源来完成。任务要求将使得被试事先分配更多的注意资源完成视觉搜索任务,且分配在听觉通道的维持记忆的注意资源并不能在视觉任务共用。因此,基于听觉通道的言语WM内容记忆在不同匹配条件下均不能捕获注意。然而,与言语 WM 内容的在语义水平匹配的刺激不但没有捕获注意,反而被成功抑制。那么语义匹配条件下注意抑制是怎么产生的？是一开始就被直接抑制,还是先捕获注意再被主动抑制呢？我们对反应时前10%试次的分析结果回答了该问题。结果发现,控制条件的反应时显著小于语义匹配条件,而与知觉匹配条件、知觉语义匹配条件之间没有差异,这说明在视觉搜索快速反应的早期阶段仍存在语义匹配刺激的注意捕获现象。但语义匹配在早期可以捕获注意,而知觉匹配却不能捕获注意,这似乎与以往知觉水平上的注意捕获更稳定的观点相违背,但结合Kim,Kim和Chun (2005)的理论这个结果也是可以解释的。他们认为记忆刺激类型与搜索刺激类型必须是“同类”时,记忆对注意的影响才能发生,即 WM 负荷对注意的干扰作用表现为相同领域的记忆任务对注意任务产生影响,而不同领域的不会产生影响。由此可见,如果实验2中搜索任务也是听觉呈现,那么知觉匹配条件在早期也可能捕获注意,否则就不能捕获注意。与知觉匹配条件不同,由于语义匹配条件下记忆项与搜索刺激是具有相同抽象概念意义的,比如概念水平和语义范畴(与长时记忆有关)。这种在语义水平产生的匹配关系比知觉水平的更稳定,不易受感觉通道发音装置的影响。例如,Baddeley和Larsen (2007)指出言语WM进一步编码为视觉或语义信息,语音回路的存储形式中语义编码与情节缓冲器有关,他们发现使用无关言语或发音抑制来占用听觉感觉通道的资源,可以影响依赖于语音编码的记忆项(即非词音节),但不影响依赖于语义编码的记忆项(即字词)。

图5 实验2不同匹配类型中搜索反应时的累计概率分布图

4 总讨论

本研究采用工作记忆-视觉搜索双任务范式,通过两个实验来探讨言语 WM 内容的语义匹配刺激的注意捕获效应。结果表明与控制条件相比,在视觉呈现的言语WM内容中,与WM语义匹配的刺激能够自动地优先捕获注意;在听觉呈现的言语WM内容中,与WM语义匹配的刺激不能捕获注意,反而被主动抑制。注意偏向竞争机制可以解释视觉场景中与 WM 内容知觉水平匹配的刺激自动捕获注意的现象,这种匹配不仅发生在外显的知觉表征,如颜色、形状和朝向等,还可以发生在更高水平的语义表征,如抽象概念、语义范畴等。与以往研究不同,本研究中记忆项是汉字,搜索项由汉字和外框组成,当记忆项与搜索项中汉字一致时,这种是知觉水平的匹配,而与搜索项颜色匹配时,则是语义水平的匹配。被试并不知道试次中匹配的是语义水平还是知觉水平,不太可能使用视知觉编码优先的策略,结果发现知觉和语义匹配条件都捕获了注意。此外,实验中被试被明确告知记忆项绝对不会是搜索目标,但与记忆匹配的刺激仍将引导注意,这与以往的研究结果相一致(Soto et al.,2005,2008;Soto,Humphreys,&Heinke,2006;张明,王爱君,2012),即与视觉呈现的言语 WM 内容在知觉和语义水平上匹配的刺激均能自动捕获注意。

实验1中视觉呈现的言语WM内容在知觉水平和语义水平可同时引导注意,这与Baddeley (2000)WM模型中不同子系统理论相符,特别是情节缓冲器的提出证实多通道表征的存在。即虽然言语WM的存储加工主要以语音编码为主,但部分字词内容仍能被重新编码(re-coding)为视觉代码或语义代码。这种重新编码是基于一定语义关联产生的,与知觉信息的语义分析和分类处理的脑区有关,包括左额下回、左枕颞叶皮质和 BA37,同时这些脑区也与文字和图片之间的语义关联有关系(Soto,Mannan,Malhotra,Rzeskiewica,&Humphreys,2011;Soto,et al.,2012)。从实验1结果来看,言语WM在语义水平对注意的引导与视觉代码有关,但这种注意引导并不是基于Calleja和Rich (2013)所说的视知觉特征水平的注意引导。Baddeley和 Larsen(2007)认为言语 WM 可以编码为视觉或语义信息,语音回路中的基于语义水平的重新编码可能与情节缓冲器的参与有关。情节缓冲器被认为是多通道表征的存储模式,多通道表征包含不同形式的代码,可整合来自不同感觉通道和记忆系统的信息(Baddeley,2000)。有研究表明言语工作记忆中记忆项的具体性和更长呈现时间有助于情节缓冲器的充分介入,使记忆项获得更丰富和更独特的多通道表征(Campoy,Castellà,Provencio,Hitch,&Baddeley,2015)。实验 1中记忆项在呈现时间和具体性上都有助于多通道表征存储模式的构建,因此知觉和语义水平对注意引导同时存在是可以解释的。

实验2结果与实验1不完全相同,出现了注意抑制效应。这可能有两个原因：一方面,根据WM对注意的引导作用存在认知控制的观点(胡艳梅,张明,2016;张豹,黄赛,2013),客体WM对注意的导向作用是灵活可控的;与客体 WM 内容匹配的刺激并不总能捕获注意(Woodman &Luck,2007)。基于 WM 内容的匹配信息在视觉搜索的早期阶段确实能够捕获注意,但随后由于视觉搜索过程中认知控制因素(对任务无关刺激的抑制机制)的影响,从而抑制了早期的注意捕获效应,这与张豹等人(2013)眼动研究的结论一致。因此,在视觉搜索过程中,既可能存在 WM 内容匹配刺激的自动的注意捕获效应,同时也可能存在着认知控制等注意抑制机制,二者之间是此消彼长的关系。在注意搜索的早期阶段,抑制机制并不是不存在,只是力量比较薄弱,而随着注意搜索的加工进程的推移,被保持在言语 WM 中,由于它与当前搜索任务完全无关,因而没有捕获注意的必要。这种控制机制符合注意选择的原则——选择与当前任务相关的刺激,拒绝与当前任务无关的刺激。实际上,对当前任务而言,如果言语WM内容只是某种干扰信息,那么被试终将抑制与 WM内容匹配的刺激。另一方面,在视觉呈现下,记忆刺激与搜索刺激属于同一感觉通道,而听觉呈现下,二者属于不同感觉通道(跨通道)。Crottaz-Herbette,Anagnoson 和 Menon (2004)比较了视觉呈现的言语 WM (vis-VWM)和听觉呈现的言语WM (audi-VWM)的通道特异性。结果发现,被试在完成视听呈现的言语 WM 的 2-back任务过程中,两者存在共同脑区的激活,但也有特异性脑区,视觉呈现的言语WM的存储加工与左侧后顶内沟(intrapariettal sulcus)的激活有关,而听觉呈现言语WM则与左侧背外侧前额叶(left dorsolateral prefrontal cortex)有关。此外还发现,视觉呈现的言语 WM 会诱发颞上回和颞中回的抑制,听觉呈现的VWM会诱发枕叶皮层的抑制,即出现了跨通道的抑制效应。因此,当言语WM内容以听觉方式呈现,而搜索任务以视觉方式呈现时,视觉搜索在加工视觉信息时可能会抑制言语WM内容。注意偏向竞争机制可以很好地解释相同感觉通道的注意偏向和竞争,而跨通道的注意捕获效应及其内部机制还需要进一步研究探讨。

此外,对实验2在第一个十分位点的反应时分析发现,控制条件的反应时显著小于语义匹配条件,由此说明视觉注意早期出现了语义匹配刺激的注意捕获。关于WM内容的注意捕获效应是发生在早期阶段还是晚期阶段,这个问题体现了注意捕获效应的时程特点。以往研究通过眼动指标上的首次注视点、注视时间或者脑电上的早期成分来探讨注意捕获的发生阶段(张豹等,2013,2016;Soto,et al.,2005,2006)。Soto等人(2005)将不同实验条件下的搜索反应时按照分布规律分成两半,即前50%的反应时和后 50%的反应时,结果发现快速反应(最短反应时)试次中出现了注意捕获效应,他们认为自上而下的注意捕获效应能够发生在注意搜索的早期阶段。同样,Carlisle和Woodman (2011)、胡艳梅、张明、徐展和李毕琴(2013)采用反应时分布方法将反应时按照大小顺序排序,通过对第一个十分位点的分析探讨 WM 内容匹配刺激是否能够快速介入注意搜索过程的加工,如果当搜索序列中匹配刺激能被快速识别并捕获注意,那么整体反应将变慢;反之亦然。实验1和实验2同样采用反应时分布的方法,检验早期阶段注意捕获现象的假设,结果支持了Soto等(2005)和张豹等(2016)的研究结论。即早期阶段存在 WM 内容的注意捕获效应,不仅发生在视觉WM内容,也发生在视觉呈现的言语WM内容,更重要的是,不管是知觉水平还是语义水平都存在早期阶段的注意捕获。但值得注意的是,听觉呈现的言语 WM 在语义水平匹配的刺激不受感觉通道的影响,仍能捕获注意。这说明言语WM内容对注意的引导过程并不完全是基于知觉水平产生的,WM内容对注意在知觉水平和语义水平的注意引导过程在快速反应阶段是可以被分离的。

5 结论

视觉呈现的言语 WM 内容在知觉水平和语义水平匹配的刺激均能够捕获注意,且在视觉搜索快速反应的阶段也能捕获注意。

由于跨通道之间选择性注意的抑制作用,听觉呈现的言语 WM 内容不能够捕获注意,但语义匹配的注意捕获效应可以发生在视觉搜索快速反应的阶段。

Baddeley,A.D.(2000).The episodic buffer: A new component of working memory? Trends in Cognitive Sciences,4(11),417–423.

Baddeley,A.D.(2003).Working memory and language: An overview.Journal of Communication Disorders,36,189–208.

Baddeley,A.D.,&Larsen,J.D.(2007).The phonological loop: Some answers and some questions.The Quarterly Journal of Experimental Psychology,60(4),512–518.

Belke,E.,Humphreys,G.W.,Watson,D.G.,Meyer,A.S.,&Telling,A.L.(2008).Top-down effects of semantic knowledge in visual search are modulated by cognitive but not perceptual load.Perception &Psychophysics,70(8),1444–1458.

Calleja,M.O.,&Rich,A.N.(2013).Guidance of attention by information held in working memory.Attention,Perception,&Psychophysics,75(4),687–699.

Campoy,G.,Castellà,J.,Provencio,V.,Hitch,G.J.,&Baddeley,A.D.(2015).Automatic semantic encoding in verbal short-term memory: Evidence from the concreteness effect.The Quarterly Journal of Experimental Psychology,68(4),759–778.

Carlisle,N.B.,&Woodman,G.F.(2011).Automatic and strategic effects in the guidance of attention by working memory representations.Acta Psychologica,137(2),217–225.

Chambers,C.D.,Stokes,M.G.,&Mattingley,J.B.(2004).Modality-specific control of strategic spatial attention in parietal cortex.Neuron,44(6),925–930.

Crottaz-Herbette,S.,Anagnoson,R.T.,&Menon,V.(2004).Modality effects in verbal working memory: Differential prefrontal and parietal responses to auditory and visual stimuli.NeuroImage,21(1),340–351.

Desimone,R.,&Duncan,J.(1995).Neural mechanisms of selective visual attention.Annual Review of Neuroscience,18(1),193–222.

Donohue,S.E.,Liotti,M.,Perez,R.,III.,&Woldorff,M.G.(2012).Is conflict monitoring supramodal? Spatiotemporal dynamics of cognitive control processes in an auditory Stroop task.Cognitive,Affective,&Behavioral Neuroscience,12(1),1–15.

Eimer,M.(2014).The neural basis of attentional control in visual search.Trends in Cognitive Science,18(10),526–535.

Gil-Gómez de Liaño,B.,Potter,M.C.,&Rodríguez,C.(2014).Working memory effects in speeded RSVP tasks.Psychological Research,78,124–135.

Greene,C.M.,Kennedy,K.,&Soto,D.(2015).Dynamic states in working memory modulate guidance of visual attention: Evidence from an n-back paradigm.Visual Cognition,23(5),546–560.

Hollingworth,A.,&Hwang,S.(2013).The relationship between visual working memory and attention: Retention of precise colour information in the absence of effects on perceptual selection.Philosophical Transactions of the Royal Society B: Biological Sciences,368(1628),20130061.

Hu,Y.M.,&Zhang,M.(2016).Electrophysiological evidence for memory-based attentional capture and memory-based attentional rejection effects.Acta Psychologica Sinica,48(1),12-21.

[胡艳梅,张明.(2016).基于记忆的注意捕获和注意抑制效应: ERP证据.心理学报,48(1),12–21.]

Hu,Y.M.,Zhang,M.,Xu,Z.,&Li,B.Q.(2013).Guidance of working memory on attention: The effects of inhibition incentive.Acta Psychologica Sinica,45(2),127-138.

[胡艳梅,张明,徐展,李毕琴.(2013).客体工作记忆对注意的导向作用: 抑制动机的影响.心理学报,45(2),127–138.]

Huang,L.Q.,&Pashler,H.(2007).Working memory and the guidance of visual attention: Consonance-driven orienting.Psychonomic Bulletin &Review,14(1),148–153.

Kawashima,T.,&Matsumoto,E.,(2017).Cognitive control of attentional guidance by visual and verbal working memory representations.Japanese Psychological Research,59(1),49–57.

Kim,S.Y.,Kim,M.S.,&Chun,M.M.(2005).Concurrent working memory load can reduce distraction.Proceedings of the National Academy of Sciences of the United States of America,102(45),16524–16529.

Moores,E.,Laiti,L.,&Chelazzi,L.(2003).Associative knowledge controls deployment of visual selective attention.Nature Neuroscience,6,182–189.

Olivers,C.N.,Meijer,F.,&Theeuwes,J.(2006).Feature-based memory-driven attentional capture: Visual working memory content affects visual attention.Journal of Experimental Psychology: Human Perception and Performance,32(5),1243–1265.

Pan,Y.(2010).Effects of verbal memory on visual selection:Dimension-based automatic guidance of attention.Acta Psychologica Sinica,42(12),1118–1127.

[潘毅.(2010).言语记忆对视觉选择的影响: 基于维度的自动注意引导.心理学报,42(12),1118–1127.]

Santangelo,V.,Fagioli,S.,&Macaluso,E.(2010).The costs of monitoring simultaneously two sensory modalities decrease when dividing attention in space.NeuroImage,49,2717–2727.

Sasin,E.,Morey,C.C.,&Nieuwenstein,M.(2017) Forget Me if You Can: Attentional capture by to-Be-remembered and to-Be-forgotten visual stimuli.Psychonomic Bulletin &Review,24,1643–1650.

Sasin,E.,&Nieuwenstein,M.(2016).Memory-driven attentional capture reveals the waxing and waning of working memory activation due to dual-task interference.Psychonomic Bulletin &Review,23,1891–1897.

Soto,D.,Heinke,D.,Humphreys,G.W.,&Blanco,M.J.(2005).Early,involuntary top-down guidance of attention from working memory.Journal of Experimental Psychology:Human Perception and Performance,31(2),248–261.

Soto,D.,Hodsoll,J.,Rotshtein,P.,&Humphreys,G.W.(2008).Automatic guidance of attention from working memory.Trends in Cognitive Sciences,12(9),342–348.

Soto,D.,&Humphreys,G.W.(2007).Automatic guidance of visual attention from verbal working memory.Journal of Experimental Psychology: Human Perception &Performance,33(3),730–737.

Soto,D.,Humphreys,G.W.,&Heinke,D.(2006).Working memory can guide pop-out search.Vision Research,46(6-7),1010–1018.

Soto,D.,Mannan,S.K.,Malhotra,P.,Rzeskiewica,A.,&Humphreys,G.W.(2011).Distinguishing non-spatial from spatial biases in visual selection: Neuropsychological evidence.Acta Psychologica,137,226–234.

Soto,D.,Rotshtein,P.,Hodsoll,J.,Mevorach,C.,&Humphreys,G.W.(2012).Common and distinct neural regions for the guidance of selection by visuoverbal information held in memory: Converging evidence from fMRI and rTMS.Human Brain Mapping,33(1),105–120.

Sun,S.Z.,Shen,J.,Shaw,M.,Cant,J.S.,&Ferber,S.(2015).Automatic capture of attention by conceptually generated working memory templates.Attention,Perception,&Psychophysics,77(6),1841–1847.

Telling,A.L.,Kumar,S.,Meyer,A.S.,&Humphreys,G.W.(2010).Electrophysiological evidence of semantic interference in visual search.Journal of Cognitive Neuroscience,22(10),2212–2225.

Wickens,C.D.(2002).Multiple resources and performance prediction.Theoretical Issues in Ergonomics Science,3,159–177.

Wolfe,J.M.,Horowitz,T.S.,Kenner,N.,Hyle,M.,&Vasan,N.(2004).How fast can you change your mind? The speed of top–down guidance in visual search.Vision Research,44(12),1411–1426.

Woodman,G.F.,&Luck,S.J.(2007).Do the contents of visual working memory automatically influence attentional selection during visual search? Journal of Experimental Psychology: Human Perception and Performance,33(2),363–377.

Zhang,B.,Hu,C.L.,&Huang,S.(2016).What do eye movements reveal about the role of cognitive control in attention guidance from working memory representation.Acta Psychologica Sinica,48(9),1105-1118.

[张豹,胡岑楼,黄赛.(2016).认知控制在工作记忆表征引导注意中的作用: 来自眼动的证据.心理学报,48(9),1105–1118.]

Zhang,B.,&Huang,S.(2013).Mechanisms underlying the attentional guidance form working memory representations.Advances in Psychological Science,21(9),1578-1584.

[张豹,黄赛.(2013).工作记忆表征对视觉注意的引导机制.心理科学进展,21(9),1578–1584.]

Zhang,B.,Huang,S.,&Hou,Q.X.(2014).The priority of color in working-memory-driven ocular capture.Acta Psychologica Sinica,46(1),17-26.

[张豹,黄赛,候秋霞.(2014).工作记忆表征捕获眼动中的颜色优先性.心理学报,46(1),17–26.]

Zhang,B.,Huang,S.,&Qi,L.(2013).Working memory representation does guide visual attention: Evidence from eye movements.Acta Psychologica Sinica,45(2),139-148.

[张豹,黄赛,祁禄.(2013).工作记忆表征引导视觉注意选择的眼动研究.心理学报,45(2),139–148.]

Zhang,B.,Shao,J.Y.,Hu,C.L.,&Huang,S.(2015).Attentional guidance from activated and inhibitory states of working memory representations.Acta Psychologica Sinica,47(9),1089-1100.

[张豹,邵嘉莹,胡岑楼,黄赛.(2015).工作记忆表征的激活与抑制状态对注意引导效应的影响.心理学报,47(9),1089–1100.]

Zhang,M.,&Wang,A.J.(2012).Working memory content-based attentional capture and suppression in the visual search.Advances in Psychological Science,20(12),1899-1907.

[张明,王爱君.(2012).视觉搜索中基于工作记忆内容的注意捕获与抑制.心理科学进展,20(12),1899–1907.]