多特征刺激在视觉工作记忆中的存储模式*

黎翠红 何 旭 郭春彦

(首都师范大学心理系, 北京市“学习与认知重点实验室”, 北京 100037)

1 引言

视觉工作记忆(visual working memory, VWM)是对视觉信息进行暂时性存储和操作的系统(Baddeley, 1992; Cowan, 2001; Luck & Vogel, 1997),大量研究表明视觉工作记忆对个体行为产生了重要的影响, 由视觉工作记忆容量导致的个体差异与注意控制、流体智力和学业成绩等紧密相关(Cowan,2004; Vogel, McCollough, & Machizawa, 2005)。研究者们在实验室中采用变化觉察范式(change detection paradigm)对这种容量的有限性进行研究。该范式的基本流程是先快速呈现一系列项目组成的记忆阵列(彩色方块, 随机多边形, 中文字符等),在延迟大约1 s之后呈现测验阵列, 被试需要判断测验阵列中的探测刺激和记忆阵列是否相同。当记忆阵列大小上升至3～4个项目时, 被试的变化觉察正确率都较高; 但是当阵列大小继续增加时, 正确率将逐渐下降, 变化觉察的正确率被认为反映了个体的在保持阶段的视觉工作记忆容量。使用这种范式, 研究者们测得人们的视觉工作记忆容量一般为3～4个项目(Luck & Vogel, 1997; Sperling, 1960;Vogel, Woodman, & Luck, 2001)。

除了行为指标上的正确率, 在测量视觉工作记忆容量时, 对侧延迟活动(contralateral delay activity,CDA)常用来考察保持阶段的神经活动。借助事件相关电位的高时间分辨率的特性可以将工作记忆的存储过程与其他阶段相分离, 有效的排除了编码、测验阶段对记忆资源分配上行为观测的影响。CDA是指在记忆项目的保持阶段, 目标视野的对侧脑区会比同侧脑区出现更大的负波, 其振幅随着保持在视觉工作记忆中的项目数的增加而上升, 并在每个被试的记忆容量临界值处达到极值。利用CDA作为工作记忆容量的指标, 可以实现将正确率和容量值相分离, 在实验中观测到纯净的存储容量(Luria, Sessa, Gotler, Jolicoeur, & Dell'Acqua, 2010;McCollough, Machizawa, & Vogel, 2007; 高在峰等,2012)。

Luck和Vogel (1997)首先使用变化觉察范式对视觉工作记忆资源分配问题进行了探讨。在他们的研究中, 无论是不同维度还是相同维度的特征数量的增加都不会改变存储容量的大小。因此他们认为,视觉工作记忆的容量并不受到特征数量的影响, 而仅受储存在视觉工作记忆中的客体数量决定的。Luria和Vogel (2011)也发现, 如果项目内多个特征分属于不同的维度, 其CDA振幅与单特征项目没有差异; 当多个特征属于同一维度时, 其CDA振幅将在延迟阶段前期显著大于单特征图形, 差异在后期逐渐消失。因此, 他们认为多特征刺激是按客体存储的。这些实验结果支持了记忆资源分配的插槽模型(slots models), 即视觉工作记忆资源存在一个明显的上限, 每个存储项目所获得的存储资源是固定的、等量的, 不受项目所包含特征数量的影响(Luck & Vogel, 1997; Zhang & Luck, 2008; Anderson,Vogel, & Awh, 2011)。然而, 一些研究结果与此并不完全一致。尽管部分研究者再次证明不同维度的特征数量的增加并不会使容量降低(Fougnie, Asplund,& Marois, 2010; Luria & Vogel,2011), 但是, 对同一维度包含多个特征项目的研究, 研究者们得到的结果却与Luck等人有所差异。例如, 虽然同样是使用双色嵌套方块和单色块作为刺激材料, Wheeler和Treisman (2002)的实验中记忆双色嵌套方块的正确率要显著低于单色方块, 即同一维度内特征数量的增多会导致所能存储的项目数量的减少。这一结果与灵活资源模型(flexible resource models)的观点相一致。该模型则认为, 记忆资源没有一个明确的上限, 各个项目获得的资源会依据该项目的复杂程度、重要性等而灵活变化(Bays & Husain, 2008)。可见, 视觉工作记忆资源的分配到底是否受到特征数量的影响还需要进一步的实验进行验证。

由于复杂刺激比简单刺激包含了更多的特征(Luria et al., 2010), 因此, 在探讨多特征刺激的视觉工作记忆资源的分配时, 复杂刺激也常被当作典型的刺激材料。在复杂刺激的研究结果中同样发现包含更多特征的复杂刺激消耗了更多的视觉工作记忆资源(Gao et al., 2009; Luria et al., 2010)。然而,Awh, Barton和Vogel (2007)对复杂刺激研究的结论提出了质疑, 他们在实验中发现虽然复杂刺激类别内变化测得的正确率显著低于简单刺激, 但是跨类别间变化测得的正确率却与简单刺激并没有差异。也就是说, 比较阶段难度的增加更有可能才是造成正确率降低的原因, 而事实上复杂刺激的存储容量并未减少。而复杂度本身是一个比较模糊的概念,复杂刺激中既包含了同一维度内特征数量的增加,也包含了对记忆表征精度需求的增加。本实验就将这两个概念从复杂刺激中分离出来, 分别进行考察。

关于记忆资源的分配是否会受表征精度的影响,一些使用单特征刺激为实验材料的研究中发现了高表征精度会消耗更多的记忆资源。例如, Machizawa,Goh和Driver (2012)发现当只需要保存两个项目时,被试可以提高表征精度, 并且会导致CDA振幅的增强, 但是当项目数增加到四个时则无法提高精度。但是, Zhang和Luck (2008)通过对表征精度的单独测量发现精度需求影响的只是变化觉察的正确率, 并不会改变记忆资源的分配。Luria等人(2010)发现即使学习和测验阶段的刺激色块的相似性增加, SPCN (sustained posterior contralateral negativity)也不会受到影响。Ye, Zhang, Liu, Li和Liu (2014)以及He, Zhang, Li和Guo (2015)同样是考察了表征精度对单色块颜色的影响, 结果表明高低精度之间的CDA振幅并无显著差异。因此, 从当前的研究来看, 表征精度是否影响工作记忆资源的分配还没有一致的结论。

在很多关于工作记忆的研究中都表明, 前额叶皮层(prefrontal cortex, PFC)的活动对项目在视觉工作记忆存储中有自上而下的调控作用(McNab &Klingberg, 2008; Roggeman, Klingberg, Feenstra,Compte, & Almeida, 2014; Voytek & Knight, 2010)。早在1971年, Fuster和Alexander (1971)就发现在工作记忆任务中, 前额叶皮质细胞在需要保持刺激表征的延迟存储阶段产生了持续的激活。而近期的研究结果表明, 前额叶和基底核的激活预测了工作记忆过程中对无关信息的过滤, 容量的个体差异也是由前额叶自上而下的控制强度决定的(McNab &Klingberg, 2008; Edin et al., 2009)。这些研究结果均表明前额叶在工作记忆起到了注意控制的作用。而在本研究中, 项目的表征精度上的要求也反映了工作记忆过程中的自上而下的控制强度大小, 精度需求越高则需要被试投入的控制资源也就越多。已有少部分ERP研究发现发生在位于前额叶皮层周边的晚期正成分LPC (the late positive component)与工作记忆保持相关, 可能反映了前额区对后部脑区的自上而下的控制(Gao et al., 2011; Kusak, Grune,Hagendorf, & Metz, 2000; Li, Li, & Luo, 2006)。Gao等人(2011)的研究中使用LPC作为观测指标发现,在PFC周边电极记录到的LPC振幅会随存储数量的增加而增强。然而, LPC振幅大小是否与表征精度大小相关呢？LPC所指示的脑活动与CDA是否有所不同呢？LPC是否能够反映出在CDA中无法观测到的信息呢？真正直接考察了PFC周边的LPC与纯粹的视觉工作记忆的保持过程及记忆资源分配的关系的研究却很少, 这些问题都有待于进一步的研究。

本研究采用变化觉察范式, 通过对双色块和单色块的比较来考察特征数量对记忆资源分配的影响, 同时通过改变双色方块的变化幅度来操控精度需求, 以考察其对记忆资源分配的影响。在低精度条件的变化试次中, 测验阶段双色块的两个颜色都会变化(整体变化), 此时被试只需要形成粗略的印象就可以做出正确的反应; 而在高精度条件中, 双色块只有一个颜色会发生变化(部分变化), 此时记忆项和检测项之间发生的变化较小, 两者相似性较高, 被试需要对双色块的两个颜色都形成更清晰精确的表征, 才能做出正确的变化觉察判断。我们推测, (1) 如果在记忆双色块与单色块时诱发的CDA振幅无显著差异, 说明视觉工作记忆容量资源的分配不受项目特征数量的影响, 支持插槽模型; 反之,如果记忆双色块诱发的CDA振幅与单色块有显著差异, 则说明视觉工作记忆容量受到特征数量的影响, 支持灵活资源模型。(2)如果在同样的特征数量下高低精度条件间的CDA振幅无显著差异, 则说明精度需求不影响视觉工作记忆容量资源的分配,支持插槽模型; 反之, 如果在同样的特征数量下的高低精度间的CDA振幅有显著差异, 则说明视觉工作记忆容量受到表征精度的影响, 支持灵活资源模型。(3)如果双色块比单色块诱发了更强的前额区LPC, 则说明被试在双色块条件下投入了更多的控制资源; 同样, 如果双色块高精度条件比双色块低精度条件诱发了更强的前额区LPC, 则说明双色块高精度条件下诱发了更多的自下而上的控制。

图1 脑电实验流程图及刺激样例

2 实验1

2.1 方法

2.1.1 被试

22名大学生(9男, 13女)参与了本次实验, 年龄19～25岁(平均年龄22.3岁), 之前均无参加此类实验经历。所有被试均为右利手, 视力或者矫正视力正常, 均通过石原氏色盲测验。实验开始前与被试签订知情同意书, 实验结束后给予一定报酬。

2.1.2 实验材料

实验刺激分为两类(见图1B), 一类是单色方块(0.65°×0.65°的小方块和1.3°×1.3°的外部嵌套方块的随机等比例混合), 一类是双色嵌套方块(1.3°×1.3°, 小方块和外部嵌套方块的组合)。方块的颜色随机选取自具有较高分辨度的6个颜色, 红、黄、蓝、绿、黑、白。

所有的刺激材料呈现在左右两个对称的矩形区域中(3.9°×7.8°), 其中心与注视点距离为3°。学习阶段每个区域内呈现2个方块, 方块位置随机,并且两两距离间隔大于2° (中心点距离)。

2.1.3 实验程序

刺激材料呈现在灰色背景(8.31 cd/m)的15英寸CRT显示器上。被试坐在灯光柔和的隔音电磁屏蔽室内, 视距为70 cm。实验期间要求被试注视屏幕中央的十字。

采用变化觉察范式, 被试需要对箭头指示的单侧视野内的刺激进行变化觉察任务。每个试次都分为学习阶段、延迟阶段和测验阶段。实验流程如图1A,在每个试次开始之前都会呈现一个黑色的注视十字,呈现时间为400 ms。然后出现指示箭头200 ms, 要求被试记住箭头指示的方向。接下来是300～400 ms的随机间隔, 之后呈现学习阵列400 ms, 被试只需记忆箭头所指一侧的方块的颜色。900 ms的延迟后,测验阵列出现。为了减少比较阶段多次决策而产生的干扰, 测验阵列仅包含一个探测项目, 被试需判断探测刺激同记忆阵列中出现在同样位置的项目的颜色是否相同并按目标键反应, 按键后测验项目消失。在50%的试次中探测项目的颜色会发生改变,变化后的颜色将是在要求记忆的一侧中没有出现过的颜色。反应键在被试间平衡。

实验设置3种条件：(1)单色块条件：记忆阵列由单色方块构成, 在变化试次中单色块的颜色会发生变化; (2)双色块部分变化条件：记忆阵列由双色嵌套方块组成, 在变化试次中只变化内侧或外侧任意一个色块; (3)双色块整体变化条件：记忆阵列同样由双色嵌套方块组成, 但是在变化试次中内外侧色块均发生变化。

实验共包含12个实验组(Block), 一个实验组只包含一种实验条件, 被试每组开始前被告知该组的类型。每个条件有4个实验组, 每组包含48个试次。实验组的顺序在被试间和被试内进行平衡。在正式实验开始之前, 被试对每个条件进行了12个试次的练习, 以便充分了解实验要求。实验过程中要求被试在保证正确率的前提下尽快的做出反应。

2.1.4 EEG记录及数据处理

采用Neuroscan公司生产的ESI-64导脑电记录和分析系统。按照国际10-20扩展电极系统记录EEG。两眼外侧1 cm处和左眼眶上下分别记录水平眼电(HEOG)和垂直眼电(VEOG)。在数据记录时,所有电极以左侧乳突作为参考, 以右侧乳突处电极为记录电极, 离线分析时以双侧乳突的平均作为参考。头皮与每个电阻之间的接触电阻均小于5 kΩ,接地点在Fpz和Fz的中点, 滤波带通为0.05～100 Hz, A/D采样率为500 Hz。实验截取记忆阵列出现前200 ms到呈现后1400 ms的脑电数据, 以刺激出现前200 ms的平均振幅对基线进行校正, 叠加前去眼电伪迹, 眨眼伪迹使用回归程序进行校正(Semlitsch, Anderer, Schuster, & Presslich, 1986)。基线校正后, 振幅在±75 μV之外的试次被剔除, 4个被试(2男2女)由于拒斥率大于25%在随后的数据分析中被排除。

根据相关研究(McCollough et al., 2007; Vogel&Machizawa, 2004), 在分析脑电成分CDA时选取了后顶叶, 枕叶和颞叶区域的6对代表性电极(TP7/8, CP3/4, P7/8, P5/6, PO7/8, O1/2)。图2A、B所示为记忆左侧视野与右侧视野两条件下的ERPs原始波形(以单色块条件下PO7/8和O1/2电极对为例, 其余条件类似)。如图2C所示, 在记忆目标对侧半球的后部脑区观测到了一个比同侧脑区更大的负走向波。CDA差异波的构建是通过用来自记忆半野对侧半球的电极的平均电压值减去同侧半球电极的平均电压值。对LPC的分析选取了前额区周边的3对电极(FPZ, FP1, FP2)。

2.2 结果

2.2.1 行为结果

各条件下的变化觉察正确率如图3所示。对3种条件下(单色块, 双色块部分变化, 双色块整体变化)的正确率进行单因素重复测量方差分析, 发现条件的主效应显著,

F

(2,42) = 74.98,

p

< 0.001,

η

=0.78。为了考察项目所包含同一维度的特征数量对行为反应的影响, 对双色块条件(双色块整体变化和双色块部分变化的平均值)和单色块条件的正确率进行配对样本的

t

检验, 发现单色块条件的正确率显著大于双色块,

t

(21) = 9.18,

p

< 0.001。进一步的比较表明, 单色块条件的正确率显著大于双色块整体变化(

t

(21 ) = 4.38,

p

< 0.001)和双色块部分变化(

t

(21) = 11.98,

p

< 0.001), 而双色块整体变化的正确率显著大于双色块部分变化,

t

(21) = 7.98,

p

<0.001。以上结果表明, 在正确率指标上特征数量和精度的效应都是显著的。

2.2.2 ERP结果

CDA结果

. 从波形上来看, 在刺激呈现后200 ms,双色块和单色块条件下的CDA成分开始出现了分离(见图4A)。选取记忆阵列呈现后600～1200 ms作为分析时段, 图4B为各条件下的平均CDA振幅的比较。对三种条件下的平均振幅进行的单因素重复测量方差分析表明, 实验条件的主效应显著,

F

(2,34) = 3.31,

p

< 0.05, η= 0.16。为考察项目所包含同一维度的特征数量对视觉工作记忆容量分配的影响, 对双色块条件(双色块部分变化和双色块整体变化的平均值)和单色块的CDA振幅进行的

t

检验比较表明, 双色块条件下的CDA振幅显著大于单色块条件,

t

(17) = 2.30,

p

< 0.05。对双色块两种变化条件和单色块条件分别进行的

t

检验比较也得到了相同的结果, 双色块整体变化条件下的CDA振幅边缘显著大于单色块条件,

t

(17) = 2.01,

p

< 0.06,双色块部分变化条件下的CDA振幅显著大于单色块条件,

t

(17) = 2.19,

p

< 0.05。为了考察精度需求(项目的变化幅度)对容量分配的影响, 对双色块整体变化和双色块部分变化条件下的CDA振幅进行

t

检验比较。结果表明, 两种变化幅度间无显著差异,

t

(17) = 0.11,

p

> 0.05。由于传统的假设检验只能推翻而不能证实零假设, 本研究使用贝叶斯因素分析来对双色块整体变化和双色块部分变化的CDA振幅无差异这一虚无假设的可信度进行验证(Rouder,Morey, Speckman, & Province, 2012; Rouder,Speckman, Sun, Morey, & Iverson, 2009)。结果表明,虚无假设(双色块整体变化和双色块部分变化条件的CDA振幅没有差异)为真的可能性是备择假设(双色块整体变化和双色块部分变化条件的CDA振幅有差异)为真的3.09倍。这一结果表明, 双色块整体变化和双色块部分变化间的不显著的差异似乎并非由随机因素导致, 支持了辨别精度不影响视觉工作记忆资源分配的假设。

图2 A、B为ERPs原始波形结果(以单色块条件下为例), C为记忆保持阶段出现的对侧比同侧更强的负走向波(此处以单色块条件下PO7/8、O1/2电极对为例)。注：灰色阴影部分为记忆阵列或测验阵列的呈现阶段

图3 三种条件下正确率比较

LPC结果.

图4C所示为对三种条件下前额区LPC波形的比较, 从图中可见双色块整体变化和部分变化条件在记忆阵列出现后约800 ms出开始分离。图4D为对三种条件下850～1200 ms的LPC平均振幅的比较。对3对电极的850～1200 ms的LPC平均振幅进行单因素重复测量方差分析, 结果表明条件的主效应显著,

F

(2,34) = 3.96,

p

< 0.05, η=0.19。为了考察特征数量对LPC振幅的影响, 分别对双色块部分变化和双色块整体变化的LPC振幅和单色块条件的LPC振幅进行的

t

检验比较。结果表明双色块整体变化和单色块条件差异不显著,

t

(17) = 0.89,

p

> 0.05; 但双色块部分变化条件和单色块条件间差异是显著的,

t

(17) = 2.27,

p

< 0.05。为了进一步考察双色块变化幅度在LPC振幅上的效应,对双色块整体变化和部分变化条件下的LPC振幅进行

t

检验, 结果表明双色块部分变化条件的LPC振幅显著大于双色块整体变化,

t

(17) = 2.27,

p

< 0.05。

水平眼动与ERPs数据的关系.

为了排除水平眼动对实验数据的影响, 考虑到大部分被试水平眼动较多, 选取了眼动较少的6名被试进行了进一步的分析(水平眼电 < 30 μV, 拒斥率 < 25%)。

(1) CDA结果：选取600～1200 ms为分析时段,对三种条件下的CDA振幅进行重复测量方差分析,结果显示主效应不显著,

F

(2,10) = 0.02,

p

> 0.05。但是三种条件下的平均值差异趋势与上述结果一致(双色块部分变化：

M

= ‒0.65,

SE

= 0.26; 双色块整体变化：

M

= ‒0.69,

SE

= 0.25; 单色块：

M

= ‒0.51,

SE

= 0.19)。

除此之外, 对三种条件下的水平眼电振幅值同样进行了方差分析, 结果表明条件的主效应显著,

F

(2,34) = 7.38,

p

< 0.05。进一步分析发现, 双色块部分变化和整体变化条件下的水平眼电均要显著大于单色块条件(

p

s < 0.05), 但是两者之间差异不显著(

p

> 0.05)。研究结果表明, 水平眼动可能会导致记录到的CDA幅值降低(高在峰等, 2012)。虽然双色块的水平眼动都要大于单色块, 但是即使考虑到水平眼动的影响, 双色块和单色块之间的差异应该更加明显, 也就是说上文的数据模式不会因此改变。

(2) LPC结果：选取850～1200 ms为分析时段,对三种条件下的LPC振幅进行重复测量方差分析,结果显示主效应不显著,

F

(2,10) = 3.10,

p

= 0.13。进一步分析发现, 结果的模式和上文也是保持基本一致的(双色块部分变化：

M

= 2.80,

SE

= 0.75; 双色块整体变化：

M

= 2.43,

SE

= 0.75; 单色块：

M

= 2.26,

SE

= 0.70)。双色块整体变化和部分变化条件的差异显著,

t

(5) = ‒2.61,

p

< 0.05。双色块部分变化和单色块差异可能由于被试数量显著未达到显著性水平,但已接近显著,

t

(5) = 1.85,

p

= 0.12。因此, 可以排除LPC的结果是由水平眼动伪迹造成的。

图4 A、C为CDA和LPC的ERPs波形图; B、D为CDA和LPC在三种条件下的振幅值比较。

2.3 小结

行为结果显示, 双色块条件的正确率均要显著低于单色块条件, 这暗示在保持阶段, 双色块图形有可能要比单色块图形消耗更多的视觉工作记忆资源。这也就表明, 单个项目内的特征数量可能会影响视觉工作记忆资源的分配。这一结果与前人研究中所发现的变化觉察正确率随着项目特征数量增多而降低的结果是一致的(Wheeler & Treisman,2002; Luria & Vogel, 2011)。此外, 将双色块下两种变化条件相比较, 双色块整体变化的正确率也要显著高于部分变化的正确率, 同样也说明部分变化条件下的单个项目消耗的记忆资源有可能要多于整体变化条件, 表征精度的不同可能是造成了两种双色块条件下的正确率的差异的原因。

从CDA的分析结果可以看出, 在后部脑区的CDA振幅上项目的特征数量的效应是显著的, 即多特征项目的CDA振幅显著高于单特征项目。当特征数量相同时, 消耗的记忆资源是相同的; 而当客体内特征数量增加时, 消耗的记忆资源也随之增加, 因此视觉工作记忆资源的分配受到特征数量的影响。此外, 项目变化幅度的效应是不显著的。实验中通过双色块在测验阶段变化的色块数量来控制被试对记忆项目的表征精度, 但是部分变化和整体变化条件之间振幅差异不显著, 说明精度需求并不能影响记忆资源的分配。

对LPC的分析发现, 双色块的两种变化条件的振幅差异显著, 部分变化条件下的LPC振幅值要比整体变化条件下的振幅值大, 说明对客体的变化觉察的精度需求的不同会对前额区的LPC振幅造成影响。由于LPC的振幅被认为与对工作记忆的自上而下的控制有关(Gao et al., 2011; Li et al.,2006), 这一结果说明对记忆表征精度需求的提高会诱发更强的自上而下的控制。

3 实验2

实验1研究结果发现, 视觉工作记忆资源的消耗会随着特征数量的增加而增加, 证明了特征数量会影响记忆资源的分配, 但这一结果并不能说明视觉工作记忆对多特征刺激的存储是以分离的特征为单位还是以项目整体为单位的。因此, 为了考察视觉工作记忆容量的存储单位问题, 实验2中只使用双色块作为刺激, 在测验阶段加入了对可能发生改变的色块的指示箭头。如果视觉工作记忆对多特征(同一维度)刺激的存储是以分离的特征为单位,在测验阶段就需要分别对双色块的两个颜色进行判断, 那么在有提示符的情况下, 被试在测验阶段就只需要进行一次判断, 因此被试应该有更好的变化觉察反应, 表现为有箭头条件下的正确率要高于无箭头条件。但是, 如果对多特征刺激的存储是以整合客体为单位的, 那么有无提示符则将对变化觉察成绩不产生影响。

此外, 通过在测验阶段加入提示符这一操控也可检验双色块的变化觉察正确率低于单色块是否是因为双色块在测验阶段需要进行更多次的判断(即需要分别判断双色块内的两个颜色是否发生改变)。如果双色块是由于测验阶段的决策干扰造成正确率的下降, 那么在测验阶段加入提示符之后,被试就从两次判断减少为只需进行一次判断, 因此该条件的变化觉察正确率就会比无提示符的条件有显著提高。

3.1 实验方法

3.1.1 被试

12名大学生(4男8女)参与了本次实验, 年龄20～25岁, 平均年龄22.4岁。视力或矫正视力正常,均通过石原氏色盲测验。实验结束后给予一定报酬。

3.1.2 实验材料

使用和实验1中相同的双色嵌套方块, 其他参数和实验1中相同。

3.1.3 实验程序

实验2和实验1的流程相同, 但只出现双色方块。实验2中包含了两种实验条件, 有提示条件和无提示条件。无提示条件和实验1中的双色块部分变化完全相同, 在50%的试次中双色块的颜色不发生改变, 其余的试次中双色块的一个颜色发生改变。有提示条件与前者不同的是, 在测验阶段使用指示箭头对可能变化了的色块进行提示(如果发生了变化, 箭头将指向变化了的色块; 如果无变化,箭头将随机指向一个色块, 如图5)。每名被试需完成两个有提示实验组和两个无提示实验组, 每组包含48个试次。实验组的顺序在被试间和被试内进行平衡。反应按键在被试间进行平衡。

图5 实验2测验阶段有提示条件下刺激样例

图6 实验2两种条件下正确率和反应时

3.2 结果

有无提示条件下变化觉察的正确率与反应时结果见图6。尽管有提示条件的正确率略高于无提示条件, 但是对有无提示条件下的变化觉察正确率进行的配对样本

t

检验结果表明, 两者间不存在显著的差异,

t

(11) = 1.66,

p

> 0.05。对两种条件下的反应时进行的

t

检验比较表明, 有提示条件的反应时显著长于无提示条件,

t

(11) = 2.50,

p

< 0.05。

3.3 小结

实验2通过控制双色块部分变化条件下在测验阶段的提取条件, 比较有无提示线索下的行为反应来进一步探讨在实验1中观察到的结果是否是因为双色块在测验阶段需要进行两次判断, 进而考察多特征刺激的存储单位是客体还是特征。结果发现,加入提示线索并不能增加双色块部分变化条件的正确率。鉴于已有研究中已观察到的判断次数对反应正确率的影响(Rouder, Morey, Morey, & Cowan,2011), 这一结果表明对双色块的变化觉察判断并非分别对两个颜色分别进行判断, 而是对项目整体进行判断。而对反应时的分析则发现, 在有提示的条件下被试的判断需要更长的时间。这可能是因为加入的提示符干扰了项目的整体性, 所以不仅无法起到提示作用, 反而会对判断产生干扰。因此说明,视觉工作记忆中对多特征刺激的存储并不是以独立特征为单位存储的, 而是受到客体的作用, 一个客体内部的多种特征可能以内在的某种方式产生了联接从而形成一个整体的表征。此外, 我们认为测验阶段有无提示条件下的行为反应差异反映的是判断次数增多的效应。然而, 加入提示线索后变化觉察正确率并未提高, 这一结果表明在测验阶段多次的判断决策并不是造成双色块条件的正确率低于单色块条件的原因。

4 总讨论

本研究采用变化觉察范式, 以正确率和脑电成分CDA及LPC作为评价指标, 旨在探讨多特征刺激在视觉工作记忆中的存储模式。通过双色块和单色块的比较考察了特征数量对记忆资源分配的影响, 通过操控双色块的变化幅度考察了精度需求对记忆资源分配的影响。从行为结果上来看, 变化觉察的正确率随特征数量和精度需求的增加而显著降低。在脑电结果上, 后部脑区的CDA振幅随特征数量的增加而增强, 但不受精度需求的影响, 前部脑区的LPC振幅仅在双色块高精度条件下有显著增强, 在双色块低精度条件和单色块条件间则无显著差异。

4.1 视觉工作记忆资源分配是否受特征数量的影响

本研究通过控制同一项目内颜色的数量来操纵单个客体内的特征数量, 从行为结果上来看, 得到了与前人一致的研究结论(Wheeler & Treisman,2002; Fougnie et al., 2010), 即变化觉察正确率随着客体同一维度内特征数量的增加而降低。但是, 由于行为结果的正确率同时受到来自编码、保持和比较阶段的影响, 在本实验中, 相比于单色块, 双色块在提取比较阶段要做出更多的决策, 这就说明比较阶段的差异有可能是造成正确率差异的原因之一。因此, 依据单纯的行为结果并不能推出不同条件之间的差异是发生在记忆保持阶段还是测验提取阶段, 这就需要进一步借助能够直接测量到延迟阶段大脑神经活动的ERPs数据来反映出真实的记忆资源分配情况。

以往研究表明, 在记忆半野对侧后部脑区观测到的CDA振幅不仅反映了视觉工作记忆中保持的项目数量(Vogel & Machizawa, 2004; Ikkai, McCollough,& Vogel, 2010; McCollough et al., 2007), 还会随项目复杂程度的增加而增强(Luria et al., 2010; Gao et al., 2009)。这表明, CDA振幅可能反映了视觉工作记忆资源的分配。

当前研究对CDA振幅的分析表明, 无论是部分变化还是整体变化, 双色块条件下的CDA振幅均高于单色块, 即当客体数量相同时, 项目内同一维度特征数量的增加会引起CDA振幅的增强。这意味着, 特征数量会影响记忆资源的分配。在Luria和Vogel (2011)对多特征客体的研究中, 与当前研究一致的是在相同的客体数量下双色块的CDA振幅高于单色块, 但不同的是, 他们观察到特征数量导致的CDA振幅差异随着时间进程逐渐减弱, 在延迟阶段后期消失, 发生了特征间的捆绑, 而在本研究中双色块和单色块的振幅差异并未出现消退。这可能是由于在他们的实验中, 刺激呈现时间较短(200 ms), 而被试为了减少记忆负担就进行了组块记忆。因此似乎组块的发生与否跟被试自身的控制有关。除此之外, 相比于本研究, Luria等人可能使用了更为相似的颜色作为刺激材料, 这也有可能成为组块更容易发生的原因。尽管在实验1中发现特征数量的增多会使容量消耗增加, 但是由于不能说明工作记忆资源是否存在资源的上限, 因此, 仅通过实验1的结果并不能说明工作记忆的存储单位是特征。

实验2通过控制提取阶段的提取线索考察了测验阶段决策干扰对正确率的影响以及视觉工作记忆存储单位问题。首先, 两种条件的正确率上无显著差异这一结果表明, 行为结果上的正确率的差异并不是由测验阶段的多次判断干扰引起的。同时,提示箭头并没有起到提示作用, 这就说明视觉工作记忆在进行项目存储时并没有把同一客体内的两个特征视作两个独立的部分, 而是将两个特征连接为一个整体进行存储。在实验中还发现, 加入提示条件将增加被试的反应时间, 也就是说线索不仅没有起到提示作用, 反而破坏了项目的整体表征干扰了决策。这些结果共同表明了对多特征刺激的存储并不是以割裂的特征的形式来进行的, 而是以项目整体的形式来进行的。这与之前大量支持视觉工作记忆的存储单位是客体的研究也是一致的(Luck &Vogel, 1997; Luria & Vogel, 2011), 同时也为插槽模型提供了实验证据。插槽模型的基本观点认为, 视觉工作记忆的存储单位是客体, 客体内部包含的特征无论多少都会自动捆绑成客体进行存储。关于插槽模型, Zhang和Luck (2003)补充认为, 虽然视觉工作记忆中的插槽数量是固定的, 但是特征较多、较为复杂的刺激可以获得多于一个的插槽。因此,可以推测实验1中相等数量的双色块的CDA振幅值之所以会高于单色块很可能是因为双色块由于其特征数较多而获得了多于一个的插槽。

4.2 视觉工作记忆资源分配是否受精度的影响

尽管特征数量的增加似乎会使记忆资源的消耗增多, 但在同样的特征数量下, 精度需求的改变是否会影响记忆资源的分配呢？实验1通过控制测验阶段可能发生变化的特征数量, 实现对视觉工作记忆资源分配是否受精度影响问题的探讨。来自行为结果的数据表明, 高精度条件下的正确率要低于低精度条件。但是, 由于行为测量的局限性, 仅依据行为结果同样不能说明正确率的差异仅仅来自于精度表征对容量分配的影响。来自ERPs的数据表明, 在保持阶段, 双色块高低精度条件下的CDA振幅没有差异, 也就表明当特征数量保持不变时,精度需求的改变并没有影响记忆资源的分配。

和以往的研究相比, 虽然实验1在精度表征的操控上使用了不同的方法, 但是仍然得到了较为一致的结果。为了考察单特征刺激的表征精度对记忆资源分配的影响, Ye等人(2014)操控了单色块颜色的变化幅度, 结果发现表征精度并不影响资源的分配。Zhang和Luck (2008)同样使用颜色作为刺激材料, 在他们的研究中使用的实验方法将测量到的容量和精度相分离, 结果表明表征精度只会影响变化觉察任务的正确率而非记忆存储容量。而为了探讨多特征刺激的记忆资源分配是否受到表征精度的影响, 因此实验1选取了双色块, 并通过学习和测验阶段色块的变化幅度来操控表征精度, 同样得到了与单特征刺激一致的结果。同样, 在复杂刺激的研究中, Gao, Ding, Yang, Liang和Shui (2013)通过刺激的类别间和类别内变化来控制被试的表征精度, 也证明了记忆资源的分配不受精度的影响。然而, 并没有实验对多特征刺激的精度需求进行直接的研究, 而当前本实验则是给出了最直接的证据。关于表征精度不会影响视觉工作记忆资源的分配的原因, 插槽模型认为, 视觉工作记忆存在一个受所能存储的项目数量限制的容量上限, 或者说是受可利用的插槽的限制。而当插槽都被利用了之后,将不再会有信息进入视觉工作记忆中。因此, CDA应该只随着所利用的插槽的增加而上升, 但不受表征精度的影响。因此, 在实验1中, 虽然被试在部分变化条件下提高了对项目的表征精度, 但是反映记忆资源分配的CDA振幅并未随着表征精度的增加而改变。

实验1中对前额区LPC的分析结果则表明, 双色块部分变化的LPC振幅显著强于双色块整体变化和单色块条件, 而双色块整体变化和单色块条件间则无显著差异。因为前额区的LPC被认为与对工作记忆保持阶段的自上而下的控制有关(Gao et al., 2011; Li et al., 2006), 双色块两种精度条件间的差异表明, 在记忆多特征物体时对记忆表征的精度需求的提高诱发了对视觉工作记忆存储的更强的自上而下的控制。具体来说, 较高的精度需求会促使被试去更努力地在记忆中保持住一个更精确地表征, 而这种“更努力地”状态就体现为前额叶对后部脑区的更强的控制。同时, 这一结果也表明了,当前研究对于精度需求的操控是有效的, 排除了被试没有意识到两种条件间的差异而采取相同的态度对待两种条件的试次从而导致实验操作无效的可能性。对于LPC振幅在双色块部分变化和单色块之间有显著差异, 而在双色块整体变化和单色块之间则未见差异这一结果, 我们认为是因为尽管双色块整体变化和单色块条件间存在一定的难度差异, 但这种难度差异尚不足以诱发更多控制资源的投入。这在行为结果上表现为相对于双色块部分变化和单色块条件间的正确率差异, 双色块整体变化和单色块间的正确率差异相对较小。而在Gao等人(2011)研究中也已发现, LPC的振幅会因任务难度的增加而增强。

4.3 总结与展望

当前的实验结果表明, 对于多特征刺激, 即使是任务难度较低的低精度条件下, 即只需要保存粗略的表征(整体变化), 但是记忆资源的消耗并不会因此减少。这与Gao等(2013)的研究中发现的记忆资源的消耗仅由记忆目标的属性所决定, 而与任务要求无关的结论是一致的。而低精度要求下在正确率上的提高则只是因为在反差较大的变化觉察任务的测验阶段更容易做出正确的辨别。这与对复杂刺激的研究结果相吻合, 即对记忆-测验变化幅度上的改变并不会影响对复杂刺激的存储(Awh et al.,2007; Gao et al., 2013)。

复杂刺激是一种典型的多特征刺激, 本实验的研究结果与大量复杂刺激的研究也保持一致(沈模卫等, 2009; Gao et al., 2013; Machizawa et al., 2012;Alvarez & Cavanagh, 2004; Wheeler & Treisman,2002)。例如, Gao等人(2013)的研究发现, 对复杂刺激的CDA振幅在差异较大的类别间变化和差异较小的类别内变化中同样都会在两项阵列条件下就达到上限值, 该结果表明复杂度会影响容量而精度需求不会影响容量。在本实验研究中使用多特征项目作为刺激材料同样发现, 特征数量对多特征项目的记忆资源分配的影响是与精度需求无关的。

基于这一结果我们可以推论, 复杂刺激之所以会诱发更强的CDA振幅似乎并非是因为对复杂刺激的变化觉察需要更高的记忆精度, 而是因为复杂刺激包含了更多的同一维度的特征(沈模卫等,2009; Gao et al., 2009; Gao et al., 2013; Luria et al.,2010)。根据Awh等人(2007)的研究结果, 即无论存储4个项目还是8个项目复杂刺激在类别间变化试次中的正确率都与简单刺激相仿, 以及一些研究中显示出来的在四项阵列中复杂刺激与简单刺激无显著差异的CDA振幅的结果(Gao et al., 2009;Luria et al., 2010), 我们似乎可以猜测当存储较多个复杂刺激时(两个以上)可能仅是存储了每个项目的类别特征, 即这一种类的复杂刺激的普遍特征。这一存储足以区分不同类别的复杂刺激间的差异(比如一个随机多边形和一个汉字), 但并不足以区分同一类别内的刺激间的差异(比如两个随机多边形)。然而, 尽管本实验证明了特征数量在存储过程中的影响, 但是由于在实验中所使用的项目数不能测得两类不同项目类型的容量极值, 因此并不能确定对多特征物体的容量会低于单特征物体。后续研究可利用CDA振幅与容量上限的关系, 通过增加阵列大小来比较不同精度条件下由CDA所反映的容量上限。

5 结论

本研究考察了多特征刺激在视觉工作记忆中的存储模式, 从研究结果可以得出以下结论：

(1)特征数量的增多则会导致更多记忆资源的消耗, 但不一定会导致更多控制资源的投入。

(2)在特征数量不变的情况下, 多特征物体的精度需求不会对容量分配造成影响, 但会导致更多可能与精度相关的控制资源的投入。

(3)视觉工作记忆的存储单位是客体。

致谢：侯明珠、李兵兵对英文摘要进行了修改, 在此表示感谢！

Alvarez, G. A., & Cavanagh, P. (2004). The capacity of visual short-term memory is set both by visual information load and by number of objects.

Psychological Science, 15

,106–111.

Anderson, D. E., Vogel, E. K., & Awh, E. (2011). Precision in visual working memory reaches a stable plateau when individual item limits are exceeded.

The Journal of Neuroscience, 31

(3), 1128–1138.

Awh, E., Barton, B., & Vogel, E. K. (2007). Visual working memory represents a fixed number of items regardless of complexity.

Psychological Science, 18

, 622–628.

Baddeley, A. (1992). Working memory.

Science, 255

(5044),556–559.

Bays, P. M., & Husain, M. (2008). Dynamic shifts of limited working memory resources in human vision.

Science,321

(5890), 851–854.

Cowan, N. (2001). The magical number 4 in short-term memory: A reconsideration of mental storage capacity.

Behavioral and Brain Sciences, 24

(1), 87–114.

Cowan, N. (2004).

Working memory capacity

. New York:Psychology Press.

Edin, F., Klingberg, T., Johansson, P., McNab, F., Tegnér, J., &Compte, A. (2009). Mechanism for top-down control of working memory capacity.

Proceedings of the National Academy of Sciences of the United States of America,106

(16), 6802–6807.

Fougnie, D., Asplund, C. L., & Marois, R. (2010). What are the units of storage in visual working memory?

Journal of Vision, 10

(12), 27.

Fuster, J. M., & Alexander, G. E. (1971). Neuron activity related to short-term memory.

Science, 173

(3997), 652–654.

Gao, Z. F., Ding, X. W., Yang, T., Liang, J. Y., & Shui, R. D.(2013). Coarse-to-Fine construction for High-Resolution representation in visual working memory.

PloS One, 8

,e57913.

Gao, Z. F., Li, J., Liang, J. Y., Chen, H., Yin, J., & Shen, M.(2009). Storing fine detailed information in visual working memory—Evidence from event-related potentials.

Journal of Vision, 9

(7), 17.

Gao, Z. F., Xu, X. T., Chen, Z. B., Yin, J., Shen, M. W., & Shui,R. D. (2011). Contralateral delay activity tracks object identity information in visual short term memory.

Brain Research, 1406

, 30–42.

Gao, Z. F., Yu, W. J., Xu, X. T.,Yin, J., Shui, R. D., & Shen, M.W. (2012). Contralateral delay activity: An ERP index measuring information stored in visual working memory.

Chinese Science Bulletin, 57

, 2806–2814, doi:10.1360/972012–728.

[高在峰, 郁雯珺, 徐晓甜, 尹军, 水仁德, 沈模卫. (2012).对侧延迟活动: 视觉工作记忆信息存储的ERP指标.

科学通报, 57

(30), 2806–2814.]

He, X., Zhang, W., Li, C., & Guo, C. (2015). Precision requirements do not affect the allocation of visual working memory capacity.

Brain Research, 1602

, 136–143.

Ikkai, A., McCollough, A. W., & Vogel, E. K. (2010).Contralateral delay activity provides a neural measure of the number of representations in visual working memory.

Journal of Neurophysiology, 103

, 1963–1968.

Kusak, G., Grune, K., Hagendorf, H., & Metz, A. M. (2000).Updating of working memory in a running memory task:An event-related potential study.

International Journal of Psychophysiology, 39

, 51–65.

Li, X., Li, X., & Luo, Y. J. (2006). Differential influences of negative emotion on spatial and verbal working memory:Evidence from event-related potential and source current density analysis.

NeuroReport, 17

, 1555–1559.

Luck, S. J., & Vogel, E. K. (1997). The capacity of visual working memory for features and conjunctions.

Nature,390

(6657), 279–281.

Luria, R., Sessa, P., Gotler, A., Jolicoeur, P., & Dell'Acqua, R.(2010). Visual short-term memory capacity for simple and complex objects.

Journal of Cognitive Neuroscience, 22

,496–512.

Luria, R., & Vogel, E. K. (2011). Shape and color conjunction stimuli are represented as bound objects in visual working memory.

Neuropsychologia, 49

, 1632–1639.

Machizawa, M. G., Goh, C. C. W., & Driver, J. (2012). Human visual Short-term memory precision can be varied at will when the number of retained items is low.

Psychological Science, 23

, 554–559.

McCollough, A. W., Machizawa, M. G., & Vogel, E. K. (2007).Electrophysiologicalmeasures of maintaining representations in visual workingmemory.

Cortex, 43

, 77–94.

McNab, F., & Klingberg, T. (2008). Prefrontal cortex and basal ganglia control access to working memory.

Nature Neuroscience, 11

, 103–107.

Roggeman, C., Klingberg, T., Feenstra, H. E., Compte, A., &Almeida, R. (2014). Trade-off between capacity and precision in visuospatial working memory.

Journal of Cognitive Neuroscience, 26

(2), 211–222.

Rouder, J. N., Morey, R. D., Morey, C. C., & Cowan, N.(2011). How to measure working memory capacity in the change detection paradigm.

Psychonomic Bulletin & Review,18

, 324–330.

Rouder, J. N., Morey, R. D., Speckman, P. L., & Province, J.M. (2012). Default Bayes factors for ANOVA designs.

Journal of Mathematical Psychology, 56

, 356–374.

Rouder, J. N., Speckman, P. L., Sun, D., Morey, R. D., & Iverson,G. (2009). Bayesian t tests for accepting and rejecting the null hypothesis.

Psychonomic Bulletin & Review, 16

, 225–237.

Semlitsch, H. V., Anderer, P., Schuster, P., & Presslich, O.(1986). A solution for reliable and valid reduction of ocular artifacts, applied to the P300 ERP.

Psychophysiology, 23

,695–703.

Shen, M. W., Xu, Q., Gao, Z. F., Yu, Y., Yin, J., Sun, Z. Q., &Shui, R. D. (2009). Object complexity influences the number of objects stored in visual working memory.

Chinese Journal of Applied Psychology, 15

, 3–9.

[沈模卫, 徐青, 高在峰, 余喻, 尹军, 孙忠强, 水仁德.(2009). 客体复杂度影响工作记忆可存储的客体数目.

应用心理学,15

, 3–9.]

Sperling, G. (1960). The information available in brief visual presentations.

Psychological Monographs: General and Applied, 74

(11), 1–29.

Vogel, E. K., & Machizawa, M. G. (2004). Neural activity predicts individual differences in visual working memory capacity.

Nature, 428

, 748–751.

Vogel, E. K., McCollough, A. W., & Machizawa, M. G.(2005). Neural measures reveal individual differences in controlling access to working memory.

Nature, 438

(7067),500–503.

Vogel, E. K., Woodman, G. F., & Luck, S. J. (2001). Storage of features, conjunctions, and objects in visual working memory.

Journal of Experimental Psychology: Human Perception and Performance, 27

, 92–114.

Voytek, B., & Knight, R. T. (2010). Prefrontal cortex and basal ganglia contributions to visual working memory.

Proceedings of the National Academy of Sciences of the United States of America,107

, 18167–18172.

Wheeler, M. E., & Treisman, A. M. (2002). Binding in short-term visual memory.

Journal of Experimental Psychology:General,131

, 48–64.

Ye, C., Zhang, L., Liu, T., Li, H., & Liu, Q. (2014). Visual working memory capacity for color is independent of representation resolution.

PLoS ONE, 9

(3), e91681. doi:10.1371/journal.pone.0091681

Zhang, W. W., & Luck, S. J. (2003). Slot-like versus continuous representations in visual working memory.

Journal of Vision, 3

, 681. doi: 10.1167/3.9.681

Zhang, W., & Luck, S. J. (2008). Discrete fixed-resolution representations in visual working memory.

Nature, 453

,233–235.