持续性视觉注意对视觉工作记忆项目优先加工的影响*

2025-02-15 00:00:00连浩敏张倩谷雪敏李寿欣
心理学报 2025年2期

摘 "要""采用行为实验、事件相关电位和事件相关光信号联合采集技术, 通过操纵视觉工作记忆(VWM)项目的检测概率变化VWM项目加工的优先性, 探讨持续性视觉注意对VWM项目优先加工的影响是否受到工作记忆资源的调节, 以及VWM项目优先加工的神经基础。行为结果显示, 在VWM保持阶段插入消耗视觉注意的任务, 当优先加工1个项目时, 非优先项目受到干扰, 而优先项目不受影响; 当优先加工2个项目时, 优先与非优先项目均受到干扰。事件相关电位和事件相关光信号结果显示, 在VWM保持阶段, 与无项目优先加工相比, 存在项目优先加工时诱发更大的晚期正成分和负慢波, 更高激活额叶和枕叶。这表明, 持续性视觉注意对VWM项目优先加工的作用受到工作记忆资源的调节, VWM项目优先加工的潜在机制是在保持阶段激活额叶和枕叶, 并投入更多的工作记忆资源, 增强优先项目的表征稳定性。

关键词""视觉工作记忆, 视觉注意, 优先加工, 事件相关光信号, 联合采集

分类号""B842

1 "引言

视觉工作记忆(Visual Working Memory, VWM)负责对数量有限的视觉信息进行暂时的存储和加工, 以用于当前正在进行的认知加工任务。由于VWM项目的重要程度不同, 个体会根据任务需求优先加工部分项目, 以更好地完成VWM任务。优先项目对VWM加工的促进效应广泛存在, 然而, 优先项目促进VWM加工的机制, 尚不清楚。

通过提高VWM中部分项目的奖赏值或检测概率, 可以提高相关项目的优先性, 并促进优先项目的加工(Ester amp; Pytel, 2023; Griffin amp; Nobre, 2003; Schmidt et al., 2002; Zhang amp; Lewis-Peacock, 2023a, 2023b)。一方面, 研究者通过操纵VWM项目的奖赏值, 变化项目的优先性, 奖赏值高的项目优先性高, 优先项目的VWM成绩得到提高(Allen amp; Ueno,"2018; Atkinson et al., 2018, 2022; Hitch et al., 2018; Hu et al., 2014; Sandry amp; Ricker, 2020)。另一方面, 研究者通过操纵VWM项目的检测概率, 变化项目的优先性, 检测概率高的项目优先性高, 优先项目的VWM成绩得到提高(Atkinson et al., 2018; Fu et al., 2022; Griffin amp; Nobre, 2003; Li et al., 2023; Macedo Pascual et al., 2023; Wang et al., 2023; Zhang amp; Luck, 2008)。Griffin和Nobre (2003)通过在记忆项目呈现前或者呈现后插入提示项目检测概率的空间线索, 探讨概率引导的工作记忆项目优先加工是否对知觉信息和内部表征均有促进作用。线索指向项目被检测的概率为80%, 3个非指向项目被检测的概率为20%。在编码前呈现的线索为前线索, 在编码后呈现的线索为回溯线索。结果显示, 在前线索和回溯线索条件下的结果一致, 即与非线索指向项目相比, 线索指向项目的记忆正确率提高、反应时降低。这表明概率引导的工作记忆项目优先加工对知觉信息和内部表征均发挥促进作用。研究者应用多种实验范式, 如变化觉察范式(Fu et al., 2022; Griffin amp; Nobre, 2003)、回忆报告范式(Atkinson ""et al., 2018)、连续报告范式(Schneider et al., 2017), 以及采用不同记忆材料, 如朝向(Günseli et al., 2019)、面孔(Zhang amp; Lewis-Peacock, 2023a)、颜色(Hollingworth amp; Maxcey-Richard, 2013)、颜色−形状的绑定(Atkinson et al., 2018)进行的研究证明, 概率引导的VWM项目优先加工是广泛存在的。研究者在工作记忆任务后进行了意外的长时记忆任务, 发现与奖赏引导的工作记忆优先效应相比, 概率引导的工作记忆优先效应在长时记忆中更稳固(Jeanneret et al., 2023)。进一步研究发现, 奖赏引导的VWM优先项目表征脆弱, 易受无关视觉刺激干扰(Allen amp; Ueno, 2018; Hitch et al., 2018), 而概率引导的VWM优先项目表征稳固, 不易受无关视觉刺激的干扰(Schneider et al., 2017)。这可能是因为, 在奖赏引导的VWM项目优先加工中, 优先项目依赖执行控制系统保存在注意焦点(Hu et al., 2016), 而视觉注意选择的外部视觉刺激与优先项目争夺注意焦点, 导致优先项目表征不稳固(Hitch et al., 2018, 2020); 而在概率引导的VWM项目优先加工中, 个体可以通过概率线索排除无关刺激释放工作记忆资源, 用于保护优先项目表征不受干扰(Schneider et al., 2017)。

研究者从VWM项目优先加工过程中是否需要视觉注意持续投入的角度, 探讨了概率引导的VWM项目优先加工的机制。视觉注意是选择相关视觉信息和忽略无关视觉信息的整合机制, 也是一种将视知觉加工资源分配到不同视觉区域的系统, 又被称为视觉空间注意或空间注意(Hollingworth amp; Maxcey-Richard, 2013)。有研究者发现, 当同时记忆多个记忆项目时, 视觉注意偏向于线索指向的优先项目, 促进优先项目的加工, 这表明VWM项目优先加工需要视觉注意的参与(Fu et al., 2022; Griffin amp; Nobre, 2003; Liang et al., 2019; Schmidt "et al., 2002)。研究者通过分析VWM保持阶段反映视觉注意的对侧α power抑制和反映工作记忆存储的对侧延迟活动(contralateral delay activity, CDA), 证明VWM保持阶段的视觉注意与存储是可分离的加工(Günseli et al., 2019)。有研究者提出, 视觉注意在保持活跃状态下的VWM表征中起关键作用(Liang et al., 2019)。然而, 另有研究者发现, 当采用100%有效的回溯线索提示优先项目, 并插入消耗视觉注意的任务时, 与非优先项目相比, 优先项目的VWM促进效应保持不变, 这表明VWM项目优先加工不需要视觉注意持续投入(Gao et al., 2022; Hollingworth amp; Maxcey-Richard, 2013; Rerko et al., 2014), 支持VWM加工与视觉注意加工分离的观点(Tas et al., 2016)。造成上述研究不一致的原因可能是: 一是要求被试记忆的优先项目和非优先项目的数量不同。在支持VWM项目优先加工需要视觉注意的研究中, 通常要求被试同时记忆1个优先项目和多个非优先项目或记忆2个优先项目, 而在支持VWM项目优先加工不需要视觉注意的研究中, 通常只要求被试记忆1个优先项目。与记忆1个优先项目和多个非优先项目或记忆2个优先项目相比, 只记忆1个优先项目时, 优先项目会获得更多的工作记忆资源。工作记忆资源的主要功能是存储和加工数量有限的工作记忆信息, 获得工作记忆资源越多, 项目的表征质量越好(Emrich et al., 2017; Ma "et al., 2014)。因此, 在VWM项目优先加工过程中可能存在视觉注意资源和工作记忆资源的权衡, 当优先项目获得的工作记忆资源充足时, 优先项目的保持不需要持续性视觉注意, 而当优先项目获得的工作记忆资源不足时, 优先项目的保持则需要持续性视觉注意。二是VWM加工中视觉注意资源的分配不同。在支持VWM项目优先加工需要视觉注意的研究中, 通常使用线索引导视觉注意资源的分配, 使得优先项目获得更多注意资源, 而非优先项目获得的注意资源减少, 因此, VWM优先效应可能与视觉注意资源的变化有关; 而在支持VWM项目优先加工不需要视觉注意的研究中, 通常采用次任务消耗持续性视觉注意, 使得整个VWM加工中的视觉注意资源减少, 因此, VWM优先效应可能是视觉注意资源减少与工作记忆资源的变化两者共同造成的。综上, 持续性视觉注意对VWM项目优先加工的影响是否受工作记忆资源调节尚需进一步探讨。

对VWM项目优先加工的脑机制的研究发现, VWM表征在保持阶段由广泛分布的视觉皮层和额−顶叶皮层网络进行编码(Ester et al., 2015)。来自功能性磁共振成像(functional magnetic resonance imaging, fMRI)的研究表明, 即使视觉刺激消失, 视觉皮层在VWM保持阶段依旧发挥作用(Harrison amp; Tong, 2009; Jia et al., 2021; Teng amp; Postle, 2024), 并可以解码出精准的VWM表征(Ester et al., 2015)。同时, 视觉皮层存储的VWM表征易受视觉刺激干扰, 而额−顶网络存储的VWM表征不易受视觉刺激干扰(Bettencourt amp; Xu, 2016; Lorenc et al., 2018)。额−顶皮层同时表征优先项目和非优先项目, 而视觉皮层仅表征优先项目, VWM项目优先加工可能是通过选择性地招募视觉表征, 以更精确地保存任务相关信息来实现的(Christophel et al., 2018)。还有研究证明, 额−顶网络内的神经相关与连接反映了回溯线索对工作记忆精度的促进(Li et al., 2023)。上述研究中均使用100%有效的回溯线索, 即被试只需要记忆优先项目, 然而, 在VWM中同时存储优先项目和非优先项目时大脑活动的机制是什么?尚需进一步探讨。

我们通过前线索变化记忆项目的检测概率, 操纵记忆项目的优先性和优先项目的数量, 并在保持阶段插入消耗视觉注意的任务, 探讨持续性视觉注意对VWM项目优先加工的影响是否受工作记忆资源的调节, 并采用事件相关电位(event-related potential, ERP)和事件相关光信号(event-related optical signal, EROS)联合采集(ERP-EROS)技术, 探讨VWM项目优先加工的皮层激活与资源分配机制。本研究共包括3个实验: 在实验1a~1c中, 通过前线索指向1个高检测概率项目, 并在保持阶段操纵单次视觉注意任务的呈现与否、两次视觉注意任务的呈现与否和视觉注意任务的呈现时间, 探讨优先加工1个项目时, 持续性视觉注意对VWM项目优先加工的影响。在实验1a中采用单次视觉注意任务消耗持续性视觉注意的基础上, 在实验1b中采用两次视觉注意任务, 排除个体完成视觉注意任务后将视觉注意转移回VWM任务中继续复述优先项目表征的可能; 在实验1c中通过操纵视觉注意任务出现的早、晚, 控制视觉注意任务预期和动作准备带来的影响, 对该问题加以探讨。在实验2中, 通过前线索指向2个高检测概率项目, 并在保持阶段操纵单次视觉注意任务的呈现, 探讨优先加工2个项目时, 持续性视觉注意对VWM项目优先加工的影响。VWM项目优先加工在保持阶段可能存在视觉注意资源和工作记忆资源的权衡, 我们推测, 在实验1中, 优先加工1个项目时, 优先项目获得的工作记忆资源充足, 表征更稳固, VWM成绩不会受到视觉注意任务影响, 而非优先项目获得的工作记忆资源不足, 表征脆弱, VWM成绩会受损。在实验2中, 优先加工2个项目时, 单个优先项目获得的工作记忆资源降低, 当插入消耗视觉注意的任务, 优先项目和非优先项目的VWM成绩则均会受损。在实验3中, 采用ERP-EROS技术, 通过比较存在项目优先加工和无项目优先加工条件下VWM保持时的大脑活动, 探讨VWM项目优先加工的神经活动机制。与无VWM项目优先加工相比, 存在项目优先加工时可能需要更多的执行控制和工作记忆资源投入。因此, 我们的假设是, 与无项目优先加工相比, 存在项目优先加工条件下出现更大的反映执行控制资源投入的晚期正成分(late positive complex, LPC; 车晓玮"等, 2020, 2021)和反映工作记忆资源投入的负慢波(negative slow wave, NSW; Schneider et al., 2017); 与无项目优先加工相比, 存在项目优先加工条件下负责执行控制和表征存储的额叶, 以及负责优先项目表征存储的枕叶, 在VWM保持阶段有更高的激活。

2 "实验1: 视觉注意任务对1个视觉工作记忆项目优先加工的影响

参照以往研究(Allen amp; Ueno, 2018; Souza et al., 2020; Zhang amp; Luck, 2008), 采用整体呈现记忆项的回忆报告范式, 通过前线索指向1个具有高检测概率的优先项目, 并在保持阶段操纵单次视觉注意任务的呈现与否、两次视觉注意任务的呈现与否和视觉注意任务的呈现时间, 探讨优先加工1个项目时, 持续性视觉注意对VWM项目优先加工的影响。

2.1""实验1a: 单次视觉注意任务对1个视觉工作记忆项目优先加工的影响

2.1.1""被试

采用G*Power 3.1 软件, 采用中等程度的效果量(f = 0.25; Cohen, 1992), 设置Power为80%, α水平为0.05, 计算实验所需被试数量为19, 并参考以往研究的被试量20 (Allen amp; Ueno, 2018), 确定实验1~2的被试量。在本实验中, 随机抽取某大学的学生25名, 因疲劳退出1人, 剩余24人, 其中男生9名, 年龄20.25 ± 1.92岁。所有被试视力或者矫正视力正常, 无色盲或色弱情况, 无精神病史, 均未参加过类似实验。本研究中的3个实验结束之后, 被试均可获得一定的报酬。本研究中的3个实验已得到山东师范大学心理学院伦理委员会的批准。

2.1.2""仪器和材料

采用E-prime 2.0编制实验程序, 呈现在Lenovo 19寸CRT显示器上(分辨率为1024×768, 刷新率为60 Hz), 屏幕背景为灰色(RGB: 125, 125, 125)。参照前人的研究(Allen amp; Ueno, 2018; Atkinson et al., 2018), 视觉工作记忆任务中的刺激材料为6种颜色(见图1第1行)和6种形状(见图1第2行)组成的双特征项目(1.3° × 1.3°), 共有36个记忆项目。每组记忆项目包含4个项目, 在4.4° × 4.4°的隐形矩形顶点呈现。检测项目分为检测形状和检测颜色, 检测形状时, 检测项目为blob形状的色团(见图1第1行), 而检测颜色时为白色形状轮廓(见图1第2行)。箭头线索大小为1.1° × 0.5°, 颜色为白色。注视点(0.5° × 0.5°)颜色为白色, 在注视点变化时, 颜色为灰色(RGB: 166, 166, 166)。

2.1.3""实验设计

采用3 (检测概率: 高、低、相等) × 2 (视觉注意任务: 有、无)两因素被试内实验设计。其中, 检测概率分为: 高检测概率是指线索指向项目的检测概率, 为70%; 低检测概率是指非线索指向项目的检测概率, 为10%; 相等检测概率是指中性线索条件下4个项目的检测概率, 均为25%。视觉注意任

务包括: 有视觉注意任务条件, 要求被试在保持阶段注视屏幕中央注视点, 并对注视点的亮度变化进行按键反应, 其中, 25%的试次发生变化, 75%的试次不发生变化; 无视觉注意任务条件, 不要求被试注视屏幕中央注视点, 所有的试次中注视点均不发生变化。记录实验过程中视觉注意任务和VWM任务反应的正确率。

2.1.4""实验程序

被试坐在距离计算机屏幕约70 cm的位置。实验程序如图2所示。首先, 在屏幕中央呈现2个字母(Da)作为言语抑制任务, 要求被试在实验过程中不停的出声复述“哒哒哒”, 直到检测项出现。按空格键字母消失, 空屏500 ms, 呈现前线索1000 ms, 空屏100 ms, 4个记忆项呈现2000 ms。在无视觉注意任务条件下, 保持阶段空屏1600 ms; 在有视觉注意任务条件下, 在25%的试次中, 随机空屏400~600 ms, 随后注视点发生变化100 ms, 要求被试快速按下H键, 随后空屏900~1100 ms; 在75%的试次中, 注视点不发生变化, 同无视觉注意任务条件。最后呈现检测项, 要求被试口头报告检测项的对应特征, 例如, 如果检测项是一个的色团, 要求被试报告对应的形状; 如果检测项是一个形状, 要求被试报告对应的颜色。报告完成后按空格键结束任务。

在实验前告知被试不同线索条件下的项目检测概率, 并在正式实验前进行练习实验(包含13个试次), 在正确率超过60%后进入正式实验, 若达不到60%, 则返回继续练习。正式实验共208个试次, 其中, 有、无视觉注意任务条件下各2个block, 每个block包含52个试次, 包括高检测概率条件28个试次、低检测概率和相等检测概率条件各12个试次。4个block的测试顺序在被试间进行平衡, 每完成1个block休息5分钟, 完成整个实验约需60分钟。

2.1.5 "实验结果

有视觉注意任务时, 被试对注视点变化的反应正确率为(0.89 ± 0.09), 参考以往研究(Souza et al., 2020), 为排除按键反应可能带来的差异, 仅对注视点未发生变化的试次进行分析。对VWM任务正确率进行3 (检测概率) × 2 (视觉注意任务)两因素重复测量方差分析。结果显示, 检测概率主效应显著, F(2, 46) ="62.66, p"lt; 0.001, η2p"= 0.73, 事后比较(Bonferroni校正)发现, 高检测概率条件(0.91 ± 0.06)和相等检测概率条件(0.66 ± 0.17)的正确率高于低检测概率条件(0.52 ± 0.20) (pS lt;"0.001), 高检测概率条件的正确率高于相等检测概率条件(p"lt;0.001); 视觉注意任务主效应显著, F(1, 23) = 18.67, p"lt; 0.001, ηp2"= 0.45, 无视觉注意任务条件的正确率(0.73 ± 0.20)高于有视觉注意任务条件(0.67 ± 0.24)。检测概率和视觉注意任务交互作用显著, F(2, 46) = 4.95, p"= 0.01, η2p"= 0.18。

简单效应分析显示(见图3), 高检测概率条件下, 无视觉注意任务条件和有视觉注意任务条件的正确率不存在差异, F(1, 23) lt; 1, p"= 0.58; 低检测概率和相等检测概率条件下, 无视觉注意任务条件的正确率高于有视觉注意任务条件, F1(1, 23) = 15.60, p1"= 0.001, η2p"= 0.40; F2(1, 23) = 5.02, p2"= 0.035, η2p"= 0.17。

2.1.6 "讨论

在实验1a中, 通过前线索指向1个高检测概率项目, 并在保持阶段呈现单次视觉注意任务, 探讨优先加工1个项目时, 持续性视觉注意对VWM项目优先加工的影响。高检测概率条件下的项目为优先项目, 低检测概率和相等检测概率条件下的项目为非优先项目。结果显示, 与非优先项目相比, 优先项目的VWM准确性提高, 表明概率引导的VWM项目优先加工有效提高了优先项目的VWM准确性。与无视觉注意任务相比, 有视觉注意任务时的VWM准确性下降, 当插入视觉注意任务转移视觉注意, VWM表征受损, 表明在VWM表征保持过程中需要持续性视觉注意参与, 与以往研究证据一致(Souza et al., 2020; Williams et al., 2013)。

重要的是, 结果显示, 当插入消耗视觉注意的任务, 优先项目的VWM准确性不受影响, 而非优先项目的VWM准确性降低。这说明, 当优先加工1个项目时, 优先项目的VWM表征保持不需要视觉注意持续投入, 而非优先项目需要视觉注意持续投入。这可能是因为, 当优先加工1个VWM项目时, 个体可以根据任务需求灵活分配工作记忆资源(Emrich et al., 2017; Ma et al., 2014), 优先项目获得的工作记忆资源充足, 表征准确且稳固, 因而不需要持续性投入视觉注意对项目表征进行视觉复述。而非优先项目获得的工作记忆资源较少, 表征质量较差, 在保持阶段需要持续占用视觉注意进行视觉复述, 这与我们的假设一致。

但是, 在实验1a中可能存在另一种解释, 由于视觉注意任务与VWM检测的间隔时间较长, 被试可能采用完成视觉注意任务后可将视觉注意转移回VWM任务中, 继续复述优先项目VWM表征的策略(Liang et al., 2019), 弥补了视觉注意任务对优先项目造成的损害。因此, 在实验1b中, 在保持阶段时长不变的情况下采用两次视觉注意任务, 增加视觉注意任务负载(Souza et al., 2020), 并减少视觉注意任务与VWM检测项的时间间隔, 排除被试完成视觉注意任务后, 继续复述优先项目的可能, 进一步探讨优先加工1个项目时, 持续性视觉注意对VWM项目优先加工的影响。

2.2""实验1b"两次视觉注意任务对1个视觉工作记忆项目优先加工的影响

2.2.1""被试

在本实验中, 随机抽取某大学的学生24名, 因疲劳退出1人, 剩余23人, 其中男生4名, 年龄20.09 ± 1.76岁。所有被试视力或者矫正视力正常, 无色盲或色弱情况, 无精神病史, 均未参加过类似实验。

2.2.2""实验材料

同实验1a。

2.2.3""实验设计

采用3 (检测概率: 高、低、相等) × 2 (视觉注意任务: 有、无)两因素被试内实验设计。其中, 检测概率包括3种条件: 同实验1a。视觉注意任务: 有视觉注意任务条件下, 要求被试对屏幕中央注视点的亮度变化进行按键反应, 其中, 在25%的试次发生两次变化, 75%的试次不发生变化; 无视觉注意任务条件下, 所有试次注视点均不发生变化。记录实验过程中视觉注意任务和VWM任务反应的正确率。

2.2.4""实验程序

在无视觉注意任务条件下, 保持阶段空屏1600 ms; 在有视觉注意任务条件下, 在25%的试次中, 随机空屏400~500 ms, 随后, 注视点变化100 ms, 随机空屏400~500 ms后, 注视点再变化100 ms, 空屏400~600 ms, 其中, 要求被试对两次变化均作出按键反应; 在75%的试次中, 注视点不发生变化。其他程序同实验1a (见图4)。

正式实验包含208个试次, 其中有、无视觉注意任务条件各2个block, 每个block包含52个试次, 其中包括高检测概率条件28个试次、低检测概率和相等检测概率条件各12个试次。4个block的测试顺序在被试间进行平衡, 每完成1个block要求被试休息5分钟, 完成整个实验约需60分钟。

2.2.5""实验结果

有视觉注意任务时, 被试对于两次任务注视点变化的反应正确率分别为(0.68 ± 0.14)、(0.97 ± 0.03), 仅对注视点未发生变化的试次进行分析。对VWM任务正确率进行3 (检测概率) × 2 (视觉注意任务)两因素重复测量方差分析。结果显示, 检测概率主效应显著, F(2, 44) = 92.58, p"lt; 0.001, η2p"= 0.81, 事后比较(Bonferroni校正)发现, 高检测概率条件(0.94 ± 0.06)和相等检测概率条件(0.65 ± 0.16)的正确率高于低检测概率条件(0.48 ± 0.18) (pS"lt;"0.001), 高检测概率条件的正确率高于相等检测概率条件(p"lt; 0.001); 视觉注意任务主效应显著, F(1, 22) = 10.18, p"= 0.004, η2p"= 0.32, 无视觉注意任务条件的正确率(0.72 ± 0.22)高于有视觉注意任务条件(0.66 ± 0.26)。检测概率和视觉注意任务类型交互作用显著, F(2, 44) = 3.49, p"= 0.039, η2p"= 0.14。

简单效应分析显示(见图5), 高检测概率条件下, 无视觉注意任务条件和有视觉注意任务条件的正确率不存在差异, F(1, 22) lt; 1, p"= 0.98; 低检测概率和相等检测概率条件下, 无视觉注意任务条件的正确率高于有视觉注意任务条件, F1(1, 22) = 6.85, p1"= 0.016, η2p"= 0.23; F2(1, 22) = 6.29, p2"= 0.02, η2p"= 0.21。

2.2.6""讨论

在实验1a的基础上, 在实验1b中增加视觉注意任务的负载, 并缩短视觉注意任务与VWM检测项的间隔时间, 排除被试完成视觉注意任务后将视觉注意转移回VWM任务中的可能, 防止继续复述优先项目表征, 进一步探讨优先加工1个项目时, 持续性视觉注意对VWM项目优先加工的影响。结果显示, 当插入消耗视觉注意的任务时, 优先项目的VWM准确性不受影响, 而非优先项目的VWM准确性降低, 与实验1a结果一致。

在实验1a与实验1b中, 在有视觉注意任务条件下, 仅分析无注视点变化的试次中的VWM任务正确率, 但是, 与无视觉注意任务相比, 有视觉注意任务时被试不仅需要占用视觉注意与完成按键动作, 还存在对注视点变化的预期和动作准备。为了控制对视觉注意任务的预期和动作准备对VWM加工可能产生的影响, 在实验1c中操纵视觉注意任务在VWM保持阶段呈现的早、晚, 探讨优先加工1个项目时, 持续性视觉注意对VWM项目优先加工的影响。

2.3""实验1c: 不同时间出现的视觉注意任务对1个视觉工作记忆项目优先加工的影响

2.3.1""被试

在本实验中, 随机抽取某大学的学生24名, 其中男生4名, 年龄19.42 ± 1.18岁。所有被试视力或者矫正视力正常, 无色盲或色弱情况, 无精神病史, 均未参加过类似实验。

2.3.2""实验材料

同实验1a。

2.3.3""实验设计

采用3 (检测概率: 高、低、相等) × 2 (视觉注意任务: 早、晚)两因素被试内实验设计。其中, 检测概率包括3种条件: 同实验1a。视觉注意任务包括两种条件: 早视觉注意任务条件, 注视点在记忆项消失400 ms后发生变化; 晚视觉注意任务条件, 注视点在记忆项消失1300 ms后发生变化, 要求被试对屏幕中央注视点的亮度变化进行按键反应。记录实验过程中视觉注意任务和VWM任务反应的正确率。

2.3.4""实验程序

在50%的试次中, 注视点在记忆项消失400 ms后发生变化, 在50%的试次中, 注视点在记忆项消失1300 ms后发生变化, 两种条件在block内随机呈现。其他程序同实验1a (见图6)。

正式实验包含260个试次, 共5个block, 每个block包含52个试次, 包括早视觉注意任务、晚视觉注意任务各26个试次, 每种条件下包括高检测概率条件14个试次、低检测概率和相等检测概率条件各6个试次。5个block的测试顺序在被试间进行平衡, 每完成1个block要求被试休息5分钟, 完成整个实验约需75分钟。

2.3.5""实验结果

被试在400 ms内对于早、晚视觉注意任务的反应正确率分别为(0.88 ± 0.09)、(0.92 ± 0.07)。选

择视觉注意任务反应正确的试次, 对VWM任务正确率进行3 (检测概率) × 2 (视觉注意任务)两因素重复测量方差分析。结果显示, 检测概率主效应显著, F(2, 46) = 216.73, p"lt; 0.001, η2p"= 0.90, 事后比较(Bonferroni校正)发现, 高检测概率条件(0.94 ± 0.05)和相等检测概率条件(0.57 ± 0.13)的正确率高于低检测概率条件(0.39 ± 0.14) (pS"lt;"0.001), 高检测概率条件的正确率高于相等检测概率条件(p"lt; 0.001); 视觉注意任务主效应显著, F(1, 23) = 30.67, p"lt; 0.001, η2p"= 0.57, 早视觉注意任务条件的正确率(0.66 ± 0.24)高于晚视觉注意任务条件(0.60 ± 0.27)。检测概率和视觉注意任务交互作用显著, F(2, 46) = 5.40, p"= 0.016, η2p"=0.19。

简单效应分析显示(见图7), 高检测概率条件下, 早视觉注意任务和晚视觉注意任务条件的正确率不存在差异, F(1, 23) = 1.97, p"= 0.17; 低检测概率和相等检测概率条件下, 早视觉注意任务条件的正确率高于晚视觉注意任务条件, F1(1, 23) = 11.62, p1"= 0.002, η2p"= 0.33; F2(1, 23) = 13.78, p2"= 0.001, η2p"= 0.38。

2.3.6 "讨论

在实验1c中, 采用前线索指向1个高检测概率项目, 通过操纵视觉注意任务在保持阶段出现的早、晚, 控制视觉注意任务预期和动作准备对VWM项目表征可能产生的影响, 进一步探讨优先加工1个项目时, 持续性视觉注意对VWM项目优先加工的影响。结果显示, 与视觉注意任务出现早相比, 视觉注意任务出现晚时的VWM成绩更差。这说明, 变化视觉注意任务出现早、晚占用不同时长视觉注意的操作是有效的。

重要的是, 在控制视觉注意任务的预期和动作准备对VWM加工可能产生的影响后, 优先项目的VWM表征准确性不受视觉注意任务在保持阶段出现早、晚的影响, 而对于非优先项目, 与视觉注意任务在保持阶段出现早时相比, 视觉注意任务在保持阶段出现晚时的VWM表征受到更大的损害, 与实验1a~1b的结果一致。

通过实验1a~1c, 排除个体完成视觉注意任务后将视觉注意转移回VWM任务继续复述优先项目的可能, 以及控制视觉注意任务预期和动作准备带来的影响后, 我们发现, 当优先加工1个VWM项目时, 优先项目的VWM保持不需要视觉注意持续投入。然而, 如果前线索指向2个高检测概率项目, 优先项目获得的工作记忆资源减少, 持续性视觉注意是否影响优先项目的VWM表征保持?在实验2中对此进行探讨。

3 "实验2: 视觉注意任务对2个视觉工作记忆项目优先加工的影响

在实验2中, 通过前线索指向2个高检测概率项目, 并在保持阶段操纵单次视觉注意任务的呈现, 探讨优先加工2个项目时, 持续性视觉注意对VWM项目优先加工的影响。

3.1""被试

在本实验中, 随机抽取某大学的学生24名, 其中男生4名, 年龄21.21 ± 2.08岁。所有被试视力

或者矫正视力正常, 无色盲或色弱情况, 无精神病史, 均未参加过类似实验。

3.2 "实验材料"

除前线索由指向1个项目改为指向2个项目外, 其他材料同实验1。

3.3""实验设计

采用3 (检测概率: 高、低、相等) × 2 (视觉注意任务: 有、无)两因素被试内实验设计。其中, 检测概率分为: 高检测概率是指线索指向项目的检测概率, 为40%; 低检测概率是指非线索指向项目的检测概率, 为10%; 相等检测概率是指中性线索条件下4个项目的检测概率, 均为25%。视觉注意任务: 同实验1a。记录实验过程中视觉注意任务和VWM任务反应的正确率。

3.4""实验程序

除提示性线索指向2个项目外, 其他程序同实验1a (见图8)。

正式实验包含240个试次, 其中有、无视觉注意任务条件各2个block, 每个block包含60个试次, 其中包括高检测概率条件40个试次、低检测概率和相等检测概率条件各10个试次。4个block的测试顺序在被试间进行平衡, 每完成1个block要求被试休息5分钟, 完成整个实验约需60分钟。

3.5""实验结果

有视觉注意任务时, 被试对注视点变化的反应正确率为(0.88 ± 0.16), 为排除按键反应可能带来的差异, 仅对注视点未发生变化的试次进行分析。对VWM任务正确率进行3 (检测概率) × 2 (视觉注意任务)两因素重复测量方差分析。结果显示, 检测概率主效应显著, F(2, 46) = 122.09, p"lt; 0.001, η2p"= 0.84, 事后比较(Bonferroni校正)发现, 高检测概率条件(0.86 ± 0.09)和相等检测概率条件(0.65 ± 0.14)的正确率高于低检测概率条件(0.36 ± 0.21) (pS"lt; 0.001), 高检测概率条件的正确率高于相等检测概率条件(p"lt; 0.001); 视觉注意任务主效应显著, F(1, 23) = 26.27, p"lt; 0.001, η2p"= 0.53, 无视觉注意任务条件的正确率(0.66 ± 0.24)高于有视觉注意任务条件(0.58 ± 0.26)。检测概率和视觉注意任务类型交互作用不显著, F(2, 46) lt; 1, p"= 0.40。

为进一步明确不同检测概率条件下的VWM正确率受视觉注意任务的影响, 对不同检测概率条件下有、无视觉注意任务条件的VWM正确率进行配对样本t检验。结果显示(见图9), 高检测概率、低检测概率和相等检测概率条件下, 无视觉注意任务条件的正确率均高于有视觉注意任务条件, t1(23) = 5.57, p1 lt; 0.001, Cohen’s d1"= 1.23, 95% CI = [0.03, 0.07]; t2(23) = 3.11, p2"= 0.005, Cohen’s d2"= 0.63, 95% CI = [0.03, 0.16]; t3(23) = 2.86, p3"= 0.009, Cohen’s d3"= 0.59, 95% CI = [0.02, 0.13]。

3.6 "讨论

在实验2中, 通过前线索指向2个高检测概率项目, 并在保持阶段插入消耗视觉注意的任务, 探讨优先加工2个项目时, 视觉注意对VWM项目优先加工的影响。结果显示, VWM优先项目和非优先项目均受视觉注意任务的干扰。说明当优先加工2个项目时, 优先项目和非优先项目的VWM表征保持均需要视觉注意的持续投入。这可能是因为, 与优先加工1个项目相比, 优先加工2个项目时, 单个优先项目获得的工作记忆资源减少, 优先项目表征质量下降, 在保持阶段则需要其他资源, 如视觉注意进行表征复述。这与我们的假设一致。

结合实验1~2的结果, 当优先加工1个项目时, 不管VWM保持阶段消耗视觉注意的任务出现一次还是两次, 以及消耗视觉注意的任务出现早还是晚, 优先项目VWM加工均不受影响, 而非优先项目VWM加工受到损害; 然而, 当优先加工2个项目时, 在VWM保持阶段插入消耗视觉注意的任务, 优先项目和非优先项目的VWM加工均受到损害。VWM项目优先加工的大脑活动机制尚不清楚。因而, 在实验3中, 采用ERP-EROS技术, 分析反映自上而下执行控制的LPC和反映工作记忆资源投入的NSW, 以及负责执行控制和表征存储的额叶(Bettencourt amp; Xu, 2016; Ester et al., 2015)、负责优先项目VWM表征存储的枕叶(Christophel et al., 2018)活动, 对此加以探讨。

4 "实验3: 视觉工作记忆项目优先加工的神经基础—来自ERP-EROS的证据

参考以往研究(Che et al., 2024; Proulx et al., 2018), 采用具有较高时间和空间分辨率的ERP-EROS技术, 通过比较在VWM加工中提示性线索和中性线索条件的大脑活动, 探讨VWM项目优先加工的神经基础。

4.1""被试

参考以往研究中提示性线索和中性线索条件下NSW的差异效应量(η2p"= 0.63) (Schneider et al., 2017)以及优先项目与非优先项目工作记忆准确性的差异效应量(η2p"= 0.63) (车晓玮"等, 2021), 采用G*Power 3.1软件, 设置Power为95%, α水平为0.05, 计算本实验被试样本量为5, 随机抽取某大学的学生19名, 视力或者矫正视力正常, 无颜色视觉问题。实验结束之后可获得一定的报酬。因眼动和动作伪迹过多, 删除2名被试, 最终被试17名(6男), 平均年龄18.88 ± 0.86岁。所有被试视力或者矫正视力正常, 无色盲或色弱情况, 无精神病史, 头部无损伤未接受过头部手术, 均未参加过类似实验。

4.2""实验材料

同实验1。

4.3""实验设计

采用单因素(线索类型: 提示性、中性)被试内实验设计。ERP和EROS数据均为线索呈现后、VWM检测前的脑活动, 在对VWM进行检测前, 被试无法区分提示性线索条件下的检测项目是高概率项目还是低概率项目。因此, 参考前人研究(Ester amp; Pytel, 2023; Fu et al., 2022), 在ERP和EROS数据分析中将高检测概率条件和低检测概率条件合并后进行分析, 合并后的条件称为提示性线索条件。提示性线索是指在VWM项目前呈现线索指向1个项目, 检测概率为70%, 3个非线索指向项目的检测概率均为10%; 中性线索是指在VWM项目前呈现线索指向4个项目, 检测概率均为25%。记录VWM任务的正确率、额叶和枕叶脑区的大脑活动。

4.4""实验程序

实验程序如图10所示, 首先, 在屏幕中央呈现2个字母(Da), 要求被试在实验过程中不停的在心中默读“哒哒哒”直到检测项出现, 按空格键字母消失进入记忆任务。按空格键字母消失后, 空屏500 ms, 随后呈现前线索1000 ms, 空屏50~150 ms后, 记忆项呈现400 ms, 空屏1000 ms后, 在其中1个记忆项的位置上呈现1个图形, 要求被试判断该图形是否与之前呈现在该位置的记忆项目完全相同, 相同按“F”键, 不同按“J”键(不同时的检测图形是目标记忆项目与其他低概率项目进行特征交换后的错误绑定图形)。

正式实验前练习13次, 在正确率超过70%后进入正式实验, 若达不到70%, 则返回继续练习。正式实验包含10个block, 每个block包含40个试次, 共400个试次。其中提示性线索和中性线索条件各200个试次, 不同线索条件在block内随机呈现, 10个block的测试顺序在被试间进行平衡, 每完成1个block要求被试休息2分钟, 完成整个实验约需150分钟。

4.5""数据采集和分析

4.5.1 "ERP数据采集和分析

脑电数据采集使用美国NeuroScan公司的CURRY 7脑电设备, 依据10-20国际系统只采集F3/F4、FC3/FC4、PO7/PO8电极点脑电信号。另以左眼眶额上、下部的两电极记录垂直眼电, 以两眼外侧1.5 cm处的两电极记录水平眼电。在数据记录时, 所有电极以左侧乳突作为参考, 以右侧乳突处电极为记录电极。数据采集前, 所有电极与头皮间的电阻均降于5 kΩ以下。数据采集过程中设置带通滤波DC为100 Hz, 采样频率为1000 Hz。离线分析时以双侧乳突的平均作为参考, 使用Curry 7软件矫正眼电伪迹, 采用低通30 Hz进行离线滤波。剔除振幅在± 100 μV以外的试次和错误反应的试次(22%)。

LPC分析""以记忆项出现前200 ms的平均波幅作为基线进行校正, 分析时间窗口为记忆项呈现后600~800 ms, 电极点为F3、F4、FC3、FC4。

NSW分析""以记忆项出现前200 ms的平均波幅作为基线进行校正, 分析时间窗口为记忆项呈现后800~1200 ms, 电极点为PO7和PO8。

4.5.2 "EROS数据采集和分析

数据采集""近红外光学数据记录采用Imagent近红外光谱成像仪(Imagent, ISS, Inc., Champaign, IL, USA)。实验中, 设备使用的光源为830 nm波长、110 MHz调制频率的近红外光。在被试头皮表面额叶、顶叶和枕叶相应位置放置16个光源和8个接收器。其中, 光源通过直径为40 μm的光纤发送近红外光信号, 接收器通过直径为3 mm的光纤束采集近红外光信号。实验过程中, 光信号分时激发, 设置每个光源发光时间为2 ms, 信号的采样率为31.25 Hz。

参照以往研究(车晓玮"等, 2020; Che et al., 2024), 实验过程中, 为保证能采集到较大面积的脑区信号, 采用两种光源和接收器的位置通道排布, 其放置位置见图11, 一半试次采用图11A的方式采集数据, 另一半试次采用图11B的方式采集数据。光源和接收器的位置最短相距约3 cm, 接收器和接收器的位置最短相距约3 cm。记录区域的中心位于被试两耳上缘连线的中心, 以保证记录区域可以尽量覆盖额叶和枕叶。收集实验过程中近红外光的相对相位延迟信号。

通过Polhemus Fastrak 3D定位仪(Polhemus Fastrak 3Space, Colchester, VT)采集被试脑的3维坐标, 分别采集配对基准点(鼻根、左右侧耳前)、光源位置、接收器位置以及其他面部结构点的坐标(共282个点)进行。采用GE Discovery 3.0 T MR磁共振设备获取被试的3D高分辨率脑结构像。在进行MRI扫描(矩阵256×256, TR = 8.2 ms, TE = 3.2 ms, 层厚1.2 mm)时, 分别在被试的配对基准点(鼻根、左右侧耳前)放置维生素E药丸。以利用3个配对基准点的坐标将采集到的3D坐标数据和大脑结构像进行匹配。

数据分析""EROS实验数据离线分析主要采用MATLAB软件进行。首先, 对采集到的光学数据进行预处理, 采用P_pod工具包进行。(1)相位校正并去除伪迹。对输出的光信号的相位差进行校正之后, 采用Gratton和Corballis (1995)的算法去除脉冲伪迹, 最后对光学数据进行低通15 Hz滤波(Fabiani et al., 2006)。(2)光信号分段。以记忆项出现为零点, 对光学信号进行分段, 包括记忆项呈现前192 ms至记忆项呈现后1408 ms, 共1600 ms。(3)光信号叠加平均。根据时间点、光信号通路、不同线索条件和被试编号对分段后的信号进行叠加平均。其次, 将光信号通道与脑结构配准, 采用P_pod工具包进行。(1)根据光源和接收器的通路位置, 提取Polhemus Fastrak 3D定位仪采集到的基准点、光源和接收器位置的三维坐标。(2)将定位仪三维坐标数据和被试脑结构核磁数据按照共同采集的基准点进行匹配, 采用最小二乘法调整匹配后的数据, 建立被试大脑模型, 保证建立的模型与实际结构的误差低于5 mm。(3)依据建立的大脑结构模型, 将第一步的光信号通路坐标转换为Talairach坐标, 从而适合对所有被试数据进行群组水平分析。最后, 光信号激活差异与通路位置匹配, 形成不同线索条件下脑区激活差异图, 采用Opt_3D工具包进行。(1)降低信号噪音: 剔除光源与接收器距离小于15 mm或大于75 mm的通道信号(Huang et al., 2013); (2)数据平滑化: 进行8 mm高斯滤波; (3)脑区激活差异分析: 将提示性线索条件和中性线索条件下每一Voxel位置上的信号差异进行t检验, 并转化为Z分数。根据不同条件下脑激活的差异, 生成大脑横断面激活差异图。(4)参考前人研究(车晓玮"等, 2020; Che et al., 2024)选择前额兴趣区和枕叶兴趣区, 对两种线索条件下的激活存在差异(p"lt; 0.05)的脑区进行多重比较校正, 校正后的peak Z值见表1。

4.6 "实验结果

4.6.1""行为结果

对提示项线索和中性线索条件下的VWM正确率进行配对样本t检验, 结果显示, 提示性线索条件的VWM正确率(0.87 ± 0.05)大于中性线索条件(0.78 ± 0.07), t(16) = 7.39, p lt; 0.001, Cohen’s d"= 2.00, 95% CI = [0.06, 0.11]。提示性线索条件下的项目包括高、低检测概率项目, 中性线索条件下的项目为相等检测概率项目, 进一步对VWM正确率进行单因素3水平(检测概率: 高、低、相等)重复测量方差分析。结果显示, 检测概率主效应显著, F (2, 32) = 77.00, p"lt; 0.001, ηp2"= 0.83, 事后比较(Bonferroni校正)显示, 高检测概率条件(0.94 ± 0.05)和相等检测概率条件(0.78 ± 0.07)的正确率均高于低检测概率条件(0.69 ± 0.11) (ps"lt; 0.001), 高检测概率条件的正确率高于相等检测概率条件(p lt; 0.001)。

4.6.2 "ERP结果

提示性线索和中性线索条件的LPC、NSW见图12、图13。对不同线索条件的LPC、NSW分别进行配对样本t检验, 结果显示, 提示性线索条件的LPC (2.96 ± 0.81 μV)大于中性线索条件(2.21 ± 0.78 μV), t(16) = 2.16, p = 0.046, Cohen’s d"= 0.53, 95% CI = [0.01, 1.48]; 提示性线索条件的NSW (−1.61 ± 0.63 μV)大于中性线索条件(−0.47 ± 0.65 μV),"t(16) = −4.60, p lt; 0.001, Cohen’s d = 1.12, 95% CI = [−1.67, −0.61]。

4.6.3 "EROS结果

分析光学数据时, 删除对VWM任务反应不正确的试次(17.59%), 结果显示, 与中性线索条件相比, 在提示性线索条件下, 在VWM任务呈现后的416 ms、544 ms、608 ms、832 ms、1056 ms时额叶激活更高; 与中性线索条件相比, 在提示性线索条件下, 在VWM任务呈现后的416 ms、1248 ms、1280 ms时枕叶激活更高, 见图14, 对应时间点的Peak Z(crit)和p值见表1。

4.7""讨论

在实验3中采用ERP-EROS技术, 比较提示性线索条件和中性线索条件的大脑活动, 探讨VWM项目优先加工的神经基础。提示性线索指向1个高检测概率项目, 存在VWM项目优先加工; 中性线索指向4个相等概率项目, 无VWM项目优先加工。结果显示, 与中性线索相比, 提示性线索条件下的VWM准确性更高, 并且, 在VWM保持阶段, 在大脑皮层有更大的LPC和NSW, 额叶和枕叶有更高的动态激活。这说明与中性线索相比, 提示性线索条件下的VWM加工在保持阶段进行了资源的重新分配, 并且, 对额叶和枕叶的激活增强。

5 "总讨论

本研究在行为实验1~2中, 通过前线索变化记忆项目的检测概率, 操纵记忆项目的优先性和优先项目的数量, 并在保持阶段插入消耗视觉注意的任务, 探讨持续性视觉注意对VWM项目优先加工的影响是否受工作记忆资源的调节, 并采用ERP-EROS技术, 探讨VWM项目优先加工的神经基础。在实验1a~1c中, 在排除或控制额外变量带来的影响后, 研究均发现, 当优先加工1个VWM项目时, 非优先项目受视觉注意消耗任务的干扰, 优先项目不受影响; 在实验2中, 当优先加工2个VWM项目时, 优先项目和非优先项目均受到视觉注意消耗任务的干扰; 在实验3中, 与中性线索条件相比, 提示性线索条件诱发更大的LPC和NSW, 在VWM保持阶段额叶和枕叶有更高的动态激活。

5.1""持续性视觉注意对VWM项目优先加工的影响受工作记忆资源的调节

本研究通过前线索变化VWM项目的检测概率, 线索指向的高检测概率项目是优先项目, 非线索指向的低检测概率项目与中性线索条件的相等检测概率项目是非优先项目。并在VWM保持阶段插入消耗视觉注意的任务, 探讨持续性视觉注意对VWM项目优先加工的影响。我们通过缩短视觉注意任务与VWM检测的间隔时间, 排除个体完成视觉注意任务后将视觉注意转移回VWM任务中继续复述优先项目表征的可能性; 通过操纵视觉注意任务出现的早、晚消耗不同时长的视觉注意, 进一步控制视觉注意任务预期和动作准备带来的影响, 研究一致发现, 当VWM中只有1个优先项目时, 非优先项目的VWM准确性受到持续性视觉注意资源消耗的干扰, 而优先项目不受影响。

主要原因可以从两方面进行解释: 一方面, 个体可以根据VWM项目的优先性, 灵活分配工作记忆资源, 使得优先项目比非优先项目获得更多的工

作记忆资源(Emrich et al., 2017; Fu et al., 2022; Günseli et al., 2019; Zhang amp; Luck, 2008), 而工作记忆资源中的执行控制资源有助于VWM项目的注意刷新(Atkinson et al., 2022; Hitch et al., 2018, 2020), 注意刷新通过再激活记忆项目的记忆痕迹增强项目表征(Camos et al., 2018), 优先项目比非优先项目注意刷新的频率更高(Atkinson et al., 2022; Hitch et al., 2020), 从而优先项目的激活水平和表征准确性提高。由于VWM中只有1个优先项目, 优先项目会获得充足的工作记忆资源, 即使没有视觉注意资源, 也能使优先项目处于高激活水平, 并保证优先项目的表征准确性。另一方面, 根据注意焦点理论(Oberauer, 2002), 与当前任务相关的优先项目存储在注意焦点, 注意焦点内只能容纳1个VWM项目, 注意焦点内的项目可被直接提取, 用于当前任务的认知加工, 且表征稳固(Schneider et al., 2017), 因此, 存储在注意焦点内的优先项目不需要持续性视觉注意资源进行巩固。

然而, 当VWM中有2个优先项目时, 优先项目和非优先项目的VWM表征准确性均受到持续性视觉注意资源消耗的损害。一方面, 与1个优先项目相比, 当VWM中有2个优先项目时, 单个优先项目获得的工作记忆资源减少, 导致优先项目获得注意刷新的频率降低, 优先项目的表征激活水平和准确性随之降低。持续的视觉注意通过支持活跃状态的VWM表征参与VWM加工(Liang et al., 2019), 因此, 优先项目需要消耗持续性视觉注意资源进行表征复述, 增强优先项目表征。一旦视觉注意资源被消耗, 优先项目则会受损。另一方面, 由于注意焦点内只能容纳1个VWM项目, 2个优先项目需要轮流进入注意焦点, 而处于注意焦点外的项目激活程度低, 表征质量下降(Hitch et al., 2020), 因此, 需要持续性视觉注意资源进行复述加工, 一旦持续性视觉注意资源被消耗, 优先项目则会受损。

研究结果验证了我们的假设, 即持续性视觉注意对VWM项目优先加工的作用受到工作记忆资源的调节。当VWM中优先项目获得的工作记忆资源充足时, 优先项目存储在注意焦点内, VWM表征激活水平高且稳固, 不需要持续性视觉注意投入, 这支持VWM加工与视觉注意分离的观点(Tas et al., 2016); 然而, 当VWM中优先项目获得的工作记忆资源下降时, 优先项目在注意焦点内的存储时间缩短, 优先项目的激活水平下降, VWM表征的稳固性下降, 需要持续性视觉注意资源投入, 支持VWM加工与视觉注意重叠的观点(Awh amp; Jonides, 2001; Panichello amp; Buschman, 2021)。因此, 在VWM项目优先加工过程中, 工作记忆资源调节了持续性视觉注意对VWM项目优先加工的作用, 这合理地解释了以往研究的争议。

在实验1中, 当优先项目获得的工作记忆资源充足时, 持续性视觉注意对非优先项目的VWM表征保持起到支持作用, 而对优先项目不产生影响, 这与Hollingworth和Maxcey-Richard (2013)的研究结果不一致。这可能是与我们使用不同的消耗视觉注意的任务有关。Hollingworth和Maxcey-Richard采用了视觉搜索任务消耗持续性视觉注意, 即在视觉搜索任务中, 要求被试在8个带有缺口的方框中搜索唯一带有水平方向缺口的目标方框, 并根据目标方框的缺口方向(左、右)做出选择反应。在完成这一任务时, 被试不仅需要消耗视觉注意进行目标搜索, 还需要消耗执行控制资源做出选择反应。在该研究中, 优先项目和非优先项目均受损的原因有可能源于持续性视觉注意和执行控制资源共同的损耗。在VWM保持阶段插入视觉搜索任务, 不仅使基于视觉注意的表征复述加工被打断, 而且也可能使基于执行控制的注意刷新被打断, 导致优先项目和非优先项目的VWM表征保持均受到损害。而在我们的研究中, 我们通过要求被试在VWM保持阶段注意中央注视点变化, 当注视点亮度发生变化时进行按键。在25%的试次中注视点发生变化, 并要求被试进行按键反应, 只对剩余75%无按键反应试次的结果进行分析。这一次任务主要消耗持续性视觉注意, 而不消耗执行控制资源。在VWM保持阶段, 尽管基于视觉注意的表征复述加工被打断, 但优先项目的表征通过注意刷新得以保持, 因此, 只有非优先项目的表征受到损害。并且, 当我们在实验2中增加优先项目数量, 单个优先项目获得的工作记忆资源减少, 优先项目的表征也受到损害, 所得结果与Hollingworth和Maxcey-Richard研究一致。

5.2 "VWM项目优先加工的神经基础

我们的研究发现, 与中性线索相比, 提示性线索条件下, 额叶在保持阶段存在更高的动态激活, 而且, 在头皮脑电上, 提示性线索比中性线索诱发更大的LPC。额叶在VWM加工中起到自上而下的执行控制作用(Panichello amp; Buschman, 2021), 且为VWM表征提供稳固的存储(Bettencourt amp; Xu, 2016; Lorenc et al., 2018), 而LPC反映了在执行控制过程中的资源投入(车晓玮"等, 2020, 2021), LPC越大, 说明资源投入越多。这可能反映了与中性线索条件下相比, 在提示性线索条件下, 通过额叶的执行控制分配更多的资源给优先项目。这说明, 在VWM加工中, 当存在项目优先加工时, 通过额叶的执行控制给优先项目分配了更多的资源。

其次, 与中性线索条件相比, 提示性线索条件下, 在VWM保持阶段枕叶存在更高的动态激活, 而且, 在枕叶观察到, 提示性线索比中性线索在VWM保持阶段诱发更大的NSW。工作记忆表征的存储占用枕叶(Harrison amp; Tong, 2009), 并且枕叶提供了精准的表征存储(Christophel et al., 2018; Ester et al., 2015)。同时, 研究还发现, 工作记忆加工是动态变化的, 记忆表征的存储不依赖于持续的神经元放电, 枕叶存储的工作记忆表征可能在主动存储后转为静默状态(Rose, 2020)。在我们的研究中, 在记忆项消失以后, 对记忆项的存储初期可能需要激活枕叶进行积极(active)加工, 而在巩固完成后, 工作记忆加工可能进入静默状态, 以维持表征不被干扰(Lorenc et al., 2021)。Barbosa等人(2020)的研究也发现, 工作记忆表征的保持是从持续激活到偶尔激活的过程。NSW反映了工作记忆资源的投入(Schneider et al., 2017)。因此, 可以认为, 在VWM保持阶段, 与无项目优先加工条件相比, 当存在项目优先加工时, 更高激活枕叶, 并投入更多的工作记忆资源, 以促进优先项目的表征稳定性。

6 "结论"

本研究结论如下: 持续性视觉注意在VWM项目优先加工中的作用受到工作记忆资源的调节, 当工作记忆资源充足时, 优先项目的表征保持不需要持续性视觉注意投入; 当工作记忆资源不足时, 优先项目的表征保持则需要持续性视觉注意投入。VWM项目优先加工的潜在脑机制是, 在保持阶段激活额叶和枕叶, 调节资源分配, 并投入更多工作记忆资源, 增强优先项目的表征稳定性。

参 "考 "文 "献

Allen, R. J., amp; Ueno, T. (2018). Multiple high-reward items can be prioritized in working memory but with greater vulnerability to interference. Attention, Perception, amp; Psychophysics80(7), 1731−1743.

Atkinson, A. L., Berry, E. D., Waterman, A. H., Baddeley, A. D., Hitch, G. J., amp; Allen, R. J. (2018). Are there multiple ways to direct attention in working memory? Annals of the New York Academy of Sciences"1424(1), 115−126.

Atkinson, A. L., Oberauer, K., Allen, R. J., amp; Souza, A. S. (2022). Why does the probe value effect emerge in working memory? Examining the biased attentional refreshing account. Psychonomic Bulletin amp; Review29(3), 891−900.

Awh, E., amp; Jonides, J. (2001). Overlapping mechanisms of attention and spatial working memory. Trends in Cognitive Sciences5(3), 119−126.

Barbosa, J., Stein, H., Martinez, R. L., Galan-Gadea, A., Li, S., Dalmau, J., ... Compte, A. (2020). Interplay between persistent activity and activity-silent dynamics in the prefrontal cortex underlies serial biases in working memory. Nature Neuroscience23(8), 1016−1024.

Bettencourt, K. C., amp; Xu, Y. (2016). Decoding the content of visual short-term memory under distraction in occipital and parietal areas. Nature Neuroscience19, 150−157.

Camos, V., Johnson, M., Loaiza, V., Portrat, S., Souza, A., amp; Vergauwe, E. (2018). What is attentional refreshing in working memory? Annals of the New York Academy of Sciences1424(1), 19−32.

Che, X., Lian, H., Zhang, F., Li, S., amp; Zheng, Y. (2024). The reactivation of working memory representations affects attentional guidance. Psychophysiology61(3), e14514.

Che, X., Wang, K., Shangguan, M., amp; Li, S. (2020). The Representation of attention template in visual working memory: An EROS study. Studies of Psychology and Behavior18(3), 297−303.

[车晓玮, 王凯旋, 上官梦麒, 李寿欣. (2020). 视觉工作记忆中注意模板的表征—来自EROS 的证据. 心理与行为研究18(3), 297−303.]

Che, X., Xu, H., Wang, K., Zhang, Q., amp; Li, S. (2021). Precision requirement of working memory representations influences attentional guidance. Acta Psychologica Sinica53(7), 694−713.

[车晓玮, 徐慧云, 王凯旋, 张倩, 李寿欣. (2021). 工作记忆表征精度加工需求对注意引导的影响. 心理学报53(7), 694−713.]

Christophel, T. B., Iamshchinina, P., Yan, C., Allefeld, C., amp; Haynes, J. D. (2018). Cortical specialization for attended versus unattended working memory. Nature Neuroscience21(4), 494−496.

Cohen, J. (1992). Statistical power analysis. Current Directions in Psychological Science1(3), 98−101.

Emrich, S. M., Lockhart, H. A., amp; Al-Aidroos, N. (2017). Attention mediates the flexible allocation of visual working memory resources. Journal of Experimental Psychology: Human Perception and Performance43(7), 1454−1465.

Ester, E. F., Sprague, T. C., amp; Serences, J. T. (2015). Parietal and frontal cortex encode stimulus-specific mnemonic representations during visual working memory. Neuron87(4), 893−905.

Ester, E. F., amp; Pytel, P. (2023). Changes in behavioral priority influence the accessibility of working memory content. NeuroImage272, 120055.

Fabiani, M., Low, K. A., Wee, E., Sable, J. J., amp; Gratton, G. (2006)."Reduced suppression or labile memory? Mechanisms of inefficient filtering of irrelevant information in older adults. Journal of Cognitive Neuroscience18(4), 637−650.

Fu, X., Ye, C., Hu, Z., Li, Z., Liang, T., amp; Liu, Q. (2022). The impact of retro-cue validity on working memory representation: Evidence from electroencephalograms. Biological Psychology170, 108320.

Gao, Z., Li, J., Wu, J., Dai, A., Liao, H., amp; Shen, M. (2022). Diverting the focus of attention in working memory through a perceptual task. Journal of Experimental Psychology: Learning, Memory, and Cognition48(6), 876−905.

Gratton, G., amp; Corballis, P. M. (1995). Removing the heart from the brain: Compensation for the pulse artifact in the photon migration signal. Psychophysiology32(3), 292− 299.

Griffin, I. C., amp; Nobre, A. C. (2003). Orienting attention to locations in internal representations. Journal of Cognitive Neuroscience15(8), 1176−1194.

Günseli, E., Fahrenfort, J. J., van Moorselaar, D., Daoultzis, K. C., Meeter, M., amp; Olivers, C. N. (2019). EEG dynamics reveal a dissociation between storage and selective attention within working memory. Scientific Reports9(1), 13499.

Harrison, S. A., amp; Tong, F. (2009). Decoding reveals the contents of visual working memory in early visual areas. Nature458(7238), 632−635.

Hitch, G. J., Allen, R. J., amp; Baddeley, A. D. (2020). Attention and binding in visual working memory: Two forms of attention and two kinds of buffer storage. Attention, Perception, amp; Psychophysics82(1), 280−293.

Hitch, G. J., Hu, Y., Allen, R. J., amp; Baddeley, A. D. (2018). Competition for the focus of attention in visual working memory: Perceptual recency versus executive control. Annals of the New York Academy of Sciences1424(1), 64−75.

Hollingworth, A., amp; Maxcey-Richard, A. M. (2013). Selective maintenance in visual working memory does not require sustained visual attention. Journal of Experimental Psychology:"Human Perception and Performance39(4), 1047−1058.

Hu, Y., Allen, R. J., Baddeley, A. D., amp; Hitch, G. J. (2016). Executive control of stimulus-driven and goal-directed attention in visual working memory. Attention, Perception, amp; Psychophysics78(7), 2164−2175.

Hu, Y., Hitch, G. J., Baddeley, A. D., Zhang, M., amp; Allen, R. J. (2014). Executive and perceptual attention play different roles in visual working memory: Evidence from suffix and strategy effects. Journal of Experimental Psychology: Human Perception and Performance40(4), 1665−1678.

Huang, J., Wang, S., Jia, S., Mo, D., amp; Chen, H. C. (2013). Cortical dynamics of semantic processing during sentence comprehension: Evidence from event-related optical signals. PloS One8(8), e70671.

Jeanneret, S., Bartsch, L. M., amp; Vergauwe, E. (2023). To be or not to be relevant: Comparing short-and long-term consequences across working memory prioritization procedures. Attention, Perception, amp; Psychophysics85(5), 1486−1498.

Jia, K., Li, Y., Gong, M., Huang, H., Wang, Y., amp; Li, S. (2021). Perceptual learning beyond perception: Mnemonic representation in early visual cortex and intraparietal sulcus. Journal of Neuroscience41(20), 4476−4486.

Li, D., Hu, Y., Qi, M., Zhao, C., Jensen, O., Huang, J., amp; Song, Y. (2023). Prioritizing flexible working memory representations through retrospective attentional strengthening."NeuroImage269, 119902.

Liang, T., Chen, X., Ye, C., Zhang, J., amp; Liu, Q. (2019). Electrophysiological evidence supports the role of"sustained visuospatial attention in maintaining visual WM contents. International Journal of Psychophysiology146, 54−62.

Lorenc, E. S., Mallett, R., amp; Lewis-Peacock, J. A. (2021). Distraction in visual working memory: Resistance is not futile. Trends in Cognitive Sciences25(3), 228−239.

Lorenc, E. S., Sreenivasan, K. K., Nee, D. E., Vandenbroucke, A. R., amp; D'Esposito, M. (2018). Flexible coding of visual working memory representations during distraction. Journal of Neuroscience38(23), 5267−5276.

Ma, W. J., Husain, M., amp; Bays, P. M. (2014). Changing concepts of working memory. Nature Neuroscience17(3), 347−356.

Macedo-Pascual, J., Capilla, A., Campo, P., Hinojosa, J. A., amp; Poch, C. (2023). Selection within working memory impairs perceptual detection. Psychonomic Bulletin amp; Review30(4), 1442−1451.

Oberauer, K. (2002). Access to information in working memory: Exploring the focus of attention. Journal of Experimental Psychology: Learning, Memory, and Cognition28(3), 411−421.

Panichello, M. F., amp; Buschman, T. J. (2021). Shared mechanisms underlie the control of working memory and attention. Nature592(7855), 601−605.

Proulx, N., Samadani, A. A., amp; Chau, T. (2018). Quantifying fast optical signal and event-related potential relationships during a visual oddball task. NeuroImage178, 119−128.

Rerko, L., Souza, A. S., amp; Oberauer, K. (2014). Retro-cue benefits in working memory without sustained focal attention. Memory amp; Cognition42(5), 712−728.

Rose, N. S. (2020). The dynamic-processing model of working memory. Current Directions in Psychological Science29(4), 378−387.

Sandry, J., amp; Ricker, T. J. (2020). Prioritization within visual working memory reflects a flexible focus of attention. Attention, Perception, amp; Psychophysics82(6), 2985−3004.

Schmidt, B. K., Vogel, E. K., Woodman, G. F., amp; Luck, S. J. (2002). Voluntary and automatic attentional control of visual working memory. Perception amp; Psychophysics64(5), 754−763.

Schneider, D., Barth, A., Getzmann, S., amp; Wascher, E. (2017). On the neural mechanisms underlying the protective function of retroactive cuing against perceptual interference: Evidence by event-related potentials of the EEG. Biological Psychology124, 47−56.

Souza, A. S., Czoschke, S., amp; Lange, E. B. (2020). Gaze-based and attention-based rehearsal in spatial working memory. Journal of Experimental Psychology: Learning, Memory, and Cognition46(5), 980−1003.

Tas, A. C., Luck, S. J., amp; Hollingworth, A. (2016). The relationship between visual attention and visual working memory encoding: A dissociation between covert and overt orienting. Journal of Experimental Psychology: Human Perception and Performance42(8), 1121−1138.

Teng, C., amp; Postle, B. R. (2024). Investigating the roles of the visual and parietal cortex in representing content versus context in visual working memory. eNeuro11(2), ENEURO.0270-20.2024.

Wang, M., Liu, H., Chen, Y., Yang, P., amp; Fu, S. (2023). Different prioritization states of working memory representations affect visual searches: Evidence from an event-related potential study. International Journal of Psychophysiology193, 112246.

Williams, M., Pouget, P., Boucher, L., amp; Woodman, G. F. (2013). Visual-spatial attention aids the maintenance of object representations in visual working memory. Memory amp; Cognition41(5), 698−715.

Zhang, W., amp; Luck, S. J. (2008). Discrete fixed-resolution representations in visual working memory. Nature453(7192), 233−235.

Zhang, Z., amp; Lewis-Peacock, J. A. (2023a). Prioritization sharpens working memories but does not protect them from distraction. Journal of Experimental Psychology: General152(4), 1158−1174.

Zhang, Z., amp; Lewis-Peacock, J. A. (2023b). Bend but don't break: Prioritization protects working memory from displacement but leaves it vulnerable to distortion from distraction. Cognition239, 105574.

Influence of sustained visual attention on the prioritization of visual working memory

LIAN Haomin, ZHANG Qian, GU Xuemin, LI Shouxin

School of Psychology, Shandong Normal University, Jinan 250358,"China

Abstract

Individuals prioritize certain important information based on task demands, which facilitates the processing of prioritized Visual Working Memory (VWM) items. However, the role of sustained visual attention in VWM prioritization remains unclear. Some evidence suggests that visual attention is involved in VWM prioritization, while other evidence indicates a dissociation between visual attention and VWM prioritization. Considering the variability in the number of items across VWM tasks in previous"studies, this"study examined whether the role of sustained visual attention in VWM prioritization"was modulated by working memory resources."When working memory resources were insufficient, sustained visual attention was required to maintain the prioritized item, while it was not required when working memory resources were sufficient. Additionally, we investigated the neural basis of VWM prioritization using the simultaneous acquisition technique of event-related potentials and event-related optical signals (ERP-EROS).

Our"study included five experiments, with 24, 23, 24, 24, and 17 Chinese participants in Experiments 1a, 1b, 1c, 2,"and 3, respectively. In Experiments 1"and 2, a recall report paradigm was used. Participants performed VWM tasks with one prioritized item in Experiment 1 and two prioritized items in Experiment 2. Additionally, across Experiments 1"and 2, participants performed a visual attention task during the VWM maintenance phase. In Experiment 3, we employed a change detection paradigm. Participants completed VWM tasks with no prioritized item and with one prioritized item, and their brain activity under these different prioritization conditions was recorded.

In Experiment 1, participants were instructed to prioritize one VWM item. Visual attention was consumed by single visual attention task (Exp. 1a) and double visual attention task (Exp. 1b). Furthermore, visual attention was consumed by manipulating the durations of task presentation (early vs. late; Exp. 1c). The results consistently indicated that the memory accuracy of non-prioritized items was disrupted by the visual attention task, while the prioritized item remained unaffected. In Experiment 2, participants were required to prioritize two VWM items and performed"a single visual attention task. We"found that both prioritized and non-prioritized items were disrupted by the visual attention task. Results from Experiment 3 revealed that compared to neutral cues without VWM prioritization, informative cues indicating prioritization of one item elicited a larger late positive component (LPC) and negative slow wave (NSW), as well as higher activation in the prefrontal and occipital cortices during the maintenance phase.

The results indicated that the role of visual attention in VWM prioritization was modulated by working memory resources. When working memory resources were insufficient, sustained visual attention was required to maintain the prioritized item, whereas it was not necessary when working memory resources were sufficient. The neural basis of VWM prioritization likely involves the activation of the frontal and occipital cortices during the maintenance phase, as well as the allocation of more working memory resources to enhance the stability of the representation of the prioritized item. Our"study offers a reasonable explanation for the controversy surrounding the role of visual attention in VWM prioritization in previous research. Furthermore, it sheds further light on the neural mechanisms underlying VWM prioritization from a perspective of high temporal and spatial resolution.

Keywords "visual working memory, visual attention, prioritization, event-related optical signals, simultaneous acquisition