双通道分配性注意对视听觉返回抑制的影响*

唐晓雨 孙佳影 彭 姓

(1辽宁师范大学心理学院; 辽宁省儿童青少年健康人格评定与培养协同创新中心, 大连 116029)

(2中国民用航空飞行学院航空人因与工效学研究所, 四川 广汉 418307)

1 前言

在日常生活中, 我们每时每刻都在接受来自外界的大量信息。注意帮助我们有选择地加工信息,其中外源性空间注意(exogenous spatial attention)是指个体的注意被凸显的外部信息自动地、反射性地吸引到某一或某些空间位置(Eimer & Driver, 2001)。线索−靶子范式(cue-target paradigm)是考察外源性空间注意的经典范式(Posner & Cohen, 1984), Posner和 Cohen (1984)将左/右侧外周位置的方框变亮作为线索, 经过一段时间间隔(stimulus onset asynchronies,SOA)后, 在外周或中间方框内出现目标, 其中呈现在中间方框内的目标比例为60%, 以达到注意从外周位置回到中央注视点的目的, 要求被试觉察到目标时尽快做出按键反应。结果发现, 当SOA在约250 ms以内时, 被试对呈现在与线索相同(即：有效线索)位置上目标的反应快于相对(即：无效线索)位置, 这种促进作用被称为“易化效应” (facilitation effect)。然而当SOA超过约300 ms时, 有效线索位置上目标的反应时显著慢于无效线索位置, 这种抑制作用被称为“返回抑制” (Inhibition of Return,IOR) (Posner & Cohen, 1984; Zhang, Tang, & Wu, 2013)。IOR作为外源性空间注意的一种重要机制, 有助于注意从已经搜索过的位置转向新的空间位置, 在视觉搜索中起重要作用(Klein, 2000)。

IOR 最初在视觉领域中发现(Lupiáñez, Milán,Tornay, Madrid, & Tudela, 1997; Pratt, Kingstone, &Khoe, 1997), 随后在听觉(Spence & Driver, 1998;Spence, Lloyd, Mcglone, Nicholls, & Driver, 2000)、触觉(Mcdonald & Ward, 1999)以及跨通道(如视觉线索−听觉目标或听觉线索−视觉目标)领域均观察到该效应(Reuter-Lorenz & Rosenquist, 1996)。随着研究的深入, 研究者们开始关注双通道视听觉IOR效应, 即同时呈现视觉与听觉目标时的IOR效应。当视觉与听觉目标同时呈现时会发生视听觉整合(audiovisual integration) (van der Stoep, van der Stigchel,& Nijboer 2015), 即个体将来自视觉和听觉的信息整合为统一的、连贯的和有意义的知觉过程(Tang,Wu, & Shen, 2016)。前人研究发现, 整合后的双通道视听觉刺激的反应时会快于单通道的视觉、听觉刺激(Talsma & Woldorff, 2005)。并且双通道刺激比单通道刺激更加能增强上丘神经元(superior colliculus,SC)的反应, 从而更容易产生注意定向(Meredith &Stein, 1986)。另外, 视听觉整合能够影响外源性注意, 有研究表明与单通道线索相比, 即使在高感知/注意负荷条件下, 视听觉线索也可能会自动吸引注意(Santangelo & Spence, 2007; Matusz & Eimer,2011)。此外, 在视觉搜索任务中, 听觉刺激与视觉目标同时呈现时, 可以使视觉目标更加凸显, 也就是说视听觉整合可以提高视觉搜索效率, 更有效地调节注意捕获(van der Burg, Olivers, Bronkhorst, &Theeuwes, 2008; van der Burg, Talsma, Olivers, Hickey,& Theeuwes, 2011)。根据视听觉整合对外源性注意的影响, 视听觉IOR与单通道视觉IOR效应可能也由于视听觉整合的作用而有所不同。

van der Stoep等(2016)基于传统的线索−靶子范式, 将呈现在左/中/右位置的目标比例设置为1:1:1, 采用 Go/No-go定位检测任务, 要求被试对呈现在左或右侧(Go-trials)的视觉、听觉和视听觉目标刺激进行定位检测反应, 呈现在中间(No-go trials)的目标刺激不反应。结果发现, 在双通道分配性注意条件下, 即同时需要对视觉与听觉目标作出反应时, 视觉目标产生显著的IOR效应, 视听觉目标不存在IOR效应(van der Stoep, van der Stigchel,Nijboer, & Spence, 2016)。随后, Tang 等(2019)进一步考察视听觉 IOR效应, 她们采用的范式是在Posner经典的线索−靶子范式基础上增加中央重新定向事件(central reorienting event, CRE), 即在线索与目标的中间将中央注视点变大变粗以唤起被试注意回到中心位置。结果发现, 在视觉通道选择性注意条件下, 视听觉IOR与视觉IOR效应没有显著差异; 而在双通道分配性注意条件下, 视听觉 IOR显著小于视觉IOR效应。Tang等(2019)认为视觉目标与同时呈现的、被注意的听觉目标产生视听觉整合提高了视听觉目标的感知觉显著性, 从而帮助其抵抗抑制效应(Tang et al., 2019)。

目前为止仅有上述两项研究涉及视听觉 IOR效应, 二者结果稍有不同(Tang et al., 2019; van der Stoep et al., 2016)。Tang等(2019)发现在双通道分配性注意条件下, 视听觉 IOR效应虽然有所减弱,但尚存在显著的视听觉IOR效应; 而van der Stoep等(2016)研究中的视听觉IOR效应消失。具体分析发现, 两项研究所用范式存在差异, 主要在于强制周边位置的注意回到中央注视点的方式不同。van der Stoep等(2016)将中央位置目标刺激的呈现比例定为 1/3, 而 Tang等(2019)通过增加中央线索的方式使注意回到中央注视点的概率为 100%。强制被试注意回到中央有助于促进IOR效应的产生, 因此,概率为 100%时更容易促进视听觉 IOR效应的发生。鉴于这两项研究所采用的将注意引回中央位置的方式差异较大, 且实验任务有所不同：Go/No-go定位检测任务 vs.检测任务, 因此难以确定视听觉IOR效应究竟是否存在以及双通道分配性注意是否影响视听觉IOR效应。为了平衡实验范式的影响,本研究根据 Posner线索−靶子范式, 将中央位置目标刺激的比例定为 60%, 且采用 Go/No-go定位检测任务, 考察双通道分配性注意条件(实验 1)下视听觉IOR效应的产生与变化, 除此之外, 双通道分配性注意与通道选择性注意对视听觉整合的调制存在差异(Tang et al., 2016)。在视觉通道选择性注意条件下, 视听觉整合对行为表现的影响可以减弱甚至消除(Wu et al., 2012)。因此, 实验2主要考察在视觉通道选择性注意条件下, 视听觉IOR效应的产生与变化。本研究通过实验1与实验2深入探讨双通道分配性注意对视听觉IOR效应的影响。

另外, Tang等(2019)与van der Stoep等(2016)两项研究中关于视听觉IOR的结果略有不同, 但两者均认为视听觉 IOR效应减少或消失是由于视听觉整合的作用。因此视听觉整合的影响因素会有可能对视听觉IOR效应具有调节作用。上述两项研究中, 听觉与视觉刺激均在左/右两侧呈现(Tang et al.,2019; van der Stoep et al., 2016), 这种空间一致的位置关系可能更容易发生视听觉整合并影响视听觉IOR效应。有研究表明当视觉和听觉刺激在相近空间位置同时呈现时, 视听觉整合效应最大(Frassinetti,Bolognini, & Làdavas, 2002), 而且听觉刺激与外周的视觉刺激在同侧呈现时的视听觉整合比听觉刺激在中间位置呈现时更强(Gao et al., 2014)。因此,本研究实验3将听觉刺激在中间位置呈现, 进一步考察听觉刺激的空间位置对视听觉IOR效应的影响。

综上, 本研究基于经典的线索−靶子范式, 结合van der Stoep等(2016)中的Go/No-go定位检测任务, 操控目标刺激类型(视觉、听觉、视听觉)、线索有效性(有效线索、中性条件、无效线索), 通过3个实验来考察两个问题：(1)双通道分配性注意对视听觉IOR效应的影响; (2)听觉刺激的空间位置对视听觉IOR效应的影响。根据先前研究结果可以预期的是, 在双通道分配性注意条件下, 外源性线索诱发的视听觉IOR效应会小于视觉IOR效应。

2 实验 1：双通道分配性注意条件下的视听觉IOR效应

2.1 研究方法

2.1.1 被试

招募辽宁省高校在校学生37名(男生8名, 女生29名), 最终剔除被试4人, 剩余有效被试33名(男生8名, 女生25名)。年龄跨度为19～27岁,M=21.06岁,SD= 1.85岁。所有被试均为右利手, 听力、视力或矫正视力正常, 无神经或精神疾病史,无脑部损伤史。被试在实验完成后会获得相应的报酬。

2.1.2 实验仪器和材料

实验在黑暗的实验室中进行, 视觉刺激呈现在AOC液晶显示器上, 型号为G2770PF (270LM00009),屏幕可视尺寸为27英寸, 屏幕分辨率为 1024×768像素, 刷新率为 100 Hz。实验程序由 E-prime 2.0软件编程, 所有视觉刺激呈现背景为黑色, 亮度指标为0.4 cd/m2。被试距离电脑屏幕60 cm。如图1左所示, 注视点由白色(155.2 cd/m2)的加号“+”组成(0.05°×0.05°), 外源性线索为白色方框(4° × 4°; 水平距离: 12°; 垂直距离: 6°)。视觉目标刺激为白色水平方波光栅(4° × 4°; 垂直距离:6°; 空间频率: 1周/度), 听觉目标刺激采用 SoundEngine Free软件制作和处理, 为1000 Hz的纯音(65 dB, 100 ms, 10 ms的rise和fall time), 听觉刺激通过位于屏幕后两侧(左/右)的扬声器来呈现(离中央注视点: 19°), 根据所有被试的口头报告, 可以准确判断左侧或右侧听觉刺激。视听觉目标刺激由同时呈现的视觉和听觉目标刺激组成。

2.1.3 实验程序与实验设计

实验阶段单个试次的流程如图1右所示：首先,注视点在屏幕的中央随机呈现800～1000 ms, 接下来在屏幕的左/右下方随机出现视觉线索, 呈现时间为100 ms, 经300～500 ms随机时间间隔后(SOA为400～600 ms), 视觉目标刺激在屏幕的左/中/右下方呈现, 听觉目标刺激从左/中/右三个方向呈现,时间为100 ms, 其中有50%的视觉刺激伴随着听觉刺激呈现。最后, 注视点呈现1000 ms以便被试做出相应的反应。

实验采用3(目标刺激类型：视觉、听觉、视听觉) × 3(线索有效性：有效线索、中性条件、无效线索)的被试内实验设计。包括练习和正式实验, 练习实验共36个试次, 正式实验共5组, 每组180个试次, 实验中刺激呈现在屏幕左/右下方的比例均为20% (Go trials), 呈现在中间位置的比例为 60%(No-go trials), 每个条件下60个试次。用食指既快又准地对左/右两侧呈现的目标刺激作出按键反应(键盘上的“B”), 对中央呈现的任何刺激均不反应,即中性条件为No-go刺激。每组结束后, 给予正确次数的反馈, 被试可以在每组间短暂休息, 整个实验大约持续45分钟。

图1 实验1流程示意图

2.2 实验结果

E-prime 2.0用于呈现刺激并记录响应。首先计算每个被试的平均正确率(Accuracy; 简称 ACC)和反应时(Reaction time; 简称RT)。并进行3(目标刺激类型：视觉、听觉、视听觉) × 2(线索有效性：有效线索、无效线索)的重复测量方差分析。其次,为了比较不同条件下的相对多感觉反应增强(relative amount of multisensory response enhancement, rMRE),采用以下公式对视听觉目标反应时(中位数)与单通道视觉、听觉目标中最快反应时(中位数)的相对差值进行计算。rMRE值反映了与单通道视觉、听觉目标中最短的反应时相比, 个体对视听觉目标反应时的加速或减速的相对量, 代表多感觉反应增强效应(Tang et al., 2019; van der Stoep et al., 2016)。然后进行配对样本t检验比较有效线索与无效线索位置上的rMRE。

数据分析之前, 按以下标准剔除被试：(1)个人反应时或正确率超出总平均反应时、正确率的正负3个标准差。(2)个人反应时小于100 ms或大于1000 ms。

2.2.1 正确率

被试正确反应率为 97%, 正确拒绝率为 97%,对正确率进行3(目标刺激类型：视觉、听觉、视听觉) × 2(线索有效性：有效线索、无效线索)的重复测量方差分析。结果如表1所示：目标刺激类型的主效应显著,F(2, 64) = 30.63,p <0.001,= 0.48,听觉目标正确反应率(95%)显著小于视觉目标(97%),视觉目标正确反应率(97%)显著小于视听觉目标(99%), 表现出双通道加工优势; 线索有效性的主效应显著,F(1, 32) = 8.77,p= 0.006,= 0.21, 有效线索(97%)显著大于无效线索(96%)位置上的正确反应率; 目标刺激类型与线索有效性的交互作用不显著,F(2, 64) = 2.87,p= 0.072。

2.2.2 反应时

对反应时进行3(目标刺激通道：听觉、视觉、视听觉) × 2(线索有效性：有效线索、无效线索)的重复测量方差分析。

结果如表1及图2所示：目标刺激类型的主效应显著,F(2, 64) = 51.95,p< 0.001,= 0.61, 视听觉目标反应时(447 ms)显著小于视觉目标(470 ms),视觉目标反应时(470 ms)显著小于听觉目标(508 ms),出现双通道加工优势; 线索有效性的主效应不显著,F(1, 32) = 0.50,p= 0.484; 目标刺激类型和线索有效性的交互作用显著,F(2, 64) = 21.83,p <0.001,= 0.41, 简单效应分析结果显示, 在听觉目标上,有效线索位置上的反应时(M= 498 ms,SD= 73 ms)显著小于无效线索位置(M= 519 ms,SD= 83 ms,t(32) = −4.50,p< 0.001,d= 1.59, 95% CI = [−30.92,−11.66]), 发生易化效应; 在视觉目标上, 有效线索位置(M= 476 ms,SD= 63 ms)上的反应时显著大于无效线索位置(M= 465 ms,SD= 70 ms,t(32) =2.279,p= 0.029,d= 0.80, 95% CI = [1.15, 20.52]),发生IOR效应; 而在视听觉目标上, 有效线索(M=449 ms,SD= 61 ms)与无效线索(M= 446 ms,SD=65 ms)位置上的反应时差异不显著。

同时计算各目标刺激类型的线索化效应(Cueing Effect, CE: 指有效线索位置减去无效线索位置上的平均反应时), 对各目标刺激类型的CE进行配对样本t检验, 如表2所示, 发现视听觉(M= 3 ms,SD= 25.54 ms)线索化效应显著小于视觉(M= 11 ms,SD= 27.32 ms,t(32) = −2.41,p= 0.022,d= 0.85,95% CI = [−14.83, −1.26])。

表1 实验1～3不同条件下的正确率与反应时(M±SD)

图 2 实验 1不同目标刺激类型和线索有效性下的平均反应时(*p < 0.05, ***p < 0.001)

表2 实验1～3不同条件下CE、rMRE结果对比

2.2.3 相对多感觉反应增强(rMRE)

如表2及图3所示：首先对不同线索有效性的rMRE进行单样本t检验(与0进行比较), 结果显示有效线索位置上的rMRE显著大于0,t(32) = 7.019,p< 0.001; 无效线索位置上的rMRE也显著大于0,t(32) = 3.242,p= 0.003。随后对不同线索有效性进行配对样本t检验发现, 有效线索与无效线索位置上的rMRE有显著差异, 有效线索(M= 4.08%,SD=3.34 %)显著大于无效线索位置(M= 2.38%,SD=4.21%,t(32) = 2.385,p= 0.023,d= 0.84, 95% CI =[0.24, 3.16])上的 rMRE。

图3 实验1不同线索有效性下的rMRE

2.3 小结

实验 1基于线索−靶子范式, 通过操控不同目标刺激类型(视觉、听觉、视听觉), 线索有效性(有效线索、中性条件、无效线索)来考察双通道分配性注意条件下的视听觉IOR效应。结果发现, 视觉目标产生IOR效应, 而听觉目标产生易化效应。听觉目标未产生 IOR效应的主要原因可能是由于SOA与实验任务。首先, 以往研究发现在SOA为1050～1350 ms之间产生跨通道(视觉线索−听觉目标)IOR效应(Spence et al., 2000), 也就是说, 产生跨通道(视觉线索−听觉目标)IOR效应比单通道(视觉线索−视觉目标)IOR效应需要更长的SOA (Mcdonald& Ward, 1999; Spence et al., 2000), 本实验中的SOA(400～600 ms)不足以产生听觉目标IOR效应。其次,本实验中使用的检测任务可能不适合考察听觉目标的定向(Schmitt, Postma, & de Haan, 2000), 而辨别任务可能更适合(Roggeveen, Prime, & Ward, 2005)。另外, 在视听觉目标上, 本实验与van der Stoep等(2016)中均未得到视听觉 IOR效应, 而 Tang等(2019)中产生视听觉目标IOR效应(Tang et al., 2019;van der Stoep et al., 2016)。关于影响视听觉IOR效应产生的因素, 具体将在总讨论中进一步论述。

除此之外, 本实验中有效线索位置上的视听觉整合大于无效线索位置(如图 3)。而以往研究均发现外源性注意减弱了有效线索位置上的视听觉整合(彭姓, 常若松, 李奇, 王爱君, 唐晓雨, 2019;Tang et al., 2019; van der Stoep et al., 2016)。关于外源性注意对视听觉整合的调节作用, 具体将在总讨论中进一步论述。

3 实验2：视觉通道选择性注意条件下的视听觉IOR效应

3.1 研究方法

3.1.1 被试

共招募 32名辽宁省高校在校学生(男生 7名,女生25名), 最终剔除被试2人, 剩余有效被试30人(男生7名, 女生23名), 年龄跨度为19～27岁,M=22.70岁,SD= 2.29岁。所有被试均为右利手, 听力正常, 视力或矫正视力正常, 无神经或精神疾病史,无脑部损伤史。被试在实验完成后会获得相应的报酬。

3.1.2 实验仪器和材料

实验2中视觉刺激呈现在DELL液晶显示器上,型号为 E2213c, 屏幕可视尺寸为 21英寸, 刷新率为75 Hz, 其他与实验1相同。

3.1.3 实验程序与实验设计

实验2中听觉刺激伴随50%的视觉刺激从左右两侧的扬声器发出(离中央注视点: 19°), 根据所有被试的口头报告, 可以准确判断左侧或右侧听觉刺激。实验任务与实验1不同, 要求被试忽略与视觉刺激同时呈现的声音, 用食指既快又准地对左右两侧呈现的视觉目标刺激作出按键反应(键盘上的“B”), 对中央呈现的视觉刺激不反应, 整个实验大约持续45分钟, 其他与实验1相同。

实验2采用2(目标刺激类型：视觉、视听觉) ×3(线索有效性：有效线索、中性条件、无效线索)的实验设计。包括练习和正式实验, 练习实验共36个试次, 正式实验共 5组, 每组 180个试次, 每个条件下60个试次, 其他与实验1相同。

3.2 实验结果

实验2只有视觉刺激一种单通道目标, 因此通过以下公式来计算rMRE (Tang et al., 2019)。然后进行配对样本t检验比较有效线索与无效线索位置上的rMRE, 其他与实验1相同。

剔除被试标准同实验1。

3.2.1 正确率

所有被试正确反应率与正确拒绝率均为 99%,对正确率进行 2(目标刺激类型：视觉、视听觉) ×2(线索有效性：有效线索、无效线索)的重复测量方差分析。

结果显示目标刺激类型的主效应显著,F(1, 29) =5.50,p= 0.026,= 0.16, 视听觉目标(99%)显著大于视觉目标(98.5%)的正确率, 表现出双通道的加工优势; 线索有效性的主效应不显著,F(1, 29) =0.25,p= 0.623, 两者的交互作用也不显著,F(1, 29) =0.69,p= 0.614。

3.2.2 反应时

对反应时进行2(目标刺激类型：视觉、视听觉) ×2(线索有效性：有效线索、无效线索)的重复测量方差分析。

如表1和图4(a)所示, 目标刺激类型的主效应显著,F(1, 29) = 32.94,p< 0.001,= 0.53, 对视听觉目标(410 ms)的反应速度要比视觉目标(427 ms)快; 线索有效性的主效应显著,F(1, 29) = 10.54,p<0.003,= 0.27, 有效线索位置上的平均反应时(425 ms)比无效线索(412 ms)慢, 证明了IOR效应的产生; 目标刺激类型和线索有效性的交互作用不显著,F(1, 29) = 3.36,p= 0.077。视觉与视听觉目标的IOR效应量没有显著差异。

同时计算各目标刺激类型的 CE, 并对各目标刺激类型的CE进行配对样本t检验, 如表2所示,发现视觉目标(M= 9.97 ms,SD=22.93 ms)与视听觉目标(M= 17.56 ms,SD= 26.22 ms)抑制量没有显著差异,t(29) = 1.83,p= 0.077。

3.2.3 相对多感觉反应增强(rMRE)

首先对线索有效性的不同条件进行单样本t检验, 如表2与图4(b)所示, 在有效线索[t(29) = 2.33,p= 0.026]与无效线索位置上rMRE [t(29) = 3.50,p= 0.002]均显著大于0。配对样本t检验发现, 有效线索(M= 2.01%,SD= 4.69%)与无效线索(M= 3.42,SD= 5.35%)位置上的rMRE没有显著差异,t(29) =−1.37,p= 0.178。

3.3 小结

实验2目的在于考察视觉通道选择性注意条件下的视听觉 IOR效应。本实验与 Tang等(2019)均发现视觉与视听觉目标产生IOR效应, 且二者无显著差异(Tang et al., 2019); 而实验1中在双通道分配性注意条件下, 未产生视听觉 IOR效应。另外,本实验与 Tang等(2019)中均发现有效线索位置与无效线索位置上的视听觉整合没有显著差异(Tang et al., 2019), 而实验1中, 外源性注意增强了有效线索位置上的视听觉整合。基于实验1与实验2的结果, 双通道分配性注意会影响视听觉 IOR效应,外源性注意对视听觉整合具有调节作用。具体将在总讨论中进一步讨论。

图4 实验2不同条件下的平均反应时和rMRE

4 实验3：听觉刺激的空间位置对视听觉IOR效应的影响

4.1 研究方法

4.1.1 被试

共招募39名辽宁省高校在校学生(男生12名,女生27名), 最终剔除被试1人, 剩余有效被试38人(男生12名, 女生26名), 年龄跨度为18～28岁,M= 22.18岁,SD= 2.61岁。所有被试均为右利手,听力正常, 视力或矫正视力正常, 无神经或精神疾病史, 无脑部损伤史。被试在实验完成后会获得相应的报酬。

4.1.2 实验仪器和材料

同实验1。

4.1.3 实验程序与实验设计

实验3中听觉刺激从屏幕后中央的扬声器呈现,根据被试的口头报告, 能准确的判断听觉刺激从中央位置发出, 要求被试忽略与50%视觉刺激同时呈现的声音, 用食指既快又准地对左右两侧呈现的视觉目标刺激作出按键反应(键盘上的“B”), 对中央注视点正下方呈现的刺激不反应, 整个实验大约持续40分钟。

实验3采用2(目标刺激类型：视觉、视听觉) ×3(线索有效性：有效线索、中性条件、无效线索)的被试内实验设计。包括练习和正式实验, 练习实验共24个试次, 正式实验共5组, 每组160个试次,每个条件下80个试次, 其他与实验2相同。

4.2 实验结果

数据分析与剔除被试标准同实验1。

4.2.1 正确率

被试正确反应率为 98%, 正确拒绝率为 98%,对正确率进行 2(目标刺激类型：视觉、视听觉) ×2(线索有效性：有效线索、无效线索)的重复测量方差分析。

如表 1所示, 目标刺激类型主效应显著,F(1,37) = 12.45,p= 0.001, ηp2= 0.25, 视听觉目标(96%)显著大于视觉目标(95%)的正确反应率, 表现出双通道加工优势; 线索有效性主效应不显著,F(1, 37) =0.73,p= 0.396; 目标刺激类型与线索有效性交互作用也不显著,F(1, 37) = 2.55,p= 0.119。

4.2.2 反应时

对反应时进行2(目标刺激类型：视觉、视听觉) ×2(线索有效性：有效线索、无效线索)的重复测量方差分析, 具体结果见表1与图5(a)。目标刺激类型的主效应显著,F(1, 37) = 46.40,p< 0.001, ηp2= 0.55,视觉目标的平均反应时(441 ms)显著大于视听觉目标的平均反应时(416 ms); 线索有效性的主效应显著,F(1, 37) = 8.80,p= 0.005, ηp2= 0.19, 有效线索位置上的平均反应时(438 ms)显著大于无效线索位置(419 ms), 表明产生 IOR效应。然而, 目标刺激类型和线索有效性的交互作用并不显著,F(1, 37) =0.40,p= 0.528, 说明视觉目标和视听觉目标的IOR之间没有显著差异。

同时计算各目标刺激类型下的 CE, 并对其进行配对样本t检验, 如表2所示, 发现视觉(M= 20 ms,SD= 44.82 ms)与视听觉目标(M= 17 ms,SD=39.06 ms)的抑制量不存在显著差异,t(37) = −0.63,p= 0.528。

图5 实验3不同条件下的平均反应时和rMRE

4.2.3 相对多感觉反应增强(rMRE)

首先对线索有效性的不同条件进行单样本t检验, 如表2及图5(b)所示, 在有效线索(t(37) = 5.36,p< 0.001)与无效线索位置上的rMRE (t(37) = 4.62,p< 0.001)均显著大于0。配对样本t检验发现, 有效线索(M= 4.75%,SD= 5.47%)与无效线索位置上的rMRE (M= 4.89%,SD= 6.52%)不存在显著差异,t(37) = −0.13,p= 0.893。

4.3 小结

实验3主要考察听觉刺激的空间位置对视听觉IOR效应的影响。对比实验2与实验3结果发现, 在视觉通道选择性注意条件下, 无论听觉刺激在中央还是外周位置呈现, 视觉IOR效应与视听觉IOR效应均没有显著差异(见表 2)。且有效线索与无效线索位置上的视听觉整合均没有显著差异。基于此,本研究未能观察到听觉刺激的空间位置对视听觉IOR效应的影响, 具体原因将在总讨论中进一步论述。

5 总讨论

本研究基于线索−靶子范式, 结合Go/No-go定位检测任务, 操纵目标刺激类型(视觉、听觉、视听觉)与线索有效性(有效线索、中性条件、无效线索)两个自变量, 通过3个实验来考察双通道分配性注意对视听觉IOR效应的影响。研究结果发现, 在双通道分配性注意条件下, 视听觉目标没有产生IOR效应; 在视觉通道选择性注意条件下, 无论听觉刺激呈现在中央还是外周位置, 视觉与视听觉目标IOR效应均无显著差异。结果表明, 双通道分配性注意减弱视听觉IOR效应。

5.1 双通道分配性注意对视听觉IOR效应的影响

在反应时结果上, 视听觉目标的反应时均显著快于视觉、听觉目标, 即产生冗余信号效应, 表明了双通道信息的加工优势(见表 1), 这与以往研究结果一致(Tang et al., 2019; van der Stoep et al.,2016)。另外, 在视觉通道选择性注意条件下(实验2与实验3), 本研究与Tang等(2019)均发现显著的视听觉IOR效应且其大小与视觉IOR效应没有显著差异。在双通道分配性注意条件下(实验1), 本研究与 van der Stoep等(2016)均未发现显著的视听觉IOR效应(van der Stoep et al., 2016), Tang等(2019)中发现显著的视听觉IOR效应, 且其显著小于视觉IOR效应(Tang et al., 2019)。

本研究与 Tang等(2019)均发现在双通道分配性注意条件下, 视听觉 IOR效应会减弱甚至消失,表明双通道分配性注意可能是影响视听觉 IOR效应的关键因素。以往研究发现在双通道分配性注意条件下, 被注意的听觉目标与视觉目标同时呈现产生视听觉整合, 这会增强该视觉目标的感知觉显著性, 使视觉目标从复杂的环境中凸显出来(彭姓 等,2019; van der Burg et al., 2011)。而IOR是一种使注意从旧(有效线索)位置转向新(无效线索)位置以促进视觉搜索效率的机制(Klein, 1988; Klein, 2000;Posner, Rafal, Choate, & Vaughan, 1985), 会减弱在有效线索位置上目标的感知觉显著性(Prime, Tata,& Ward, 2003; Satel, Hilchey, Wang, Story, & Klein,2013)。也就是说, 视觉目标与同时呈现的、被注意的听觉目标发生视听觉整合提高了视听觉目标的感知觉显著性, 从而帮助视听觉目标抵抗抑制效应(Tang et al., 2019)。当通过视听觉整合增强的感知觉显著性能力足够强, 能够与IOR效应导致的感知觉显著性降低相抗衡时, 视听觉IOR效应就可能消失。但本研究在视觉通道选择性注意条件下, 发现了显著的视听觉IOR效应且其大小与视觉IOR效应并无显著差异。这可能是因为选择性注意会增强对所选择信息的感觉神经反应并抑制无关反应(Beck& Kastner, 2009; Mishra, Bavelier, & Gazzaley, 2012)。在特定通道选择性注意条件下, 视听觉整合效应可以减弱甚至消失(Mozolic, Hugenschmidt, Peiffer, &Laurienti, 2008)。当注意选择性地处理与视觉目标相关的信息时, 对此信息的神经反应被增强, 而对听觉信息的神经反应则被抑制。因此, 在视觉通道选择性注意的条件下视听觉整合效应可能减弱, 导致使视听觉整合增强感知觉显著性的能力降低, 帮助视听觉目标抵抗抑制效应的能力也随之降低, 进而得到与视觉IOR无差异的显著的视听觉目标IOR效应。

另外, 在双通道分配性注意条件下, 本研究与Tang等(2019)中关于视听觉IOR效应产生的结果不同, 其可能是受以下两点因素影响：(1)实验范式中强制周边位置的注意回到中央注视点的方式。本研究将中央位置目标刺激的呈现设置为一定比例(60%), van der Stoep等(2016)将中央位置目标刺激的呈现比例定为 1/3, 而 Tang等(2019)中采用加入中央重新定向线索的方式使注意回到中央注视点的概率为 100%。有研究表明增加中央线索的方式能够促进 IOR效应的产生(Pratt & Fischer, 2002;Reuter-Lorenz & Rosenquist, 1996), 本研究与 van der Stoep等(2016)中采用将中央位置目标刺激的呈现设置为一定比例的方式可能不易产生视听觉IOR效应。(2)实验任务。本研究与van der Stoep等(2016)均采用 Go/No-go定位检测任务, 而 Tang等(2019)中采用简单的检测任务。有研究表明, 相比任务难度较简单的检测任务, 辨别任务中视觉IOR的出现不仅需要更长的 SOA而且其效应量更小(Chica, Lupianez, & Bartolomeo, 2006; Lupiáñez et al.,1997; Lupiáñez, Ruz, Funes, & Milliken, 2007)。因此,根据以往研究中实验任务对视觉 IOR效应的影响,其可能也对视听觉 IOR效应产生影响, 相比 Tang等(2019)中的检测任务, 本研究与van der Stoep等(2016)中的 Go/No-go定位检测任务可能更难诱发出视听觉目标IOR效应(Tang et al., 2019; van der Stoep et al., 2016)。

此外, 本研究未观察到在视觉通道选择性注意条件下, 听觉刺激的空间位置对视听觉IOR效应的影响。根据Gao等人的ERP (Event-related Potential)研究, 在N1 (180～200 ms)成分上, 听觉刺激与视觉刺激在同侧呈现时的视听觉整合比听觉刺激在中间位置呈现时更强, 且在刺激后约 190 ms达到峰值(Gao et al., 2014)。因此, 听觉刺激的空间位置对视听觉整合的影响可能仅体现在早期ERP成分上,在行为学实验中无法观察到。还可能是由于体现听觉刺激空间位置影响视听觉整合的早期 ERP成分不是视听觉IOR效应的关键神经标记, 所以我们未能观察到听觉刺激的空间位置通过调节视听觉整合进而影响视听觉 IOR效应的现象。未来可通过ERP技术进一步验证听觉刺激的空间位置、视听觉整合以及视听觉IOR效应的神经联结。

5.2 外源性注意对视听觉整合的调节作用

当前研究结果发现, 在双通道分配性注意条件下, 有效线索位置上的视听觉整合显著大于无效线索位置(见图 3); 在视觉通道选择性注意条件下,有效线索与无效线索位置上的视听觉整合没有显著差异(见图 4(b)与图 5(b) )。而 van der Stoep等(2016)与Tang等(2019)发现在双通道分配性注意条件下, 有效线索位置上的视听觉整合显著小于无效线索位置(Tang et al., 2019; van der Stoep et al., 2016)。彭姓等(2019)在与本研究相同的SOA (400～600 ms)条件下也发现, 有效线索位置上的视听觉整合显著小于无效线索位置。

基于上述对比结果, 以往研究均发现外源性注意减弱了有效线索位置上的视听觉整合(彭姓 等, 2019;Tang et al., 2019; van der Stoep et al., 2016), 而本研究发现外源性注意增强了有效线索位置上的视听觉整合。虽然本研究与Tang等(2019)、彭姓等(2019)在相同的 SOA (400～600 ms)条件下得到不同的结果, 但并无法完全排除 SOA对外源性注意调节视听觉整合的影响。未来的研究还需要进一步调控SOA变量, 继续考察在不同SOA条件下外源性注意对视听觉整合效应的调节作用。另外, 目前关于外源性注意对视听觉整合的调节机制, van der Stoep等人在不同SOA条件下提出三种不同的理论假说, 包括空间不确定性、感知觉敏感度以及感觉通道间信号强度差异假说(van der Stoep et al., 2015; van der Stoep et al., 2016)。根据空间不确定性假说, 不论在短还是长 SOA 条件下, 目标刺激呈现位置的空间不确定性很高, 线索提供的空间定向信息尤为重要, 有效线索位置上外源性线索与视听觉目标均提供空间定向信息, 当线索的空间定向重要性提高时, 视听觉整合的重要性降低, 导致有效线索位置上的视听觉整合可能减少(彭姓 等, 2019; Tang et al.,2019; van der Stoep et al., 2016)。另外, 根据感觉通道间信号强度差异假说, 在长SOA条件下, 以往研究中视觉产生IOR效应, 听觉未产生IOR效应时,有效线索位置上视、听感觉通道间加工速度的差异增大, 两者之间的信号强度差异也增大, 导致有效线索位置上的视听觉整合效应可能减小(彭姓 等,2019; Tang et al., 2019; van der Stoep et al., 2016)。

虽然本研究与以往研究在相同 SOA条件下关于外源性注意调节视听觉整合的结果不同(彭姓等, 2019; Tang et al., 2019; van der Stoep et al., 2016),但在一定程度上支持van der Stoep等人在短SOA(200～250 ms)条件下提出的感知觉敏感度假说。根据该假说, 视觉产生易化效应时, 外源性线索提高有效线索位置上的感知觉敏感度(van der Stoep et al.,2015), 从而相对增强呈现在该位置上目标的感知强度(Carrasco, 2011)。基于视听觉整合加工中的反比效应原则(principle of inverse effectiveness), 即高强度目标刺激引起的视听觉整合更小, 低强度目标刺激引起的视听觉整合更大(Senkowski, Saint-Amour,Höfle, & Foxe, 2011), 最终得到在短SOA条件下有效线索位置上视听觉整合减小的结果。而有研究认为在长SOA条件下, 且产生IOR效应时, 有效线索位置上的感知觉敏感度下降(Slagter, Prinssen, Reteig,& Mazaheri, 2016), 从而使有效线索位置上目标刺激的感知强度减弱。因此, 本研究在长SOA (400～600 ms)条件下, 有效线索位置上的低强度目标刺激引起的视听觉整合更大。目前关于外源性注意对视听觉整合的调节作用, 基于不同的理论假说有不同的解释(van der Stoep et al., 2015; van der Stoep et al., 2016)。但关于外源性注意对视听觉整合的调节作用的具体机制尚不清楚, 未来可以通过脑成像技术为其提供神经机制的实验数据支持, 并进一步探索新的理论假说以全面解释外源性注意对视听觉整合的调节作用。

6 结论

在双通道分配性注意条件下, 视听觉目标没有产生IOR效应; 在视觉通道选择性注意条件下, 无论听觉刺激呈现在左/右侧还是中央位置, 视觉与视听觉目标 IOR效应均无显著差异。本研究表明,双通道分配性注意减弱视听觉IOR效应。