注意促进运动知觉判断的时间进程*

丁锦红 汪亚珉 姜 扬

注意促进运动知觉判断的时间进程

丁锦红汪亚珉姜 扬

(北京市“学习与认知”重点实验室, 首都师范大学心理学院, 北京 100048) (肯塔基大学医学院行为科学系, 美国 肯塔基 40536-0086)

本研究通过控制深度视觉线索, 分析3D SFM (structure from motion)知觉中的眼动特征, 探讨注意对SFM知觉判断的影响及其时间进程。结果显示, 有线索刺激比模糊刺激的判断更加快、更加肯定(百分比更高); 眼睛移动方向和微眼跳方向都分别与知觉判断的运动方向具有一致性; 微眼跳频次、峰速度和幅度也都分别表现出深度线索的促进效应。实验结果表明, SFM知觉过程大致分为速度计算和构建三维结构两个阶段; 注意对SFM知觉的调节作用主要发生在构建三维结构阶段; 注意从150 ms开始指向选择对象, 驻留持续约200 ms后, 从局部运动矢量流转移到整体运动方向的知觉判断。

整体运动, 注意, 微眼跳, 时间进程, 知觉分组

1 引言

运动知觉作为人类最基本的知觉形式之一, 对生存和适应环境具有重要意义(Burr & Thompson, 2011; Nishida et al., 2018)。一直以来, 研究者们都在通过不同范式探讨运动知觉的生理与心理机制。Wallach和O'Connell (1953)通过一系列经典实验首次证明运动信息也可以构建三维物体结构, 并称之为运动深度效应(kinetic depth effect或structure- from-motion, SFM)。SFM刺激是一种双稳态(bistable)刺激, 对它的知觉属于整体运动知觉(Martínez & Parra, 2018); 婴儿在6个月左右时已具备这种基本视觉能力(Haith, 1966; Hirshkowitz et al., 2017; Johnson et al., 2008; Lin & Tadin, 2019; Simion et al., 2008)。

1.1 SFM知觉是否受注意调节

Cavanagh (1992)将运动知觉区分为没有注意参与的“低水平”自动加工阶段和受到注意调节的速度判断阶段。Nishida等(2018)进一步提出, 在低水平加工中, 时−空频率觉察器探测局部运动信号, 并将这些信号整合成运动矢量流; 而在较高加工水平阶段中, 视觉系统对速度地图进行分析与解释。Andersen和Bradley (1998)和Treue等(1991)则将SFM知觉划分为速度测量(低水平加工)和三维物体表面构建(高水平加工)两个过程。作为一种资源, 注意在运动知觉中的作用备受关注(Cavanagh, 1992); 它可以通过选择来自初级视皮层的低水平运动信号(Hubel & Wiesel, 1962), 分别对运动知觉的瞬态(transient states)特征提取(Scocchia et al., 2014)、时间整合(van Rullen et al., 2005)、信息传输速度(Stelmach et al., 1994)、运动方向标记(Ramachandran & Anstis, 1983)以及知觉解释(Tsal & Kolbet, 1985)等方面都起到重要调节作用。同时, 注意也会影响较高水平的运动加工(Bartlett et al., 2019)。事件相关电位(ERP)研究表明, 注意可以在不同运动目标之间转移(Franconeri & Handy, 2007; Wang et al., 2014)、探测运动变化(Kuldkepp et al., 2013)以及促进深度运动信息整合(Lamberty et al., 2008)等。

到目前为止, 大多数研究支持注意对运动知觉具有促进作用。但Motoyoshi等(2015)却发现, 限制注意反而可以促进整体运动知觉; 即使在没有视觉意识的情况下, 视觉系统依然可以完成整体运动加工(Chung & Khuu, 2014)。Bartlett等(2019)通过元分析也发现, 并不是所有研究都支持注意促进运动知觉的观点。Bartlett等分析认为, 由于不同水平的运动加工分别对应于不同脑区的神经活动; 高水平(如三阶运动, 区分图形与背景)运动加工与注意都处于更高级大脑皮层(前额), 因而受到注意调节; 而低水平(如一阶运动, 亮度等变化)运动加工主要在顶−枕区完成, 它是否受注意调节取决于刺激类型、运动速度等因素。根据SFM知觉两阶段加工观点(Andersen & Bradley, 1998; Treue et al., 1991)以及注意移动方向和选择目标的时间顺序都是计算运动目标空间关系的要素(Cavanagh et al., 2010)等, 我们推测, 注意对SFM运动知觉的调节作用也具有阶段性(时间性), 即注意对SFM运动知觉不同阶段的调节作用存在差异。

Egeth和Yantis (1997)将视觉注意时间进程划分为指向(directing attention)、驻留(dwell time of attention)和移动(movement of attention)三部分。这方面研究主要集中在视觉搜索(Conci et al., 2011)、注意瞬脱(van Zoest et al., 2012)以及空间注意分配(Deubel, 2008)等; 而人们对注意调节SFM知觉时间特性的了解还比较有限。根据上述“两阶段”观点(Andersen & Bradley, 1998; Cavanagh, 1992; Nishida et al., 2018; Treue et al., 1991), 运动知觉中低水平加工先于高水平加工; 高水平加工机制直接调节低水平加工, 但它同时又依赖低水平加工的输出结果; 两者相互协作, 完成运动知觉。因此, 注意调节运动信息加工的时间特性是运动知觉不同阶段资源利用特点及知觉组织形成机制的重要内容。

1.2 注意调节作用的眼动机制

眼睛运动是视觉运动知觉的重要线索, 早在1925年, Helmholtz就提出, 运动识别源于眼动追踪信号(Cavanagh, 1992); 眼动决定了视觉系统对运动方向和距离的判断(Rock et al., 1987)、产生似动知觉(Pomerantz, 1970)以及在缺乏消除刺激歧义信息时, 提供知觉判断所依赖的信号(Laubrock et al., 2008)。神经科学研究表明, 眼动与注意转移有共同神经基础(Grosbras et al., 2005)。眼跳峰速度越快、幅度越大, 注意系统激活程度越高(Di Stasi et al., 2013)。此外, 微眼跳是注视过程中的微小跳动, 与空间注意密切相关(Meyberg, Sinn et al., 2017; Meyberg, Sommer et al., 2017)。它的频率变化反映了视觉注意的转移(Engbert & Kliegl, 2003)与注意强度(Kaneko et al., 2011)变化, 随注意需求增加而增加(Krueger et al., 2019); 微眼跳方向与注意方向也密切相关(Hafed & Clark, 2002; Rolfs et al., 2004)。因此, 微眼跳可以作为研究视觉空间注意时间分布的手段, 用来追踪空间注意随时间持续分配特点(Ryan et al., 2019)。在SFM知觉中, Stonkute等(2012)采用微眼跳为注意指标进一步发现, 被试在判断双稳态刺激(随机点构成的球体)旋转方向发生反转时(1秒左右), 微眼跳频率明显增加。结合其他指标, Stonkute等认为, SFM知觉中的刺激反转取决于对虚构球体及其不规则表面的注意, 而不是对表面上单个点的注意跟踪。由此可见, 微眼跳也可以作为SFM知觉中注意产生作用的有效手段。

1.3 研究假设

综上所述, 虽然多数研究认为, 注意能够调节运动知觉, 但也有不同观点。其原因可能在于SFM运动知觉在不同加工阶段(水平)中受到注意的调节作用存在差异。要澄清这一问题, 还应该进一步明确注意在SFM知觉过程中产生作用的时间进程。然而, 到目前为止, 人们对注意在SFM知觉不同阶段发挥作用时间进程的了解还比较有限。为了进一步揭示注意对SFM知觉不同阶段调节作用的时间特性, 本研究拟在Cavanagh (1992)、Nishida等(2018)、Andersen和Bradley (1998)以及Treue等(1991)的“两阶段”理论基础上, 通过控制外源性深度视觉线索, 分析SFM知觉中的眼动特征, 根据Egeth和Yantis (1997)提出的注意时间进程三阶段理论, 进一步明确整体运动知觉中低水平加工与高水平加工之间的时间逻辑关系以及注意调节两个阶段的时间进程。我们假设, 注意能否参与SFM知觉的早期加工取决于知觉输入的确定性, 当存在外源性深度视觉线索时, 注意资源被优先获得, 从而加快运动信息整合; 而在缺乏深度线索(双稳态模糊刺激)时, 注意资源对整体运动知觉的调节作用主要发生在加工的后期阶段。为了验证上述假设, 我们设置了有、无深度线索的两类SFM刺激, 并分析被试对这两类刺激的知觉判断及眼动特点。我们预期, 有深度线索的判断时成绩好于无线索; 而两种条件下的微眼跳频次在不同时程上表现出明显不同, 反映出注意的动态变化过程。有线索时, 由于SFM刺激中两组运动方向相反的点之间差异明显, 因此, 不同知觉判断过程中微眼跳频次之间的差异出现更早, 反映了注意更早的投入。相反, 在无线索时, 由于SFM刺激中两组运动方向相反的点之间存在竞争, 注意选择较为困难, 不同知觉判断时微眼跳频率之间的差异要晚一些才会出现。

2 方法

2.1 被试

根据Cohen (1988, p26)对检验中Cohen's= 0.80为高效应量的定义, 采用G*Power 3.19软件计算Cohen's= 0.80、α = 0.05、= 22时, 1−β ≈ 0.95。因此, 共招募22名被试参加实验, 其中男10人, 女12人。平均年龄23岁。被试的视力或校正视力在1.00以上, 色觉正常。实验后, 被试获得一定报酬。被试在实验前需要签署知情同意书。研究得到所在单位伦理委员会批准。

2.2 实验材料与设备

实验刺激由30个直径约0.2°视角的白色或灰色圆点构成。这些圆点随机分布在5°×5°范围内(见图1a), 并按椭圆路径以平均5°/s速度协同运动, 从而形成转动的立体球体, 即运动形成的结构(SFM)。转动球体中心位于屏幕中心; 屏幕背景为黑色。

从俯视视角看, 球体可以被看成顺时针(clock- wise, CW)或逆时针(counterclock-wise, CCW)旋转。顺时针旋转时, 距离观察者较近端圆点向左运动, 远端圆点向右运动; 而逆时针旋转时则相反。在有些刺激中, 通过圆点的亮度变化, 提供深度线索。观察者会将较亮的圆点知觉为距离自己更近, 而较暗圆点距离较远(Jiang et al., 1998); 此外, 尽管近端和远端两个面运动时在视网膜上所形成的像具有相同速度, 但知觉到的近端面速度更快(Fernandez & Farell, 2006)。

本研究设置了3种刺激条件(见图1a)。在第一种条件下, 当圆点在椭圆轨迹上向左运动时, 圆点为白色; 向右运动时则为灰色; 整个刺激的平均亮度约为14 cd/m。这种设置可以形成球体做CW旋转运动。第二种条件则相反, 球体被看作CCW旋转运动。第三种刺激中所有圆点的亮度相同, 整个刺激的平均亮度与前两种刺激亮度相同; 刺激没有任何深度线索; 被试对球体旋转方向判断完全依赖圆点运动, 既可以看成CW旋转, 也可以看成CCW旋转。因此, 它是一种“模棱两可的” (ambiguous, AMB)刺激。

实验中采用德国SMI HiSpeed 眼动仪记录被试眼动数据, 眼动仪采样率为350 Hz。实验刺激呈现在19吋显示器(分辨率为1024×768; 刷新频率为120 Hz)上; 实验刺激和行为反应由计算机通过e-Prime软件控制和记录。

图1 实验刺激(a)和实验流程(b)

2.3 实验设计与过程

实验采用2(深度线索：有、无) × 2(知觉判断：向左、向右)被试内设计, 其中一个因素为线索条件, 即有无深度线索; 有线索条件包括CW和CCW刺激, 而AMB刺激则属于无线索条件。另一个因素是被试的知觉判断, 包括做顺时针和逆时针两种判断。

实验流程见图1b。在实验中, 每个试次包含“+” 500 ms; 旋转球体呈现950 ms; 1500 ms反应窗口后, 呈现500 ms由灰色和白色点随机分布构成的掩蔽刺激, 以消除视觉短时记忆或后像的影响(Jiang et al., 1998)。被试双手握住鼠标, 两个拇指分别放在鼠标的按键上; 任务是判断球体的旋转方向。当将球体判断成CW运动(近端圆点向左运动)时, 用左手拇指按鼠标左键; CCW运动时则用右手拇指按右键。在整个实验中, CW和CCW两种旋转刺激各重复60次; AMB刺激则重复80次, 共200个试次。随机排列后, 分成5个组块, 每个组块40个试次。在每个组块的前后各有一个填充试次。在正式实验开始前, 被试完成一组20个试次的练习。正式实验中, 每个组块前对眼动仪进行9点校准, 视距为60 cm。组块之间休息3~5分钟。眼动仪和计算机分别记录被试在实验过程中的眼动数据和按键反应。

2.4 数据分析方法

为了区分被试对不同刺激做出的不同反应, 我们分别用大写CW、CCW和AMB表示3种不同刺激; 将被试做出的顺时针(近端向左)和逆时针(近端向右)判断分别用小写字母cw和ccw表示。实验中, 被试对三种旋转刺激的判断都可能有cw和ccw两种; 如用字母组合CW-cw和CW-ccw表示对CW旋转刺激的刺激−反应组合; 同样, 用CCW-cw和CCW-ccw、AMB-cw和AMB-ccw分别表示对CCW和AMB的刺激−反应组合。

微眼跳是眼睛在注视点内, 持续的微小运动, 可以作为研究视觉空间注意时间分布的有效指标, 用来追踪空间注意随时间持续分配特点(Ryan et al., 2019)。本研究采用Otero-Millan等(2014)提出的微眼跳提取方法(参数设置：幅度上限 = 15°、相邻微眼跳最小时间间隔 = 20 ms、最小眼跳时间 = 10 ms, 检测阈限 = 1.60), 并将微眼跳定义为幅度在2°视角以内(占99.10%)、峰速度小于150°/s (占97.30%) (Bonneh et al., 2015)。此外, 采用双眼微眼跳作为微眼跳指标, 因为只有双眼微眼动能够诱发空间注意(张阳等, 2016)。

为了进一步了解微眼跳频次随时间变化的过程, 我们对不同条件下微眼跳频次按方向(向左为负值, 向右为正值)进行分类, 参考Bonneh等(2015)以及Hermens和Walker (2010)的方法分析不同方向微眼跳频次变化的时间进程。具体步骤包括：(1)截取每个试次刺激呈现前500 ms和呈现后1000 ms为一段; (2)用1(向右)和−1(向左)分别将每段中出现微眼跳时刻标记出来; (3)以100 ms时间窗宽度、1 ms为步长, 计算平均每秒次数; (4)分别计算每个被试在不同条件下所有试次的平均值(类似脑电的叠加过程), 以备统计分析。

在实验中, 极个别遗漏反应以及反应时超出±3个标准差以外的试次(约占1.7%)被剔除。由于对CW做ccw判断(8.40%)和对CCW做cw判断(6.14%)的比例较低, 结果中不对CW-ccw和CCW-cw的反应比例和反应时进行分析, 而是采用2(深度线索：有、无) × 2(反应方向：向左、向右)对知觉判断成绩及相应的微眼跳峰速度、幅度、时间进行方差分析。此外, 由于微眼跳频次按眼跳方向进行了划分, 因此, 仅对各种条件下不同方向微眼跳频次之间差异进行检验。同时, 还分析了不同条件下微眼跳频次随时间变化的过程。首先, 通过检验按时间逐点(步长为1 ms)比较不同条件下微眼跳频次的差异。然后, 当连续50 ms时间窗的统计检验显著时, 则确定为显著时间窗, 并采用该时间窗内的平均值进行差异检验。

3 结果

3.1 知觉判断

被试对3种旋转刺激的判断比例和反应时见图2。方差分析表明, 对判断百分比而言, 深度线索主效应显著,(1, 21) = 310.39,< 0.001, η= 0.94, 有线索显著大于无线索; 并且对有深度线索的旋转刺激(CW和CCW)做出相应判断的比例都分别高于对无线索刺激(AMB)的判断比例, 即%> %,(21) = 4.989,< 0.001, Cohen's= 2.18; %> %,(21) = 8.66,< 0.001, Cohen's= 3.78。而对AMB刺激的cw和ccw判断比例之间差异不显著; 且它们分别与机遇水平(50%)之间的差异也不显著。反应方向主效应以及两个因素的交互作用均不显著。

图2 不同刺激的判断百分比(a)和反应时(b)。(注：①*表示p < 0.05; **表示p < 0.01; ②误差线为标准误)

在判断反应时上, 深度线索主效应显著,(1, 21) = 32.41,< 0.001, η= 0.61, 无线索显著大于有线索。反应方向主效应显著,(1, 21) = 5.24,= 0.032, η= 0.20, 判断向右旋转的时间显著大于向左。两者交互作用显著,(1, 21) = 5.91,= 0.024, η= 0.22。简单效应分析表明, 有线索(CW、CCW)条件下, 不同方向判断反应时之间差异不显著; 而在无线索(AMB)条件下, 判断向右旋转的反应时显著大于向左旋转判断, RT< RT,(21) = –2.76,= 0.012, Cohen's= –1.21。

3.2 眼睛位置变化

在实验过程中, 要求被试眼睛注视刺激的中心位置。然而, 被试的眼睛并不是完全静止, 而是追随圆点小幅移动, 见图3。图3a是眼睛位置的空间分布; 从图中可以看出, 不论是有线索的刺激(CW), 还是模糊刺激(AMB), 当被试做顺时针运动(cw)判断时, 眼睛都向左移动; 相反, 被试对CCW和AMB刺激做ccw判断时, 眼睛则向右移动。因此, 被试在判断过程中眼睛移动与判断运动的方向一致。此外, 图3b显示, 眼睛移动滞后刺激出现200 ms左右; 此后眼睛位置随时间缓慢向所判断的方向移动。

3.3 微眼跳

微眼跳的峰速度、幅度、时间和频次统计结果见图4。方差分析显示, 有深度线索条件下的微眼跳峰速度都显著大于无线索条件的眼跳峰速度,(1, 21) = 19.41,0.001, η= 0.48; 不同反应及其与深度线索之间的交互作用均不显著。微眼跳幅度也表现出类似趋势, 有深度线索条件下的微眼跳幅度更大,(1, 21) = 31.32,0.001, η= 0.60; 不同反应及其与深度线索之间的交互作用均不显著。眼跳时间没有表现出任何显著差异。

此外, 各种条件下, 不同方向的(向左和向右)微眼跳频次也存在差异。当被试判断刺激做cw (近端向左)运动时, 向左的微眼跳频次显著大于向右, 即CW-cw：(21) = 3.81,= 0.001, Cohen's= 1.66; AMB-cw：(21) = –2.49,= 0.021, Cohen's= –1.08。相反, 当被试判断刺激ccw (近端向右)运动时, 则向右的微眼跳频次显著大于向左, CCW- ccw：(21) = 2.15,= 0.043, Cohen's= 0.94; AMB- ccw：(21) = –2.29,= 0.033, Cohen's= –1.00。

不同方向微眼跳频次变化的时间进程见图5。统计分析显示, 不论是否有深度线索, 被试在判断刺激近端向左(cw)或向右(ccw)旋转时的微眼跳具有明显的偏向性, 即微眼跳更多朝向知觉判断方向。在判断方向内部差异不显著(见图5a和5b); 而不同判断方向之间存在显著差异, 但在时间进程上有所不同(见图5c和5d)。当有深度线索(CW-cw和CCW-ccw)时, 显著差异时间窗分别在150~400 ms ((21) = –2.49,= 0.021, Cohen's= –1.09)和500~975 ms ((21) = –3.17,= 0.005, Cohen's= –1.38)。而在无深度线索条件下(AMB-cw和AMB-ccw), 显著差异时段分别为340~510 ms ((21) = –2.45,= 0.024, Cohen's= –1.07)和700~950 ms ((21) = –2.13,= 0.045, Cohen's= –0.93)。即有深度线索时, 在约150 ms左右眼睛就开始对CW和CCW旋转进行区分; 而无线索条件下, 则要到340 ms才能对球体旋转方向做出判断。

图3 观看不同刺激时眼睛位置及其随刺激呈现时间变化。(a) 眼睛位置的空间分布; (b) 眼睛位置随刺激呈现变化的时间进程。(注：图中0点为旋转刺激的中心位置, 即屏幕中心位置。“水平位置”和“垂直位置”的值大于0位于中心位置右侧和下方; 小于0则位于左侧和上方。)

图4 不同条件的微眼跳参数比较。(a) 微眼跳峰速度; (b) 微眼跳幅度; (c) 微眼跳时间; (d)微眼跳频次。(注：①*表示p < 0.05; **表示p < 0.01; ②误差线为标准误)

图5 不同方向微眼跳频次随时间变化进程比较。(a) 有线索(CW)与无线索(AMB)的相同判断(cw)时微眼跳频次; (b) CCW-ccw和AMB-ccw的微眼跳频次; (c) 有线索条件下(CW和CCW)相应判断时微眼跳频次; (d) 无线索条件下(AMB)不同判断时微眼跳频次。(注：①阴影部分为差异显著时间窗; ② *表示p < 0.05; **表示p < 0.01。)

4 讨论

通过将亮度对比设置成深度线索, 结果显示, 深度线索有助于SFM知觉判断, 与模糊刺激条件相比, 在有线索条件下, 判断更加快、更加肯定(百分比更高); 眼睛位置移动方向和微眼跳方向都分别与知觉判断的运动方向具有一致性; 微眼跳次数、峰速度和幅度也都分别表现出深度线索的促进效应。在有深度线索条件下, 较亮圆点和较暗圆点的运动速度相同而方向相反。由于相同速度的低亮度刺激被知觉的速度小于高亮度刺激(Stone & Thompson, 1992; Thompson, 1982), 两组点形成了运动视差。双眼运动视差随时间变化为立体运动知觉提供依据(Gumming & Parker, 1994)。于是, 低亮度圆点被知觉成距离观察者更远; 而高亮度圆点则被知觉为距离更近。因此, 亮度对比帮助视觉系统很快形成整体运动知觉, 并迅速做出判断。相反, 在无线索条件下, 两个方向的运动之间存在竞争, 需要更多加工过程才能完成判断, 判断时间也延长。因为在对模棱两可的SFM刺激知觉判断中, 视觉系统需要在两个对立的知觉解释中进行选择, 从而判断出三维结构旋转方向(Park & Tadin, 2018)。不过, 无线索条件下不同判断方向反应时之间的差异还有待进一步研究。

不论是Cavanagh (1992)和Nishida等(2018)将运动知觉区分为“低水平”和“高水平”两个加工阶段, 还是Andersen和Bradley (1998)和Treue等(1991)将SFM知觉划分为速度测量和三维物体表面构建两个加工过程; “两阶段”加工理论为人们进一步认识了SFM运动知觉的内在机制提供了重要思路。在本研究中, 从知觉判断结果无法明确区分SFM知觉的不同阶段。但从微眼跳随时间变化过程来看, 在有深度线索条件下, 不同知觉判断时的微眼跳频率在150 ms时便出现显著差异(见图5c); 眼睛位置随时间变化过程(见图3)显示, 所有条件下, 在运动刺激出现(圆点开始移动)约200 ms内, 眼睛基本上是静止在中心位置。这一段时间内(0~200 ms)注意系统似乎还没有参与知觉加工, 可以看成是第一阶段。200 ms开始, 眼睛通过小幅度的微眼跳缓慢移向所判断的方向; 这种短距离眼动追踪能够为运动知觉提供有用信息(Schütz et al., 2011), 也符合微眼跳的反应特点, 即刺激呈现200 ms后, 朝向预期位置的微眼跳才会明显增加(Rolfs et al., 2004)。因此, 200 ms以后是加工的第二阶段。

如果以150~200 ms作为SFM知觉加工两个阶段的分界线; 那么, 这两个阶段内又会经历哪些加工？注意时间进程(指向、驻留和移动)的三个部分(Egeth & Yantis, 1997)又如何在这两个阶段发挥作用呢？

4.1 速度测量(低水平加工)阶段

颜色和亮度是运动知觉的两种载体(Papathomas et al., 1991)。与形状相比, 亮度对SFM知觉能力的影响更大(Sara et al., 2017)。在有深度线索条件下CW-cw与CCW-ccw的微眼跳差异则出现在150 ms左右(图5c)。在0~150 ms内, 视觉系统需要完成对运动亮点的感觉登记、速度判断与整合(分组)等(Dombrowe et al., 2010); 它可能包括了用于从SFM运动中感知结构点运动所需的50~85 ms (Treue et al., 1991; Alais et al., 2011)和诱发微眼跳所需的70 ms左右(潜伏期) (Horwitz & Albright, 2003)。

因此, 低水平加工阶段主要发生在0~150 ms内, 此阶段不需要注意参与, 时−空频率觉察器探测局部运动信号, 视觉系统主要完成对刺激基本特征(颜色、亮度、运动)登记, 属于Cavanagh (1992)、Nishida等(2018)和Schmitt等(2018)等所提出的没有注意参与的“低水平”自动加工阶段。不过, 也有研究认为, 相对于其他刺激, 运动刺激在开始时就能捕获注意(Smith & Abrams, 2018), 但这种优势仅能维持约100 ms (Ramirez-Moreno et al., 2013)。SFM知觉的早期阶段是否有注意参与还有待进一步研究。

4.2 三维物体表面构建(高水平加工)阶段

视觉系统通过对已登记的运动信息进行选择和抑制、形成知觉分组, 才能构建三维结构(Andersen & Bradley, 1998; Treue et al., 1991)。这些加工都需要注意高度参与(Stelmach et al., 1994)。我们将结合注意时间进程(指向、驻留和移动) (Egeth & Yantis, 1997), 对注意在此阶段的调节作用进行深入分析。

注意指向 150 ms之后, 在有深度线索条件下, 不同知觉判断时的微眼跳频率开始出现显著差异(见图5c)。这意味着注意系统开始集中到相应的知觉组块(具有相同运动方向的较亮圆点)上, 即注意通过调节知觉组织(Kasai & Takeya, 2012), 将这些信号整合成运动矢量流, 并把它选择成为目标(Conci et al., 2011)。ERP研究表明, 注意对知觉组织的快速调节作用发生在180~200 ms内(Kasai & Takeya, 2012), 并在240~300 ms之内选择相应目标(Andersen & Muller, 2010); 而在眼动研究中, 需要约250 ms (Peterson & Kramer, 2001)。根据注意的特征整合理论(Treisman & Gelade, 1980; Treisman & Gormican, 1988), 在完成基本特征登记后, 注意就会像“胶水”一样将它们粘在一起, 形成知觉整体。此阶段应该是Egeth和Yantis (1997)所说的注意指向。对于有深度线索的刺激而言, 运动方向相反的两组点的亮度差异很明显, 较亮的点更容易被注意选择, 较暗的点则更容易被抑制。而当运动方向相反的两组点亮度相同时(无深度线索), 注意选择和抑制都会比较困难, 大约需要340 ms才能完成(见图5d)。这是因为对非注意刺激的抑制需要约360 ms (Andersen & Muller, 2010)。因此, 注意系统在150 ms至340 ms这段时间完成对一组运动点的选择和对另一组点的抑制, 通过眼睛定向注意将视觉特征整合成SFM知觉(Jiang et al., 2008), 并且需要额外时间, 在更高层次上完成运动方向判断。

注意驻留 视觉注意不是一种高速转换机制, 而是一种持续的状态, 在这种状态下, 促进对相关目标的表征(Ward et al., 1996)。因此, 当注意定向到相应刺激上以后, 会在那里停留一段时间(Egeth & Yantis, 1997)。本研究中, 无论有无深度线索, 注意都会在目标上停留一段时间, 表现为在一定时间窗(有线索：150~400 ms; 无线索：340~510 ms)内不同知觉判断时的微眼跳频率差异显著。在这段时间里, 视觉系统继续抑制分心刺激(Forschack et al., 2017; van Zoest et al., 2016)、整合被选择和被抑制的两组点(Festman & Braun, 2012)等。只有在完成这些加工之后, 注意才会转移, 传播到整体; 这至少需要200~300 ms (Stoppel et al., 2012)。因此, 在SFM知觉中, 注意的驻留时间应该持续约200 ms左右。不过, 为什么有深度线索刺激的注意驻留时间(250 ms)比无线索条件下(170 ms)更长还有待进一步研究。

注意转移 完成知觉分组后, 由知觉分组构成的虚拟轮廓成为产生整体运动知觉的基础(Caplovitz & Tse, 2007)。局部运动知觉和整体运动知觉具有不同的神经机制(Hedges et al., 2011); 在加工无线索(两可)运动结构体时, 神经元间的相关性显著高于加工有线索(非两可)结构体或随机二维运动(Wasmuht et al., 2019)。因此, 识别整体运动(Group Motion)比局部运动(Element Motion)需要更多注意资源(Aydın et al., 2011)。本研究中, 在完成局部特征分析并选择相应组块后, 注意系统需要从单一组块转移到两个运动方向相反的组块上才能构建三维结构(整体)。图5c和图5d表明, 有无深度线索条件下分别500~970 ms和700~950 ms出现了两个存在显著差异的时间窗, 它们很可能标志着注意从局部向整体的转移。因为主动转移注意可以改善整体运动的检测, 促进整体运动方向知觉的判断(Ishii et al., 2013)。

在对整体运动信息进行加工时, 视觉系统通过提取整体运动特征, 并使用整体运动信息估计局部运动特征(Rider et al., 2016), 实现局部运动的双眼信息融合(Cai et al., 2019)。因此, 在两种条件下的第二个时间窗内很可能是对整体结构中的局部元素进行集中注意, 以进一步确认整体结构旋转方向的判断, 即通过自上而下信号(如对真实目标方向的先验知识)检验局部运动(Born & Pack, 2002); 其内在机制还有待深入探讨。

5 结论

研究结果表明, 注意加快有深度线索的知觉判断。SFM知觉过程可以以150~200 ms为界限分成速度计算和构建三维结构两个阶段; 注意对SFM知觉的调节作用主要发生在高水平加工阶段(构建三维结构), 特别是无深度线索的知觉判断。注意从150 ms开始指向选择对象; 驻留持续约200 ms (150~340 ms)后, 有无深度线索条件下分别在500~ 970 ms和700~950 ms出现了两个存在显著差异的时间窗, 完成从局部运动矢量流转移到整体运动方向的知觉判断。

Alais, D., Apthorp, D., Karmann, A., & Cass, J. (2011). Temporal integration of movement: The time-course of motion streaks revealed by masking.(12), e28675. https://doi.org/10.1371/journal.pone.0028675

Andersen, R. A. & Bradley, D. C. (1998). Perception of three- dimensional structure from motion.,(6), 222–228.

Andersen, S. K., & Muller, M. M. (2010). Behavioral performance follows the time course of neural facilitation and suppression during cued shifts of feature-selective attention.(31), 13878–13882.

Aydın, M., Herzog, M. H., & Öğmen, H. (2011). Attention modulates spatio-temporal grouping.(4), 435–446.

Bartlett, L. K., Graf, E. W., Hedger, N., & Adams, W. J. (2019). Motion adaptation and attention: A critical review and meta-analysis.,, 290–301.

Bonneh, Y. S., Adini, Y., & Polat, U. (2015). Contrast sensitivity revealed by microsaccades.(9), 1–12.

Born, R. T., & Pack, C. C. (2002). Integration of motion signals for smooth pursuit eye movements.,(1), 453–455.

Burr, D., & Thompson, P. (2011). Motion psychophysics: 1985-2010.,(13), 1431–1456.

Cai, L. T., Yuan, A. E., & Backus, B. T. (2019). Binocular global motion perception is improved by dichoptic segregation when stimuli have high contrast and high speed.,(13), 1–17.

Caplovitz, G. P., & Tse, P. U. (2007). Rotating dotted ellipses: Motion perception driven by grouped figural rather than local dot motion signals.,(15), 1979– 1991.

Cavanagh, P. (1992). Attention-based motion perception.,(5076), 1563–1565.

Cavanagh, P., Hunt, A. R., Afraz, A., & Rolfs, M. (2010). Visual stability based on remapping of attention pointers.,(4), 147–153.

Chung, C. Y. L., & Khuu, S. K. (2014). The processing of coherent global form and motion patterns without visual awareness.,, 195. https://doi.org/ 10.3389/fpsyg.2014.00195

Cohen, J. (1988).. Hillsdale, New Jersey: Lawrence Erlbaum Associates.

Conci, M., Töllner, T., Leszczynski, M., & Müller, H. J. (2011). The time-course of global and local attentional guidance in Kanizsa-figure detection.,(9), 2456– 2464.

Deubel, H. (2008). The time course of presaccadic attention shifts.,(6), 630–640.

Di Stasi, L. L., Catenad, A., Cañasc, J. J., Macknike, S. L., & Martinez-Conde, S. (2013). Saccadic velocity as an arousal index in naturalistic tasks.,(5), 968–975.

Dombrowe, I. C., Olivers, C. N. L., & Donk, M. (2010). The time course of color- and luminance-based salience effects.,, 189. https://doi.org/10.3389/ fpsyg.2010.00189

Egeth, H. E., & Yantis, S. (1997). Visual attention: Control, representation, and time course.,, 269–297.

Engbert, R., & Kliegl, R. (2003). Microsaccades uncover the orientation of covert attention.,(9), 1035–1045.

Fernandez, J. M., & Farell, B. (2006). A reversed structure- from-motion effect for simultaneously viewed stereo- surfaces.,(8-9), 1230–1241.

Festman, Y., & Braun, J. (2012). Feature-based attention spreads preferentially in an object-specific manner.,(1), 31–38.

Forschack, N., Andersen, S. K., & Müller, M. M. (2017). Global enhancement but local suppression in feature-based attention.,(4), 619– 627.

Franconeri, S., & Handy, T. (2007). Rapid shifts of attention between two objects during spatial relationship judgments.,(9), 582. https://doi.org/10.1167/7.9. 582

Grosbras, M. H., Laird, A. R., & Paus, T. (2005). Cortical regions involved in eye movements, shifts of attention, and gaze perception.,(1), 140–154.

Gumming, B. G., & Parker, A. J. (1994). Binocular mechanisms for detecting motion-in-depth.,(4), 483–495.

Hafed, Z. M., & Clark, J. J. (2002). Microsaccades as an overt measure of covert attention shifts.,(22), 2533–2545.

Haith, M. M. (1966). The response of the human newborn to visual movement.,(3), 235–243.

Hedges, J. H., Gartshteyn, Y., Kohn, A., Rust, N. C., Shadlen, M. N., Newsome, W. T., & Movshon, J. A. (2011). Dissociation of neuronal and psychophysical responses to local and global motion.,(23), 2023– 2028.

Hermens, F., & Walker, R. (2010). What determines the direction of microsaccades?,(4), 1–20.

Hirshkowitz, A., Biondi, M., & Wilcox, T. (2017). Cortical responses to shape-from-motion stimuli in the infant.,(1), 011014. https://doi.org/10.1117/1.nph. 5.1.011014

Horwitz, G. D., & Albright, T. D. (2003). Short-latency fixational saccades induced by luminance increments.,(2), 1333–1339.

Hubel, D. H., & Wiesel, T. N. (1962). Receptive fields, binocular interaction and functional architecture in the cat's visual cortex.,(1), 106–154.

Ishii, T., Motoyoshi, I., & Kamachi, M. G. (2013). Removal of attention facilitates global motion detection.,(1), 135–136.

Jiang, Y., Boehler, C. N., Nönnig, N., Düzel, E., Hopf, J. M., Heinze, H. J., & Schoenfeld M. A. (2008). Binding 3-D object perception in the human visual cortex.,(4), 553–562.

Jiang, Y., Pantle, A. J., & Mark, L. S. (1998). Visual inertia of rotating 3-D objects.,(2), 275–286.

Johnson, S. P., Davidow, J., Hall-Haro, C., & Frank, M. C. (2008). Development of perceptual completion originates in information acquisition.,(5), 1214–1224.

Kaneko, H., Itakura, S., & Inagami, M. (2011). Relationship between the frequency of microsaccade and attentional state.,(4), 332–332.

Kasai, T., & Takeya, R. (2012). Time course of spatial and feature selective attention for partly-occluded objects.(9), 2281–2289.

Krueger, E., Schneider, A., Sawyer, B., Chavaillaz, A., Sonderegger, A., Groner, R., & Hancock P. (2019). Microsaccades distinguish looking from seeing.,(6). https://doi.org/10.16910/ jemr.12.6.2

Kuldkepp, N., Kreegipuu, K., Raidvee, A., Näätänen, R., & Allik, J. (2013). Unattended and attended visual change detection of motion as indexed by event-related potentials and its behavioral correlates.,, 476. https://doi.org/10.3389/fnhum.2013. 00476

Lamberty, K., Gobbelé, R., Schoth, F., Buchner, H., & Waberski, T. D. (2008). The temporal pattern of motion in depth perception derived from ERPs in humans.(2), 198–202.

Laubrock, J., Engbert, R., & Kliegl, R. (2008). Fixational eye movements predict the perceived direction of ambiguous apparent motion.,(14), 1–17.

Lin, Y., & Tadin, D. (2019). Motion perception: Slow development of center-surround suppression.,(18), R878–R880.

Martínez, G. A. R., & Parra, H. C. (2018). Bistable perception: Neural bases and usefulness in psychological research.,(2), 63–76.

Meyberg, S., Sinn, P., Engbert, R., & Sommer, W. (2017). Revising the link between microsaccades and the spatial cueing of voluntary attention.,, 47–60

Meyberg, S., Sommer, W., & Dimigen, O. (2017). How microsaccades relate to lateralized ERP components of spatial attention: A co-registration study.,, 64–80.

Motoyoshi, I., Ishii, T., & Kamachi, M. G. (2015). Limited attention facilitates coherent motion processing.,(13), 1. https://doi.org/10.1167/15.13.1

Nishida, S., Kawabe, T., Sawayama, M., & Fukiage, T. (2018). Motion perception: From detection to interpretation.,(20), 501–523.

Otero-Millan, J., Castro, J. L. A., Macknik, S. L., & Martinez- Conde, S. (2014). Unsupervised clustering method to detect microsaccades.,(2), 1–17.

Papathomas, T. V., Gorea, A., & Julesz, B. (1991). Two carriers for motion perception: Color and luminance.,(11), 1883–1891.

Park, W. J., & Tadin, D. (2018). Motion perception. In J. Serences (Ed.).(4th ed.) (pp. 415–488). Wiley.

Peterson, M. S., & Kramer, A. F. (2001). Attentional guidance of the eyes by contextual information and abrupt onsets.,, 1239–1249.

Pomerantz, J. R. (1970). Eye movements affect the perception of apparent (beta) movement.,(4), 193–194.

Ramachandran, V. S., & Anstis, S. M. (1983). Perceptual organization in moving patterns., 529–531.

Ramirez-Moreno, D. F., Schwartz, O., & Ramirez-Villegas, J. F. (2013). A saliency-based bottom-up visual attention model for dynamic scenes analysis.(2), 141–160.

Rider, A. T., Nishida, S., & Johnston, A. (2016). Multiple- stage ambiguity in motion perception reveals global computation of local motion directions.,(15), 7, 1–11.

Rock, I., Halper, F., DiVita, J., & Wheeler, D. (1987). Eye movement as a cue to figure motion in anorthoscopic perception.,(3), 344–352.

Rolfs, M., Engbert, R., & Kliegl, R. (2004). Microsaccade orientation supports attentional enhancement opposite a peripheral cue: Commentary on Tse, Sheinberg, and Logothetis (2003).,(10), 705–707.

Ryan, A. E., Keane, B., & Wallis, G. (2019). Microsaccades and covert attention: Evidence from a continuous, divided attention task.,(6). https://doi.org/10.16910/jemr.12.6.6

Sara, G., Tony, P., Roberto, B., Kerstin, H., & Mariagrazia, B. (2017). The effect of luminance condition on form, form-from-motion and motion perception.,(2), 65–72.

Schmitt, C., Klingenhoefer, S., & Bremmer, F. (2018). Preattentive and Predictive Processing of Visual Motion.,, 12399. https://doi.org/10.1038/ s41598-018-30832-9

Schütz, A. C., Braun, D. I., & Gegenfurtner, K. R. (2011). Eye movements and perception: A selective review.,(5), 9, 1–30.

Scocchia, L., Valsecchi, M., & Triesch, J. (2014). Top-down influences on ambiguous perception: The role of stable and transient states of the observer.,. https://doi.org/10.3389/fnhum.2014. 00979

Simion, F., Regolin, L., & Bulf, H. (2008). A predisposition for biological motion in the newborn baby.,(2), 809–813.

Smith, K. C., & Abrams, R. A. (2018). Motion onset really does capture attention.,(7), 1775–1784.

Stelmach, L. B., Herdman, C. M., & McNeil, K. R. (1994). Attentional modulation of visual processes in motion perception.,(1), 108–121.

Stone, L. S., & Thompson, P. (1992). Human speed perception is contrast dependent.,(8), 1535–1549.

Stonkute, S., Braun, J., & Pastukhov, A. (2012). The role of attention in ambiguous reversals of structure-from-motion., 7(5), e37734. https://doi.org/10.1371/journal. pone.0037734

Stoppel, C. M., Boehler, C. N., Strumpf, H., Krebs, R. M., Heinze, H. J., Hopf, J. M., & Schoenfeld, M. A. (2012). Spatiotemporal dynamics of feature-based attention spread: Evidence from combined electroencephalographic and magnetoencephalographic recordings.(28), 9671–9676.

Thompson, P. (1982). Perceived rate of movement depends on contrast.,(3), 377–380.

Treisman, A., & Gelade, G. (1980). A feature-integration theory of attention.(1), 97–136.

Treisman, A., & Gormican, S. (1988). Feature analysis in early vision: Evidence from search asymmetries.,(1), 15–48.

Treue, S., Husain, M., & Andersen, R. A. (1991). Human perception of structure from motion.,(1), 59–75.

Tsal, Y., & Kolbet, L. (1985). Disambiguating ambiguous figures by selective attention.,(1), 25–37.

van Rullen, R., Reddy, L., & Koch, C. (2005). Attention- driven discrete sampling of motion perception.,(14), 5291–5296.

van Zoest, W., Donk, M., & van der Stigchel, S. (2012). Stimulus-salience and the time-course of saccade trajectory deviations.,(8), 16–16.

van Zoest, W., Heimler, B., & Pavani, F. (2016). The oculomotor salience of flicker, apparent motion and continuous motion in saccade trajectories.,(1), 181–191.

Wallach, H., & O'Connell, D. N. (1953). The kinetic depth effect.,(4), 205–217.

Wang, L., Yang, X., Shi, J., & Jiang, Y. (2014). The feet have it: Local biological motion cues trigger reflexive attentional orienting in the brain., 217–224.

Ward, R., Duncan, J., & Shapiro, K. (1996). The slow time- course of visual attention.,(1), 79–109.

Wasmuht, D. F., Parker, A. J., & Krug, K. (2019). Interneuronal correlations at longer time scales predict decision signals for bistable structure-from-motion perception.,, 11449. https://doi.org/10.1038/ s41598-019-47786-1

Zhang, Y., Li, A., Han, Y., Zhang, S., & Zhang, M. (2016). The effect of microsaccade types on attention.(6), 29–37.

[张阳, 李艾苏, 韩玉, 张少杰, 张明. (2016). 微眼动类型对注意的影响.,(6), 29–37.]

Temporal dynamics of eye movements and attentional modulation in perceptual judgments of structure-from-motion (SFM)

DING Jinhong, WANG Yamin, JIANG Yang

(Beijing Key Lab of Learning and Cognition, Collage of Psychology, Capital Normal University, Beijing, 100048, China) (Department of Behavioral Science, College of Medicine, University of Kentucky, Lexington, KY 40536-0086, USA)

How attention plays a role in resolving ambiguous perceptual judgments is one of the age-old scientific questions. Understanding the processes of perceptual grouping, switching, processing speed, and awareness is a key step towards solving significant problems in applications such as computer vision and automatic driving involving three-dimensional space. The rotating three-dimensional (3D) structure from motion (SFM) is a well-known bistable ambiguous stimulus. Thus far, it is still an open question how attention, eye movements, and depth cues modulate perceptual judgments of rotating directions of a 3D SFM. As early as 1925, motion perception resulted from eye tracking signals was proposed by Helmholtz (Cavanagh, 1992). Pomerantz (1970) claimed that eye movement plays an important role in the occurrence of kinesthetic perception. Furthermore, neuroscience studies has supported a common neural basis for eye movement and attention transfer (Grosbras, Laird & Paus, 2005). The current study aimed to investigate the characteristics and the time course of eye movements during SFM perception by controlling exogenous visual cues and ascertain the effect of attention on SFM perception. Using advanced eyemovements analysis, we investigated how attention under both unambiguous and ambiguous depth cues modulate perceptual judgments of rotation directions in deepth.

Twenty-two college students (10 males and 12 females), mean age 22, participated in this experiment. Their task was to indicate the rotation directions of 3D SFM by pressing the left (for clockwise CW percept from top view) or the right key of a mouse (for CCW percept) with their left or right thumb. A computer simulated structure-from-motion (a 3D rotating sphere) was created via 30 coherently moving dots with 0.2° diameter each along with an elliptical trajectory of different radii at a mean velocity of 5°/s. The luminant dots were randomly distributed in a spherical area extended 5°×5°. Under unambiguous depth cue condition, dots were fully illuminated in the half of their trajectories and partially illuminated in the other part of the trajectories. The two groups of dots appeared to move in opposite direction. There were two sets of cued rotations in which bright dots (drawing attention) moving leftwards or rightwards. For ambiguous condition (AMB), all dots had equal brightness (averaged luminance of unambiguous displays), which had equal chance to be seen as rotating in either CW or CCW direction. During each experimental trial, after a 500 ms fixation “+”, a rotation-in-depth structure was presented for about 950 ms. A mask of random brighter and dimer dots was displayed for 500 ms after a response window of 1500 ms at the end of each trial.

Advanced eyemovements analysis, e.g. microsaccade rates with directions and time courses, were conducted using methods from Bonneh, Adini & Polat (2015) and Hermens & Walker (2010). The statistical analysis revealed that perceptual judgments of rotation directions under unambiguous cues were faster and more confident than those under the ambiguous conditions. For the micro-saccade, peak velocity and amplitude were higher during perception of unambiguous 3D rotation than those during the ambiguous rotations.There was no significant difference in saccade duration. When participants judged the SFM as rotation of clockwise (left), their microsaccade rate towards left was significantly higher than that towards right and vise versa while the counter-clockwise judgment was made. Under the unambiguous condition, significant differences between CW-cw and CCW-ccw were found during time widows of 150~400 ms and 500~970 ms. In contrast, ambiguous conditions (AMB-cw and AMB-ccw) differed most during 700~950 ms, which indicated extra time of attentional processes.

Our findings of temporal dynamics of the ambiguous and unambiguous perceptual judgments of 3D rotations indicated two stages of processing. First, local speed calculation in three-dimensional structure construction during initial period of 150~200 ms after stimulus onset. Second, visual processing binds local motion vector flows to the overall perceptual judgment of rotation directions. The ambiguous conditions took longer time. When rotations were unambiguous, attentional facilitates during perceptual judgment of 3D rotation of SFM speed up in the higher-level processing.

structure-from-motion (SFM), attention, microsaccade, time course, perceptual grouping

2020-04-14

* 首都师范大学交叉科学研究院项目资助。

丁锦红, E-mail: dingjh@cnu.edu.cn

B842