视觉刺激的空间信息对听觉信息处理的影响

杨菁菁，熊伟

（长春理工大学 计算机科学技术学院，长春 130022）

人脑能够高效地处理来自多感官通道的信息，这些信息会被联合形成统一、稳定的认知，这一过程被称为多感觉信息整合［1，2］。当看电视时，人们会认为声音是从演员的嘴发出的而不是从电视的音箱发出的，这种现象就是典型的腹语术效果［3］。视觉系统的空间定位明显优于听觉系统。视觉信息的空间位置会影响听觉信息的判断，以往的研究集中于视听觉通道的信息。在现实生活中很多情况下要求人脑只注意某一通道的信息。注意有关信息忽视无关信息是人脑信息选择处理的重要功能［4，5］。不被注意的视觉刺激的空间位置是否影响听觉信息的处理尚不明确，如果有影响，这种影响与实验任务是否相关也尚不明确。

因此通过设计听觉注意实验，视觉刺激出现在与听觉刺激一致和不一致的位置，分析不同空间位置的视觉刺激是否影响听觉信息的处理是非常必要的。为了调查不同实验任务的影响设计两种实验任务，分别为判断听觉刺激方向和判断听觉刺激强度。

1 实验方法

1.1 被试

19名来自长春理工大学的本科学生参与了实验（男女各半），年龄在20～24岁（平均22.8岁）。被试皆为右利手，身心健康，视力或者矫正视力正常，听力正常，所有被试在实验前均签署《知情同意书》。实验前充分了解实验流程，并进行测试练习，保证被试能正确的完成实验。

1.2 实验设计

实验包含两种实验任务：一组实验要求被试对听觉刺激的方向进行判断，另一组要求被试判断听觉刺激的强度。实验材料包括单独听觉刺激和视听觉刺激，视听觉刺激的空间位置又分为一致和不一致两种情况。数据分析时，由组内变量（空间一致和不一致）的差异，然后再比较组间变量（不同任务）之间的差异。

1.3 实验材料及任务

1.3.1 实验①判断方向

听觉刺激是1000Hz的正弦纯音，声强95dB，提示时间40ms，其中包括5ms的渐强和渐弱。听觉刺激由位于显示器前左右±8°的两个音箱分别提示，左右的比例均等。听觉刺激中有一半刺激同时伴随视觉图片提示。视觉图片为大小250×250pixels的Gabor光栅图像，频率0.004cycles/pixel，背景黑色，提示时间40ms。视觉图片出现在固视点（显示器中央的“+”）下4°的水平线上，水平角度为0°或±8°（即左、中、右）三个位置中的一个。这样组成的双通道的视听觉刺激中，1/3的视听觉刺激位置一致，2/3位置不一致（1/3视觉刺激在中央而听觉刺激在左或右，1/3视听觉刺激左右位置正好相反，见图1右侧列）。

图1 实验刺激示意图

实验在一个隔音的暗室中进行。视觉图片通过17寸显示器提示，被测人与屏幕距离80cm，下巴放在下颌托上，被试只对听觉刺激的方向做出判断，听到左侧的听觉刺激按鼠标左键，听到右侧的听觉刺激按鼠标右键。

1.3.2 实验②判断强度

实验刺激与实验①类似，唯一不同的是，听觉刺激强度有两种，一种是95dB（靶刺激），另一种是65dB（标准刺激）刺激组成见图1。各种刺激随机提示，比例均等，靶刺激和标准刺激各占50%。实验任务是被试注意听觉刺激，听到高强度的听觉刺激时按鼠标左键，即对听觉靶刺激按键反应，对听觉的方向和视觉图片不做反应。每次实验开始时，先在屏幕中央呈现一个注视点“+”2000ms，注视点消失后随机呈现空屏800-1400ms，接着听觉、视听觉刺激随机呈现。被试的任务是只注意听觉通道，当听到听觉靶刺激时按鼠标左键，记录被试的反应时及正确率。

1.4 数据采集与分析方法

实验刺激采用Presentation软件（Version 0.61）编辑呈现。实验记录了每种刺激类型的反应时和正确率，对各组数据进行统计计算平均值，并剔除超过平均值加减2倍标准偏差的数据。通过SPSS进行了成对t检验（Paired samples t-test）。

2 结果分析

2.1 实验①方向判断

反应时间记录的是从刺激提示开始到被试按键反应所需的时间，单位是毫秒（ms）。图2显示的是各组刺激的平均反应时间。统计分析结果看到对所有右侧的听觉刺激的反应要比左侧快，这是因为反应键在右侧，对右侧的听觉刺激判断更有利。一致的视听觉刺激的反应时间与单独通道的无差别（t=1.302，p=0.210），但是位置不一致的双通道刺激反应时比单通道刺激要慢（视觉中央t=-3.303，p＜0.01，视觉位置相反t=-4.239，p＜0.001）。当视觉刺激位置与听觉刺激不一致时影响了听觉刺激的方向判断。

图2 方向判断任务的平均反应时间

正确率的结果显示与反应时的结果类似，位置不一致的视听觉刺激的正确率要低于单通道刺激和位置一致的视听觉刺激，如图3所示。

图3 方向判断任务的平均反应正确率

2.2 实验②强度判断

实验要求被试判断听觉刺激的强度，这一任务与方向判断无关，结果显示所有组别的左右结果无差别（t=-0.504，p=0.578），视听觉一致刺激的反应比单独通道的听觉刺激快（t=4.439，p＜0.001）。视觉图片在中央的刺激比单独通道的听觉刺激快，但无统计学差别（t=1.750，p=0.287），视觉图片与听觉刺激位置相反时比单通道反应快（t=3.502，p＜0.001），如图4所示。

图4 强度判断任务的平均反应时间

正确率的结果与反应时间的结果趋势相似，视觉图片在中央的条件与单通道无差别，视听觉位置一致和位置完全相反的条件有差别，双通道的结果更准确，如图5所示。

图5 强度判断任务的平均反应正确率

如图6所示，比较两组试验任务的反应时间，发现对于单通道听觉刺激强度判断与方向判断的反应时间无差别。双通道的反应时间有差别，强度判断时双通道刺激都促进了听觉强度的判断，而方向判断的时间比强度判断的时间慢，并且空间位置的一致与不一致结果不同。

图6 反应时间对比图

两组实验中视觉刺激都不要求注意，实验的任务与视觉刺激无关，视觉刺激被认为是无关刺激，但是结果发现视觉刺激影响了听觉信息的处理，而且这种影响与实验任务相关。在先行研究中指出，人脑的信息处理与人脑的注意功能有关，选择注意是指专注于某些刺激而忽视另外一些刺激［6，7］。当相关刺激与无关刺激在某些物理性质上有所不同时，可以选择相关刺激加以集中注意，而让其他刺激消失在背景之中。人脑对信息的过滤和选择是在意识加工前，这样可以阻止无用信息进入意识干扰信息的处理［8］。实验提示的视觉刺激的各项物理属性中时间特性和空间特性被有选择的注意。在实验任务与空间位置相关时，视觉刺激的空间信息被选择注意，当空间位置一致时促进了听觉刺激位置的判断，位置不一致时阻碍判断；当实验任务与空位置无关时，由于视觉刺激和听觉刺激同时提示，视觉刺激为听觉的判断提供了一致的时间信息，视觉刺激的时间信息被选择注意，这时空间位置信息不被注意，位置的一致与否与判断无关，因此在强度判断实验中双通道的刺激促进了听觉信息的判断。

综合实验结果不要求注意的视觉通道信息的利用与否取决于实验任务，实验任务决定了刺激的相关物理特性被选择注意。所以也证实了视觉刺激的空间特性对听觉信息的影响与实验任务相关。注意的选择性脑机制水平可随着刺激的性质不同、任务的不同发生变化，这也证实了人脑的注意功能具有可塑性。人脑在处理多通道信息时，多通道信息的时间特性、空间特性和人脑的注意功能三者共同调节人脑信息的处理方式。关于视听觉双通道信息处理相互影响的神经机理，已成为脑认知科学研究的关注焦点，还需要进一步采用脑电计测技术、功能性核磁共振等技术进行更深入的研究。

3 结论

通过认知行为学实验调查了不要求注意的视觉刺激的空间位置对听觉信息处理的影响。实验结果发现不被注意的视觉刺激的也会影响听觉信息处理，这种影响与实验任务相关。发现了实验任务决定空间信息的选择注意，从而影响多通道信息的处理。研究人脑信息的处理方式，构建人脑多通道信息处理的模型，对多传感器数据融合、脑机接口等技术的发展具有重要的理论与现实意义。

［1］Qi Li，Jinglong Wu，Touge Tetsuo.Audiovisual interaction enhances auditory detection in late stage：an event-related potential study ［J］.Neuroreport，2010，21（3）：173-178.

［2］Weiping Yang，Jingjing Yang，Yulin Gao，et al.Effects of sound frequency on audiovisual integration：An event-relatedpotentialstudy［J］.PLoS ONE，2015，10（9）：296-299.

［3］Qi Li，Huamin Yang，Fang Sun，et al.Spatiotemporal relationships among audiovisual stimuli modulate auditory facilitation of visual target discrimination［J］.Perception，2015，44（3）：232-242.

［4］杨菁菁，李奇，李修军.人脑时间信息处理的性别差异研究［J］.长春理工大学学报：自然科学版，2016，39（6）：119-121.

［5］李奇，杨菁菁，武岩，等.视听觉信息整合脑机制研究［M］.北京：国防工业出版社，2014.

［6］Talsma D，Doty TJ，Woldorff MG.Selective attention and audiovisual integration：is attending to both modalities a prerequisite forearly integration［J］.Cereb Cortex，2007，17（3）：679–690.

［7］Thomas Koelewijn，Adelbert Bronkhorst，Jan Theeuwes.Attention and the multiple stages of multisensory integration：A review of audiovisual studies［J］.Acta Psychologica，2010，134（4）：372-384.

［8］罗跃嘉，魏景汉.注意的认知神经科学研究［M］.北京：高等教育出版社，2004.