选择性注意条件下人脑视听觉空间信息处理机制研究

冯珍，杨菁菁

（长春理工大学 计算机科学技术学院，长春 130022）

信息时代，人们每天都会获得各种各样的信息指导正常的生活、工作和娱乐。大脑是人体进行信息分析处理的“处理器”，通过一定的信息处理机制对各感官获得的信息进行分析，指导人体活动。其中，视、听两通道获取的信息占比最大，视听信息整合也因此成为脑信息学研究的重要内容。注意是人脑对客观事物的指向和集中，注意功能决定了人脑对信息的选择[1-2]。不同注意条件下人脑信息处理的机理不同。空间信息又是影响视听信息整合的主要因素。

本研究采用选择性注意行为学实验的方式对人脑视听觉空间信息处理机制进行研究，能保证被试把注意力集中到重要的刺激或刺激的重要方面，排除次要刺激的干扰，得到更有效的数据[3]。实验要求被试判断注意通道的刺激位置并做按键反应。对17名被试进行实验，获得各实验任务下的反应时间及正确率，分析实验数据，得到人对视听两通道信息处理之间相互影响的规律。结论将辅助人脑视听觉信息整合的研究，对脑机接口技术、多传感器数据融合、机器人技术、人机交互技术的发展都具有重要意义。

1 实验介绍

1.1 被试的选择

实验选择17名长春理工大学在校大学生作为被试（8男9女，平均年龄22.7岁），被试均为自愿参加实验，身体状况良好，没有视觉听觉方面的疾病；配合度良好，实验前保证按时作息，充分了解实验任务。

1.2 实验刺激

实验刺激共有8种，分别为：左侧视觉刺激（VL）、右侧视觉刺激（VR）、左侧声音刺激（AL）、右侧声音刺激（AR）、视觉左声音左混合刺激（AL⁃VL）、视觉右声音右混合刺激（ARVR）、视觉左声音右混合刺激（ARVL）、视觉右声音左混合刺激（AL⁃VR）。前4种（如图1）为单通道刺激，后4种（如图2）为双通道刺激。

图1 单通道刺激

图2 双通道刺激

听觉刺激由Audacity 2.1.0声音制作软件制作，通过左右两个音响提示；视觉刺激由MATLAB制作的gabor patch，通过19英寸显示器显示。使用presentation编写实验程序，实现刺激依随机序列随机出现，每个刺激持续时间为40ms，刺激间间隔为800～1500ms的随机值。

1.3 实验任务

（1）视觉判断任务（Visual），即判断图片位置左右。被试注意随机出现的视觉图片刺激，当图片出现在左侧时按鼠标左键，图片出现在右侧时按鼠标右键；

（2）听觉判断任务（Auditory），即判断声音的位置左右。被试注意随机出现的听觉刺激，当声音发出位置是左侧音响时按鼠标左键，声音由右侧音响发出时按鼠标右键。

图3 实验装置示意图

1.4 实验环境

实验在光线可调节的隔音室中进行，确保被试能够集中注意于实验。视觉刺激背景为黑色，视觉图片出现在固视点（显示器中央的“+”）下4°的水平线上，听觉刺激由左右音响发出。图片出现位置及音响摆放位置为向左和右8°视角位置。被试下巴放在下颌托上，距显示屏距离为110cm。

1.5 实验流程

实验前，向被试发送被试须知，便于被试简单了解实验内容、调整精神状态。解答被试疑惑，确保被试充分了解实验任务。带领被试进入隔音室熟悉实验环境，并做各实验任务下的练习实验，简单统计被试练习实验的数据，待正确率稳定后开始正式实验。

每次实验开始前，被试被告知实验任务。实验开始时，首先在屏幕中央呈现注视点“+”3000ms，注视点消失后视觉、听觉、视听混合觉刺激随机出现，被试依据实验任务作出反应。每组实验持续约5分钟，共4组，每名被试随机进行各组实验，实验间隔允许被试休息活动。

2 数据结果

2.1 数据处理过程

数据处理整体过程如图4所示。

图4 实验数据处理过程

2.2 个人结果整理与分析

对每个被试的实验数据进行分别保存，随后进行数据筛选、标准差计算、偏差数据剔除、均值及正确率计算等基本处理。将基本处理后的个人数据以实验任务为单位汇总保存。

2.3 平均结果整理与分析

各实验任务下对每名被试的数据进行反应时间和正确率进行平均值、标准差和标准误差的计算，得到如下的数据结果。

图5 Visual反应时间

图6 Visual正确率

由图5、6汇总的数据结果可以得出以下结论：判断视觉刺激位置左右时，位置相反的听觉刺激会使被试对该刺激的反应时间长于对单通道视觉刺激的反应时间，位置相同的听觉刺激则会使被试反应时间略短于单通道视觉刺激的反应时间。被试在此实验任务下的正确率比较均衡，没有出现明显差异。

图7 Auditory反应时间

图8 Auditory正确率

由图7、8汇总的数据结果可以得出以下结论：判断听觉刺激位置左右时，单通道刺激与双通道刺激反应时间的差异明显，被试对包含位置相反图片的混合刺激反应时间明显长于对视听位置相同刺激的反应时间，说明图片刺激对被试的反应产生了干扰。被试在此实验任务下的正确率也出现了明显的差异，视听刺激位置相反的混合刺激正确率明显低于其他类型刺激的正确率，视听刺激位置相同的混合刺激正确率最高。

2.4 SPSS分析

利用SPSS对汇总后的数据进行分别以单一通道刺激空间位置左右、视听刺激位置是否一致、单/双通道为依据的差异分析[4]，结合各组数据均值比较所得的结果进行科学的规律总结。

Visual反应时间SPSS分析结果显示：ALVLARVR、ALVR-ARVL对比，p值分别为p=0.001、p=0.007，说明被试对双通道刺激的反应时间左侧和右侧存在差异，结合反应时间平均数值可以发现，无论听觉刺激位置与视觉刺激位置是否一致，对出现在右侧的视觉刺激的反应均快于对左侧位置刺激的反应时间，这与实验设计右手按键且按右键及人的方位偏好有关[5]。

ALVR-ARVR的p值=0.015，说明被试注意视觉时，听觉刺激对右侧出现的图片刺激影响更明显。产生这一结果是因为视觉对位置左右的判断是非常敏感的，尤其是在右侧，加之在右侧按键且鼠标按右键，所以视觉右侧受听觉刺激的影响更显著。Visual正确率SPSS分析结果无明显差异。

Auditory反应时间SPSS分析结果显示：

ALVL-ALVR的p=0，表示视听两通道刺激同时存在时，视觉图片位置与注意的听觉刺激发出位置相同或不同对反应时间有明显的影响。

AL-ALVL、AL-ALVR、AR-ARVR对比p值依次为p=0.047、p=0.001、p=0.02，说明视听双通道刺激与单独听觉刺激相比，前者反应时间在视听刺激位置相同时明显加快，而在视听刺激位置不同时则偏慢。

Auditory正确率SPSS分析结果：ALVL-AL⁃VR、ARVR-ARVL分别为p=0.001、p=0.007，表示视听混合刺激中两通道刺激位置相同与相反时正确率差距明显。

AL-ALVL、AL-ALVR、AR-ARVR、AR-ARVL结果分别为p=0.047、p=0.001、p=0.02、p=0.009，说明与单独听觉刺激的正确率相比，包含视觉刺激的混合刺激在位置相同和位置相反时均对被试对该刺激的反应产生了明显的影响。结合正确率均值处理后的数据，得到位置相同的视觉刺激提高正确率、位置相反的视觉刺激拉低正确率的结论。

数据处理过程主要是对原始数据进行基本的数据过滤，剔除无效数据和异常数据，便于提升下一步分析的准确性；随后进行均值、标准差、标准误差的计算，分类汇总数据，进行简单分析总结；接着利用SPSS数据统计分析方法对数进行科学的统计分析，得到更有说服力的数据，进而进行结论的说明和总结。分析过程中首先使用的excel进行前期的基础处理，随后进行柱形图的绘制，更直观地展示数据、总结规律，利用SPSS进行不同参考条件下的差异对比，分析得到最终结论[6]。

3 讨论分析

3.1 注意视觉和注意听觉的差别

实验结果显示，双通道刺激对注意听觉产生的影响比注意视觉的时候更明显，这说明听觉注意更加容易受到视觉刺激的影响，而听觉刺激对视觉注意的影响则相对较弱。

可以发现，视觉在空间认知上更具优势，所以对听觉的空间判断影响较大，即听觉的空间方向认知上相对比较弱，所以视觉对其干扰比较大。体现在被试对位置一致的刺激的反应明显快于对单独听觉刺激的反应，对位置不一致的刺激的反应则慢于对单独听觉刺激的反应，正确率也有相同的变化趋势；注意视觉位置受听觉刺激的影响则不明显。

当两个通道的信号如果都很强、都很容易、只依靠其中某个通道就可以完成实验任务时，双通道信息整合的效果相对不是很明显[7]。听觉通道判断空间能力比较弱，给出一个辅助的视觉通道空间方位的信息的时候，就会更多的依赖于这两个通道的信息一起作用，一致的时候就促进反应，相反的时候就阻碍了反应。

3.2 针对不同刺激形式结果的讨论

双通道刺激位置一致和不一致表现出的影响不同：一致的双通道刺激会给注意一个正确的提示，使信息更有效地整合，表现为反应时间的加快和正确率的提高，不一致的双通道刺激会误导对注意通道刺激的判断，信息整合也收到干扰，使反应时间变慢，正确率降低。

4 结论

本课题通过选择性注意实验研究人脑视听觉信息处理机制，对视听两通道信息处理之间的影响规律进行研究。通过分析实验数据得到了以下结论：视听两通道信息处理进行融合处理，且相互之间存在影响，视觉刺激在空间位置认知上要强于听觉，因此从其他通道干扰的角度来看，视觉注意受听觉刺激的干扰较小，表现在反应时间和正确率上没有明显的差别，听觉相对视觉在空间位置的感知上较弱，因此容易受到来自视觉刺激的影响，使注意听觉的情况下各种刺激的反应时间和正确率落差较大。

总结这些规律并加以现实意义，可以便捷人们的日常生活：例如，利用视听信息处理之间的辅助作用，进行监控系统的可视可听化，可以对监控内容进行更真实的反应；不同通道信息发出位置的差别可用于车辆停靠引导装置，除了显示屏视觉上的位置提示加上辅助的不同方位的听觉警告提示，视听信息共同提示将会起到更好的引导效果。研究脑电信号对规律进行验证，可以为脑机接口技术提供理论依据，利用脑电信息的特征进行反向的控制，对实现思维控制机械的脑机接口技术具有重大意义。