语义匹配性及刺激间隔对视听双模态脑控字符输入系统的影响

安兴伟，曹 勇，綦宏志，焦学军，明 东1,*



语义匹配性及刺激间隔对视听双模态脑控字符输入系统的影响

安兴伟1+，曹 勇2+，綦宏志3，焦学军2*，明 东1,3*

(1. 天津大学医学工程与转化医学研究院，天津 300072；2. 中国航天员科研训练中心人因工程国防科技重点实验室，北京 100092；3. 天津大学精密仪器与光电子工程学院，天津 300072)

近年来，基于事件相关电位(ERP)的脑控字符输入系统的研究越来越多，视觉与听觉的多模态刺激范式作为一种新型的复合刺激越来越受到关注．然而，研究视听双模态刺激的脑控字符输入系统性能因素的文章却很少报道．本研究旨在初步探究视听觉刺激的语义匹配性以及刺激间隔(SOA)对视听双模态脑控字符输入系统的影响．为此，本研究设计了语义匹配、语义失配两种刺激范式，每种范式又设置两种不同的刺激间隔(200,ms或400,ms)．10名健康被试参与了本实验，通过对比事件相关电位特征、可分性及分类正确率发现视听觉匹配性、刺激间隔以及两者交互作用对非目标刺激大脑反应、目标刺激大脑反应及其可分性都有显著性影响，且视听觉的匹配性对视听联合脑控字符输入系统分类正确率影响显著，但是不同刺激间隔脑机接口分类正确率之间并无显著性差异．本研究的结果能够为基于双模态刺激脑控字符输入系统的范式选择和优化提供一定的指导意见．

脑机接口；事件相关电位；双模态；刺激间隔

近年来，脑机接口(brain computer interface，BCI)技术的迅猛发展为饱受肌肉瘫痪或者肌萎缩性脊髓侧索硬化症(amyotrophic lateral sclerosis，ALS)折磨的患者提供了一种创新型与外界环境交流的方式[1]．确切来说，BCI能够将大脑活动的信号转变为控制信号，以操作特定的外界设备，进而帮助患者在没有肌肉参与的情况下实现与外部环境的交互[2]．在BCI研究中，事件相关电位(event related potential，ERP)是一种备受研究者们青睐的脑电信号．相比于其他常用的基于脑电信号的BCI而言，如基于稳态视觉诱发电位(stable state visual elicited potential，SSVEP)的BCI和基于运动想象(motor imagery，MI)的BCI，基于ERP的脑机接口系统通常被认为更稳定和高效[3]．

在基于ERP脑机接口的相关研究中，又以脑控字符输入系统的研究最为广泛成熟．ERP在20世纪60年代首次被Walter等[4]检测到，是与特定事件的发生和大脑对该事件的认知加工过程密切相关的大脑信号．P300是ERP中的1个重要组成成分，是事件发生后300,ms左右出现的1个正向峰值电位，通常由OddBall范式[5]诱发得到．在过去的几十年里，BCI研究领域的先驱者们已开发了许多非常经典的适用于P300脑控字符输入系统的刺激范式．其中，尤以1988年Farwell等[6]提出的6×6字符矩阵最为经典，并被沿用至今．在该范式中，1个6×6的字符矩阵被呈现在屏幕上，并按照先逐行再逐列顺序(或相反)随机闪烁．用户被要求只注意目标字符闪烁而忽略其他闪烁，以此来组成OddBall范式诱发出P300响应．但一些研究者指出，字符矩阵范式的性能在很大程度上依赖于使用者的注视转移能力[7-8]，因此该范式对眼动控制受限患者具有一定的局限性．为解决这一难题，独立于眼动控制的视觉刺激范式应运而生[9]．除此之外，一些基于其他感官刺激的单模态范式，如听觉和触觉等也被提出[10-12]．不过，这些单模态范式共同的弱点是系统性能表现与视觉刺激范式相比具有明显不足[13]．

随着生物医学工程学科的持续进步，使用者们对字符输入系统的表现性能和用户主观体验也提出了越来越高的要求．综合考虑到眼动能力限制等问题，结合视觉听觉双重刺激的多模态BCI范式[14-18]慢慢走向研究者们的视野．2011年，Belitski等[17]开展了1项在线视听双模态刺激实验，实验主要为基于声音刺激的字符输入系统，采用视觉刺激提供字符所在位置信息进而便于受试者了解目标刺激与非目标刺激，实验得出具有视觉提示的范式其性能高于仅听觉刺激性能的结论．同样的结论在Wang等[15]的研究中也被证实．此外，该研究还发现多模态刺激下的大脑活跃度明显强于单模态刺激，且视听联合刺激的脑电响应与视觉、听觉刺激的脑电响应加和之间也存在显著性的差异．An等[14]从行为学和ERP数据两个角度详细探究了独立于眼动的隐性视听联合范式，其结果表明行为学数据以及大脑活跃度在双模态刺激和单模态刺激之间都存在显著性的差异．

在基于ERP的脑机接口系统中，不同的系统设置参数对系统的性能会产生较大的影响．然而针对影响视听双模态刺激脑控字符输入系统性能影响因素的研究却鲜有报道．文献[19-20]分别探究了刺激闪烁频率和刺激时间间隔特征对系统性能的影响，但该结果仅在传统的字符矩阵实验下得出，在视听联合刺激下是否依然成立仍需实验论证．文献[14-15，21]详细对比了视听联合刺激与仅视觉、仅听觉刺激在系统性能和大脑特性响应之间的区别，但是该实验并没有分析影响视听双模态刺激范式性能因素．为此，笔者研究了视听联合刺激视觉与听觉之间语义匹配性以及相邻刺激时间间隔(stimulus-onset asynchrony，SOA)对脑控字符输入系统性能和大脑响应特性的影响．

1 方法与实验

1.1 受试者

本研究招募了10名年龄在22～33岁(23.9±1.14岁)之间的健康被试，均是在校大学生，且所有被试具有正常的听力和正常或者校正到正常的视力．实验展开之前，所有的被试都提供了书面同意协议书，志愿无偿参与本次实验．

1.2 实验刺激与流程

实验设计了语义匹配和语义失配两种刺激模式，两种模式又均设置两种不同的刺激时间间隔SOA(S：200,ms；L：400,ms)，即实验总共4种刺激范式．将4种范式分别称为语义匹配长间隔范式(L-C)、语义匹配短间隔范式(S-C)、语义失配长间隔范式(L-IC)、语义失配短间隔范式(S-IC)．

本研究4种范式中视觉刺激为4个不同颜色的小写字母．视觉刺激呈现在19寸、显示频率为60,Hz的显示屏上；听觉刺激则为不同的短语音刺激，由分通道呈现的耳机输出．

在语义匹配范式中，听觉刺激是4个与视觉刺激相对应的字母发音，即‘ei’、‘bi’、‘si’、‘di’．视觉与听觉的对应关系如图1(a)所示．音节‘ei’、‘si’在左声道播放，音节‘bi’、‘di’在右声道播放．如当前视觉刺激呈现的是字母‘a’，对应的听觉刺激是短音‘ei’(字母‘a’的发音)，如图1(c)所示．

图1 实验刺激与流程

语义失配范式中，听觉刺激是4个单音节的短音刺激[22-23]：‘ti’、‘to’、‘it’、‘ot’．其中音节‘ti’、‘it’在左声道播放，音节‘to’，‘ot’在右声道播放；且每个声音刺激的发音与视觉呈现的字母之间没有语义上的联系，其对应关系如图1(b)所示．例如，与视觉刺激字母‘a’呈现时，对应的声音刺激是音节‘ti’．

在各个范式中，每个视觉刺激有且只有1个声音刺激与之对应，且视觉刺激和对应的声音刺激同时呈现．视觉刺激与听觉刺激的刺激时间均为130,ms．长间隔范式的SOA为400,ms，而短间隔范式的相邻刺激之间SOA为200,ms．实验范式在e-prime 2.0环境下编写完成．

实验过程分上、下两部分．每部分4种范式以随机顺序进行．每种范式包含分别以4个视听刺激为目标刺激的刺激序列．每个刺激序列包含提示目标刺激、序列呈现两部分(如图1(c)、(d)所示)．提示目标刺激呈现2,s，序列呈现为10试次的4个刺激的随机呈现．刺激序列间休息2,s．

在实验过程中，被试被要求以1个尽量舒适的坐姿直视刺激呈现屏幕中央区域，并尽量减少眼睛和任何其他肢体的移动．

1.3 数据采集与预处理

脑电信号通过64导联的Neuroscan脑电电极帽采集，电极位置参照国际通用标准10～20系统放置．其中参考电极选择鼻尖位置，地电极选择在AFz电极附近．所有电极阻抗都保持在10,kΩ以下．脑电信号的采集频率为500,Hz，由Neuroscan NuAmp脑电放大器放大．

实验数据预处理主要包括变参考电位、ICA去噪、降采样以及数据分段．首先将原信号以左右乳突的平均值作为参考信号；其次，对变参考电位之后的信号进行独立成分分析(independent component analysis，ICA)，并根据分析结果，手动去除眼动干扰和运动伪迹；再次，对去噪后的信号进行带通滤波(0.5～40,Hz)，并降采样到200,Hz；最后，将每个刺激对应的刺激前200,ms到刺激后800,ms的数据进行分段．

1.4 可分性与分类算法

为了获得更好的分类效果，研究分析了每个通道在任意时刻目标刺激与非目标刺激信号之间的可分性．可分性通常用2来描述，即

式中：T和N分别为目标刺激和非目标刺激信号的样本大小；T和N分别为目标刺激和非目标刺激脑电响应的特征向量．

通常情况下ERP目标刺激与非目标刺激的可分性决定了脑控字符输入系统的分类正确率．因此，对2值的分析，能够为选择恰当的分类特征点提供数学理论基础．本文中用到了2个最为典型和常用的机器学习算法：支持向量机(support vector machine，SVM)和逐步线性判别(stepwise linear discriminant analysis，SWLDA)．具体说来，SVM在处理小样本、非线性以及高维度的模式识别问题上表现出了很多独特的优势．SVM是一种二类分类器，基本模型可以描述为特征空间上间隔最大的线性分类器，它通过引入1张离2个模式距离最大的超平面实现2个模式的区分，SVM算法已经在LibSVM中实现[24]. SWLDA是线性判别式(linear discriminant analysis，LDA)的扩展算法．相比于LDA算法，SWLDA最主要的区别就在于它能够根据需要挑选出最佳的特征以获得较好的分类表现性能．

1.5 统计学方法

采用基于bootstrapping的统计学分析方法，诸如配对T检验以及单因素、双因素方差分析来刻画几种不同范式在系统性能以及大脑响应特性上的差异．作为由Efron[25]开发的一种新的统计学分析方法，bootstrapping分析的实现不依赖于样本的分布特性，这也是该分析方法相比传统的配对检验和方差分析最大的优势所在．具体说来，bootstrapping通过对已有的原样本多次进行重采样(通常迭代次数为1,000次左右)，并以此来估计样本的分布．因此，可根据所得的分布确定置信区间，进而判断不同范式下的结果差异是否显著．此外，当数据进行多次比较时，采用FDR校正方式对结果进行校正．更多有关bootstrapping分析方法的学习资料可以参考文献[26].

2 结 果

2.1 事件相关电位对比

为了对比不同刺激配置下大脑响应特性之间的差异，研究中采用bootstrapping双因素方差分析，对不同范式目标和非目标事件刺激下的ERP信号进行全时空对比，分析结果经过FDR校正，结果如图2所示．图2(a)上半部分为bootstrapping分析结果值在所有导联以及时间内的时空分布；下半部分为特定时刻值在所有导联上的空间分布．图2中所有色块图都共享右下方颜色区间标注，深蓝色区域表示因子对信号影响显著，且≤0.01；浅蓝色区域表示因子对信号影响显著，且0.01＜≤0.05；白色区域表明因子对信号在该时刻、该空间无显著性影响，＞0.05．从图2(a)中可以看出，在非目标刺激下，SOA 对被试大脑响应特性影响主要集中在200,ms左右的颞叶和枕叶、340,ms左右的额叶和顶叶；视听觉刺激之间匹配性对200,ms和340,ms左右的全脑区的影响都显著；两者交互作用影响主要在刺激开始时刻以及ERP的后期成分(560,ms左右)．SOA对目标刺激的影响主要体现在200,ms和400,ms的顶叶；语义匹配性在200,ms对全脑区都有影响，在340,ms和560,ms左右的顶叶也有显著性影响；SOA和语义匹配性的交互作用影响主要体现在200,ms的额叶和颞叶以及560,ms左右部分顶叶．

图3显示了3个典型导联(FC5、CZ、P7)在不同刺激配置下的大脑响应ERP．其中绿色曲线S-IC代表短时间间隔(200,ms)语义失配刺激，蓝色曲线S-C代表短时间间隔(200,ms)语义匹配刺激，粉色曲线L-IC代表长时间间隔(400,ms)语义失配刺激，红色曲线L-C代表长时间间隔(400,ms)语义匹配刺激．

从图3中可以看出，目标刺激和非目标刺激所诱发的脑电信号明显不同．目标刺激在200,ms附近有1个明显的负电位，通常被称为N200成分；在200～400,ms之间的正电位通常被称为P300成分．通过各个参数设置下非目标刺激的波形可看到不同范式在FC5和CZ导联处从刺激开始时刻就表现出较大的差异，长时间与短时间间隔范式在刺激后200,ms处在3个导联均存在差异，且长时间间隔范式的幅值(负向)要大于短时间间隔范式的幅值．从图3中给定的3个导联来看，语义失配刺激诱发的ERP响应幅度大于语义匹配刺激的幅值；短时间间隔(SOA＝200,ms)刺激诱发的ERP相应幅度较长时间间隔(SOA＝400,ms)刺激来说更大．此外，在这4种模式中，P300成分幅值最大的是语义失配短时间间隔范式．

图3 不同刺激参数下ERP波形对比

从图3分析的结果中可以得出：①任务难度越大，则相对诱发出的ERP各个成分也会相应更大．一般地，从神经生理学角度来看，刺激间隔越短，被试越需要集中更多的注意力以捕捉到目标刺激．同样地，对于视听语义之间的匹配性而言，失配的刺激难度更高，也需要被试投入更多的注意力．而ERP中的P300成分恰好是反映被试注意投入程度的一个指标；且被试越专注于目标刺激的出现，则诱发的事件相关电位中P300成分强度也越强．这一结论从一定程度上揭示了上述结果的产生．②刺激间隔与语义匹配性对视听双模态非目标刺激的影响要大于目标刺激．一方面刺激间隔的长短影响了非目标刺激出现的频率，从而影响了非目标刺激的波形特性，而对目标刺激出现频率的影响并不大；另一方面大脑对语义匹配和失配刺激的响应可能来源于不同的反应机制，从而导致波形的不同．然而对于目标刺激的响应作为选择性刺激，属于内源性大脑认知反应，语义匹配性的影响并不大．

2.2 可分性对比

可分性是描述目标刺激与非目标刺激大脑响应ERP之间差异的一个变量，通常可由式(1)计算得到．本文计算了4种刺激配置下全时空的可分性，并采用bootstrapping双因素方差分析方法对比了SOA、语义匹配性以及两者的交互作用对ERP信号可分性的影响，分析结果经FDR校正，如图4所示.深蓝色区域表示因子对信号影响显著，且≤0.01；浅蓝色区域表示因子对信号影响显著，且0.01＜≤0.05；白色区域表明因子对信号无显著性影响，＞0.05．由图4可以看出，SOA的长短仅在200,ms左右的顶叶对可分性有显著性影响．视听觉之间的匹配性在200,ms附近的额叶、顶叶以及430,ms左右的顶叶和颞叶、枕叶左半部分影响都显著．除此之外，两者的交互作用在300,ms左右的前额叶、顶叶对可分性影响显著．根据可分性的分析结果，最后选取的特征点位于180～280,ms、300～450,ms、480～530,ms 3个时间窗内，并降采样到40,Hz．选取的导联为在上述3个特征窗口内有着最大可分性的10个导联(CZ、PZ、CPZ、OZ、PO7、PO8、FC1、FC2、FC5、FC6)．因此，每个事件刺激选取了10×12＝120个特征点用以分类器的建模识别．

图4 不同刺激参数下可分性对比

2.3 离线分类正确率

根据可分性结果所选择的信号特征分别用SWLDA和SVM对数据进行分类．图5显示了在语义匹配(C)、语义失配(IC)两种范式下，SOA分别为200,ms和400,ms时得到的离线分类正确率．图5横坐标中“S”表示短间隔刺激，SOA为200,ms，“L”表示长间隔刺激，SOA为400,ms．在SWLDA分类算法下，10名被试S-IC、L-IC、S-C、L-C范式的平均分类正确率分别为70.7%,、73.9%,、68.8%,以及74.8%,．在SVM分类算法下，分类结果有些许下降，分别为66.4%,、67.3%,、62.7%,和68.1%,．

图5 不同参数下单次提取分类正确率

从图5可以看出：尽管SWLDA和SVM两种分类算法得到的结果有所差异，但分类结果的总体趋势显示，长间隔范式脑控字符系统分类正确率要高于短间隔范式的分类正确率；此外，语义匹配性对短间隔范式的分类正确率影响较大，而对长间隔范式的分类正确率影响并不大；最后，基于bootstrapping的双因素方差分析被用以验证语义匹配性和SOA对分类正确率的影响．

本文主要研究视听双模态刺激语义匹配性及刺激间隔的长短对分类正确率的影响．每类都有两种情况，因此，用双因素方差分析来检验各因素以及因素间的交互作用对最终分类结果的影响. Bootstrapping的检验结果表明，尽管长间隔范式得到的分类正确率更高，但SOA对分类正确率的影响并不显著 (＞0.05)．语义匹配性对分类结果影响显著：在SWLDA分类算法下，(1，9)＝15.6，＝0.003；在SVM分类算法下，(1，9)＝6.3，＝0.03．两者的交互作用在SVM分类结果中影响同样显著：(1，9)＝5.0，＝0.05．

分类正确率的高低与可分性大小密不可分．图4中显示的不同实验配置参数下可分性bootstrapping分析结果在一定程度上也可以为系统离线分类正确率之间的差异做出解释．语义匹配性对分类正确率影响显著，同样的语义匹配性对可分性的影响在选定的导联和时间窗内都有显著性影响.刺激时间间隔对分类正确率影响并不显著，对应地，可分性的对比结果也仅在极少数导联处显示出差异.

3 结 语

本文设计了2(语义匹配、语义失配)×2(SOA 200,ms、SOA 400,ms)＝4种刺激参数配置实验范式，初步探究了视、听觉之间语义匹配性以及SOA对视听双模态脑控字符输入系统性能和大脑响应特性之间的影响．ERP的分析结果表明，语义匹配性、刺激时间间隔对非目标及目标刺激下大脑响应均存在显著性差异，且对非目标刺激的影响大于对目标刺激的影响；语义匹配性对脑控字符输入系统离线的分类正确率影响显著，而SOA对分类正确率并无显著性影响；语义匹配并不能带来ERP信号幅值和分类正确率的优化，相反，较高难度的任务即语义失配反而能诱发高幅值的ERP信号及高的分类正确率；由于时间间隔对分类正确率的影响并不显著，这就提示在范式设计时，在被试可接受的任务难度下可选择语义失配的短时间间隔范式进行实验．本研究得到的结果对后续视听相关的脑控字符输入系统的范式选择及优化研究具有重要的参考价值．

［1］ Wolpaw J，Wolpaw E W.：[M]. USA：OUP，2012.

［2］ Wolpaw J R，Birbaumer N，Heetderks W J，et al. Brain-computer interface technology：A review of the first international meeting[J].，2000，8(2)：164-173.

［3］ Mak J N，Wolpaw J R. Clinical applications of brain-computer interfaces：Current state and future prospects [J].，2009，2(1)：187-199.

［4］ Walter W，Cooper R，Aldridge V J，et al. Contingent negative variation：An electric sign of sensori-motor association and expectancy in the human brain[J].，1964，203(4943)：380-384.

［5］ Fabiani Monica，Gratton Gabriele，Karis Demetrios，et al. Definition，identification，and reliability of measurement of the P300 component of the event-related brain potential[J].，1987，2(S1)：1-78.

［6］ Farwell Lawrence Ashley，Donchin Emanuel. Talking off the top of your head：Toward a mental prosthesis utilizing event-related brain potentials[J].，1988，70(6)：510-523.

［7］ Brunner P，Joshi S，Briskin S，et al. Does the P300 speller depend on eye gaze?[J].，2010，7(5)：056013.

［8］ Treder M S，Blankertz B. (C)overt attention and visual speller design in an ERP-based brain-computer interface [J].，2010，6(1)：6-28.

［9］ Treder Matthias Sebastian，Schmidt Nico Maurice，Blankertz Benjamin. Gaze-independent brain-computer interfaces based on covert attention and feature attention [J].，2011，8(6)：066003.

［10］ Guo Jing，Gao Shangkai，Hong Bo. An auditory brain-computer interface using active mental response[J].，2010，18(3)：230-235.

［11］ Brouwer Anne-Marie，van Erp Jan B F. A tactile P300 brain-computer interface[J].，2010，4(19)：1-11.

［12］ Riccio Angela，Mattia Donatella，Simione L，et al. Eye-gaze independent EEG-based brain-computer interfaces for communication[J].，2012，9(4)：045001.

［13］ Aloise F，Lasorsa I，Schettini F，et al. Multimodal stimulation for a P300-based BCI[J].，2007，9(3)：128-130.

［14］ An Xingwei，Höhne Johannes，Ming Dong，et al. Exploring combinations of auditory and visual stimuli for gaze-independent brain-computer interfaces[J].，2014，9(10)：e111070.

［15］ Wang Fei，He Yanbin，Pan Jiahui，et al. A novel audiovisual brain-computer interface and its application in awareness detection[J].，2015，5：9962.

［16］ Chang Moonjeong，Nishikawa Nozomu，Cai Zhenyu，et al. Psychophysical responses comparison in spatial visual，audiovisual，and auditory BCI-spelling paradigms[C]//，. Kobe，Japan，2154-2157.

［17］ Belitski A，Farquhar J，Desain P. P300 audio-visual speller[J].，2011，8(2)：025022.

［18］ Chang M，Nishikawa N，Struzik Z R，et al. Comparison of P300 responses in auditory，visual and audiovisual spatial speller BCI paradigms[J].，2013.

［19］ McFarland D J，Sarnacki W A，Townsend G，et al. The P300-based brain-computer interface(BCI)：Effects of stimulus rate[J].，2011，122(4)：731-737.

［20］ Lu Jessica，Speier William，Hu Xiao，et al. The effects of stimulus timing features on P300 speller performance [J].，2013，124(2)：306-314.

［21］ 安兴伟. 基于数字拼写的视-听联合刺激诱发 ERP 研究[D]. 天津：天津大学精密仪器与光电子工程学院，2010.

An Xingwei. Research on Event-Related Potentials(ERP)Evoked by Visual-Auditory Cross Stimulation Based on Number Speller[D]. Tianjin：School of Precision Instrument and Opto-Electronics Engineering，Tianjin University，2010(in Chinese).

［22］ Höhne Johannes，Krenzlin Konrad，Dähne Sven，et al. Natural stimuli improve auditory BCIs with respect to ergonomics and performance[J].，2012，9(4)：045003.

［23］ An Xingwei，Ming Dong，Sterling Douglas，et al. Optimizing visual-to-auditory delay for multimodal BCI speller[C]//2014 36. Chicago，USA，2014：1226-1229.

［24］ Chang Chih-Chung，Lin Chih-Jen. LIBSVM：A library for support vector machines[J].()，2011，2(3)：1-27.

［25］ Efron Bradley.：[M]. New York，USA：Springer，1992.

［26］ Hesterberg T，Moore D S，Monaghan S，et al. Bootstrap methods and permutation tests[J].，2005，5：1-70.

(责任编辑：王新英)

Effects of Semantic Congruency and Stimulus-Onset Asynchrony onAudiovisual Bimodal Stimuli Based BCI Speller

An Xingwei1+，Cao Yong2+，Qi Hongzhi3，Jiao Xuejun2*，Ming Dong1, 3*

(1. Academy of Medical Engineering and Translational Medicine，Tianjin University，Tianjin 300072，China；2. National Key Laboratory of Human Factors Engineering，China Astronaut Research and Training Center，Beijing 100092，China；3. School of Precision Instrument and Opto-Electronics Engineering，Tianjin University，Tianjin 300072，China)

In recent years，researches on event-related potential(ERP)-based brain computer interface(BCI)speller have become increasingly popular．Visual and auditory based multimodal stimuli paradigms as new paradigms have attracted more and more attention．Studies on the effect of experimental parameters on system performance of visual-auditory stimuli based BCI speller have rarely been reported．This study aims at investigating the effects of audiovisual semantic congruency and stimulus-onset asynchrony(SOA)on audiovisual bimodal stimuli based BCI speller．Therefore，two audiovisual paradigms(semantic congruent and semantic incongruent)with two different SOAs(200,ms and 400,ms)were adopted，and 10 healthy subjects participated in the experiment．ERP，discrimination of targets and non-targets，and classification accuracy were analyzed．Results indicated that semantic congruency，SOA and the interaction factors have significant effect on the brain response and discrimination of target and non-target stimuli．Semantic congruency also has significant effect on system classification accuracy，whereas no significant difference was found on factor SOA．This study could provide a theoretical guidance for the design of new paradigms on visual and auditory based bimodal BCI speller.

brain-computer interface(BCI)；event-related potential(ERP)；bimodal；stimulus-onset asynchrony (SOA)

10.11784/tdxbz201702038

R318

A

0493-2137(2018)01-0103-08

2017-02-21；

2017-06-06.

+并列第一作者：安兴伟(1985—  )，女，博士，anxingwei@tju.edu.cn；曹 勇(1993—  )，男，硕士研究生，caoyong_93@163.com.

明 东，richardming@tju.edu.cn；焦学军，jxjisme@sina.com.

国家自然科学基金资助项目(61603269，81671861，81630051)；中国博士后科学基金资助项目(2017M610162)．

the National Natural Science Foundation of China(No.,61603269，No.,81671861 and No.,81630051)and the China Postdoctoral Science Foundation(No.,2017M610162).