一种基于两种不同范式的混合型脑-机接口系统

李 翔 高小榕 高上凯

(清华大学医学院生物医学工程系，北京 100084)

引言

脑-机接口接口(brain-computer interface，BCI)是一种使大脑能够不依赖外周神经和肌肉通道，而与外部环境进行交互的系统［1］。BCI系统采集大脑的信号，通过信号处理算法提取其中特征进行分类，并将结果翻译成外部设备的控制命令。BCI为改善肌萎缩性脊髓侧索硬化、脑干中风、脊髓损伤、脑瘫、肌萎缩等病症患者的生活质量提供了新的可能。

目前的BCI系统绝大部分基于单一模式的脑电信号，包括视觉诱发电位、P300事件相关电位、慢皮层电位和与运动想象相关的mu/beta节律等。随着BCI技术的发展，借助单一模式脑电信号的BCI系统，要想进一步提高信息传输率已经比较困难。此外，特定的单一模式的固有缺点也是制约 BCI性能提高的瓶颈。因此开始有人通过研究不同感觉模式混合控制的 BCI，为BCI系统性能的进一步提高提供了一种新的途径。

混合模式脑-机接口(hybrid brain-computer interface，hybrid BCI)是指在一种感觉模式的 BCI的基础上，加入新的控制方式进行混合控制的BCI。这里所说的新的控制方式，可以是另一种感觉模式的BCI，也可以是由诸如眼动、心率、血流变化等生理信号产生的控制方式［2］。

混合模式BCI按照其混合控制的方式可以分成两种基本类型:串行(sequential)模式和并行(simultaneous)模式［2］。串行模式中两种不同的感觉模式按先后顺序进行控制，此类系统可以有效降低系统的假阳性率;而并行模式则是两种感觉模式同时协同进行控制，相当于增加了系统可识别的任务数。

Pfurtscheller等进行过多种混合模式 BCI的尝试，包括基于运动想象和稳态视觉诱发电位(steadystate visual evoked potential，SSVEP)的 BCI，基于近红外光谱(near-infrared spectroscopy，NIRS)开关控制SSVEP的BCI，引入心率控制模式的 BCI以及引入眼睛注视控制模式的 BCI等，取得了一定的成果［2］。

李远清等完成了一套可以进行二维光标控制的BCI系统，光标在水平和竖直方向的运动分别由运动想象和P300电位两种模式进行控制。这是一种并行混合的系统，采用了两种相对独立的控制信号，可以控制光标在屏幕上的自由运动［3］。

观察现有的混合两种脑电范式的 BCI系统，可以发现它们都采用了诸如SSVEP及P300这样的需要引入较强视觉刺激的范式，长时间使用容易对使用者的眼睛造成一定损害，同时也容易产生疲劳，降低了系统的实用性。因此本研究希望通过结合运动想象和运动起始时刻视觉诱发电位这两种都不需要借助强烈刺激的范式，开发出一套实用性较强的BCI系统。

运动想象主要提取的特征是大脑感觉运动皮层mu/beta节律的能量变化。mu节律是一种自主的脑电节律信号，它产生于感觉运动皮层，频率范围为8～12 Hz。通常mu节律出现的同时还伴有18～26 Hz的beta节律出现，肢体的真实运动和运动想象中伴随着感觉运动皮层mu/beta节律的事件相关去同步化/同步化(event-related desynchronization/synchronization，ERD/ERS)［4］。

运动起始时刻视觉诱发电位(motion-onset visual evoked potential，mVEP)是一种产生于大脑middle temporal area(MT)和medial superior temporal area(MST)由视觉运动刺激引起的皮层电位，具有较大的幅度和较小的受试差异性［5］。

运动想象的特点是响应速度快，但是可识别目标数少;而借助运动起始时刻视觉诱发电位可以实现较多的可识别目标数，但做一次判断需要的时间较长。因此将这两种范式结合起来实现混合控制具有独特的优势。本研究实现了一种基于运动想象及运动起始时刻视觉诱发电位的混合型BCI系统，初步评估了其性能并提出了今后改进的方向。

1 方法

1.1 实验范式

本研究基于运动想象和mVEP的混合控制实现了一套字符输入系统。系统在Matlab R2010b环境下编写，显示界面部分运用了Psychtoolbox-3工具箱实现，样式如图1所示。界面的主体部分是一个6×6的方框阵列，每个方框分别代表一个目标，所有目标包含全部26个英文字母和数字0～9。方框内部显示mVEP的视觉刺激，通过mVEP的分类判断使用者在注视哪一个方框，从而选出该方框代表的目标并显示在屏幕上方。

屏幕左右两侧靠近边沿的位置会显示可以向两侧伸长的横条，代表了一段时间内左手和右手运动想象的强度。如果在一段时间内一侧的横条达到一定长度，则判断使用者正在进行相应侧手的运动想象，据此进行界面开关或切换输入下一字符的操作。例如识别为左手运动想象，则将字符输入界面关闭;识别为右手运动想象时，若字符输入界面未开启，则开启界面;若界面已开启，则开始输入下一字符。

系统的混合控制采用串行的方式，保证两种感觉模式不会产生相互干扰。系统具有两种工作状态，一种是字符输入的状态，在这种状态下只有mVEP的范式在工作;另一种是非字符输入的“空闲”状态，在这种状态下只进行运动想象的判断。

图1 字符输入系统界面Fig.1 The interface of character input system

运动想象的分类基于感觉运动皮层 C3、C4两个导联及其周围区域 mu节律的 ERD，使用了两侧分别以C3、C4为中心的各9个导联以及 FCz共19个导联的信号。系统处于非字符输入的状态时每0.5 s进行1次运动想象的判断，每次判断采用的数据窗长为1 s，如果判断为某侧手的运动想象，则将界面上代表该侧的横条加长1格。如果在3s内进行的6次判断中，有4次以上被识别为同一侧手的运动想象，则会进行1次操作，否则认为使用者处在空闲状态。

mVEP 的分类使用了脑后的 P3、P4、P7、P8、Pz以及O1、O2、Oz共8个导联的信号。刺激呈现的形式是在方框中部出现一个竖条，并迅速向左侧运动，持续约150 ms后消失。如果使用者在此期间注视该方框，则会记录到由此运动目标引发的 mVEP响应。刺激会在一整行或一整列的方框中同时出现，出现时向放大器发出一个同步信号，用于标记刺激出现的起始时刻。每一轮按照随机的顺序扫描完所有的行和列。在训练阶段，使用者依次注视沿对角线的6个目标，系统提取出相应目标内的刺激引发的响应用于训练分类器。在测试阶段，刺激每呈现4轮后会进行一次判断，找出使用者注视的行列对应的目标。

1.2 信号采集

系统采用Neuroscan SynAmps2脑电放大器采集脑电数据，采样率为1000 Hz，共采集27导联，电极的位置如图2所示。其中包括用于运动想象的分类的位于感觉运动皮层的19个导联以及用于mVEP的分类的后部8个导联。以双耳乳突为参考，此外还记录一个同步信号导联用于mVEP的数据分割。信号采集计算机接收由放大器发出的脑电信号，再通过网络发送给信号处理计算机，如图3(a)所示。

图2 系统使用的27导联电极位置分布Fig.2 The scalp map of 27 electrodes used in this system

1.3 数据处理

在进行实际的控制之前，使用者需要单独进行运动想象和mVEP两种范式的训练，以获得相应的分类器。实际控制时，采集的脑电信号经过提取后获得的不同特征分别输入到两个分类器，运动想象分类器的输出结果负责界面的开关和开始输入下一字符的控制;mVEP分类器的输出结果决定了输入的是哪个字符，如图3(b)所示。

运动想象的特征提取采用共迭代时空模式(iterative common spatial-temporal patterns，ICSTP)方法，相比于流行的共空间模式(common spatial patterns，CSP)方法，ICSTP用与空域滤波器设计相同的广义特征值问题优化时域滤波器，避免了人工选择时域滤波器的弊端［6］。在提取特征之后，采用线性核的支持向量机作为特征分类方法。

图3 系统结构框图。(a)整体脑电信号传输流程;(b)信号处理计算机上的控制流程框图Fig.3 System diagram.(a)Overall EEG signal transmission process;(b)Control flow diagram in signal processing computer

mVEP的特征提取主要依据其时域的波形特征。将进行1～10 Hz带通滤波后的数据按照刺激呈现的起始时刻进行分割，将同一目标下相邻4次刺激诱发的波形进行叠加平均，以获得特征较为明显的视觉诱发电位，降采样后得到的样本点用于训练线性核的支持向量机［7］。在进行多目标分类的时候，为了提高分类正确率，采用了整合空间轮廓(integrating spatial profile)的方法［8］。

2 实验

完成实验全过程的共有5名受试者，其中受试者1和2具有相对丰富的运动想象训练经验，受试者2具有相对丰富的mVEP训练经验。对于每名受试者，在开始实际的混合控制之前都需要完成两种范式的单独训练。由于mVEP特征随时间变化的差异较小，范式的稳定性较强，而运动想象特征随时间的变化可能较大，且较依赖受试的状态，故首先进行mVEP的训练，后进行运动想象的训练，运动想象一旦训练好马上投入测试，以保证受试者的状态。

mVEP的训练共分两组，每组沿着字符面板的对角线依次注视6个目标，注视每个目标期间经过10轮刺激，共120轮刺激，训练持续时间约8 min。

在运动想象训练时，作为视觉反馈，每次有1个小球从屏幕下方向上方匀速运动，4 s内到达顶部，在此期间小球在水平方向上的运动由运动想象分类器的输出结果控制，对应于左手、右手的想象和空闲状态，共有向左、向右和方向不变等3种状态。屏幕上方会依据想象任务而在两侧显示目标区域，如果最后小球击中此区域则认为任务成功完成。每组训练任务结束后，系统会根据扩充后的数据集重新训练分类器，以求在训练过程中能达到较好的反馈效果。

运动想象的训练共分为8组，每组10次，想象左手和右手运动的任务交替进行。每次包含3 s的想象准备时间、4 s的想象任务和3 s的结果显示及休息时间，另外每两组之间有10 s的休息时间，训练持续时间约15 min。

所有的训练工作完成后进入测试阶段，受试者被要求首先通过运动想象打开字符输入的面板，按照顺序输入10个字符，每输入完一个字符后系统会给出开始输入下一字符的提示，等待受试者通过运动想象操作开始输入，并记下从提示开始到实际开始的时间。以上实验重复3轮，受试共输入30个字符。

3 结果

在实验过程中，经过一定训练的受试者能够顺利完成界面的开关和字符的输入，过程中不需借助其他非脑电途径的帮助，并且在较长的实验时间内并未明显感到疲劳。统计出每名受试者通过运动想象进行单步操作的平均时间以及字符输入的准确率如表1所示。

表1 不同受试的单步运动想象操作平均时间及字符输入准确率Tab.1 Average time of the single-step motor imagery operation and character input accuracy of different subjects

4 讨论

从表1可见，在运动想象操作环节，不同受试者的情况存在较大差异，其中具有相对丰富运动想象训练经验的受试者1和2进行单步操作所用的时间显著低于其他受试者。而在字符输入的环节，大部分受试者都能达到较高的准确率，尤其是具有较丰富经验的受试者2;受试者1准确率较低的原因在于诱发出的mVEP成分幅度显著低于其他受试者，特征不显著。

不同的受试者在不同范式下的表现各有差异，造成这种情况的主要原因是脑电信号的特征，包括强度、频段、分布区域等随着受试者不同都会有所差别。即便是像mVEP这种由视觉刺激诱发产生的响应，不同受试者由同样刺激诱发出的响应特征也可能具有较大差异，而像运动想象的 mu节律这种完全自主产生的脑电信号，受试者间的差异更为明显。在这种情况下，除了在信号处理领域寻求更好的方法进行特征提取和分类外，受试者的训练也是提升BCI的人机交互性能的一个重要方面。已经有不少例子表明，适当的训练有助于提高受试者在BCI系统使用中的表现。

对比基于单一感觉模式的BCI系统，本系统显现出了明显的优势:与单纯的运动想象控制相比，引入mVEP范式扩充了任务目标数，使得系统可以完成字符输入这种复杂的任务;而与单纯的 mVEP控制字符输入相比，引入运动想象范式使得系统有了一种较灵活的控制方式。原先需要借助外界条件完成的开启、关闭和切换输入字符等功能，现在可以直接通过使用者的脑电控制完成，提高了作为一种BCI系统的完善性和实用性。

目前在本系统的运动想象操作环节采用的是比较保守的控制策略，即通过在一段时间内计算各种分类可能获得的票数，只有超过一定多数的情况才会被判断执行。实际上这是为了降低误操作概率而做出的一种折中。对于具有较强运动想象能力的受试者来说，目前的这套控制参数可能制约了他们的表现，因此这部分的控制策略在未来有必要进行优化，以更好地适应不同水平的使用者。

5 结论

本研究提出并实现了一种基于运动想象及运动起始时刻视觉诱发电位的混合型 BCI系统，并且通过实验证明了这套系统的可行性。本研究从一个方面再一次验证了混合不同感觉模式是提高BCI系统性能的一种有效手段。

［1］Wolpaw JR，Birbaumer N，McFarland DJ，et al.Brain-computer interfaces for communication and control［J］. Clinical Neurophysiology，2002，113(6):767－791.

［2］Pfurtscheller G，Allison BZ，Brunner C，et al.The hybrid BCI［J］.Frontiers in Neuroscience，2010，4(Article 42):1 －11.

［3］LI Yuanqing，WANG Chuanchu，ZHANG Haihong，et al.An EEG based BCIsystem for2D cursorcontrol［C］//International Joint Conference on Neural Networks 2008，Hong Kong:2008:2214－2219.

［4］Pfurtscheller G，Lopes da Silva FH.Event-related EEG/MEG synchronization and desynchronization:basic principles［J］.Clinical Neurophysiology，1999，110:1842－1857.

［5］Guo Fei，Hong Bo，Gao Xiaorong，et al.A brain-computer interface using motion-onset visual evoked potential［J］.Journal of Neural Engineering，2008，5:477－485.

［6］段放，高小榕.一种基于运动想象的脑-机接口时空滤波器迭代算法［J］.中国生物医学工程学报，2011，30(1):11－16.

［7］Hong Bo，Guo Fei，Liu Tao，et al.N200 －speller using motiononset visual response ［J］.Clinical Neurophysiology，2009，120:1658－1666.

［8］Zhang Dan，Xu Honglai，Wu Wei，et al.Integrating the spatial profile of the N200 speller for asynchronous brain-computer interfaces［C］//Proceedingsof 33rdAnnualInternational Conference of the IEEE EMBS.Boston:IEEE，2011:4564－4567.