IR和SSVEP双模式融合脑-机接口研究

官金安，廖婉戎*，李东阁，周到，高军峰

（1 中南民族大学 医学信息分析及肿瘤诊疗湖北省重点实验室& 认知科学国家民委重点实验室，武汉430074；2 华中科技大学 同济医学院附属协和医院，武汉430022）

脑-机接口（Brain-computer Interface，BCI）是一种不依赖于外周神经和肌肉通道，直接将大脑活动信号转换为控制外部设备命令的通信技术［1］.如今，BCI 在医疗康复、人工智能、娱乐等领域都显示出了巨大的发展潜力［2］.BCI 技术的快速发展，使它向实用化迈进了一大步，但大部分BCI 基于单一模式的脑电（Electroencephalogram，EEG）信号，存在可识别任务数有限、信息传输率低、自适应能力弱等问题［3］，不利于开发实用化BCI.多模式BCI 作为一种新的解决方法被提出，通过以串行或并行的工作方式融合不同模式的EEG 信号，能够有效克服单一模式BCI的局限性［3］.

近十年来，已有许多研究人员尝试将不同模式的EEG 信号融合，通过优势互补建立一个更可靠的BCI 系统.基于P300 和稳态视觉诱发电位（Steady-state Visual Evoked Potential，SSVEP）的EEG诱发模式因具有只需要进行很少训练就能得到较高信息传输率的优点，被广泛应用于多模式BCI［4］.BI 等人融合SSVEP 和P300 分别用于控制光标的方向和速度，实现了光标连续、稳定移动［5］.华南理工大学BCI 研究小组借助融合P300 和运动想象电位的BCI 系统，开发了因特网浏览器、电动轮椅、游戏等应用，增加了BCI 系统的可操作性［6］.SUREJ 等人同时利用SSVEP和P300控制机器人的移动方向，改进了系统的准确性和可靠性［7］.在相关研究中，多模式BCI 总是显示出比单一模式BCI 更好的系统性能［8-10］.

目前为止，还没有多模式BCI 利用模拟阅读（Imitating-reading，IR）和SSVEP的研究报道.我们研发的IR-BCI 双页字符输入系统有效地改进了传统BCI 的系统性能，能够完成生活中较为复杂的通讯任务［11］.与一般字符输入系统不同，该系统将49 个字符分布成两页显示，采用的双页模式与单页模式相比大幅提高了信息传输率.不足的是完成一次字符输入需要进行两次特征识别，耗时较长，难以满足实际应用.因此，本文尝试将具有较好性能的SSVEP 融入IR 范式，设计一种新型的双模式并行控制的脑-机接口系统（简称为IS-BCI系统）.

在本文提出的融合BCI 系统中，IR 和SSVEP 范式同时用于识别目标字符的列和行，通过行列交叉的方式判断字符的位置.为了将SSVEP 融入IR 范式，设置两个由靶标符号和非靶标符号构成、颜色不同的刺激符号串.实验中，两个刺激符号串平滑过每个字符下方的小视窗，并进行周期性交换，以同时产生IR和SSVEP两种范式刺激.在该融合模式下，进行一次特征识别就可以完成单个字符的输入，理论上可将信息传输率提高将近1倍.

1 实验范式及数据采集

1.1 实验范式

本研究在IR-BCI 双页字符输入系统上进行改进，设计一种融合IR 和SSVEP 的双模式BCI 系统.图1是双模式BCI系统的显示界面示意图，为7×7的矩阵形式，包含了49 个字符（26 个英文字母，0~9 的10个数字，以及13个键盘上常用的功能符号）.字符以键粒的方式分布，每个键粒由上下两个部分组成，上部分标注对应字符的名字，下部分是显示刺激符号的小视窗.

图1 双模式BCI系统显示界面示意图Fig.1 The display interface diagram of bimodal BCI system

IR 是由中南民族大学认知科学国家民委重点实验室首次提出的一种BCI 诱发范式，它使受试者像在阅读文本一样通过连续无突变视觉刺激来获取相应的信息［11-12］.IR 范式采用由非靶标符号和靶标符号组成的刺激符号串来诱发事件相关电位（Event-related Potential，ERP）.非靶标符号和靶标符号结构相同，唯一的区别是靶标符号中间的竖线被染成红色作为靶标，而非靶标符号没有，分别如图2（a）、（b）所示.刺激符号串由一个靶标符号和若干个非靶标符号构成，如图2（c）所示.在IR 范式中不同的刺激符号串样式对受试者的影响不同，实验表明受试者对于图2 所示的刺激符号串比较敏感，能诱发出质量较高的ERP，获得较好的识别正确率［12］.刺激符号串滑动过程如图3所示.

图2 模拟阅读范式刺激符号串Fig.2 The stimulus symbol string of imitating-reading

图3 刺激符号串滑动过程Fig.3 Sliding process of stimulus symbol string

本研究选择将SSVEP融入IR模式，有以下几个原因：（1）IR 和SSVEP 信号的产生机制不同，特征表现形式也不同.IR 是受试者在受到靶标刺激后产生的ERP 电位，在大脑的顶-中心区反应较为强烈，表现为时域特征即刺激出现后产生的N2-P3 复合波.而SSVEP 是受试者在受到固定频率刺激时，在大脑枕叶区产生的具有和刺激频率相同频率以及倍频成分的EEG 信号，表现为频域特性.所以可以通过不同位置的电极采集到两种EEG 信号，并从混合信号中分离出两种目标特征.（2）SSVEP 和IR 信号都属于视觉诱发EEG 信号.IR 是主动意识诱发，而SSVEP 是被动诱发，两种诱发模式互不干扰，能够在同一界面上以并行的方式运行，理论上可将提高信息传输率提高约1 倍.（3）两者都不需要受试者进行训练也能获得较好的信息传输率，具有系统简单、实时性好的优点.

为了同步诱发SSVEP，在已有工作基础上设计两种除了颜色完全相同的符号串，符号串1 的颜色为白色，符号串2的颜色为灰色，其灰度值为128，分别如图4（a）、（b）所示.两个符号串按照设定的时间进行交换，从而实现SSVEP 的周期性闪烁刺激.为了能够在稳定地诱发出ERP 的同时增大SSVEP 刺激强度，一方面，适当增大了刺激符号，将大小设置为60 pix × 72 pix；另一方面，经过一系列灰度值实验，将符号串2 的灰度值设置为128，符号串1 不变［13］.实验表明，改进后的刺激符号串样式可以确保两种刺激范式的效果都达到最佳.一般在6~20 Hz之间诱发的SSVEP 频率特性要优于其他频率段，且所选的频率应避免存在倍数关系［13］，本研究最终选择7.4 Hz、8 Hz、8.4 Hz、8.7 Hz、9.1 Hz、9.5 Hz、10.5 Hz作为7行的刺激频率.

图4 融合范式刺激符号串Fig.4 The stimulus symbol string of fusion paradigm

系统运行时，显示界面同时产生两种形式刺激，一种是IR 范式的靶刺激和非靶刺激，一种是SSVEP范式的周期性闪烁刺激.符号串1和符号串2同时匀速滑过7 行中的每个小视窗，并进行周期性交换.受试者集中注意力注视目标字符键粒下方的小视窗，搜索包含在刺激符号串里的靶标符号，从而诱发出ERP 和SSVEP.刺激符号串中的靶标符号以一定的时间间隔按先后顺序出现在一行中的每个小视窗中，通过对ERP 特征分类就可以识别目标字符所在的列；两个符号串根据设置的刺激频率进行交换，每一行的刺激频率不同，通过识别SSVEP频率特征就可以判断目标字符所在的行.识别出的列和行的交叉处，被判断为目标字符的位置.

1.2 数据采集

本次实验有9 名健康受试者自愿参与，均为在校研究生，平均年龄24 岁，受试者编号为S1~S9.EEG 信号的采集使用实验室自主研发的8通道脑电采集装置，采样频率为1KHz，采集脑电信号时将采集盒与电极帽相连.脑电采集帽的电极位置分布符合国际10-20 系统，包括8 个电极：Cz、C4、Pz、P8、PO3、Oz、PO4、A2.A2 电极值为左右侧耳突电极T7、T8 的平均值，并将其作为参考电极.模拟阅读信号的分析使用了所有电极，SSVEP 信号的分析仅使用了其中的PO3电极、Oz电极、PO4电极.

实验过程中，受试者需要戴上电极帽，保持安静与注意力集中，并以舒服的姿势坐在电脑屏幕正前方.一个实验试次用时3.45 s，即刺激符号串以2.5 ms/pix 的速度从小视窗左端进入然后从小视窗右端离开的时间，期间受试者做一次目标选择.每当一个试次结束，下一个刺激符号串又马上从小视窗匀速滑过，且符号串中靶标符号的位置是随机的.

每组实验只有7 个试次，即连续注视刺激界面的一行中的7 个字符，待受试者稍作休息后再进行下一次实验.按从上到下的顺序，每一行（即每个刺激频率）做3 组实验，每个受试者采集3×7 组实验数据，每组实验数据包含7 个试次，共有147 个试次的实验数据.采集数据的存储格式为：通道数×采样点数×试次数.分别按照IR和SSVEP信号处理的要求，在Matlab R2016a 中对采集到的EEG 信号进行相应的处理，图5 显示了双模式融合BCI 的信号处理过程.

图5 双模式融合BCI的信号处理过程Fig.5 Signal processing process of biomodal fusion BCI

2 方法

2.1 模拟阅读信号处理

首先进行预处理：去均值和20 Hz 低通滤波，以去除基线漂移和噪声的干扰.为分析融合范式下诱发的IR信号，将EEG数据进行叠加平均.图6显示了一名受试者EEG 数据在PO4通道进行147个试次叠加平均后的ERP波形图，将靶标出现在小视窗中间的时刻作为零时刻点.从图中可以看到明显的N2成分（150 ms~250 ms的负向波）和P3成分（250 ms~450 ms的正向波），同时从能量带可以看出，在N2周围有一个蓝色的条带，P3 附近有一个黄红色相间的条带，表明所有试次呈现一致性.故在该融合模式下可以诱发出良好的ERP特征信号，并选择振幅较强的N2与P3作为特征向量进行单次提取.

图6 PO4通道叠加平均后的ERP波形图Fig.6 One subject superimposed average map at PO4

截取每个试次靶标出现前600 ms 和靶标出现后600 ms共1.2 s的数据，采用基于负熵非高斯性极大判据的快速独立分量分析（Independent Component Analysis，ICA）算法进行批次处理［14］.分离出包含ERP 特征成分的独立分量后，根据固定时间段样本数据方差最大的方法自动挑选每个试次N2和P3所在的分量［15］.为了避免ICA 分离造成的波形倒相，对选出的分量自动进行极性调整.最后，将每个试次150 ms~450 ms的数据段划分为靶特征，-450 ms~-250 ms的数据段划分为非靶特征.

靶和非靶特征的分类采用支持向量机（Support Vector Machine，SVM），在LibSVM 工具箱中选择带有松弛变量的C-SVM 模型及RBF 作为核函数［16］.为了得到最佳分类效果，必须对核函数的C和γ参数进行寻优.C是惩罚系数，用于控制分类错误的惩罚程度；γ决定了核函数的宽度，关系到数据投射到新的特征空间后的分布.首先采用5折交叉验证，对最优参数C和γ进行网格搜索（C=2-10，2-9，…，29，210；γ=2-10，2-9，…，29，210），然后计算在最优参数组合下的5个正确率及其标准差.

2.2 SSVEP信号处理

研究表明，SSVEP 视觉刺激在大脑皮层枕叶区的响应最强烈，故SSVEP 的分析选择位于枕叶区的Oz电极以及与Oz电极同距的PO3电和PO4电极.实验中选用的7 个刺激频率及其二次谐波均在7 Hz~21 Hz范围内，因此对信号进行2.5 Hz~30 Hz带通滤波，去除采集过程中自发脑电的干扰.

为了进一步提升信噪比，采用拉普拉斯融合方法对预处理后的SSVEP 信号进行空间滤波，以去除电极间的局部共同噪声［17］.对10.5 Hz刺激频率下单个试次经过空间滤波前后的SSVEP 信号进行FFT变换，如图7 所示.可以看出空间滤波前Oz 单通道的噪声干扰较大，难以准确识别出诱发的目标频率；经过空间滤波后在基波10.5 Hz和二次谐波21 Hz处有较明显的峰值，信噪比得到较大提升.

图7 空间滤波前后的SSVEP信号频域特性Fig.7 Frequency domain characteristics of SSVEP before and after spatial filtering

SSVEP 频率特征的识别采用典型相关分析（Canonical Correlation Analysis，CCA）.CCA 是一种研究两组变量间相互关系的统计分析方法，其基本思想就是寻找一对线性变换Wx和Wy，使两组变量X和Y在进行x=W Tx X和y=W Ty Y线性变换后x和y的相关性最大，用公式表示如下［18］：

式中，E[·]指数学期望，Cxx=XXT为变量X的自协方差矩阵，Cyy=YYT为变量Y的自协方差矩阵，Cxy=XYT为变量X 和Y 的协方差矩阵.ρ是最大相关性系数，表示x和y之间的最大相关性.

利用CCA 进行SSVEP 分析时，通过公式（1）最大化SSVEP 信号与不同频率参考信号之间的相关性，以此判断当前信号的主导频率.实验中设置了7个刺激频率，第m（m=1，2，…，7）个刺激频率fm对应的参考信号设为Ym，它由一系列正弦-余弦波构成：

式中，H表示Ym所使用的谐波次数，为1~3.P表示每个通道采集的数据点数，F表示信号的采样频率，t表示信号的时间序列.通过CCA 分别计算得到SSVEP 信号与7 个参考信号之间的相关性系数ρ1，ρ2，…，ρ7，其中最大相关性系数对应的参考信号的频率就是采集的SSVEP信号的频率.

2.3 评价指标

信息传输率（Information Transfer Rate，ITR）表示系统在单位时间内传输的信息量，是衡量BCI 系统性能的一个重要指标，计算公式如下［19］：

式中，N为可选的字符个数，P为字符识别正确率，T为识别一个字符所需要的时间.

3 结果与讨论

3.1 字符识别正确率

本研究对采集的EEG 信号进行预处理后，分别提取ERP 和SSVEP 两种特征进行分类和识别，得出各自的正确率.IS-BCI 的字符识别正确率由IR 和SSVEP 的正确率共同决定，只有正确识别目标字符所在的列和行，才能完成目标字符的输入.实验数据分析得出部分受试者无法诱发出SSVEP，因此只列出了5 名受试者的实验数据.图8 为S1~S5 的IS-BCI 字符识别正确率及对应的IR 和SSVEP 正确率.

图8 IS-BCI字符识别正确率及对应的IR和SSVEP正确率Fig.8 IS-BCI character recognition accuracy and the corresponding accuracy of IR and SSVEP

从图中可以看出，S1~S5 的IR 分类正确率保持在90%以上且没有较大差异，表明在融合范式中仍然能够稳定地诱发出ERP，显示出IR 范式的优势.IR范式不同于传统的P300范式，刺激符号串不是闪进闪出，而是平滑地移过小视窗，在诱发内源性反应的同时有效减少了外源性干扰.对于不同的受试者，IR 范式也能够诱发出高质量的ERP 信号，利用单通道就能实现ERP 特征的单次提取并取得良好的分类效果［15，20］.

不同受试者的SSVEP 识别正确率有所差别，S1为100%，S2~S4 在70%~90%之间，S5 为65%，其他受试者表现出无法诱发SSVEP，表明个体差异性较明显且适用人群有限.部由于采集设备的限制，实验仅采用了位于枕叶区的Oz 电极及附近的PO3 和PO4电极，未考虑到其他与枕叶区相关的电极.部分受试者可能在所采用的电极处无法产生明显的SSVEP 刺激响应，且拉普拉斯融合算法对电极要求较严格，极大影响了SSVEP 的正确率，甚至导致无法识别出SSVEP 特征，达不到和文献［21-22］中使用较多电极时一样好的效果.除了可以采用更灵活的信号处理方法，后续实验还将讨论采用不同电极组合对SSVEP 识别正确率的影响，选出能够得到最佳效果的组合方式.此外，对SSVEP 刺激不敏感的受试者也可能会导致较弱的特征信号，还应根据个体对SSVEP 范式进行优化，如改变键粒的排列方式或SSVEP刺激强度，以更好地适应不同水平的受试者.

从实验结果来看，受试者在IS-BCI 的字符识别正确率基本在70%以上，只有S5 达不到，因此ISBCI是可行的，只是字符识别正确率还有待提高.受试者的IR 分类正确率都在90%以上，然而受到SSVEP 识别正确率的制约，其IS-BCI 的字符识别正确率并不高.因此，在之后的研究中提高IS-BCI 字符识别正确率的关键是提高SSVEP的识别正确率.

3.2 信息传输率

由公式（3）可以得出S1~S5 在IS-BCI 的ITR（不包含休息时间），并与在IR-BCI 的ITR 作比较，如表1所示.

表1 IR-BCI和IS-BCI的ITR（bits/min）比较Tab.1 ITR comparison between IR-BCI and IS-BCI

从表1 可以看到，除了S5 其他受试者在IS-BCI的ITR 都明显优于IR-BCI.融合范式的平均ITR 比IR 范式提高了27.91%，其中S1 的表现最佳，将ITR提高了约1倍.由公式（3）可知，ITR受字符识别正确率和单个字符识别时间的影响.在IR-BCI 系统中完成一次字符输入需要进行两次特征识别，用时5.7 s.将SSVEP融入IR范式后，在不增加受试者任务量的情况下，增加了单个试次可识别任务数，只需要进行一次特征识别就可以完成单个字符的输入，将用时缩短为3.45 s，显著减少了单个字符识别时间.

假设每次字符识别的正确率都为100%，则公式（3）可简化为ITR=(60 ×log2N)/T，此时在IR 范式和融合范式下的ITR 分别为59.10 bits/min 和97.65 bits/min，后者几乎为前者的2 倍.由图7 可知，受试者的字符识别正确率存在较明显的差异性，S1~S5 在融合范式下的ITR 随着字符识别正确率的下降而逐步降低，但总体上较IR范式有所提高.

IS-BCI能够以更快的速度输出键盘上的所有命令，从ITR 上大大提高了系统性能.相比传统P300和SSVEP 字符输入系统，不需要重复多次视觉刺激以识别目标字符，且增加了可选字符的数量，在实际应用方面更具优势.

4 结束语

本文提出了一种新型的IR 和SSVEP 双模式融合BCI 系统（IS-BCI 系统），采用刺激符号串同步诱发ERP 和SSVEP 特征，分别用于识别目标字符的列和行.实验表明，IS-BCI 的ITR 比IR-BCI 高出将近1 倍，能够实现更快的字符输入速度，最高ITR 达到了95.20 bits/min，有望实现高性能拼写键盘，为改善BCI 系统性能提供了一个新的方向.之后的实验还需要增加受试者和进行更充分的数据分析，以更好地验证实验结果.

IS-BCI 系统在性能上还存在较大的提升空间，关键是提高SSVEP 的识别正确率.在未来的工作中，为了进一步提高IS-BCI 系统性能，主要针对SSVEP 从电极集、信号处理方法和范式这三个方向进行优化，以降低不同受试者的差异性和提高分类正确率.