RSVP与SSVEP混合脑电信号刺激与多类事件检测

陈景霞，郝 为 ，张鹏伟，谢 佳

1.陕西科技大学 电子信息与人工智能学院，西安 710021

2.西北工业大学 计算机学院，西安 710072

1 引言

大脑是支配人的思想、情绪、动作等一切行为的中枢，通过神经肌肉调节，对身体发号施令，以此来完成和外界环境的信息交流。伴随着人工智能、生命科学等学科的兴起，以脑电信号（Electroencephalograph，EEG）为基础，脑-机接口（Brain Computer Interface，BCI）为桥梁的脑科学研究迅速发展。BCI技术旨在搭建一条人脑和外界环境之间的通路，将携带着受试者意念、想象、情绪等特定脑电波的特征，转化为控制命令传递到外部设备，以实现人脑和外部环境的交互与控制[1]。

稳态视觉诱发（Steady-State Visually Evoked Potential，SSVEP）[2-3]、快速序列视觉呈现（Rapid Serial Visual Presentation，RSVP）[4-5]、运动想象[6]、表情驱动[7]等是BCI系统中常用的实验范式。其中，SSVEP范式是指通过一个固定频率的闪烁视觉刺激，在人的大脑视觉皮层诱发产生一个连续的与刺激频率（基频或倍频处）有关的响应，这个响应被称为稳态视觉诱发电位，由于其具有高信噪比、信号集中等优点而被广泛用作BCI系统的基础输入信号。RSVP范式则是在连续播放的图片序列中，采用少量差异性较大的、被试者感兴趣的目标图片作为视觉刺激，来诱发目标事件相关电位（Event Related Potential，ERP）。目前，大多数RSVP目标事件检测都是针对锁时性EEG数据，即假设目标图片刺激出现的时间是已知的，而且假设与目标事件相关的ERP出现的延时是不变的，通常在刺激出现后0.2～1 s。

RSVP常用于侦测被试是否识别到指定目标，Orhan等[8]利用RSVP刺激范式设计了一款基于EEG的键盘。Mao等[9]提出了一种基于非锁时EEG信号的RSVP事件分类算法，用于对脑-机接口中RSVP的目标与非目标事件进行检测。Chen等[10]提出了一种新的EEG特征组合与分类方法，同时捕获EEG信号时间与空间上的相关性，有效提高了基于深度CNN模型的RSVP事件检测的性能。但同该BCI系统一样，目前RSVP实验设计多为单目标的分类检测，并不能满足生产生活中多目标识别的要求。SSVEP常用于区分不同闪烁频率的目标，Xie等[11]研发出了基于SSVEP刺激的残疾轮椅脑电智能导航系统，李翔等[12]通过SSVEP技术实现了电话自动拨号的脑-机接口系统，Chen等[13]设计了一款基于SSVEP刺激的七自由度机器人手臂。但是，基于SSVEP的BCI设计中的一个重要问题是受试者往往会在经历重复的刺激后产生适应和疲劳，适应后的刺激效果相较于适应前会弱得多。从实际应用角度出发，研究者们提出了基于多种范式相结合的混合型脑-机接口系统，如简文娟[14]、窦立祥[15]提出将SSVEP与运动想象相结合BCI系统取得了较好的应用效果，Lin等[16]设计的拼写器结合了SSVEP和肌电信息。混合式BCI系统是未来的发展方向[17]。

本文提出一种SSVEP与RSVP相结合的新型实验范式，以游戏的方式进行，采集被试游戏时由固定频率闪烁和小概率目标图片共同诱发的EEG数据，并对其进行预处理与特征提取。采用自举聚合决策树（Bagging Tree，BT）、支持向量机（Supported Vector Machine，SVM）、线性判别分析（Linear Discriminant Analysis，LDA）、贝叶斯线性判别分析（Bayesian Linear Discriminative Analysis，BLDA）等机器学习算法对EEG特征进行目标与非目标二分类实验，验证EEG特征针对RSVP事件的可分性。采用上述四种分类器对EEG数据进行目标/非目标与频率相结合的五分类实验，验证组合范式诱发的EEG特征进行多类事件分类与检测的性能。本文还对比分析了单独使用四种分类器与结合传统典型关联分析（Canonical Correlation Analysis，CCA）算法进行八分类的实验结果，验证BT和SVM等机器学习模型对RSVP和SSVEP组合范式诱发的EEG信号进行多类识别的性能优于传统CCA算法的性能。

2 EEG数据获取

2.1 实验准备

本文共采集14名被试者的EEG数据，被试中男女各有7人，平均年龄为24.8岁。被试者身体健康，无神经性疾病，实验前24 h未引用任何含酒精或咖啡因的饮品。所有被试均可正常集中注意力，无色弱色盲。实验使用32通道电极帽和Neuroscan系统进行EEG数据的采集与记录，电极帽的电极分布如图1所示，符合国际联合会的10/20电极系统标准。阻抗小于5 kΩ，采样频率为500 Hz，参考电极为A1、A2，带通滤波频率为0.5～50 Hz，地电极为FP1与FP2之间的G。在Win10操作系统下，使用MATLAB2016b进行EEG特征提取以及分类算法的编写。

图1 实验电极分布图

2.2 实验过程

实验使用Unityengine软件设计一款电脑游戏进行SSVEP与RSVP组合范式下EEG信号的刺激。实验过程需要2台PC，一台用于被试操作游戏，另一台用于记录EEG数据，实验的体系结构如图2所示。

图2 实验体系结构

每个被试实验的过程如图3所示，每人做7组实验，每组进行32次实验，每次实验大概持续20 s，每次实验结束后休息2 s，每组开始之前休息60 s（30 s睁眼，30 s闭眼），每个被试共进行7×32=224次实验，总时长约为1.0～1.5 h。每次实验以游戏的方式进行，包括准备、注视、搜索与刺激四个阶段（如图4所示）。

图3 单个被试的实验过程

图4 每次实验的过程

被试准备就绪后首先按下鼠标左键开始游戏，显示器屏幕（分辨率为100 Hz）上会出现一个由8种不同彩色宝石图案（如图5所示）构成的8×8的图片矩阵，被试对其放松注视2 s后，图片矩阵的左上、左下、右上、右下方会随机出现4个白色边框选项，被试进入搜索阶段，要求从4个选项中搜索出一个唯一正确选项，其横向或纵向相邻的两个图案必须是相同的（如图6所示），确保刺激阶段在正确选项的位置上总能出现一种图案使得其横向或纵向上3个图案完全相同。

图5 8种不同的彩色宝石图案

一旦被试搜索到正确选项，立即单击鼠标左键进入刺激阶段：被试需要注视正确选项的位置并保持6 s，在这个位置上将以某一固定频率快速呈现一个由8种彩色宝石图案和黑底图案交替构成的序列，其中与该位置横向或纵向相邻两个图案相同的那个图案就是用于RSVP刺激的目标图案。每次实验以RSVP范式快速呈现一个图片序列，该序列快速闪现的频率从4 Hz、5 Hz、6 Hz或7 Hz中随机选取一种，用作SSVEP的刺激频率，每一种SSVEP频率下每张图片呈现的时长、5 s内呈现图片的个数以及呈现彩色图片的个数如表1所示，序列中奇数序号对应的图片为8种彩色宝石图案之一，偶数序号对应的图片为黑底图案。

图6 一个被试正盯着显示器屏幕上的目标图案

表1 4种可选SSVEP频率及其特性（显示器刷新频率为100 Hz）

每个序列闪烁持续时长都是6 s，其中包含目标图片2～3张，图7为5 Hz闪烁序列0～2 s内的剪辑，每个图案片段呈现时长为100 ms，2 s内共呈现10个图案片段，其中蓝色三角型宝石为目标图片。

图7 一个以5 Hz闪烁的序列0～2 s内的图片序列

记录刺激阶段被试注视这6 s以稳定频率呈现目标和非目标图片序列时诱发的脑电信号及刺激结束后2 s休息时的脑电信号，由于采样频率为500 Hz，每次实验中刺激序列诱发的EEG数据包含500×6=3 000个采样点，静息态EEG数据包含500×2=1 000个采样点。每个被试产生7×32=224条记录，每条记录包含每次实验的序列编号、序列闪烁频率、目标图片出现时间点、图案样式、EEG数据等信息。

2.3 数据预处理

对采集的原始EEG信号，首先选用A1、A2电极的均值作为参考，将其余30个通道的电位去参考，再采用MATLAB中的detrend函数通过去均值进行低频基线去除，然后采用均值滤波和高斯滤波组合的空间滤波器对高频噪声进行降噪处理，以此降低伪迹和噪声对实验数据的影响。大量已有的研究结果表明，RSVP范式下与目标事件相关的ERP通常发生在刺激出现后0.2～1 s内，因此提取每次实验中目标图片出现时间点后1 s（500个采样点）的EEG数据作为RSVP目标图片诱发的脑电数据，对应的RSVP事件标签用1表示。为了计算方便，将500个采样点下采样至64个，去除A1、A2两个参考电极，通道数变为30个，则每一个目标图片诱发的EEG数据样本的格式为64（time points）×30（channel），每次实验的序列中大概有2～3个目标图片，每名被试224次实验一共提取与目标刺激相关的EEG样本大概有224 trials×3=672个。

为了确保数据类别的均衡，在每一次实验中非目标图片出现的时间段内随机提取2～3个1 s时长（500个采样点）的EEG数据，作为非目标刺激相关的EEG样本，RSVP事件标签用0表示，采样频率同样下采样至64，每名被试224次实验一共提取与非目标刺激相关的EEG样本约有224 trials×3=672个。所有EEG样本对应的SSVEP标签为其诱发序列呈现的实际频率（4 Hz、5 Hz、6 Hz、7 Hz其中一种）。

为了验证所提取EEG数据在RSVP与SSVEP上事件的可分性，本文为14名被试分别构建各自的交叉验证集，进行被试内EEG事件分类与检测。从每一名被试的目标刺激EEG和非目标刺激EEG样本中各随机取出10%作为测试集，余下90%目标和非目标刺激的EEG样本作为训练集。每一个交叉验证集的测试集与训练集的EEG数据格式均为64（采样点）×30（通道）×样本数的格式，记为EEG数据集时域上的raw特征。14名被试各自EEG数据交叉验证集的详细信息如表2所示。

表2 数据集样本数

3 EEG特征提取与分类算法

3.1 归一化处理与PSD特征提取

为了提升EEG数据事件分类与检测的精度和收敛速度，本文采用MATLAB中的z-score函数对三维EEG数据的raw特征X进行归一化处理，使处理后的数据X*符合均值为0，标准差为1的正态分布。首先将三维数据转化为二维X′（采样点×通道数，样本数），随后按公式（1）中方法进行计算：

其中，二维数据X′按列计算，μ表示每一列数据的均值，σ表示该列的标准差。最后将X*还原为X的格式，归一化以后的EEG时域上的特征用norm表示，其维度仍然是64（采样点）×30（通道）×样本数。

在EEG信号中，与情感信息相关的频段共有5个，分别是δ（1～4 Hz），θ（4～8 Hz），α（8～13 Hz），β（13～30 Hz）和γ（30～50 Hz）。本文采用快速离散傅里叶变换（Fast Fourier Transformation，FFT）提取EEG数据在1～64 Hz频段上的功率谱密度（Power Spectral Density，PSD）特征。在时长为1 s的EEG数据中，每个通道都使用无重叠窗长为0.25 s的Hamming窗提取64个PSD特征，该特征用freq表示，其维度为64（PSD特征数）×30（通道）×样本数。

为了更好地同时捕获EEG数据在时域和频域上的事件相关性，将EEG数据的PSD特征分别与原始时域raw特征和归一化后norm特征在样本数维度上通过连接操作进行特征组合，得到两种新的组合特征freq+norm和freq+raw，其维度为64（采样点）×30（通道数）×2倍样本数。

3.2 基于CCA算法的SSVEP频率匹配

典型关联分析是一种用来测量两个多维变量之间潜在相关性的统计方法，经常用于SSVEP相关研究中，其基本原理如下。

对于两组多维变量X和Yfk，X代表二维测试集数据，Yfk（下称Y）代表第k个刺激频率对应的一组正余弦信号组构建的二维参考信号，其中fk表示第K个刺激频率，N表示的是参与构建参考信号的谐波数，实验中设定为N=5。

X和Y分别寻找两个线性组合u=aTX和v=bTY，使多维变量X和Y经过此线性组合后相关系数ρ(u,v)最大，其中a和b分别是X和Y的权重向量，u和v为典型变量。

式中Var为方差，Cov为协方差（下面以C代替）以Var(u)推导为例。

求解a和b时，有约束条件：

整理得：

λ即为ρ(u,v)，为求出λ的最大值，对式（6）、（7）进行进一步整理，得：

则特征值λ2与特征向量a和b均可解出。本文通过将EEG数据与所有刺激频率所构建的参考信号分别做CCA运算，得出EEG数据与各个参考信号之间的相关系数，其中最大相关系数对应的刺激频率被认为是该EEG数据的预测频率。预测频率与实际刺激频率相一致则视为SSVEP分类预测正确，计算测试集中所有EEG数据预测正确的比例作为SSVEP事件分类预测的准确率。

3.3 基于机器学习的EEG分类算法

本文采用自举聚合决策树（BT）、支持向量机（SVM）、线性判别分析（LDA）、贝叶斯线性判别分析（BLDA）等四种目前在EEG分类检测领域性能较优的机器学习算法进行RSVP与SSVEP相结合的多类事件分类与检测，以验证本文提出的两种范式组合刺激的EEG数据特征的可分析与有效性。其中，BT分类器将多个较弱的决策树模型组合在一起，形成一个较强的分类模型，从原始训练数据集中有放回地采样若干个小集合，在每个小集合上训练单个决策树模型，然后对所有单个决策树模型的输出取平均或者对其类别进行投票表决。该方法实现简单、训练速度快，能够处理高维数据，并能有效减少过拟合的发生。

SVM分类器的目的是寻找一个最优超平面，使得该超平面中训练样本间距最大。本文使用径向基函数为作为SVM模型的核函数，采用梯度下降算法对SVM模型进行优化。SVM分类器对于高维度、小数量级的样本分类很有优势，分类效果卓群，但是对于复杂的数据集却束手无策。而且其鲁棒性不够突出，对于特殊的离群点没有好的应对办法。LDA分类器是经典的分类算法，优点是运算量较小，简单易懂，适用于样本较少的分类情况。LDA的基本原理是寻找一个使类间间距最大，类内间距最小的投影。由于LDA计算相对简单且通常可以提供较好的分类效果，目前已被广泛应用于各种BCI系统中，然而LDA却无法有效地分类检测复杂非线性的EEG数据，且在处理小样本问题时容易受到维数灾难的影响，从而导致分类器泛化性能下降。BLDA分类器则是在线性分析的基础上融合了贝叶斯思想，由已知的先验概率估算未知的后验，通过计算不同样本的错判率以及后验概率，并用最大的后验概率对样本进行分类，其目的是为了使期望损失最小。本实验中，噪声逆方差、先验逆方差以及偏差项的先验逆方差皆忽略不计，迭代次数范围设置为1～100。

4 EEG事件分类实验及结果分析

4.1 基于RSVP的2类事件分类

本文首先对RSVP与SSVEP组合范式诱发的EEG数据进行RSVP目标与非目标的被试内二分类实验，验证本文采集的EEG数据在RSVP事件上的有效性与可分性。在二分类实验中，将目标图片诱发的EEG数据样本的标签记为1，非目标图片诱发的EEG数据样本的标签记为0。按3.1节中所述的方法对每个被试所有trials提取的原始EEG时域特征（raw）进行归一化处理、PSD特征提取以及组合特征提取，得到raw、norm、freq、freq+raw和freq+norm五种特征。并将这五种特征分别输入3.3节所述的四种分类器进行分类器的训练与预测。每一名被试在每一种特征上对四种分类器分别进行10折交叉验证，将每一折验证的分类准确率的均值作为该被试在某一特征上某一分类器的分类准确率，再对14名被试的分类准确率求均值，作为某一特征上某一分类器的最终分类准确率。

四种分类器在五种EEG特征上进行RSVP目标/非目标两类事件分类的结果如表3所示。其中，BT分类器在五种特征上的分类准确率最高，均达到了100%。SVM分类器在时域与频域组合特征上的分类准确率均达到了98.8%，比单个时域特征（raw与norm）上的最好分类性能94.8%高出4%；在时域特征上的分类准确率比频域PSD特征上的分类准确率高出5.3%。LDA分类器在时域与频域组合特征上的分类准确率均为78.4%，比单个时域特征（raw与norm）上的最好分类性能77.2%高出1.2%；在时域特征上的分类准确率比频域PSD特征上的分类准确率高出6.6%。只有BLDA分类器的分类性能较低，在norm时域特征上的分类性能最优，为59.5%。综合来看，BT、SVM与LDA三种分类器的结果具有一致性而且分类性能较高，表明通过机器学习的方法可以对本文组合范式刺激的EEG数据进行RSVP事件的准确分类。

表3 不同EEG特征上RSVP事件二分类结果

4.2 基于RSVP与SSVEP的5类事件分类

为了验证本文采集的EEG数据在RSVP与SSVEP组合事件上的多类分类性能，将每个刺激序列中目标图片诱发的EEG样本的标签由1改为4，非目标图片诱发的EEG样本的标签由原来的0拆分成了4类：按照所在序列的呈现频率进行标记，4 Hz、5 Hz、6 Hz、7 Hz分别对应标签0、1、2、3，由此得到带有五类标签的EEG数据的五种特征，包括raw、norm、freq、freq+norm和freq+raw，按照4.1节所述的交叉验证的方法分别将每一个被试的五种特征输入四种分类器中进行分类器的训练与预测。

四种分类器在不同EEG特征上进行五类事件分类的结果如表4所示。其中，BT分类器在时频域组合特征freq+raw上取得了最优分类性能92.5%，比单个特征上的最优性能80.6%高出11.9%，在freq+norm组合特征上的分类准确率也达到了92.2%。其次SVM分类器在组合特征freq+norm上取得了最优分类准确率85.7%，比单个特征上的最优准确率74.8%高出10.9%。而BLDA与LDA分类器的多分类性能较低，LDA在freq+norm组合特征上取得最优分类准确率为64.7%，比单个特征上的最优分类准确率44.2%高出20.5%；BLDA在freq+raw组合特征上取得最优分类准确率49.7%，比单个特征上的最优分类准确率48.9%高出0.8%。由此可见，利用BT与SVM分类器在本文采集的EEG数据的时域与频域组合特征上，可以对RSVP与SSVEP组合事件进行准确的分类预测。同时也说明本文采集的EEG数据具有较高的可分性，本文提出的RSVP与SSVEP相结合的EEG刺激方法具有一定的研究价值与潜力。

表4 RSVP与SSVEP组合事件五分类结果

4.3 基于RSVP与SSVEP的8类事件分类

本文还对采集的EEG数据进行了基于RSVP与SSVEP的8类事件分类，进一步验证组合范式刺激的EEG数据的多类可分性，同时对机器学习分类器的分类性能同CCA与分类器相结合的分类性能进行对比，以确定哪种分类方法性能较优。8分类时，将每个刺激序列中目标EEG样本的标签按照所在序列的频率进行重新标记：4 Hz、5 Hz、6 Hz、7 Hz分别对应标签4、5、6、7；非目标EEG样本的标签也按照所在序列的频率进行重新标记：4 Hz、5 Hz、6 Hz、7 Hz分别对应标签0、1、2、3，由此得到带有8类标签的EEG数据的五种特征。按照4.1节所述的交叉验证的方法分别将每一个被试的五种EEG特征输入四种分类器中进行各分类器的训练与预测。

四种分类器的八分类结果如表5所示。其中，BT分类器在freq+norm组合特征上的八分类准确率最高，达到91.6%，比单个特征中freq特征上最好分类性能61%高出30.6%。SVM分类器也在时频域组合特征上的取得了最优分类准确率87.6%，比单个特征的最优分类准确率69.5%高出了18.1%。LDA分类器同样在两种时频域组合特征上取得最优分类准确率，均为66.8%，比单个特征中raw与norm上的最优分类准确率33.6%高出33.2%。同表4所示的五分类结果类似，BLDA分类器的八分类性能也较差。可见，本文采集的EEG数据在8类组合事件上仍然具有较高的可分性，在其时频域组合特征上使用BT或SVM分类器，可以进行准确的8类组合事件预测。

表5 RSVP与SSVEP组合事件八分类结果

本文还采用CCA与分类器相结合的方法进行8类事件检测，以4.1节进行RSVP二分类实验的raw特征的测试集为例，采用3.2节所述的方法，用每一个EEG样本信号与四种刺激频率（4 Hz，5 Hz，6 Hz或7 Hz）所构建的参考信号分别做CCA运算，得出EEG样本信号与各个参考信号之间的相关系数，其中相关系数最大的参考信号对应的刺激频率被认为是该EEG信号的预测频率。若预测频率与该EEG信号所在诱发序列的实际刺激频率一致，则视为SSVEP分类正确，计算每一个被试测试集中所有EEG数据预测正确的比例作为SSVEP事件四分类的准确率，预测结果如表6所示。

表6 基于CCA的SSVEP预测结果

将表6中所有被试的预测准确率求平均，作为基于CCA算法进行SSVEP四分类的最终分类准确率。在4.1节中已经得到了四种分类器在raw特征测试集上进行RSVP目标/非目标两类事件分类的结果（如图3第1列所示），将其与表6中的平均准确率相乘，得到四种分类器在raw特征上先进行目标/非目标二类预测，再进行每一类下四种频率预测的8分类准确率，具体结果如表7。

表7 两种分类方法八分类准确率对比

如表7所示，对于时域上的raw特征而言，两种分类方法最终结果差异很大，BT分类器上，基于CCA的组合分类方法（下称方法1）的分类准确率为39.1%，而纯机器学习方法（下称方法2）的分类准确率为60.6%，比方法1高出21.5%；BLDA分类器上方法2的准确率比方法1高出28.3%；LDA分类器上两种方法的分类准确率较为接近，方法2的准确率比方法1略高3.4%，SVM分类器上方法2的分类准确率比方法1高出32.4%。由此可见，基于CCA的组合分类方法的分类性能不如使用单纯机器学习分类器的性能好，在纯SSVEP事件检测上性能显著的CCA算法并不适用于RSVP与SSVEP组合刺激的EEG多类事件检测上。

5 结束语

本文提出一种RSVP与SSVEP组合范式的脑电信号刺激与多类事件分类方法。组合的刺激范式结合了RSVP与SSVEP各自的优点，同时规避了各自在BCI系统中的缺陷：RSVP常用于目标/非目标检测，但无法作用于多目标的识别，通过对快速呈现的图片序列添加不同的频率信息，协同SSVEP能够解决BCI系统中的多目标识别问题；在SSVEP范式中，用户往往会在经历重复的视觉刺激后，对刺激感到适应，导致诱发的EEG强度大幅下降，严重影响了BCI系统的性能，解决该问题的关键在于改变用户重复的视觉刺激，而RSVP可以很好地完成此项工作。本文通过游戏的模式，让用户观看不同频率呈现的随机图片序列，在游戏中不断寻找序列中对应的目标图片，不会对刺激产生适应或感到无聊，从而提高了所诱发EEG信号的质量。

为了验证组合范式所诱发的EEG数据在RSVP与SSVEP事件上有效性与可分性，本文通过机器学习的方法，为14名被试的五种EEG特征（包括时域上的raw、norm特征、频域上的PSD特征以及时频域上的freq+raw和freq+norm组合特征）分别构建各自的交叉验证集，采用性能较优的BT、LDA、BLDA、SVM四种分类器，进行被试内EEG信号的多类事件分类实验。在基于RSVP的目标/非目标二分类实验中，BT分类器在五种特征上的分类准确率最高，均达到了100%，SVM在时频域组合特征上取得最高分类准确率98.8%，表明通过机器学习的方法可以对组合范式刺激的EEG数据进行RSVP事件的准确分类。在基于RSVP与SSVEP组合事件的5分类实验中，BT在时频域组合特征上取得了最优分类性能92.5%；在8分类实验中，BT和SVM分类器分别在时频域组合特征上取得了最优分类性能91.6%和87.6%，表明组合范式刺激的EEG信号具有较高的多类可分性，利用该方法能够很好地解决BCI系统中的多目标识别问题，同时为开发基于RSVP和SSVEP两种范式的混合型脑-机接口应用提供了一种新的有效途径，具有一定的研究和应用价值。

最后，采用CCA与分类器相组合的方法进行8类EEG事件检测，实验结果表明，基于机器学习的BT和SVM分类器对EEG信号进行多类识别的性能明显优于基于CCA的组合分类方法，在纯SSVEP事件检测上性能显著的CCA算法并不适用于RSVP与SSVEP组合刺激的EEG信号的多类事件检测上。