Research of Fusion Classification of EEG Features for Multi-Class Motor Imagery*

ZHANG Huan，QIAO Xiaoyan（College of Physics and Electronics Engineering，Shanxi University，Taiyuan 030006，China）



Research of Fusion Classification of EEG Features for Multi-Class Motor Imagery*

ZHANG Huan，QIAO Xiaoyan*
（College of Physics and Electronics Engineering，Shanxi University，Taiyuan 030006，China）

In view of the problems of pattern simplification，low accuracy of classification and poor practicability in motor imagery BCI，they improve feature extraction method to common spatial pattern（CSP），and the support vector machine（SVM）is used to carry out multi-class classification，combining with the CSP to classify the feature signal of EEG.Firstly，they select EEG signal in the specific channel to do wavelet decomposition and reconstruction，in or⁃der to remove redundant information；Secondly，they improve the method，by doing subtractions between different characteristic parameters，and obtain obvious characteristics of EEG；Finally，the SVM is used to carry out multitask classification，combining with the CSP to classify the feature signal of EEG.Using BCI competition data，the four kinds of motor imagery tasks of left hand，right hand，tongue and feet are identified based on EEG signals.Ex⁃perimental results show that the correct rate of classifying is 90.9%for maximum，the average accuracy rate is 86.4%，the Kappa coefficient is 0.8867，and the information transmission rate was 0.68bit/trial and the method can extract EEG features effectively and achieve better classification to a multi-task motor imagery of EEG signals.

BCI；motor imagery；feature extraction and classification；wavelet transform；common spatial pattern；support vector machine

脑-机接口（BCI）是在人脑和计算机或其他电子设备之间建立不依赖于常规大脑信息输出通路（外周神经和肌肉组织）的全新对外信息交流和控制技术［1］。BCI技术在助残及康复工程、正常人辅助控制、娱乐等领域有着广泛的应用前景，正受到世界范围内更多的关注和研究。

对BCI中的运动想象脑电信号进行模式识别，国内外已进行了较多研究，但目前对于四模式运动想象脑电识别还存在分类正确率较低且不稳定，所用导联数目多，算法复杂导致实际应用不理想等。Ghaheri H等人［2］采用对每个不同的脑电信号时间段进行共空间模式（CSP）的特征提取以及LDA线性分类器进行分类，可达到80.0%的分类正确率，由于时域分析时间开销大，同时使用了22个脑电导联，增加了应用的复杂性。Luis F Nicolas-Alonso等人［3］对22个脑电导联信号滤波后，用CSP提取特征结合谱回归核判别分析对四种任务运动想象的脑电分类，最好的分类正确率为94%，Kappa值为0.92，但对应的平均正确率却只有73%，Kappa值为0.64。虽然最高的正确率较好，但平均正确率较低，使得实际应用缺乏稳定性。天津大学万柏坤等人［4］采用二维时频分析结合Fisher分析的方法特征提取，使用支持向量机分类处理四种不同肢体部位动作识别，识别率达到85.71%，实验中使用了60个导联上的数据，操作复杂可使用性不强。王瑞敏等人［5］用短时傅里叶变换分解转变成多频段的时频信号，然后采用CSP结合支持向量机（SVM）方法对单个导联上的运动想象脑电信号分类识别，最佳识别准确率为88%，平均准确率只有65%，且在减少导联时，识别正确率大幅下降。

在运动想象脑电特征提取方面，尤其在多类任务模式的BCI研究中，CSP方法因其生成的空域滤波器可有效提高信号的信噪比，不需要过多的人工干预，使其得到了广泛应用。但因使用过程中需要多个导联，限制了其应用范围。本文将原始脑电信号经过小波分解与重构［6］，既去除了冗余信息同时又把单一的脑电信号转化成不同频段上的多个信号，较好的解决了共空间模式方法需要多导联信号的不足之处，同时在CSP结果输出时，将不同信号对应的特征作差处理作为新的特征值，可在使用较少脑电导联情况下有效提取特征信号。在多任务分类时，SVM容易出现无法分类的情况，从而导致分类过程多次循环，也容易出现错分。文中利用径向基SVM融合CSP作为分类方法，在SVM分类出现无法判断时，融合CSP的判断结果，在提高分类准确度的同时也保证了系统的稳定性，减少分类算法的运行时间，为实际应用提供了良好的条件。因此，采用小波-共空间模式方法进行脑电特征提取，将SVM和CSP进行融合特征分类，对多模式运动想象脑电识别取得了较好的结果。

1　算法基本理论

1.1小波变换

脑电信号是一种时变非平稳信号，传统的时域和频域分析方法不能分辨出某个时间范围内包含的频率成份以及一些瞬变细节特征，小波分析［7］是一种多分辨率的时频信号分析方法，具有变焦距特性，可以在频域和时域同时分析非平稳时变信号。

小波变换是信号f（x）与小波函数ψa，b（x）做内积，即

在应用中，Mallat算法［8］占有非常重要的地位，它给出了小波分解与重构的快速算法。小波变换分解和重构公式为：

其中，cj，k为分解后的逼近系数，即信号低频分量，dj，k为分解后的细节系数，即高频分量。h和g为小波滤波器组，j为分解层数，N为离散采样点数。式（3）为小波变换的重构公式。

1.2共空间模式

CSP［9］是一种针对两任务条件下的运算方法，其基本原理是：首先，对两个协方差矩阵同时对角化；其次，应用主成分分析方法和空域子空间分析提取两种任务的空间成分；最后，根据所提取到的空间成分构建各类空域滤波器，使得两类别之间的差异最大化，从而完成两类信号的特征提取和分离。

对于多类任务想象运动电脑信号，该方法势必造成识别率的下降，因此CSP必须进行改进。采用‘一对多’CPS算法，把其中一个作为一类，剩余的所有作为第二类，转化成两分类问题进行处理。对于N分类问题，只需要构建N个空间滤波器即可。如，经过类1空间滤波器映射后得到一个新的信号Z1

其中，F1为类1空间滤波器，Ei是单次脑电信号，则其余类别对应的空间滤波器分别是Z2，Z3，Z4。式（5）和式（6）是对Zi能量信号求方差取对数得到不同的f值并做差处理，作为最终的特征向量fd。

1.3支持向量机

SVM是以统计学习理论为基础的一种机器学习算法，其用于分类的实质是寻找一个最优分类超平面。它通过非线性映射（核函数）将低维空间线性不可分的数据转化到高维空间，并在高维空间寻求一个能实现数据分类的最优分类超平面［10］。选择不同的核函数，数据就形成不同的映射算法，只要满足Mercer条件即可。在低维空间中最优决策函数表达公式为：其中，N为支持向量的个数，ai为Lagrange乘子，（xi，y）i为对应的观察样本数据，b为分类的阈值，K（x·xi）为核函数，常用的核函数有：①线性核函数K（u，v）=u·v，其相对简单，解决相对简单的分类问题。②多项式核函数K（u，v）=（u@v+1）q，q＞0，也称q阶多项式分类器。

支持向量机是针对二分类问题提出的，为实现对多个模式类别的识别，需要对SVM进行推广。多分类算法主要有‘一对一’法，‘一对多’法，‘决策树’法等。其中‘一对一’的解决方法是在K类问题中进行两两组合，构建k（k-1）/2个分类器，每个分类器完成其中两类的训练。分类时，首先每个子分类器对待分类样本进行判断，给出分类结果即‘投票’。然后总结所有分类器的‘投票’结果，得票最多的那个类别就是分类的最终结果，如果出现票数一样时，则返回重新判断。经过仿真实验对比几种多分类的SVM方法，结果表明：‘一对一方法在运动想象脑电分类应用中，方法简单，而且性能稳定。

2　实验数据采集

采用BCI 2005data sets шa的竞赛实验数据［11］。受试者放松静坐在椅子上，根据计算机上出现的提示做想象运动，如图1、图2所示。实验前2 s，受试者保持安静准备状态。第2 s时，计算机发出短暂的蜂鸣声同时屏幕上出现‘+’。3 s时，出现随机的左右上下箭头，同时受试者按照提示做相应的想象左手，右手，舌和脚的运动，直到7秒结束作为一次试验。由k3b，k6b和l1b这3名受试者完成所有实验，其中k3 b进行了360次试验，采集360组实验数据，有标签的数据为180组。k6b和l1b各采集240组的实验数据，有标签的数据各为120组。数据由64导联的Neuroscan脑电仪采集得到，采样频率为250 Hz，实验过程如图1所示，本文使用与运动想象相关的5个导联的脑电电极数据，电极位置如图2所示。

图1　实验过程时序图

图2　电极示意图

3　脑电特征提取和分析

3.1脑电信号小波变换处理

大脑进行运动想象时，脑电活动有关频段主要分布在8～30 Hz区间，即α和β节律。文献［12］中，想象左手和右手运动对应的脑电频率分别为10 Hz～12 Hz和20 Hz～24 Hz，舌的对应频率10 Hz～11 Hz，脚的对应频率为7 Hz～8 Hz和20 Hz～24 Hz。本文选用5个导联上的脑电信号，分别是24号导联对应舌的想象运动脑电信号，41和31（Cz）号导联对应脚的想象运动脑电信号，导联34（C4）和28（C3）分别对应想象左、右手运动的脑电信号。对应在在图2上24，31，28，41，34导联分别对应（1～5）标号的位置。

采用db4小波对脑电信号进行分解和重构，将脑电信号分解成5个对应子频段（D1～D5）。由于分解后的信号在频率成分上比原始信号单一，并且小波分解对信号作了平滑，因此小波分解后信号的平稳性比原始信号好。对比所需脑电信号的频带范围，对D3（16 Hz～31 Hz），D4（8 Hz～16 Hz），D5（4 Hz～8 Hz）三个频带上的子信号分别进行小波重构，5个导联数据可以产生15个信号作为后续特征提取的输入信号。

3.2改进的共空间模式特征提取

改进的CSP方法提取想象运动脑电特征主要体现在：一方面共空间模式的输入不是原始脑电信号，而是经小波变换之后包含了时频特性的信号。由于小波变换可以按照不同尺度把信号进行时频分解，然后再进行CSP处理，克服了CSP特征提取需要多导联脑电信息的缺陷。另一方面对共空间滤波的输出特征量采用了差值处理，即空间滤波后的新信号采用方差取对数运算，并使用最大fi值与次大fi值的差值作为特征量，该方法可以增强特征间差异，有效提取多模式运动想象脑电特征。

具体实现步骤如下：①小波重构后，得到N*T个数据样本（N是信号个数，T是单次试验的采样点数，此处是（15×1 750），组成信号矩阵Si。由于前3 s为实验准备阶段，不进行数据处理，此时有效的数据矩阵为（15×1 000）。②单次试验数据求取协方差矩阵，对每类协方差矩阵求平均，得平均协方差矩阵（i∈1，…，4）。③对平均协方差矩阵构建空间滤波器，使用控制变量法，比较得取前3个最大特征值所对应的特征向量构建空间滤波器，效果最好。对信号Si进行共空间模式映射，得到新的投影信号Zi。④对投影的能量信号，做方差并求对数得f值，之后取差值，得到四类运动想象脑电信号特征向量fd。

图2是以左手的运动想象为例，采用小波-共空间模式方法进行脑电信号特征提取的结果。从图中可以看出，想象左手运动的脑电信号在3 s～4.5 s时，脑电特征幅值较其他三种想象动作明显。

图3　WT-CSP处理的左手运动想象脑电特征随时间变化

4　多任务脑电融合分类

4.1支持向量机与CSP融合

特征识别是脑-机接口系统中重要的信号处理环节，是完成使用者自主意识到控制命令转化的关键步骤，本文采用了支持向量机与CSP融合的特征分类方法，具体实现过程如下：（1）对特征向量fd的每个特征值进行归一化［13］并选择训练集和测试集，选取20%样本作为测试集，其余为训练集。（2）用CSP构建各类空域分类器，根据运算后最大的f值所对应的标签，初步判断待分类模式的类别，其输出权值为1/13。（3）对于左手、右手、舌和脚的四类运动想象模式，其中任意两类模式组合，可以构建六个SVM分类器，其中每个分类器的输出权值均为2/13。（4）将提取的脑电特征数据同时输入到6个分类器中，每个分类器都会做出一个相应的分类判断。①当SVM判断无误，则有3个分类器会输出同一标签，输出权值等于6/13，此时就直接输出正确分类标签。②当SVM判断有误，六个分类器的输出结果中，有两个标签的权值并列最大，等于4/13，此时需要与第（2）步中CSP分类方法比对进行输出标签判定。如果CSP分类得出的标签与权值最大的两个标签中的一个一致，则输出一致的那个标签；如果与这两标签都不一致，则返回重新分类。在整个模式分类过程中，SVM分类方法起主导作用同时加权融合CSP分类方法，最终实现多任务运动想象的模式分类。加权方法如下：

其中Wi为每个输出标签类别对应的权值，i为SVM分类中的标签类别，j是CSP分类中的标签类别（i，j∈1，2，3，4），n是每个标签类别出现的次数。

通过融合CSP分类方法，在SVM多分类出现无法准确判断的时候，给予决定性的分类识别，缩短了整个分类器识别的时间，可以较好的优化分类结果，两者的融合是一种较好的多任务分类方法。

4.2分类器评价

分类正确率是评价BCI识别结果好坏的常用指标。其中，左手、右手、舌和脚想象运动的脑电分类正确率表示为：正确率（%）=正确判断任务类别的次数/实际想象运动的次数X100%；除了分类正确率外，Kappa系数也是评价BCI系统性能的常用指标。对于四分类问题而言，随机分类的正确率为25%，而随机分类的Kappa系数为0，因此Kappa系数作为评价指标定义为：

其中，PC为随机分类正确率，P0为正确识别率。最后预测结果将根据有效时间段内误差最低的时间点的Kappa系数来决定。

BCI技术作为人脑和外部设备的一种通讯系统，其信息传输速率［14］也是衡量BCI分类器的重要指标，是衡量系统性能的标准方法。信息传输速率定义为：

式中，N为分类任务的数量（本实验中为4），p为分类正确率，B为每次实验可传输的比特数，单位为bit，式（9）为转换公式，表2为三名受试者的运动想象脑电识别性能比较。

表1　分类器评价结果对比

从表1中可以看出，本文中3名受试者的分类正确率均高于BCI竞赛的结果。文献［11，15］三名受试者的分类结果有一个略高于本文，其他两名均低于本文结果，但三名受试者测试结果起伏较大。从三名受试者平均分类正确率来看，本文明显高于其他算法，达到86.8%的平均分类正确率，同时3名受试者平均的Kappa值比其他几种算法高，表明本文算法的稳定性比其他算法要好。分类器信息传输速率可达到0.68 bit，优于文献［16］中不同长度时间窗下得到的最好信息传输速率0.67 bit，因此，该方法可以用于实际的运动想象BCI多任务分类识别中。

5　总结

小波分析通过变焦距特性在时频域可以较好的将类别间差异部分突出表示；CSP方法不需要先验选择特异性频带，可有效提高信号的信噪比；支持向量机基于风险最小化原则，在解决小样本、非线性、高维数，局部极小点等问题上表现出特有的优势。本文利用这三种算法对四模式类的运动想象脑电信号进行特征提取与分类。仿真结果表明，本文的算法在达到精度要求的同时又保证了分类器的稳定性和较高的信息传输速率，为多任务的运动想象脑-机交互应用提供了一种有效方法。

［1］.EOG Artifact Correction from EEG Recording Using Sta⁃tionary Subspace Analysis and Empirical Mode Decomposition［J］.Sensors，2013，11（13）：14839-14859.

［2］Ghaheri H，Ahmadyfard A R.Extracting Common Spatial Patterns from EEG Time Segments for Classifying Motor Imagery Classes in a Brain Computer Interface（BCI）［J］.Scientia Iranica D，2013， 20（6）：2061-2072.

［3］Luis F，Nicolas Alonso，Rebeca Corralejo，et al.Adaptive Semi-Supervised Classification to Reduce Intersession Non-Stationarity in Multiclass Motor Imagery-Based Brain-Computer Interfaces［J］.Neurocomputing，2015，159：186-196.

［4］万柏坤，刘延刚，明东，等.基于脑电特征的多模式想象动作识别［J］.天津大学学报，2010，43（10）：895-890.

［5］Ge S，Wang R，Yu D.Classification of Four-Class Motor Imagery Employing Single-Channel Electroencephalography［J］.Plos One，2014，9（6）：e98019.

［6］Feature.Extraction of Motor Imagery EEG Based on Wavelet Transform and Higher-Order Statistics［J］.International Journal of Wavelets，Multiresolution and Information Processing，2010，3（8）：373-384.

［7］罗志增，周镇定，周瑛，等.双树复小波特征在运动想象脑电识别中的应用［J］.传感技术学报，2014，5（27）：575-580.

［8］.Pattern Recognition of Motor Imagery EEG Using Wavelet Trans⁃form［J］.Journal of Biomedical Science Engineering，2008（1）：64-67.

［9］Falzon Owen，Camileri Kenneth P，Muscat Joseph.The Analytic Common Spatial Patterns Method for EEG-Based BCI Data［J］. Journal of Neural Engineering，2012：9.

［10］武小年，彭小金，杨宇洋，等.入侵检测中基于SVM的两级特征选择方法［J］.通信学报，2015，36（4）：19-26.

［11］Wan Baikun，Liu Yangang，Ming Dong，et al.Feature Recognition of Multi-Class Imaginary Movements in Brain-Computer Interface［C］//Proceedings of the International Conference on Virtual Envi⁃ronments，Human-Computer Interfaces and Measurements Sys⁃tems.Hong Kong：IEEE，2009：250-254.

［12］施锦河，沈继忠，王攀.四类运动想象脑电信号特征提取与分类算法［J］.浙江大学学报（版）2012，46（2）：338-344.

［13］孟明，满海涛，佘青山.基于CI-HMM的运动想象脑电信号分类［J］.传感技术学报，2013，12（26）：1638-1643.

［14］郑敏敏，高小榕.基于眼电的字符输入系统研究［J］.中国生物医学工程学报，2012，31（6）：801-806.

［15］Li M A，Lin L，Jia S M.Multi-Class Imagery EEG Recognition Based on Adaptive Subject-Based Feature Extraction and SVMBP Classifier［J］.International Conference on Mechatronics andAutomation（ICMA），IEEE，2011：1184-1189.

［16］Eoin Thomas，Matthew Dyson，Maureen Clerc.Ananalysis of Per⁃ formance Evaluation for Motor-Imagery Based BCI［J］.Neural En⁃gineering，2013，10（3）：10.1088/1741-2560/10/3/031001.

张焕（1990-），女，山东菏泽人，硕士研究生，要研究方向为生物医学信号检测与处理、脑-机交互技术，525287792@ qq.com；

乔晓艳（1969-），女，山西运城人，副教授，博士。主要从事生物医学信号检测与处理、脑-机交互、仿生机器人方向的研究工作，xyqiao@sxu.edu.cn。

EEACC：7220；7510D10.3969/j.issn.1004-1699.2016.06.003

多任务运动想象脑电特征的融合分类研究*

张焕，乔晓艳*
（山西大学物理电子工程学院，太原030006）

针对运动想象脑-机交互任务模式单一、识别精度低、实用性较差等问题，采用改进的共空间模式（CSP）的特征提取方法，并利用支持向量机（SVM）与CSP融合分类方法对多类任务运动想象脑电特征进行分类识别。首先，选择特定导联上的脑电信号进行小波分解与重构，去除冗余信息；其次，利用特征参数做差的方法，得到较为明显的脑电特征；最后，通过SVM融合CSP的分类模式，对脑电特征进行多任务分类。利用BCI竞赛数据，对左手，右手，舌和脚四类运动想象任务的脑电进行识别。结果表明：分类正确率最高达到90.9%，平均正确率为86.8%，Kappa系数为0.886 7，信息传输速率可达0.68 bit/trial，能够有效的获得脑电特征并较好的实现多任务运动想象脑电识别。

脑机接口；运动想象；特征提取和分类；小波变换；共空间模式；支持向量机

TP391

A

1004-1699（2016）06-0802-06

2015-11-18修改日期：2016-03-03

项目来源：国家自然科学基金项目（81403130）；山西省自然科学基金项目（2013011016-2）