基于深度时空特征融合的多通道运动想象EEG解码方法

杨 俊 马正敏 沈 韬* 陈壮飞 宋耀莲

①(昆明理工大学信息工程与自动化学院 昆明 650504)

②(昆明理工大学医学院 昆明 650504)

1 引言

脑信息解码是实现脑机接口(Brain Computer Interface, BCI)[1]系统的关键环节。传统脑电(ElectroEncephaloGraphy, EEG)分析需要加入人为经验进行特征定性，这使得BCI系统的实时性很难达到要求，同时也不能广泛地应用于不同人群。因此实时性和泛化能力成为制约在线BCI系统发展的瓶颈问题。在此背景下，相对于传统方法，深度学习[2]具有整合预处理、特征提取和分类环节-简化解码过程，且能自动根据数据优化解码结果的优势。

在运动想象(Motor Imagery, MI)脑信息解码研究上，多通道数据固然能提供更为全面的信息，但也会引入冗余信息。因此利用多通道运动想象脑电信号信息解码需要有目的地对通道信息进行合理取舍。从现有的研究上看，对通道信息进行特征提取的常用方法有主成分分析、独立成分分析和共空间模式[3]。前两种方法主要针对含有空间信息的2维数据矩阵做分解和重构转换，共空间模式则是将数据转换到另一个新的空间，使得不同类别数据间的方差最大，同类数据的方差最小，从而突显辨识信息提高分类精度。这些方法由于针对的不只是空间辨识度的获取，在空间域特征的提取和空间域信息的融合上表现得并不出色。因此在空间特征提取上具有一定的局限性。对于多通道MI-EEG特征来说，捕获多信道信号之间的相关性是至关重要的，而捕获通道间关联性的方法包括特征融合法[4,5]、多信道决策融合策略[6]和深度学习法[7]。从现有的方法来看，文献[8]所提出的基于卷积神经网络(Convolutional Neural Networks, CNN)和长短时记忆模型(Long Short Term Memory, LSTM)并联模型对空间特征进行融合的方法是比较具有代表性的。利用多通道数据进行脑电解码，通道或通道组合的选取显得尤为重要。首先需要对不同通道数据进行分析，从这些通道信息中挖掘出具有辨识特性的子空间特征。大部分MI-EEG解码研究仅针对目标通道(C3, C4)，忽略了非目标通道中能反映脑活动的信息。文献[9]利用CNN对三通道和五通道脑电数据进行特征提取。文献[10]利用深度模型进行通道选取下的MI-EEG解码，该类方法基于2维数据结构对时空特征进行提取并选取有效的通道信息。文献[11]利用空间滤波器和空间特征权值过滤冗余通道信息。文献[12]和文献[13]针对MI-EEG的时间和空间特征进行融合解码。这些方法都是基于对特征细分后再进行加权融合，并没有考虑对通道数据处理前数据空间结构和时空局部特征组合表达的合理性。文献[14]通过计算多通道关联性分析解码效率。基于上述分析，本文引入一种新的多通道卷积神经网络(MC-CNN)的解码方式，该结构能够弥补通道位置信息在存储时的空间关联信息丢失问题，然后结合卷积神经网络在空间滤波上的强大功能，对目标通道及其附近的35个通道MI-EEG数据进行时空特征提取。该模型对经过离散小波分解后的α, β频段的数据进行处理。卷积神经网络将多通道数据融合映射到几个子空间特征向量上，然后利用这些提取出的具有辨识信息的融合特征进行解码。实验结果表明，基于多通道MI-EEG多元特征融合学习后的识别方法较其他方法预测性能更好。

2 运动想象数据获取和预处理

2.1 运动想象实验

在运动想象实验中，6名被试者参与了脑电信号的收集，并记录了来自64个电极的脑电信号。被试者被要求进行两种类型的运动想象：左手，右手(图1所示)。采集分为6个时段进行，每个时段每个被试者进行48次运动想象实验。因此，每个被试者总共有288次运动想象实验脑电序列被采集到。训练数据采用在左右手视觉提示线索出现后的2.5～4.5 s(共2.0 s)作为运动想象部分。

2.2 MI-EEG通道选择

众所周知，事件相关同步和去同步(Event Related Synchronization/Desynchronization, ERS/ERD)现象出现在特定的脑区，因此在运动想象期间只有少数电极被激活(主要是C3, C4和Cz)。另外，不相关和冗余信道会增加计算量，降低识别精度。本次实验采用运动想象目标通道C3, C4及其周围的共35个通道，如图2红框所围部分。

2.3 MI-EEG数据预处理

本文将对选出的多通道脑电信号在0.5～100 Hz进行滤波，并以250 Hz的采样频率进行采样，再利用5阶Butterworth带通滤波器去除信号超过40 Hz的噪声和在4 Hz以下的慢基线信号。然后利用离散小波变换获取到与ERD/ERS相关的目标频段(即16～32 Hz和8～16 Hz频段)进行分析。离散小波变换经过多级分解将原信号转化为多个不同频段的细节系数(detail coefficients)和1个低频成分的近似系数(approximate coefficient)。本次研究针对空间特征进行分析，因此本文针对每个通道组的MI-EEG数据进行特征提取。对于信号的M级小波分解，给定的信号s (n)可以表示为其中，M表示离散小波分解级数，AM表示近似系数，Dj表示不同分解层级下的细节系数。具体的分解方式为

图1 运动想象实验过程

图2 所采用的电极通道位置

其中， g[i]和h [i]代表低通滤波器和高通滤波器，上标L和H分别对应信号的高频和低频部分的表达缩写。本文设计的离散小波分解级数为4级，分级形式为

3 深度学习特征提取及融合方法

3.1 MI-EEG时空间特征提取

一般来说，卷积神经网络是由1个或几个堆叠的卷积层组成的。每个卷积层通常包括3个处理阶段，即卷积阶段、检测阶段和池化阶段[15]。本文方法利用不同模型从不同的角度对空间特征进行多样表达，然后再对生成的特征进行融合解码。此方法在保证特征表达多样化的同时进行融合，在很大程度上能够提升解码性能，同时采用CNN进行空间特征提取和融合有两个优势：(1) CNN能够从MI-EEG中提取低层次的局部特征，随着卷积网络加深，能在这些低层特征结构的基础上进一步提取更大范围的高层全局特征。(2) CNN适合处理带有空间位置信息的数据结构。当使用2维滤波器对2维MI-EEG数据进行卷积时，每层卷积结果可以表示为

其中， x表 示当层输入数据，Wk表示k阶2维滤波器的权值矩阵， bk对应k阶滤波器的偏置，i和j表示相邻的卷积层数。通过不同的滤波器对数据进行卷积从而实现特征的多种组合形式[16]。

通常情况下，设计CNN时，层级数k随网络层加深而递增。这里利用3层的CNN对35通道的MI-EEG进行处理。卷积过程详见图3。

在卷积第1层，本文采用2维滤波器，对时间和空间特征同时进行提取。第1层主要对空间信息进行滤波，将35通道的信号滤波为6组子空间特征向量。第2层对时间信息进行滤波，经过卷积和池化最后形成6组长度为101的时空特征向量。该向量空间融合了35个通道的信息的表达。卷积过程详见表1所示。CNN网络设计的主要参数是卷积层数、卷积滤波器、学习率、池化函数，这些参数的值预先设定，且在网络训练过程中不会产生变化。卷积模型的超参数选择基于设计标准[17,18]并结合实际情况。

3.2 MI-EEG时空间特征融合

在特征提取以后，要考虑特征的选取和融合。鉴于对全局特征进行选取和融合，本文采用自动编码器(Auto-Encoder, AE)作为特征生成网络，AE能以一种非监督学习模式复现输入信号。采用AE的目的是利用其复现功能重新整合特征，即捕捉输入特征数据的重要成分。对于所提取的特征，利用AE将其映射到一个具有辨识度的特征子空间上。CNN提取出的特征向量F作为AE的输入。自动编码过程表示为

4 实验及评估

4.1 实验数据类型及实验平台

图3 所提方法的网络架构

表1 数据经过各卷积层和神经网络层后的映射变化情况

实验数据分为自己采集的实验室采集数据和BCI竞赛IV中的公共数据，采集数据和公共数据均为执行左、右手运动想象任务的脑电数据。数据情况详见表2。数据以一种3维(时序，通道数，次数)数据矩阵结构存放，因此本文所需要处理的输入数据格式是针对此类数据格式进行的。

整个神经网络采用Theano和TensorFlow框架实现。Theano是一个用于构建运算的Python库，TensorFlow广泛应用于各类机器学习(Machine Learning, ML)算法的编程实现[19]。由于对多通道MI-EEG信息处理，考虑到计算效率，本文采用相对简单的MSE作为损失函数。训练采用自适应随机优化算法ADAM[20]对MSE损失函数进行优化。学习速率为0.004，为了预防过拟合，权值失效率设为0.5。训练采用小批样本梯度下降策略(mini-batch gradient decent)。对于不同的数据集S1, S2, S3均划分为10个批次样本子集。以单位批次训练完毕后计算损失函数和更新参数。对于不同数据集所提方法都接受了50次全部样本训练。在每次训练结束时，如果模型性能超过训练集上出现过的最佳性能，则保存模型参数。监督训练的目的在于在已知标签数据的情况下通过CNN拟合一个从输入数据到预测分类输出的函数。用于训练和测试的数据比例为2:1。最后在测试集上计算模型的最终解码性能。

本文对CNN中的所有参数(权重和偏差)进行联合训练。softmax输出给出了K分类上的条件概率分布。通过这个分布，本文可以最小化每次训练的损失函数的总和来训练整个CNN网络的参数

4.2 MI-EEG解码准确率分析

本节主要对不同的实验数据在不同的深度学习方法下的分类准确率进行分析。为了方便表示，将所提的方法记为MC-CNN，即多通道数据特征融合的CNN。对比方法用了对目标通道特征提取的CNN和提取时域特征的LSTM。表3给出了实验室采集的数据集D1下，所提的方法与其他深度学习方法的准确度比较情况。3种方法的平均分类准确率分别为84.57%, 85.60%和88.05%。本文所提出的方法比次优方法高出了2%，说明所提的通道融合方法能提高解码性能。此外，LSTM比CNN在6个被试者中的平均准确率高，但LSTM相比CNN用于时域特征提取需要更大的计算开销，因此当进行BCI应用设计时，要根据实际情况进行权衡。

表2 MI-EEG实验数据情况

从竞赛数据来看，MC-CNN方法分类性能也较好(见表4)。在竞赛数据下，MC-CNN在除被试者D和F外优于其他解码方法。LSTM在竞赛数据上的表现仍然优于CNN。

4.3 深度学习模型性能分析

图4给出了不同特征提取的深度模型下的混淆矩阵和评价指标，最右下方格子里面的百分数表示对应方法的准确率。从评价指标中可以看出，本文所提方法在各项指标上均优于采用LSTM进行特征提取的方法。此外，本文还发现，所提方法的召回率相对较高，此结果说明在所有的左手运动想象MI-EEG样本中，本文的方法能够较好地识别此类样本。也可以进一步解释为：本文所提方法在捕获左手想象时的辨识信息上更具潜力。

图5显示了在不同方法下的多通道MI-EEG预测时间。C-RNN表示卷积和递归联合的深度学习方法。本文所提的MC-CNN方法测试用时比CRNN和LSTM少，比CNN多。原因在于，空间特征提取和融合所带来的参数运算量增加。

表5将本文所提方法与文献[21]所提出的基于瑞利系数最大化(RC)的多通道特征提取方法及该文献中所提到的其他方法进行比较，由于针对的被试者不同，这里仅针对不同被试者的平均准确率进行比较。可以从表5中看出所提方法与其他方法相比准确率有所提升。同时，基于RC和GA及其结合的方法在不同被试者的表现上波动比较大，所提方法在不同被试者上的波动变化较小。

表3 不同被试者和方法下的准确率(采集数据D1)

表4 不同被试者和方法下的准确率(公共数据D2,D3)

图4 不同特征提取方法下的混淆矩阵及评价指标

图5 不同方法的测试时间对比情况

表5 不同多通道MI-EEG解码方法的准确率对比(%)

4.4 特征融合分析

本节对局部特征构成全局特征的过程进行分析。为了方便表示，不同频段的信息特征用离散小波分解系数表示为频段D1，频段D2，频段D3，频段D4，频段A4。在时域分析上需要考虑信息的前后关联性，这使得在分段时要保证一部分的重叠信息，因此本文采用滑动窗将信号的时域部分进行划分，时段长度定为0.8 s，滑动窗的步长间隔定为0.4 s。这样本文将长度为2.0 s的脑电信息分为4个不同时段的信息。图6给出了数据集S1中6个被试者数据中不同频段和时段的包络特征对形成全局特征的影响情况。纵坐标系数对应本文完全训练好的网络映射系数。从图中可以得到两点明显特点，一是在不同的被试者之间，局部时段-频段特征有着显著的分布变化。二是所有被试者在频段D2和频段D3上的特征分布都较大，这与ERD/ERS现象相符。识别准确度较高的被试者C，被试者E在局部特征表现上都有共同的特点，即局部特征分布比较集中。这意味较多的辨识特性蕴含在较少的局部特征中，这种辨识特征集中分布也突显出与非辨识特征的差异，因此本文的方法对这类数据的识别率更高。这一点其实是大部分分类识别模型的特点，如CSP就是通过将MI-EEG数据转化到另一个空间，使得其类间数据的方差最大化，类内数据的方差最小化，从而提高识别性能。

接下来针对通道局部特征进行分析。这里把35个通道对全局特征的影响按大小划分为5个等级。划分结果见表6。从划分结果电极位置分布情况看，中轴位置除了Cz，其他电极均为微弱级影响通道。这是因为，中路位置位于左右脑分界，这部分区域几乎没有有效的脑活动信息，就算有也是其他区域传过来的代表其他区域的信息。Cz位于两个目标通道中间，不同影响的辨识信息也会叠加到这个通道上，也可以作为参考通道。另外本文还发现影响度前3的通道只有12个，占总通道数的1/3。从分布来看，它们主要围绕在C3, C4附近。微弱通道数有18个，占了总通道数的1/2以上。因此在多通道MI-EEG解码时，对冗余通道的压缩和滤除是很重要的。由于不同的被试者在通道上的辨识信息分布也存在差异，针对不同的被试者进行有目的的通道选择再进行相应的解码是本文进一步需要研究的问题。

图6 不同被试者数据时-频特征对分类结果的影响

表6 不同通道对识别结果的影响分布

5 结束语

本文研究了多通道MI-EEG空间特征压缩融合问题，提出了一种基于多通道脑电特征信息解码方法MC-CNN。该方法利用卷积神经网络对经过预处理的多通道脑电数据先进行时空特征提取，在池化过程中，将数据的时域信息进行逐步压缩，再利用AE对提取出的时空特征进行融合，形成压缩后的特征子空间。最后通过softmax分类器针对特征子空间进行分类预测。

本文使用识别模型的常用评价指标和一些实验方法对所提出的方法进行验证。实验结果表明，在多通道多被试者运动想象场景中，本文提出的方法性能优于其他多通道特征分析方法的性能，且证明了所提方法在预测性能和效率方面的能力。采用基于深度学习模型的方法也是考虑到多通道数据在大量的复杂信息中蕴含着丰富的有效的辨识资源，通过实验也证明了这一点。此外，对多通道MI-EEG数据的分析也能帮助我们分析一定脑区位置信息在运动想象过程的变化和关联情况，从而能够对大脑结构和功能进行更加深入的探索。