基于卷积注意力机制的运动想象脑电信号识别

杜秀丽，马振倩，邱少明，吕亚娜

1.大连大学 通信与网络重点实验室，辽宁 大连116622

2.大连大学 信息工程学院，辽宁 大连116622

运动想象脑电信号（Motor Imagination-EEG，MIEEG）的识别可以帮助人们直接通过思维来控制基于脑机接口的机器人从事各种工作，是实现人与外界通讯的一种新途径，对脑认知、脑治疗和脑应用的研究具有重要意义。运动想象脑机接口系统不仅在残疾人康复、老年人护理等医疗领域具有显著的优势，而且在教育、军事、娱乐、智能家居等方面也具有广阔的应用前景。

目前，基于深度学习的网络框架被广泛应用于特征提取，在图像、视频、语音、文本等方面已经取得了良好的效果，且性能优于传统的算法[1-2]。由于这些领域的成功应用，研究者开始将深度学习技术应用于脑电图分析。Xu等人[3]利用一个两层卷积神经网络对经过小波时频变换后的三通道脑电信号进行识别以提高分类性能。Cai等人[4]利用门控递归单元（Gated Recurrent Unit，GRU）进一步提取经过卷积神经网络（Convolutional Neural Networks，CNN）预处理后的运动想象脑电信号中隐藏的一些序列信息，提高了MI-EEG的识别精度。葛荣祥等人[5]提出用深度信念网络（Deep Belief Network，DBN）对不同波段傅里叶变换后的脑电信号进行分类识别的方法，有效地提高了多类别MI-EEG的识别准确率。胡章芳等人[6]考虑到MI-EEG中蕴含丰富的时频信息，提出一种基于时频域的卷积神经网络识别方法，通过一种新颖的一维卷积CNN结构对短时傅里叶变换后的二维时频图进行特征提取，有效地提高了识别的准确率。因此，深度学习已成为MI应用中一种有效的算法。这些模型虽然为MI-EEG的识别提供了方法理论并取得了不错的效果，但是没有考虑不同通道和空间脑电信号与识别任务之间的重要程度关系，只是简单地将一些对该任务有用的原始脑电信号选取出来送入深度学习算法。然而，对于多通道脑电信号来说，信号的通道和空间对于不同的识别任务重要程度显然不同。

卷积注意力模块（Convolutional Block Attention Module，CBAM）可以聚焦重要信息，提高卷积的表示能力[7]。最近，将注意力模块融入网络中以提高网络的性能开始成为趋势，并在自然语言处理和图像处理方面取得了良好的效果[8-10]。但是目前还没有将卷积注意力模块融入到卷积神经网络中进行脑电信号识别的研究。

因此，为充分挖掘脑电信号的特征，兼顾通道和空间对脑电信号识别程度不同的机制，提高多类别运动想象脑电信号识别准确率，本文提出融合卷积注意力模块的神经网络多类别MI-EEG识别模型。为避免噪声对识别结果的影响，提出采用共空间模式构建的空间滤波器提高脑电信号的信噪比，再利用小波变换进行时频转换得到二维时频图，最后将二维时频图作为输入特征送入融合卷积注意力模块的神经网络中。要验证多类别MI-EEG识别问题，本文分别利用BCI竞赛IV-2a和BCI竞赛III-IIIa数据集对该方法进行了测试和评价，两个数据集存在着受试者人数和实验经验的区别。

1 卷积注意力模块

将给定的中间特征图作为输入，通过网络中融合的卷积注意力模块聚焦重要信息弱化无用信息，依次推导出一维通道注意力图和二维空间注意力图，然后将生成的注意力图映射相乘为自适应特征细化的输出特征映射。

1.1 通道注意力模块

中间特征图的每个通道都被视为特征检测器，因此通道注意力模块在获取输入图像有意义的通道方面较为重要。为了有效利用中间特征图通道之间的特殊关系，压缩输入特征图的空间维度，聚集空间信息，同时使用平均池化和最大池化，更多地保留输入特征图的背景以及纹理信息，极大地提高卷积网络的表征能力[7]。

通道注意力模块操作过程如下：第一层卷积的输出特征图作为中间输入特征分别通过平均池化和最大池化压缩成一个实数，输出的向量维度与中间特征图通道数相匹配；通过共享网络多层感知机（Multilayer Perception，MLP）的调整，输出经过调整后的向量；将各个向量元素相加，最后通过Sigmoid函数激活。通过式（1）的方法，与输入中间特征图逐通道加权求和，完成对第一层卷积输出特征图通道注意力的运算。

1.2 空间注意力模块

沿着特征图的通道维度对生成的通道注意力图分别应用平均池化和最大池化操作，在空间位置上进行2种池化方式的维度压缩，输出空间特征矩阵；将输出的特征矩阵合并成一个特征图，然后通过卷积层的作用生成二维空间注意力图，更好地拟合空间复杂相关性。经过Sigmoid函数激活后，应用式（2）加权求和，作用于特征图上，生成空间注意力图。

其中，σ表示sigmoid函数，f7×7表示卷积操作，卷积核大小为7×7。

2 基于卷积注意力模块的神经网络

优秀的CNN结构不仅能成功地应用于计算机视觉和自然语言处理领域[11]，而且在生物医学信号处理领域也存在着巨大的潜力。CNN能很好地自适应提取脑电信号中隐藏的特征信息，但是它并没有学习输入特征向量通道与空间之间的重要程度关系。通过融合卷积注意力模块[7]，网络相对于背景可以更高效的聚焦脑电信号特征的提取。卷积注意力模块作为基本模块构建网络，应用于网络中，一定程度上可以改善卷积核滑动加权求和难以得到全局信息的问题，提高卷积的表示性能。

CNN从脑电信号中充分学习特征需要大量的数据，但MI-EEG的数据集对于经典模型来说是小样本，很可能出现网络权值训练不充分的情况，导致过拟合的发生。为了使网络权值得到充分地训练，需要适当地调整CNN的结构，使CNN尽量满足数据集的要求。

具体MI-EEG识别方案框图如图1所示。

图1 MI-EEG识别方案框图Fig.1 Block diagram of MI-EEG identification scheme

针对样本量较小以及未兼顾重要程度关系的问题，本文将注意力模块和网络相结合，提出了一个简单有效的卷积网络结构，网络结构如图2所示。第一层为网络的输入层，将预处理得到的输入图像统一调整为64×64的大小。第二层L1为卷积层，通过卷积运算提取图像中的空间和时间频域低层次特征。第三层L2为卷积注意力模块，将经过卷积之后的图像作为中间特征图输入，沿着通道维度对中间特征图进行调整并强化特征图关键通道的信息，沿着空间维度对通道特征图进行调整并强化关键空间位置的信息，对通道注意力信息进行补充。第四层L3为卷积层，继续进行卷积运算提取高阶层全局特征。第五层L4作为池化层，捕获卷积运算输出的最重要的抽象特征，过滤掉冗余特征，减小数据维度。第六层F1，第七层F2为全连接层，通过将池化层输出的特征进行平面化，最终通过分类器得到识别结果。

图2 基于卷积注意力模块的神经网络结构示意图Fig.2 Schematic diagram of neural network structure based on convolutional attention module

3 实验及结果分析

3.1 实验数据描述

目前，MI-EEG的识别虽然已取得了较好的识别效果，但仍然存在识别种类少的问题，针对大多数文献针对二分类MI-EEG进行研究的问题，本文对四分类MIEEG进行分析。

上述科技创新补贴供给侧改革机制从源头上试图扭转企业策略性创新行为，提高创新补贴的边际效率，引导企业采用实质性研发策略。基于此目的，本文试图以微观企业创新为切入点，根据本轮供给侧改革的政策特征，考察科技创新补贴供给侧改革下企业研发策略的实施效果及其作用机制。具体而言，本文进行以下研究工作: 第一，考察创新驱动供给侧改革期间，政府创新补贴的新特征及趋势。第二，分析企业的创新研发项目类型以及R&D投入及科技产出等研发策略变动。 第三，进一步考察上述问题在不同产权性质的企业分组中，是否存在异质性差异。

本实验对数据集一BCI竞赛IV数据集2a[12]进行分类研究，数据集由9名受试者的22个头皮电极位置组成，包括4个类别的运动想象任务，即左手、右手、双脚和舌头的想象。数据采集的实验范式如图3所示。任务想象的时间为4 s；每个受试者在不同日期的两个会话涉及9个主题，每个会话由6次运行组成，一次运行包含48次实验，共包括288次实验。信号采样频率为250 Hz，并进行了频率为0.5~100 Hz的带通滤波和50 Hz的陷波滤波消除工频干扰。

图3 实验范式时序图Fig.3 Sequence diagram of experimental paradigm

此外，本实验采用2005年BCI竞赛数据集IIIa对该算法进行了评价。该数据集由三个对运动图像有不同体验的受试者（k3b、l1b、k6b）组成，k3b每种运动想象进行90次实验，共进行360次实验，l1b和k6b每种运动想象进行60次实验

，共进行240次实验。神经扫描脑电图放大器中60通道可用。脑电图采样频率为250 Hz，所有脑电图信号均采用1~50 Hz带通滤波器进行预处理。

运动想象的时间是4 s。一次实验全过程时序图如图4所示。

图4 一次实验周期范例Fig.4 Example of experiment cycle

3.2 预处理

不同的运动想象任务在特征频带和脑区是不同的，由于脑电图的事件相关同步和事件相关不同步模式主要反映在8~30 Hz频段。因此本文在对原始脑电信号进行分段处理后，采用8~30 Hz频段的带通滤波器对MI-EEG进行滤波处理。

脑电信号本身的信噪比较低，对最终识别的准确性影响较大。本文使用一对多共空间模式构建空间滤波器来最大限度地提高信噪比。一对多共空间模式是多分类问题的一种常用方法[13]，其将一个类设置为一个正类，其余的类都作为一个反类处理，从而形成一个两分类的共空间模式。

根据式（3）和式（4）进行空间滤波投影。

其中，Bi代表第i类模式下的空间滤波；UT1,2m代表某类模式下的特征向量；Pi代表这一类模式下的白化矩阵；X∈RN×M表示每个MI-EEG任务样本的N×M维矩阵，其中N表示电极数，M表示每个电极的采样点数；Zj∈R2m×M代表j类模式下的滤波后信号，2m表示滤波后的通道数。

脑电信号中隐藏着丰富的时频信息，小波时频转换能够显示信号的时间以及频域信息。通过将MI-EEG转换成二维时频图，并将其作为神经网络的输入，能够增强网络的特征提取能力，深度挖掘运动想象脑电信号中隐藏的动态信息。

3.3 仿真验证及结果分析

为了提高本文网络模型的泛化能力，采用k折交叉验证（k-fold cross-validation）的方法来验证模型的有效性，k设为9。采用小批量随机梯度下降来通过反向传播算法优化最小化实际标签和预测标签之间的交叉熵。

对基于卷积注意力模块的神经网络来说，不同的参数决定了不同的网络结构，这些参数的设置将直接影响最终的识别准确率。本文通过改变参数的大小，验证不同大小和个数的卷积核对网络识别效果的影响，实验结果如表1所示。

表1 不同网络结构的识别准确率Table 1 Recognition accuracy of different network structures %

其中n1,n2分别代表不同卷积层中卷积核的大小，i1,i2分别代表不同卷积模块中卷积核的个数。

通过表1中实验结果可知，当i1、i2分别为8、32、n1、n2分别为4时，模型的识别准确率最高。因为本文提供的脑电信号数据的维度较小，大卷积核容易覆盖整个二维图像，使得卷积提取局部特征的分辨率降低，从而影响识别效果。而小卷积核覆盖的局部区域较小，使卷积只能提取到很小的局部特征，提高了识别效果。

为了进一步比较本文提出的基于卷积注意力模块的卷积神经网络模型的有效性，将本文模型和未加入卷积注意力模块的CNN网络用于数据集的训练，同时对比不同压缩率r下的准确率，实验结果如表2所示。

表2 不同压缩率r下网络结构识别准确率Table 2 Network structure recognition accuracy rate under different compression ratio r

本文对基于卷积注意力模块网络模型中不同的压缩率参数r的值进行实验，通过表2中实验结果可以看出，对于本文的脑电信号识别任务，r设置为4时效果最好，准确率达到81.599%，因为r为4时，卷积注意力模块拥有的非线性能够更好地拟合通道间复杂的相关性，减少参数量的同时使网络整体的特征表达能力增强。r设置为8时准确率次之，达到79.830%；r为16时对信号的卷积特征提取起到了反作用，使任务识别的准确率不如未加入卷积块注意力模块的CNN网络好。

将本文提出的基于卷积注意力模块的神经网络识别方法与其他多类别MI-EEG识别方法进行了对比。受试者的平均识别准确率由表3给出。其中文献[14]采用多级加权融合框架将所有卷积层的特征使用完全连接层融合，从而在每个卷积级保留特征，达到的准确率为74.5%；文献[15]中将FBCSP方法和CNN用作新策略。FBCSP算法用于数据准备并创建包络表示输入EEG信号以保持信号的时间和空间属性，该准确率达到73.4%。本文方法得到的全部受试者的平均识别准确率为81.6%，相比于其他算法结果有较大提高。从结果的准确率来看，本文在一定程度上说明基于卷积注意力机制的卷积神经网络在多类别脑电信号识别中具有良好的性能。

表3 本文方法与其他方法的识别准确率比较Table 3 Comparison of recognition accuracy between proposed method and other methods

为了进一步验证本文方法的鲁棒性，在BCI-III-IIIa数据集上进行了不同方法的识别准确率对比，实验结果如表4。

表4 不同方法在BCI-III-IIIa上的识别准确率比较Table 4 Comparison of recognition accuracy of different methods on BCI-III-IIIa

由表4可得，与BCI竞赛以及近年来的文献[16]中采用CBLSTM方法提取频域和时域特征，文献[17]中选择各信道的最优频带提取特征的方法相比，本文方法的准确率有了提高，说明本文方法能够有效地解决多类别运动想象脑电信号的识别问题。

综合表3，表4可以看出，在同一数据集的情况下本文所提出的基于卷积注意力机制的脑电信号识别方法在多类别脑电信号任务下能够获得较好的识别准确率，鲁棒性较好。说明本文能够兼顾通道和空间的重要程度关系，较好地提取运动想象脑电信号的特征，进而获得良好的识别准确率。

4 结论

运动想象脑电信号特性复杂，在多分类识别任务中准确率不高。本文通过一对多共空间模式对多类别脑电信号进行预处理，减少空间模糊的影响，得到各类别的空间滤波信号后，使用小波变换进行时频转换生成二维图像。利用深度学习网络可以自适应提取脑电信号中隐藏的特征信息的能力，加入注意力模块来强化重要信息，抑制相对不重要信息，兼顾网络通道和空间的重要程度关系，有效提高网络特征提取的能力。实验表明，本文融合卷积注意力模块的神经网络通过卷积运算对输入二维特征图片进行抽象特征提取并执行分类模式的识别分析可有效提高MI-EEG的识别准确率，通过与其他方法相比，说明本文方法在MI-EEG识别方面具有有效性。