应用多尺度混合卷积网络的脑电信号特征提取与识别

王蒙昊, 方慧娟, 龚亨翔, 罗继亮

(1. 华侨大学 信息科学与工程学院, 福建 厦门361021;2. 华侨大学 福建省电机控制与系统优化调度工程技术研究中心, 福建 厦门 361021)

脑机接口(BCI)通过解码人类思考时的脑神经活动信息,建立大脑与外界之间的直接信息传输通道[1].BCI是一项有潜力改变世界的尖端技术,具有十分广泛的应用.在医疗方面,BCI可以帮助中风患者、身体残疾的人[2];在非医疗方面,BCI可以控制小车、机器人[3].由于实现BCI技术的关键在于脑电信号(EEG)的高识别率,因此,BCI研究的首要任务是脑电信号特征的提取和识别[4].

近年来,对脑电信号特征的有效提取以及分类的研究也越来越深入.研究主要分为机器传统学习方法和机器深度学习方法.机器传统学习方法依赖特定的领域知识,通常需要使用手工特征提取器(通道滤波共空间(FBCSP)[5]、小波变换[6]和快速傅里叶变换等),将提取的特征输入到鲁棒性较高的线性判别器(LDA)或者支持向量机(SVM)中进行分类.

机器深度学习方法不但具有比传统方法更强大的拟合能力,还可以自动提取脑电信号特征.Lawhern等[7]提出了EEGNet模型,使用卷积神经网络(CNN)模块[8]提取空间和时域特征,提取能力更强,鲁棒性更好.Ingolfsson等[9]提出了EEG-TCNet模型,将一种专门为时间序列设计的卷积神经网络TCNet[10]模块与CNN模块相结合,增强模型的时域提取能力,达到更好的效果.Mane等[11]提出FBCNet模型,使用多种不同截止频率的低滤波器提取不同维度的信息,以增强模型的频域提取能力.Song 等[12]提出EEG-Conformer模型,将CNN模块与通道注意力机制(SE)模块结合,增强模型空域与时域特征提取能力.此外,文献[13-15]还提出通讯信息进程(CSP)模块与CNN模块的结合、长短期记忆(LSTM)模块与CNN模块的结合的模型.

以上研究增强了时-频-空域的特征提取能力,主要围绕CNN+其他模块.考虑到脑电信号的个体和时间差异性,脑电信号相关的信息会出现在频谱的多种波段上,每层仅使用单一大小的卷积核提取特征,会丢失一些有用的特征.如果能使用多种不同大小的卷积核,并引入新颖的特征提取架构,有望进一步提高脑电信号特征提取和识别能力.本文应用多尺度混合卷积网络的脑电信号特征提取与识别.

1 EEG-MSTNet模型

1.1 总体架构

EEG-MSTNet模型主要由3个模块构成：多尺度卷积(MCNN)模块、SE模块和时域残差(TRN)模块.EEG-MSTNet模型总体架构,如图1所示.图1中：BN为批正则化层;ELU为指数线性单元激活层;Pool为池化层;Lambda为函数;Dense为全连接操作.

图1 EEG-MSTNet模型总体架构Fig.1 Overall structure of EEG-MSTNet model

首先,通过4组并行的卷积模块(即多尺度卷积1)将EEG信号从低纬度的信号编码到高纬度的信号,并将拼接到一起的信号送入下一个模块.其次,通过核的大小与通道数相关的深度卷积沿通道方向卷积高维信号.最后,再用4组可分离的2D卷积(即多尺度卷积2)进一步提取特征.

输出的时间序列特征包含时-频-空3个维度丰富的信息,将其送入到SE模块,突出时间序列中最重要的通道信息,提升模型学习效率同时降低特征冗余.通过TRN模块,提取出更具有判别性的高维时域特征,对信号进行分类.

整体网络的参数设置,如表1所示.表1中：大部分参数是根据实验效果设定的最优参数;小部分参数(如多尺度卷积核大小)结合了对频率域的分析和实验效果而设置的参数;Softmax为函数.

表1 EEG-MSTNet模型的参数Tab.1 Parameters of EEG-MSTNet model

1.2 数据预处理和输入特征信息

原始的MI-EEG模型信号没有经过任何预处理,将其直接输入到EEG-MSTNet模型中.根据标签标的每个开始的时间点,将session数据切分成多个trial数据.输入模型的trial数据,xi∈RC×T,其中,C为输入脑电信号的通道数;T=t×f代表了每个EEG信号的采样点个数,t为运动想象切分的持续时间,f代表采样率.基于运动想象分类任务可以被定义为建立x和相应类别y之间的映射,模型的目标是对训练集{x,y}的学习,尽可能拟合该映射.对于BCI-Ⅳ-2a数据集,每个trial数据取1.5～6.0 s的数据,采样频率为250 Hz,故采样点C为22,18个session共切分成5 184个trial数据.

1.3 卷积神经网络模块

CNN模块是一类使用卷积操作且具有深度结构的神经网络的统称,最早应用于计算机视觉,解决了当时图像分类难的问题,现在也应用于多种领域,其中,卷积成为模型提取特征基础结构.1维卷积操作对脑电信号进行提取,卷积操作把卷积核与输入信号按位相乘并求和.这种操作可考虑周围点对当前点的影响,从而提取脑电信号的局部特征,卷积后的输出特征为

(1)

式(1)中：x为信号的输入特征;w为卷积核的权值;t0为信号当前时刻;K为卷积核的大小.

将1维卷积操作拓展为矩阵操作,即

(2)

CNN模块,如图2所示.图2中：Spatial Conv为空间卷积;Ave Pool是平均池化;Separable Conv为可分离卷积.CNN模块主要包括卷积层、池化层、激活层,以及全连接层.卷积层的层与层之间通过局部连接、权值共享,大幅减少参数量的同时,也提升了模型的鲁棒性.随着对机器学习研究的不断深入,现阶段的CNN模块增加了批正则化层和丢弃层加快模型的训练并减少过拟合,使用ELU激活层替代线性整流函数(RELU),使模型取得更好的训练效果.

图2 卷积神经网络模块Fig.2 Module of convolutional neural network

端到端的CNN模块作为基线模型可以自动提取脑电信号的特征,提取分为3个部分.1) 使用F1个大小为(1,64)的卷积,主要提取频谱特征;2) 使用D个大小为(C,1)的深度卷积,主要提取通道特征;3) 使用F1×D个大小为(1,16)的卷积,主要提取时域特征.基线模型在第2,3部分使用大小为(1,8)的平均池化减小的维度、ELU激活层;在第1,3部分使用丢弃层;在每个部分都使用批正则化层.

1.4 多尺度卷积模块

MCNN包含了4组不同大小的卷积核,对信号提取特征,大尺度卷积核可以捕获低频率的整体特征,小尺度卷积核可以捕获高频率的局部特征,通过对局部和整体特征的整理,可以有效地增强卷积的特征提取能力,即

(3)

式(3)中：i为卷积第i的的分支;N为分支数,N=4.

卷积神经网络第1,3层使用多尺度卷积,增强模型对频域和时域信息的提取能力.多尺度卷积神经网络总体架构,如图3所示.图3中：Average表示取平均值.多尺度卷积1分别使用4组大小不同的卷积,其中,64取1/4的采样率,可以提取4 Hz以上的频谱特征.4组卷积可以分别提取4,8,16,32 Hz的频谱信息,近似对应脑电的θ,α,β波.由于卷积神经网络第2层后跟着一个(1,8)的平均池化,信号降采样到32 Hz,故多尺度卷积2使用4组大小不同的卷积(图3(b)),对(500.0,250.0,125.0,62.5 ms)信息进行解码,增强模型对不同时间信息特征的提取能力.

(a) 多尺度卷积1 (b) 多尺度卷积2图3 多尺度卷积神经网络模型总体架构Fig.3 Overall structure of multi-scale convolutional neural network model

1.5 通道注意力机制模块

SE模块启发于卷积图像领域2D SE模块[16-17],能自适应地关注重要的通道.SE模块有两个优势：1) 经过MCNN模块输出的特征存在一定的冗余,SE模块可以除去非必要的特征信息;2) 在少量增加参数量和计算量情况下,增加模型的特征提取能力,关注更加重要的特征.SE模块主要包括压缩和激发两个部分.压缩部分主要解决通道相关性的问题,通过对MCNN模块提取的高维时序特征U进行全局池化处理,将特征的时域维度T进行压缩,只留下通道维度m.第q个通道特征mq表达式为

(4)

式(4)中：Uq为第q个通道维度的时序特征;L为时序特征在时域维度的长度;Fa表示取均值函数.

通过两层全连接层(先缩小再还原至原通道数C)完成激活,再通过权重W生成所要的权重信息,其中,W是通过学习得到的,第q个通道权重特征Sq表达式为

Sq=Fex(mq,W)=δ(W2(W1mq)).

(5)

式(5)中：W1和W2分别为两层全连接的权值矩阵;δ为sigmoid激活函数;Fex为激发函数.

将通道权重与原特征层进行加权处理,得到突出重要通道信息的时间序列,即

fq=Fscale(Uq,Sq)=Uq×Sq.

(6)

式(6)中：Fscale表示相乘函数.

1.6 时域残差模块

TRN模块加深卷积的层数,Chen等[18]发现加深网络的层数到一定数量之后,准确率反而下降了.残差结构通过添加网络直连结构,可以改善网络层数增加带来的梯度消失和网络退化问题,其表达式为

y=F(x)+x.

(7)

式(7)中：x为输入特征,F(x)表示对x进行卷积操作的输出.

时域残差模块与残差模块有两点不同：1) 时域残差模块采用因果卷积,阻止任何之前信息进入到未来,这样输出时间t只有t及之前的时刻;2) 时域残差模块采用空洞卷积,感受野指数型地增加.时域残差网络架构,如图4所示.图4中：Dilated Causal Conv为空洞时域卷积;Optional表示可选.

图4 时域残差网络架构Fig.4 Network achitecture of temporal residual convolutional

感受野计算公式为

RFS=1+2(KT-1)(2a-1).

(8)

式(8)中：RFS为感受野;a为时域残差块的个数;KT卷积核大小.

MSTNet模型使用2个时域残差块,每个残差块由32个卷积核大小为4的空洞卷积构成,故经时域残差模块输出的特征的一个点可以感受19个元素.将SE模块输出的维度为(32,17)的时间序列输入到时域残差模块后,最后一个点已经感受到所有时间维度的信息,故只需将最后一个维度为(32,1)的高维时间特征送入到分类器(使用Softmax)的全连接层,对信号进行分类.

2 实验结果与分析

2.1 实验数据集

采用BCI Competition Ⅳ-2a公开数据集[19]训练和评估EEG-MSTNet模型,它的数据量有限且数据包含在伪迹之中,因此,对脑电解码来说是一个十分具有挑战的任务.数据共有5 184个trials,受试者有9名(每名受试者在不同天做了两个session,每个session有6个runs,每个runs有48个trials,左手12个,右手12个,双脚12个,舌头12个),运动想象3～6 s(从6 s十字架消失后,开始短暂休息).EEG通道有22个电极,EOG通道有3个电极,电极频率为250 Hz,带通滤波频率为0.5～100.0 Hz.session1为训练集(有标签),session2为测试集.

2.2 实验设置

EEG-MSTNet模型由GPU显卡(NVIDIA RTX-3080Ti 12 GB)进行训练和测试,采用TensorFlow框架.训练配置如下：权重初始化均采用Glorot归一;优化方法采用Adam;学习频率设置为0.001;批大小为64;训练采用分类交叉熵损失函数,对每名受试者分别训练10次,尽可能保证所有模型达到最好的泛化效果,次数设置为1 000,采用提前停止技术,容忍度设为50(也就是当模型连续经过50次训练后,准确率没有继续提升,停止训练);训练集和测试集划分比例为1∶1.

2.3 评估方法

采用准确率Pa和Kappa系数ζk更准确客观地评估模型.Pa的计算式为

(9)

式(9)中：Ti为第i类中预测正确的样本数;Ii为第i类的样本数;n为类别的数量.

ζk的计算式为

(10)

式(10)中：n是类别的数量;Pe是预测与实际一致性的概率,当Pe为0.8～1.0时,概率几乎完全一致,当Pe为0.6～0.8时,概率高度一致.

2.4 消融实验

为了探究EEG-MSTNet模型的有效性,采用消融实验评估EEG-MSTNet模型中每个模块的效用.EEG-MSTNet模型中每个模块对性能的贡献,如表2所示.表2中：t为训练时间.

表2 EEG-MSTNet模型中每个模块对性能的贡献Tab.2 Contribution of each model in EEG-MSTNet model to performance of classification

由表2可知;None模块(卷积神经网络,基准模块)全面考虑时域、频域和空域信息,平均准确率为80.59%,与其相比,MCNN模块的准确率提升了1.24%.TRN模块准确率提升1.23%,SE模块准确率几乎没有提升;两个模块及以上准确率均获得较大的提升,SE+TRN模块的准确率为82.56%,准确率比基准模块提升1.97%,说明SE模块要连接其他模块才能发挥SE模块的效果;MCNN+SE+TRN模块比基准模块准确率提升2.94%,其最高分类准确率为95.83%,平均准确率为83.52%.

由表2还可知;相比于基准模型,MCNN模块增加1 792的参数量,SE模块增加295的参数量,TRN模块将增加16 056的参数量,这是由于高维特征图的数量是低维特征图的32倍,导致卷积层的参数量剧增,可以改用可分离卷积,大幅降低参数量.由于采用了提前停止技术,每个模块训练轮数不一致,采用训练总时间除以训练轮数作为训练时间,可以看到SE模块对训练时间的影响较小,而MCNN模块对训练时间的影响较大,MCNN+SE+TRN模块的训练时间为0.240 s,较基准模块需要多消耗0.110 s,处于可接受的范围.

2.5 对比实验

表3 EEG-MSTNet模型与其他相似模型的平均准确率比较Tab.3 Comparison of average accuracy of EEG-MSTNet modole with other similar modoles

EEG-MSTNet模型与近期研究模型的性能比较,如表4所示.由表4可知：采用3种模块的EEG-MSTNet混合神经网络模型无论是在Pa还是ζk均优于近期研究的模型.

表4 EEG-MSTNet模型与近期研究模型的性能比较Tab.4 Performance comparison of classification for the proposed model and recent research models

3 结束语

EEG-MSTNet模型可以端到端地进行脑电信号的特征提取与识别,不需要手工提取特征,它主要由MCNN模块、SE模块和TRN模块组成.MCNN模块增强卷积神经网络的时频域特征提取能力,将原始的EEG信号编码为一个高维的时间序列.SE模块通过压缩与激发突出时间序列中最重要的通道信息.TRN模块从时间序列中提取更高维的时域特征.消融实验表明,EEG-MSTNet模型的每个模块都对分类性能的提升做出了贡献,表明了这种混合架构设计的有效性.虽然每个模块会增加模型的参数量和训练时间,但在可接受的范围内.值得注意的是,使用SE模块后要连接其他模块,才能发挥SE模块的效果.同时,通过与其他模型进行对比[24-25],EEG-MSTNet模型有很强的竞争力.虽然EEG-MSTNet模型在运动想象领域进行测试,但是其设计思路对脑电信号的其他领域甚至图像语音领域都有很好的借鉴意义.