基于希尔伯特变换联合卷积神经网络的脑电信号识别方法

甘华生，陈明生

(1.惠州城市职业学院,广东 惠州 516000; 2.广西科技大学 鹿山学院,广西 柳州 545000)

0 引言

脑-机接口(BCI, brain-computer-interface)技术是一种不依赖于脑外周神经或肌肉系统，利用计算机等外部辅助设备直接采集大脑皮层实时电信号从而实现外界与大脑神经系统建立交流和控制通路的一种新技术，为科研人员研究人脑系统提供了新的手段，在运动康复，辅助控制，影音娱乐等领域具有广泛的应用前景[1-3]。

脑电信号(EEG, electro encephalogram signals)产生机理复杂，是一种典型的非平稳和非线性的微弱信号，如何准确、快速实现对不同意识活动对应脑电信号的区分是当前研究的热点和难点，其中的关键环节是特征提取[4]。目前常用的特征提取方法主要可以分为时域特征提取、频域特征提取和变换域特征提取3大类，其中时域特征提取方法以自回归模型和自适应自回归模型等为代表，该类方法直接对脑电信号的时域回波进行建模，并提取参数特征作为特征向量，具有运算量小，实时性高的优势，但是由于脑电信号微弱性特征明显(只有μV量级)，时域信号容易受噪声污染导致特征的可分性降低，因此该类方法在低信噪比条件下的识别性能较差[5-7]；频域特征提取方法根据不同意识活动脑电信号在频域的分布范围不同从而提取特征，以功率谱特征和频带能量特征为代表，该类方法获取频域信息的代价是丢失了时域信息，信息提取维度单一并且更适合于分析线性、平稳信号，在面对非线性、非平稳脑电信号时性能出现明显下降[8-10]；变换域特征提取采用小波变换，时频变换等方法将脑电信号转换至小波域或时-频域等变换域，在变换域提取特征，相对于时域特征和频域特征，变换域特征可以同时获取多个域的特征信息，特征提取维度更广，相对于单一维度特征通常能够获得更高的分类性能，但是不同变换域特征的分类性能差异较大，而如何找到最优的变换域及对应特征目前还没有较好的方法[11-14]。

上述方法虽然能从不同维度提取差异信息实现脑电信号的分类识别，但均采用人为提取特征的方式，识别性能的优劣更多的是依靠研究人员的经验，存在主观性强，工作量大等问题。本文在上述研究的基础上，将希尔伯特变换(HT, Hilbert transform)与卷积神经网络(CNN, convolution neural network)理论引入运动脑电信号分类识别领域，首先利用HT将一维脑电信号转换为幅-相域二维图像表征，扩充特征提取维度，然后采用CNN对图像进行层次化的理解和分析，并自动提取特征完成分类识别。基于Graz数据的试验结果表明，所提方法在低、中、高3种信噪比条件下分别可以获得73.5%，87.6%和91.7%的正确识别结果，并且只需0.07 ms即可完成对单个样本的有效识别，具有较高的应用前景。

1 脑电信号的二维图像表征

由于直接采集到的脑电信号为实信号，只包含幅度信息，要将其转换至幅-相二维图像域，需要对其进行变换并提取其中的相位信息。HT是信号处理和通信等领域中广泛应用的一种信号分析方法，通过对原始信号进行90°相位变换并且不改变频谱分量幅度的方式构造关于原始信号的解析信号[15]。

(1)

其中:*表示卷积算子，H(·)为希尔伯特变换算子，根据傅里叶变换的卷积性质，根据式(1)可以进一步得到HT的频域表示为：

(2)

(3)

(4)

将信号幅度分量和相位分量单独提取出来，构建大小为2×N的向量，并进一步将其转换为高度为2，宽度为N的幅-相二维图像表征。图1(a)和(b)分别给出了想象左手运动和想象右手运动脑电信号的一维时域波形图，对其进行HT变换转换为二维幅-相灰度图的结果如图1(c)和(d)所示。通过将一维信号转换为二维图像一方面能够将原始数据中包含的所有信息还原，最大化的利用原始信号的信息，避免了信息丢失，另一方面这种建模方式得到的二维图像非常适合于卷积神经网络处理，有利于后续构建高速处理框架，提升算法实时性。

图1 一维脑电信号的幅-相二维图像表征

2 基于深度学习的识别方法

2.1 基本原理

所提基于深度学习的脑电信号识别方法的目的是实现对想象左手运动和想象右手运动脑电信号的分类与识别，将原始时域脑电信号表征为幅-相二维图像作为卷积神经网络(CNN)[16-19]的输入，利用CNN的自学习能力层次化的对输入图像进行分析和解译，自动提取特征并实现分类输出。该方法首先需要完成卷积神经网络的结构设计，然后利用训练数据对神经网络进行训练，实现网络的自学习，最后通过大量测试实验对神经网络参数进行调优，从而得到最优的网络模型。

经过反复测试实验，确定最优的CNN架构如表1所示，其中CNN由3个卷积层和3个全连接层总共6层组成，3个卷积层和前2个全连接层使用ReLU作为激活函数，最后一个全连接层使用SoftMax分类器完成分类判决。实验中使用Categorical Crossentropy作为模型的损失函数，使用Adam作为优化器函数，同时为了防止迭代过程中出现梯度弥散问题，试验过程中在卷积层加入40%的DropOut处理。

表1 最优CNN结构

2.2 卷积神经网络训练与优化

构建完成CNN网络模型后，需要利用训练数据对模型参数进行训练和调优。训练过程采用批处理方式，每次随机从训练样本集中抽取64个样本(批大小)进行训练，直到训练样本集全部被抽取后算是完成一轮训练，之后将数据顺序打乱再次进行下一轮迭代，每一轮迭代完成后都计算验证损失值(value_error)，如果连续2次迭代得到的验证损失值之差小于预设参数，则表明网络训练充分，终止迭代过程并输出训练结果。

本文实验中CNN运行的软件环境为Tensorflow l.8，cuda 9.0，keras 2.2，软件运行的硬件平台为Interl Xeon E5 2630 CPU和Navia Quadro K4200GPU。图2给出了模型训练过程中value_error的变化曲线，可以看出经过约40次迭代后，value_error的值达到稳定，几乎不再发生变化，表明网络模型训练充分。

图2 验证损失值随迭代次数变化曲线

3 实验结果与分析

3.1 试验数据

为了验证所提方法的识别性能，采用BCI2003国际竞赛公开的标准运动脑电信号数据集开展试验。数据集获取的被试对象为25岁女性志愿者，试验过程中，被试志愿者被要求根据眼前的屏幕提示进行想象左手或者想象右手运动，与此同时利用搭载EEG放大器的计算机辅助设备对被试志愿者的脑电信号进行同步采集，采样频率设置为128 Hz，采用差分电极从国际标准的10～20导联系统中的C3和C4两个通道获取。一次有效实验的时间为9 s，具体流程如图3所示，数据采集步骤包含3个阶段：

图3 1次试验时间流程图

1)0 s≤T<2 s，准备时间，被试志愿者前方显示屏不开机，处于黑屏状态，提示被试志愿者放松；

2)T=2 s，试验开始提示，被试志愿者前方显示屏出现十字光标，提示被试志愿者试验马上开始；

3)3 s≤T<9 s，试验时间，当显示屏上出现“向左”或“向右”箭头时，被试志愿者被要求按照光标提示方向进行想象左手或者右手在运动。

由于每次试验的有效数据为第3～9 s之间的数据，每组数据的采样信号长度为768个采样点。试验数据集中总共包含280组试验样本，其中想象左手运动140组，想象右手运动140组。

3.2 识别准确率

试验过程中，利用想象左手运动和想象右手运动脑电信号测试数据集对训练好的CNN模型进行测试，图4给出了不同信噪比条件下的所提方法的正确识别率，为了进行对比，图4中同时给出了在相同条件下利用文献[20]所提小波方法进行分类的结果，选取db4小波基，分解层数设置为6。图4中每组数据的获取是在训练数据和测试数据处于相同信噪比水平下进行试验获得，例如信噪比为5 dB时的识别结果是采用信噪比为5 dB的训练数据和信噪比为5 dB的测试数据开展试验得到的结果。

图4 不同信噪比条件下的识别性能

从图4可以看出，两种方法的识别性能随着信噪比的提升都出现了上升趋势。当信噪比在0 dB以下时，两种方法的识别性能差别不大，所提方法的性能略优于小波方法，正确识别率相对于小波方法的提升在2%以内，当信噪比高于0 dB时，所提方法的正确识别率明显优于小波方法，性能提升超过3%。

实际工程应用过程中，往往难以获得与测试数据信噪比水平完全一致的训练数据，通常训练数据与测试数据的信噪比水平存在一定的差异，为了验证所提方法在这种情况下的识别性能，将数据集根据信噪比水平划分为低信噪比，中信噪比和高信噪比3种数据子集，其中低信噪比数据子集中的信噪比水平为-8～ -2 dB，中信噪比数据子集中的信噪比水平为0～ 6 dB，高信噪比数据子集中的信噪比水平为8～14 dB，试验中随机从数据子集中选取80%的数据作为训练数据完成神经网络模型训练，剩余20%数据作为测试数据，验证所提方法的识别性能，每个数据子集重复进行5次试验，并将结果进行平均。表2给出了所提方法和小波方法的识别性能，可以看出所提方法在低，中，高3种信噪比条件下获得的识别结果均优于小波方法，3种情况下的识别性能分别提升3.7%，5.2%和4.8%，究其原因在于所提方法利用幅-相二维图像对原始一维数据进行表征，使数据中的幅度和相位信息得到了更直接的表达，充分利用了数据中的有效信息。

表2 不同信噪比条件下2种方法的正确识别率 %

3.3 识别处理时间

对于运动脑电信号识别问题，希望BCI技术能够实时地完成脑电信号的解译，因此算法的运算效率是正确识别率外的另一项重要指标。为了验证所提方法对单个测试样本的处理时间，将测试阶段的批处理大小作为变量，使其在[1，2，4，8，16，32，64，128]之间取值，在不同批处理大小情况下对单个测试样本的识别时间进行统计计算，图5给出了对应的结果。

图5 单个样本识别时间与批处理大小的关系

从图5可以看出，算法的运算效率与批处理大小密切相关，当批处理大小为1时，即每次输入1个测试样本进行分析识别，算法所需时间约为3.2 ms，随着批处理大小的增加，算法对每个测试样本进行分析识别的时间逐渐减小，最终稳定在0.07 ms左右，这与CNN的并行计算能力一致，因此在实际工程应用过程中，应该将多个测试样本同时输入模型进行分析识别以提升算法的实时性。

4 结束语

传统基于人工特征提取的运动脑电信号分类识别方法存在主观性强，信息利用率低的问题，并且特征提取和模式分类是相互独立的2个过程，不能实现联合优化，因此传统方法普遍识别性能不高。提出一种基于HT联合CNN的运动想象脑电信号识别方法，利用HT将脑电信号转换至幅-相二维图像域，然后利用CNN对其中包含的信息进行层次化的理解和解译，自动完成特征提取和模式分类。相对于传统方法，本文通过HT将信号提取维度从一维扩展至二维，增加了信号中的相位信息，同时CNN从大数据角度去自动化学习目标的抽象特征，通过多层神经网络结构来进行目标高层特征提取，同时网络学习过程实现了特征提取和模式分类的联合优化。基于Graz数据的实验结果表明，所提算法相对于小波方法可以获得更优的识别性能，在低、中、高3种信噪比条件下正确识别率分别提升3.7%，5.2%和4.8%。同时为了提升所提算法的运算效率和实时性，建议在实际使用过程中尽量采用批处理方式，此时对单个测试样本的分析识别时间约为0.07 ms。