基于EEMD 和LeNet-5 的脑电信号情绪识别*

蔡 靖，周云鹏，程晓宇，辛佳雯，孙慧慧

(吉林大学 仪器科学与电气工程学院，吉林 长春 130061)

0 引言

脑电图(Electro Encephalo Gram，EEG)是一种利用电信号来记录大脑生理活动的方法。脑电图能够记录大脑正常活动过程中的各种电信号变化，可以在整体上反映出脑神经细胞产生的各种生理电信号指标于大脑皮层或其他头皮细胞表面处的变化情况。随着科学技术的发展，人们对情绪有了全新的认识，从最开始的情绪来源于“心”发展到了现在的情绪来源于“脑”。随着对人类大脑各方面的深入研究，人们逐渐发现了与大脑生理活动关系密切的特殊电信号。脑电位活动变化主要是由脑神经细胞的内部化学变化过程以及其他生理化学变化过程产生的，利用记录仪可以得到不同的大脑电位活动变化表现方式以及电位变化剧烈程度，检测出各个脑神经元的活动状态。

脑电活动是一些自发的并且具有一定节律的神经学和电子学活动，其信号频率变动范围处在1 Hz～30 Hz 之间的通常被认为是具有生理特征的重要信号，该区间可进一步分为δ(1 Hz～3 Hz)、θ(4 Hz～7 Hz)、α(8 Hz～12 Hz)和β(13 Hz～30 Hz)4 个不同的频段。

EEG 信号情绪分类识别的研究进展中，有相关实验选取了大脑前额区脑电信号的fp2-fp1、af4-af3、f4-f3、f8-f7、fc6-fc5 等14 个导联作为研究对象进行研究[1]；陆文娟[2]对比发现β 波与情绪活动的相关度较高；金雨鑫[3]应用深度森林对时域和频域数据进行了多粒度特征扫描，提取了融合时域特征向量和频域特征向量的特征向量，给出了对未知数据的预测；曾红梅[4]提取了功率谱、功率谱熵等特征进行情绪识别；李明爱[5]利用小波包变换时频分解重构获取了EEG 信号，将瞬时功率信号输入给DBN，进行无监督训练预训练，之后通过有监督训练进行微调，实现了特征的自动提取，并利用softmax 分类器实现了模式分类。

基于前文所述的研究现状，本文选取fp1、fp2、f3、f4、f7、f86个导联为研究对象，首先提取β波，对β波进行滤波去噪等处理[6]；接着利用EEMD 提取特征[7]，利用提取特征通过空间插值法绘制脑电地形图；最后使用LeNet-5 算法进行分类识别，得出结果。

1 实验数据预处理

DEAP 视频数据库于2004 年记录了受试者在音乐视频诱发下产生的人体生理反应信号，DEAP 包含了32名被观察男性和女性受试者分别观看40 min 的视频同时聆听音乐产生的人体生理反应信号以及一种情感Valence、Arousal、Dominance、Liking心理量表[8]。该生理信号数据库系统不仅可以实时跟踪研究人脑在多模态下的各种神经生理学和情绪讯息信号，还对实时处理各种情绪的人脑以及与心电相关的各种科学理论研究有着非常重要的应用意义。

DEAP 关联生理实验数据库信号采用512 Hz 采样率采样，128 Hz 复采样得到每个实验对象关联生理信号的40×40×8 064 矩阵，即存在40 个实验视频、40 个采样通道以及8 064 个采样点，如图1 所示。

图1 DEAP 数据库

相关已有研究表明大脑前额区参与人的情绪处理，本实验选取大脑前额区脑电信号的fp1、fp2、f3、f4、f7、f8 6 个导联作为研究对象。研究发现β 波与情绪活动较为相关[9]，因此对原数据进行去噪、滤波处理，提取β 波。

2 特征提取

2.1 集合经验模态分解

经验模态分解算法(Empirical Mode Decomposition，EMD)依据信号自身时间尺度特征来进行信号分解,使复杂信号分解为有限个本征模函数(Intrinsic Mode Function，IMF)，所分解出来的各IMF 分量包含了原信号的不同时间尺度的局部特征信号[10]。经验模态分解算法能使非平稳数据进行平稳化处理，但对时间尺度特征发生跳跃性变化的信号进行EMD 时，不同时间尺度上的特征模态成分将被分解为同一个尺度特征模态分量函数的混叠分量，会对处理结果产生干扰[11]。针对EMD 分析方法的不足，使用一种基于模拟化的噪声分析方法进行辅助分析，即EEMD。

集合经验模态分解算法(EEMD)主要是通过集合改进函数EMD 扩展得到的一种集合模态分解算法[12]。与EMD 一样，EEMD 依据时间尺度特征来进行信号分解，适合于快速处理非平稳和非线性信号数据，具有很高的高频信噪比，具体步骤如下：

(1)将噪声信号ω(t)加入原始信号X(t)后得到信号X′(t)：

(2)利用EMD 再次分解，对得到的剩余信号分量X′(t)进行处理，得到各阶的整数IMF 信号分量：

式中，rn(t)为再次分解后的各阶剩余信号分量。

(3)重复以上两个步骤，并进一步处理，即每次重复过程中均加入强度相同但序列不等的高斯白噪声，过程如下：

(4)由于高斯白噪声频谱具有均值为零的特性，利用这一特性，将以上各IMF 求均值即可得到最终的IMF 分量cn(t)：

由于脑电信号为非平稳的随机信号，故使用集合经验模态分解算法对时域进行分析。

2.2 特征提取

使用2.1 节中经EEMD 分解的脑电信号提取功率谱密度、能量谱密度、自相关函数、均值、方差、中位数6 个脑电特征值进行下一步分析[13]。

功率谱密度计算公式为：

式中，X(f)=F.T.{x(t)}，为x(t)的连续傅里叶变换；f 是x的频率分量。

能量谱密度计算公式为：

式中，S(f)为信号x(t)的频谱密度。

自相关函数计算公式为：

式中，*为卷积运算符。

均值计算公式为：

方差计算公式为：

式中，E(X)为x(t)均值。

中位数计算公式为：

式中，X 为x(t)顺序排列。

2.3 绘制脑电地形图

利用2.2 节中的脑电信号的6 个特征值计算其他导联数据，由于2.2 节中特征值为fp1、fp2、f3、f4、f7、f8 6 个导联的脑电特征值，故使用空间插值法进行其他导联特征值计算。

插值公式如下所示：

式中：X 为所需进行插值计算得点的位置；a，b，…，p 代表各采集点的数据；XA，XB，…，XP 为所需进行插值计算得点到各采集点的距离[14]。

得到各导联特征值后绘制脑电地形图。

3 分类算法

卷积神经网络(Convolutional Neural Networks，CNN)是一类包含卷积计算且具有深度结构的前馈神经网络，是深度学习(Deep Learning，DL)的代表算法之一[15]。LeNet-5是Yann LeCun 设计的用于手写数字识别的一种卷积-池化全连接的卷积神经网络。

本实验使用LeNet-5，共分为7 层(不包括输入层)，如图2 所示。

图2 分层示意图

C1 层是卷积的基层，该层由特征图谱单元组成，共有6 个特征图谱，特征图谱中的每个图谱与位于输入特征层的一个正方形节点相邻区域互联，该区域的尺寸大小为36(6×6)，每个特征图谱单元拥有相互共享的参数，即共用一个卷积层内核。

先将2.3 节中绘制的脑电地形图转化为455×455 的灰度图像，通过C1 层进行卷积，每个卷积核(6×6)与原始的输入图像(455×455)进行卷积，卷积后得到450×450图像，因此每个特征图有450×450 个神经元，特征图如图3 所示。

图3 特征图

S2 层为一个池化层。池化单元为9×9，池化单元之间没有重叠，在池化区域内进行计算后得到新的特征值。经池化后，C1 层卷积后的450×450 图像变为50×50图像。

C3 层也是一个卷积层，有16 个卷积核，卷积核大小为6×6，与卷积层C1 相同，它们之间的不同之处主要在于C3 与S2 并不是全连接而是部分连接，提取更多特征。特征图大小为45×45。

S4 是一个池化层，池化单元大小为9×9。C3 层特征图经S4 池化后特征图大小为5×5。

C5 层是一个卷积层，卷积核大小为5×5。

F6 层是一个连接层，计算输入向量和权重向量的点积，加上偏置，传递给sigmoid 函数得出结果。

output 层也是全连接层，输出最终结果共有4 个节点，对应情绪分类4 个等级。

本文使用卷积神经网络对绘制的脑电地形图进行图像分类，选取其中的90%为训练集，10%为测试集，进行测试，得出分类结果。

4 实验分析

4.1 原始数据

使用DEAP 数据库中原始fp1、fp2、f3、f4、f7、f8 6 个导联数据直接绘制原始时域曲线(包含眼电、肌电等噪声)，如图4 所示。

图4 原始数据图

4.2 滤波后β波

对4.1 节中的信号进行带通滤波去除肌电(EMG)、眼电(EOG)等噪声，提取β 波信号，绘制β 波的时域曲线，如图5 所示。

图5 滤波后β 波

4.3 EEMD 分解信号

对4.2 节中滤波后的β 波信号进行集合经验模态分解(EEMD)，分解为10 个本征模函数(IMF)，分别包含了不同时间尺度的局部特征信号，如图6 所示。

图6 fp1 通道特征提取图

对6 导联的分解信号分别提取包含信息较多的IMF绘制特征提取曲线，如图7 所示。

图7 6 导联IMF 合成图

4.4 脑电地形图

使用4.3 节中的功率谱密度、能量谱密度、自相关函数等特征值通过空间插值法计算其他导联得出特征值，并利用得到的特征值绘制脑电地形图，如图8 所示。

图8 脑电地形图

4.5 卷积层、池化层图像

使用4.4 节中的脑电地形图经尺寸变换变为455×455的图像，再经过灰度变换变为灰度图后通过C1 层(卷积层)得到C1 层特征图，如图9 所示。

图9 C1 层特征图

使用C1 层的特征图经过S2 层(池化层)，即提取每个不重叠池化单元中最大值重新组合成为新特征图，得到S2 层特征图。较C1 层特征图，S2 层特征图特征图尺寸迅速缩小但仍保留大部分特征，S2 层特征图如图10所示。

图10 S2 层特征图

4.6 分类结果分析

本实验识别准确率最高的特征为功率谱密度，准确率为80.1%，其次为自相关函数，识别准确率为77.5%，具体如表1 所示。

表1 各特征识别准确率

本实验使用DEAP 数据库，选取大脑前额叶fp1、fp2、f3、f4、f7、f8 6 个导联作为研究对象，将脑电信号进行滤波提取β 波，使用EEMD 分解信号提取脑电信号特征，使用空间插值法绘制脑电地形图，搭建LeNet-5 并进行训练，在情绪的分类识别上取得了良好的分类效果，有较高的可行性。

5 结论

为了实现脑电信号情绪识别，本文采用了对脑电信号滤波、EEMD 分解提取信号特征和卷积神经网络分类方法，得到了情绪与fp1、fp2、f3、f4、f7、f8 6 个导联β 波信号的具体关系。实验表明，前额叶β 波信号可以反映人的情绪，所以研究前额叶β 波信号有利于基于脑电信号的情绪识别进行，相较于其他特征功率谱密度可以较准确地进行情绪识别。

本实验通过EEMD 提取的前额叶β 波脑电信号的6类特征值信号特征搭建LeNet-5，选择DEAP 数据库中的数据进行训练，在情绪的分类识别上取得了良好的分类效果，6 种特征值间相互比较，提高了信号分类准确率，识别准确率最高为功率谱密度为80.1%，有较高的可行性。