基于无阈值递归图和深度残差网络的脑电信号情感识别

杜秀丽 郭庆汝 邱少明 吕亚娜

(大连大学通信与网络重点实验室 辽宁 大连 116622)

0 引 言

人类的情感既包含人类对外部世界或自身刺激产生的心理反应，同时也包含这些心理反应带来的生理反应[1]。它是一种综合了人的思维、感觉、行为的状态[2]。对情感进行识别有助于探寻精神疾病、心理障碍产生机理与发作规律，帮助医生做出最有针对性的治疗方案。在人机交互系统中，如果能够准确并且快速地识别体验者的情感变化，智能设备可以以此为依据进行调整，使交互过程更加智能和友好[3]。因此，对情感进行分析和评估已经成为心理学、神经科学、计算机科学、认知科学和人工智能等领域的一项重要的交叉学科研究课题。

脑电信号(Electroencephalogram,EEG)因具有不可伪装性、实时差异性和容易采集等优点逐步成为研究情感识别的生理依据。EEG信号是一种复杂的、时变的非线性信号，在利用传统的一维线性分析方法分析脑电信号过程中会不可避免地丢失非线性隐匿特证。当前，脑电信号的非线性分析方式主要有Lyapunov指数、近似熵[4]、递归图[5-6](Recurrence Plot,RP)和在递归图理论基础上的递归定量分析[7](Recurrence Quantification Analysis,RQA)等。Ouyang等[6]利用RQA分析大鼠癫痫发作各个阶段EEG信号的确定性特性。Yang[8]对心电信号进行小波分解，并对产生的各层分量进行递归量化分析实现对心肌梗塞疾病的分类识别，平均敏感性为96.5%，平均特异性为75%。李世丹等[9]采用排序递归图和递归量化分析方法，对不同刺激下各导联的脑电数据进行特征提取，可以有效地分析不同状态下视觉、听觉的整合效应，得到较高的准确率。Goshvarpour等[1]利用递归定量分析的方法评估情感视觉刺激期间大脑的状态，通过分析EEG信号在递归图中的递归率、确定性、对角线结构长度等特征来捕捉不同情感状态间的差异。Heunis等[10]选取17个导联的脑电数据，经过相空间重构，对生成的RP进行递归定量分析选取10个特征参数结合支持向量机识别有患自闭症风险的儿童，准确率达到92.86%，灵敏度为100%，特异性为85.71%。递归图几乎不会受到信号长度的影响，并且对信号的稳定性要求也比较低。将非线性动力系统的行为直观可视化，是分析时间序列非平稳性、混沌性的一种重要手段。传统的递归图分析方法都是引入递归定量分析方法进行定量分析(即选择递归率、确定率、递归熵、分层度等)，使得特征选择比较繁琐，这也是当前递归图应用所面临的挑战。

当前脑电信号情感识别研究中存在如下问题：传统机器学习方法大都需要对不同的数据进行相应的特征提取和后续的结合数据特点进行特征选择，这往往会因手动设计特征不当而无法捕捉到输入信息中能够反映情绪变化的特征，进而导致情感分类准确率下降；利用浅层神经网络分类器对大数据进行训练，效率不高，非线性拟合能力较低。深度学习可以消除当前在情感识别建模过程中特征提取和特征选择的局限性，特别是近年来，得益于卷积神经网络(Convolution Neural Network,CNN)的蓬勃发展，深度学习在图像处理[11]、音频处理[12]、文本识别[13]领域应用十分广泛。卷积神经网络通过从图像的像素特征中逐渐组合线条、边、角、简单形状、复杂形状等更有效的复杂特征，以发现数据的分布式特征表示，实现特征的自动提取。相比于传统人工提取的特征，这些自动提取的特征在众多研究中被证实更具有表征力，可以获得更优异的分类识别效果。

本文提出基于无阈值递归图[14](Thresholdless Recurrence Plot,TRP)和深度残差网络(Deep Residual Network,ResNet)相结合的脑电信号情感识别方法。该方法在相空间重构与递归图理论相结合的基础上将情感脑电信号转换为相应的无阈值递归图，从而将情感脑电信号非线性特征映射到二维平面，作为深度残差网络的输入，进行脑电信号特征自动提取、学习、分类，以提高EEG信号情感识别的准确率。

1 相关概念

1.1 相空间重构

相空间重构是递归图方法的必要步骤，此步骤的好坏直接影响到递归图的质量。相空间重构的关键是构造一个非线性时间序列的嵌入，选择合适的延迟时间和嵌入维数[15]。给定某非线性时间序列为x(n),n=1,2,…,N；相空间重构后得到m维的相空间向量：

X(n)=(x(n),x(n+τ),…,x(n+(m-1)τ))

(1)

式中：n=1,2,…,N-(m-1)τ;m为嵌入维数;τ为延迟时间。

结合目前现有的研究，确定嵌入维数m常用的方法有假近邻算法(False Nearest Neighbor,FNN)[16]、Cao分析法、C-C算法[17]；确定时间延迟τ常用的方法有自相关分析法、平均位移分析法、互信息分析法[18]。以上方法各有优缺点，需要根据实际情况选择。

1.2 递归图

递归图的核心思想就是将高维运动状态的轨迹映射到二维平面上，来实现可以直接表征其动力学行为的目的，将系统动力学特征可视化。RP算法如下所示。

时间序列经过相空间重构后得到向量集合{X(n)}，两个时刻X(i)与X(j)之间的距离为rij，则递归图定义如下：

Rij=Θ(ε-rij)i,j=1,2,…,N-(m-1)τ

(2)

式中：rij=‖X(i)-X(j)‖;ε为距离阈值;Θ(·)为Heavside函数即：

(3)

递归图可以表示为：

(4)

如图1所示，根据两个时刻的递归状态，分别由i、j表示横、纵坐标，可以得到一个由0和1组成的二值递归矩阵Rij。将递归矩阵中的0用白点表示，代表i和j时刻的状态明显不同，1用黑点表示，代表i和j时刻的状态相似，从而将递归矩阵转换成一个黑白递归图，即为非线性时间序列x(n)的递归图。

图1 递归图构造示意图

1.3 深度残差网络

CNN是一种非常高效的深层前馈神经网络，诞生的主要目标是识别二维图像，其网络结构对平移、比例缩放、倾斜或其他形式的变形具有高度不变性。典型的CNN结构由输入层、卷积层、池化层、全连接层，以及输出层组成。

对于深度神经网络，普遍认为加深网络层次是增强非线性拟合能力、提高模型识别准确率的有效手段。因为网络层数与神经元数量越多，就意味着可以挖掘到不同层的特征越丰富，提取到的特征就越抽象，越具有语义信息。但是这也同时出现了一个严峻的问题，随着网络层次的增加，会时常伴随着梯度消失和梯度爆炸的现象。为了解决深度卷积神经网络因网络层数加深而引发的退化现象，He等[19]提出了深度残差网络的模型结构。ResNet与以往的网络模型最大的不同就是引入了残差块[20]，其核心思想是通过多层网络来达到拟合一个残差映射的目的，而不是简单地利用网络层来拟合所期望的恒等映射。如图2所示,H(x)是期望得到的隐匿映射关系，x用来表示前一网络的输出。通过多个连续堆叠的非线性计算层来拟合输入数据与映射后的输出数据之间的残差F(x)=H(x)-x，残差越是逼近于零，表示网络挖掘的特征与原始输入越相近。

图2 残差学习：堆叠模块

将残差模块按照一定的规则进行堆叠构成的深度残差网络解决了深层网络面临的收敛难、调优难等问题，克服了传统卷积网络随着网络层数增加而导致的退化问题。

2 方法设计

本文提出的脑电信号情感识别方法原理框图如图3所示，对EEG预处理后进行相空间重构，转换为无阈值递归图，然后将生成的二维无阈值递归图作为深度残差网络的输入进行自动特征提取、学习，建立EEG情感分类模型。为了提高情感识别的性能，本文在单导联识别的基础上，进行多导联联合识别。

图3 本文方法原理框图

2.1 脑电信号的无阈值递归图

首先对EEG分别利用互信息分析法与假近邻算法确定对应的延迟时间与嵌入维数，参数如表1所示，进行相空间重构。为了尽可能保留脑电信号中的非线性特征，也考虑到卷积神经网络可以模拟人类神经元结构逐层实现信息传递，具有强大的特征自动提取能力，增强模型的自适应性，将EEG信号转换为相应的无阈值递归图，以此作为网络的输入。

表1 各个导联时间延迟与嵌入维数

图4是三类EEG信号波形和所对应的递归图、无阈值递归图，观察RP可以发现：三种情感状态下的EEG递归状态的点主要集中在少数区域，使得RP中某些区域出现了空白区域，此现象与正弦信号的RP相类似。

图4 三种情感脑电所对应的递归图、无阈值递归图

对比递归图与无阈值递归图可以发现，虽然递归图可以直观地表达EEG信号递归特性，但相较于无阈值递归图丢失了较多的肉眼无法识别的隐匿信息；无阈值递归图包含了更多丰富的非线性动力学特征，保留了较多抽象的高层表示属性特征，这种特性正好与CNN的优越特性形成完美的契合。仔细观察可以发现，无阈值递归图关于45°对角线对称，没有明显的周期现象，与脑电波形相符合，可以充分反映出EEG信号各个时刻波峰与波谷之间的起伏走势。

2.2 深度残差网络设计

脑电信号经过相空间重构、无阈值递归图表示后转化为1 500×1 500×1大小的矩阵、通过伪彩色处理变成224×224×3的特征图，以此作为深度残差网络的输入。表2为设计的网络结构参数，图5为结构图，原始的ResNet18是为了1 000个分类类别设计的，本文只针对EEG情感状态的三分类，所以网络最后通过Softmax函数得到三种情感识别结果。

表2 ResNet18超参数

图5 本文设计的ResNet18结构图

图4中的三种情感状态所对应的无阈值递归图经过各个网络层自动提取后得到的部分特征图如图6所示。不同卷积核提取不同的特征，(a)、(b)、(c)是无阈值递归图经过conv1处理后，提取的主要初级纹理特征，有效保留了图像整体轮廓，(d)、(e)、(f)是特征图经过conv7处理后输出的特征图。通过对比可以清楚地发现conv7输出特征图比conv1输出特征图可以反映出更多的纹理细节信息，是对原始图像细节特征与更高级特征的提取，几乎无法用肉眼清晰识别，充分挖掘了无阈值递归图的隐匿特征，使不同情感状态下脑电无阈值递归图有了更好的可分性。所以，可以通过合理的卷积层的设置与堆叠获得不同层级纹理信息。另外卷积核处理得越多，挖掘的无阈值递归图的纹理信息就愈发全面，更好地表现出情感脑电信号的非线性动力学特征。

图6 三种无阈值递归图经不同卷积的特征提取结果

3 实 验

3.1 实验环境

实验采用的硬件设备为 Intel Core 4.20 GHz i7-7700 K CPU和NVIDA Geforce GTX 1080 Ti GPU。软件环境采用MATLAB 2014a和PyCharm 2019，同时借助Keras框架实现改进的ResNet18网络，采用自适应动量估计(Adaptive Moment Estimation，Adam)优化算法，分别设置参数为：循环迭代次数100次，初始化学习率为0.001。

3.2 数据来源

EEG信号采集流程如图7所示，本文采用国际公认的人类脑电情感数据集SEED作为实验数据[2]。该数据集使用电影片段作为情感诱发素材，情感状态分为三类：积极，消极，平静。

图7 视听情感脑电信号采集实验

对EEG信号数据预处理，选择与情感脑电有关的前额区(Fp1、Fp2)、额区(F3、F4)通道数据做相关分析(实验中每部电影EEG采样时长为4 min，截取信号长度为1 500个点，步长为1 500，去除不符合实验要求的样本后，每个通道的样本数据量为9 225条脑电数据)。把数据归一化到[0,1]区间上。

3.3 仿真及实验结果分析

本文采用下列四个定量模型评估指标对模型的性能进行评估，即准确率(A)、精确率(P)、召回率(R)与调和均值(F1)，定义如下：

(5)

(6)

(7)

(8)

对于N分类问题的调和均值为：

(9)

式中：TP为被模型分类正确的正样本；FP为被模型分类错误的负样本；TN为被模型分类正确的负样本；FN为被模型分类错误的正样本。

3.3.1单导联脑电信号情感识别

为了评估基于无阈值递归图与深度残差网络相结合的情感脑电信号识别效果，对与情感相关大的Fp1、Fp2、F3、F4单通道脑电数据进行了分析。为了使结果更具有说服性与有效性，将样本进行随机打乱操作，对样本集进行五折交叉验证实验，每一折中训练集占80%，测试集占20%，模型中batch_size=32，epoch=100，模型优化函数为Adam。表3给出了四导联脑电数据五折实验的测试集平均准确率、标准差(std)。

表3 四导联脑电数据五折实验的平均准确率、标准差

仔细观察可以清晰地发现：单导联脑电(Fp1、Fp2、F3、F4)数据在基于无阈值递归图与深度残差网络相结合的情感识别模型上都取得了比较理想的识别效果。Fp1、Fp2、F3、F4测试集平均准确率分别达到了93.82%、93.62%、94.54%、92.92%，证明了本文方法的有效性。对比四个单通道的平均识别准确率可以发现，本文方法在F3导联数据集上脑电情感识别效果明显高于其他三者，说明本文情感识别方法在相同环境条件下与F3导联EEG信号特性较其余三个通道更加贴切符合。

如表4所示,为了更全面地对模型性能进行评估，采用另外三个模型评价指标，分别为精确率、召回率和调和均值。精确率与召回率这两个指标是一对矛盾体，一般呈现负相关关系，从表中来看，每折实验的精准率与召回率之间都相差大约0.03，并且普遍保持在0.91以上，整体在0.91～0.97之间，体现出本文模型具有很强的泛化能力。对于综合指标Macro-F1来说，单导联F3模型每折实验的值均在0.940以上，说明在Precision与Recall一样重要的情况下，本文方法达到了较为理想的结果。

表4 F3导联分类指标

3.3.2多导联脑电信号情感状态的联合识别

不同导联脑电信号之间具有很强的相关性，在上述实验的基础上，将不同导联的脑电(Fp1、Fp2、F3、F4)信号情感结果做综合考虑，同时将其对应的输出结果按照“投票法”完成多导联EEG信号情感状态的联合识别，如果投票结果呈现出2∶2的局面，以F3导联脑电情感识别分类作为最终决策结果(上述实验表明F3导联数据集上脑电情感识别准确率最高)。

为了对比多导联联合情感识别与单导联情感识别的效果，同样采样五折交叉验证实验取平均测试准确率，图8分别给出了单导联(Fp1、Fp2、F3、F4)EEG情感识别与多导联EEG情感状态联合识别的平均准确率，通过对比可以发现多导联EEG信号情感状态联合识别的平均准确率高达94.95%，比识别效果最好的F3导联的平均准确率(94.54%)还高出0.41%。分析可以发现，即使单导联脑电可以取得良好的识别效果，但是多导联联合识别的总体性能都高于单导联脑电情感识别效果。说明基于本文方法的多导联EEG信号情感状态的联合识别效果明显比单导联脑电情感识别效果要好。

图8 单导联脑电信号情感识别与多导联联合识别平均准确率

分析表5，可以发现多导联联合模型的Macro-F1较单导联F3的值有所改善，也证明了基于本文方法多导联联合情感识别效果比单导联情感识别效果要好。

表5 多导联联合分类结果

续表5

3.3.3同类研究对比

为了进一步验证基于本文方法的脑电情感识别效果的科学性与优越性，将本文方法与采用相同数据集的其他识别方法进行比较，对比结果如表6所示。文献[21]将提取到的不同导联脑电信号的微分熵映射为二维形式，以此作为分层卷积神经网络的输入，识别准确率为88.20%，同时发现Beta波和Gamma波对情感识别起着关键作用。文献[2]提取脑电信号的微分熵特征进行特征平滑、降维，将得到的低维特征结合判别图正则极限学习机进行情感识别，准确率为91.07%。文献[22]采用一维卷积神经网络随机森林情感识别的方法对62导联的脑电数据进行自动特征提取，识别准确度达到94.7%。由表6对比发现，本文基于无阈值递归图与深度残差网络相结合的识别方法在相同数据集上充分挖掘了EEG信号非线性特征，利用了较少的导联脑电信号得到了较高的识别效果，不但减轻了脑电信号采集工作量，还减少了参数的计算，具有明显的优势。

表6 同类研究对比

4 结 语

脑电信号情感识别过程中，特征提取与特征分类在情感识别过程中占据着决定性作用。本文提出一种基于无阈值递归图和深度残差网络相结合的脑电情感识别方法，不但克服了传统递归图分析中阈值选取的问题将EEG信号非线性特征映射到二维平面，同时利用深度残差网络实现特征图非线性特征的自动提取，充分挖掘了EEG信号中的隐匿特征。该方法将预处理、归一化后的情感脑电信号经过相空间重构、递归图转化后得到无阈值递归图，将情感脑电信号的非线性特征映射到二维平面。同时基于本文识别的情感类别，设计了深度为18层的深度残差网络，将无阈值递归图作为ResNet18的输入，利用网络进行特征的自动提取、学习、分类。在单导联情感识别的基础上，采用“投票法”完成多导联脑电信号情感状态的联合识别，以进一步提高脑电情感识别的精度。

为了验证本文方法的有效性，首先将本文方法结合单导联(Fp1、Fp2、F3、F4)脑电信号进行情感识别，测试集平均准确率分别为93.82%、93.62%、94.54%、92.92%，有效地证明了本文方法的有效性。利用精准率、召回率、调和均值三个模型分类指标将多导联联合识别与单导联识别进行对比，发现多导联联合识别效果能对各个单导联识别效果进行信息的补偿与强化，性能更优。实验结果表明，本文提出的脑电信号情感识别方法是有效的，相比当前的脑电情感识别方法可以获得更高的分类准确率，有较强的实用价值。