基于三维特征图和改进DenseNet的脑电情绪识别方法

苏靖然　李秋生

摘要：情感作为人脑的高级功能，对人的心理健康状态有很大的影响。为了充分考虑脑电信号的空间信息以及时频信息，更好地实现人机交互，论文提出了1种基于三维特征图的改进DenseNet情绪识别模型。通过提取脑电信号θ、α、β和γ 4个频段的微分熵特征，结合脑电通道电极的位置映射关系，构造三维特征图，最后使用改进DenseNet网络进行二次特征提取与分类。为了验证该方法的有效性，在SEED数据集上进行了包含积极、中性、消极3种情绪的分类实验，单被试者实验和所有被试者实验获得的分类准确率分别达98.51%和98.68%。实验结果表明，三维特征图结合特征重用方法能够得到高精度的分类结果，为情绪识别提供了可以尝试的新方向。

关键词：脑电信号；电极映射；三维特征图；特征重用；多尺度卷积核

中图分类号：R318;TN911.7文献标志码：A文献标识码

An EEG emotion recognition method based on 3D feature and improved DenseNet

SU Jingran1，2，LI  Qiusheng1，2*

（1 School of Physics and Electronic Information， Gannan Normal University，Ganzhou， Jiangxi 341000， China; 2 Center for Intelligent

Control Engineering Research， Gannan Normal University，Ganzhou， Jiangxi 341000，China）

Abstract：  Emotion， as a high-level function of the human brain， greatly influences human mental health. To fully consider EEG signals′ spatial information and time-frequency information and realize human-computer interaction better. An improved DenseNet emotion recognition model was proposed based on a three-dimensional feature map. By extracting the differential entropy features of theta， alpha， beta， and gamma frequency bands of EEG signal and combining with the position mapping of EEG channel electrodes， a 3D feature map was constructed. Finally， the improved DenseNet network was used for secondary feature extraction and classification. In order to verify the effectiveness of this method， positive， neutral， and negative classification experiments were carried out on the SEED data set. The classification accuracy of the single-subject experiment and all subjects experiment was 98.51% and 98.68%， respectively. Experimental results showed that 3D feature maps combined with the feature reuse method could obtain high-precision classification results. It provides a compelling new direction for emotion recognition.

Key words： EEG;electrode mapping;3D feature map;feature reuse;the multi-scale convolution kernel

情緒，体现了人对客观事物的态度及反应，一般认为，它是1种以个体愿望和需要为中介的心理活动［1］。近年来，疲劳驾驶以及精神心理健康等问题日益出现在大众面前，积极的情绪能够提高工作效率，对人类生活和工作起到积极推动的作用，而消极情绪则会导致工作效率下降，长期积累的负面情绪也是抑郁症爆发的主要源泉，因此，情绪识别在人类的生命安全以及心理健康中扮演着重要角色。

情绪识别是融合心理学、神经科学、医学和计算机的交叉学科，目前，各国研究者对于情绪识别的研究已经取得了一定进展。从数据来源分析，情绪识别的研究主要基于非生理因素与生理因素两方面，由于人会刻意隐瞒自己的情绪，所以基于非生理因素的外在特征无法有效地识别出人的真实情绪状态，而生理信号则不具伪装性，不易受人的主观情绪影响，常见的生理信号有心电、脑电、肌电等，脑电信号由于其易测量、设备便携的特点，被广泛应用于情绪识别中；从分类器的使用分析来看，国内外研究者主要围绕机器学习与深度学习2种方法进行情绪识别的分类研究。机器学习采用人工提取特征与支持向量机（Support Vector Machine，SVM）［2］、K近邻（K-Nearest Negihbour，KNN）、随机森林等传统机器学习方法相结合以实现情绪状态的分类识别。其中，用于情绪识别的脑电特征主要包括时域、频域以及时频域内的Hjorth参数、分形维数特征［3］、微分熵（Differential Entropy，DE）、功率谱密度等，Alazrai等［4］提出1种新的基于时频（Time-frequency， TF）的特征提取方法，将提取到的特征结合SVM进行分类研究，采用国际公开DEAP数据集进行验证，达到了86.20%的正确率；Zhang等［5］采用经验模态分解的方法提取样本熵特征，形成特征向量，作为SVM的输入，在DEAP数据集上进行实验验证，平均准确率达到93.20%。由于脑电信号的非平稳性、非线性以及不同通道之间、不同频带之间的关联性，传统的机器学习方法无法有效利用脑电信号的空间信息、时频信息，以进一步提高脑电情绪分类的准确性，而深度学习方法则可以弥补这一缺陷。深度学习主要采用端到端的训练方法，不需要借助人工经验完成特征提取，能够自动提取特征并完成分类测试。随着深度学习的深入发展，国内外研究者便将目光放在了深度学习方法上，如深度信念网络（Deep Belief Network， DBN）、卷积神经网络（Convolution Neural Network， CNN）［6］、长短时记忆网络（Long Short-Term Memory， LSTM）［7］等多种深度神经网络在脑电情绪识别领域已取得较好的成果。如Song等［8］提出动态图卷积神经网络（Dynamical Graph Convolutional Neural Network， DGCNN）的概念，对SEED［9］数据集中的5种特征（DE、PSD、DASM、RASM、DCAU）进行二次特征提取与分类，单被试识别准确率达到90.40%，跨被试者实验分类准确率为79.00%；Asghar等［10］采用深度特征聚类（DFC）结合多种神经网络来选择高质量的特征，减少冗余特征的存在，大大缩短了网络的训练时间。Liu等［11］则提出了1种基于多层长短期记忆循环神经网络（Long Short-Term Memory Recurrent Neural Network，LSTM-RNN）的注意力模型，实现了基于时间注意力（Temporal Attention，TA）和频段注意力（Band Attention，BA）的脑电情绪识别算法，有效提升了分类的效果。

基于以上分析，无论是使用机器学习还是深度学习，大多数研究都是基于脑电信号的全频段，心理学和神经科学的研究表明， 脑电的5个经典节律（δ （1～3 Hz）、θ （4～7 Hz）、α （8～13 Hz）、β （14～30 Hz）和γ （31～50 Hz））与人的各项生理及心理活动有着密切的关系，然而只有少数研究者在研究过程中考虑到了这一特点，其中，Koelstra等［12］提取了脑电5个节律的功率谱密度，用于情绪分类识别，而李昕等［13］先对情绪脑电信号分解和重构获取4个节律波，随后对4个节律波提取小波能量、小波熵、近似熵和Hurst指数，最后利用PCA算法对其降维处理并将处理后的结果送入支持向量机分类器中获得情绪识别结果。为了进一步研究脑电信号不同节律对分类识别精度的影响，本文提取4个节律（θ、α、β和γ）的微分熵特征并结合脑电通道的空间信息以提高情绪分类准确率。δ波属于无意识的波，主要在成人睡眠中产生，对情绪识别研究的影响不大，而其他4个节律的波，则是属于有意识的波，会在人处于刺激、愤怒、兴奋、悲伤等状态时出现，与人类的情绪状态息息相关，可以有效表征情绪状态。首先将脑电通道电极之间的位置信息映射为二维，使其尽可能地保留各电极之间的相对位置信息，然后结合4个节律的微分熵特征，组成一个三维特征图，最后采用改进的密连卷积网络（Densely Connected Convolutional Networks， DenseNet）［14］进行二次特征提取并完成积极、中性、消极3种情绪的分类实验，选用准确率（Accuracy）、F1分数（F1-score）等评价指标对算法的情绪状态识别性能进行评价。

1 资料与方法

1.1 情绪识别模型

一个完整的情绪识别模型通常由数据采集阶段、数据预处理阶段、特征提取阶段以及分类器组成，本文所采用的模型的总体框架如图1所示。

比较采用不同数据集得到的准确率是毫无意义的，为了促进脑电信号情绪识别的可持续发展，本文采用由上海交通大学BCMI实验室提供的SEED数据集［9］进行三分类（积极、中性、消极）实验研究，经平滑处理后的微分熵特征构成三维特征图，最后使用加入多尺度卷积核的DenseNet网络进行空间信息、时频信息的二次特征提取并完成分类。

1.2 脑电信号的获取与特征提取

1.2.1 SEED情感数据集及其预处理

SEED中记录了62个通道上的脑电信号，选择15个电影片段（5个积极、5个中性和5个消极）作为情感诱发素材，15个电影片段详细信息来源于表1中的电影，每个电影片段都最大化地体现了被试者的情绪状态，为了避免片段过长而导致被试者产生疲劳感，每个电影片段时长大约4min。每个被试者每次实验需要观看15个电影片段，有7名男性，8名女性，共15名被试者参与其中，且进行3次实验，间隔约1周，共有45次（15×3）脑电数据的采集实验。由于每进行一次实验都需要观看15个电影片段，因此每次实验中包含了15个小实验，每一个小实验都是由5 s的提示阶段、4 min的电影观看时间、45 s的自我测评以及15 s的休息阶段组成。

首先对采集到的脑电信号进行降采样处理，原始1 000 Hz的脑电数据被降采样到200 Hz，然后应用0～75 Hz的带通滤波器进行噪声与去伪影处理，得到预处理数据集。为了有足够的数据样本进行深度学习训练，对每个样本使用1 s的滑动窗口进行无重叠切分，针对1次实验，每个被试者将得到3394个数据样本。

为了探究脑电信号的时频信息，本文在4个节律中分别进行微分熵特征提取，同时用线性动态系统进行特征平滑，从微分熵特征中滤除一些与情绪无关的信息，减少噪声与伪影的存在。

1.2.3 脑电通道电极映射

图2、图3分别描述了脑电通道电极映射过程和二维特征到三维特征的转化过程，可以得到大小为9×9×4的三维微分熵特征图，具体转化过程详见文献［15-16］。

将三维空间中的复杂电极位置关系映射为大小9×9的二维图，以模拟电极之间的相对位置，为卷积神经网络探索各通道之间的空间位置关系，即提取空间信息提供了便利，在9×9的二维图中，使用的脑电通道中即黄色部分填充微分熵特征，未使用的脑电通道即蓝色部分填充0。

将脑电信号先映射到4个节律（θ （4～7 Hz）、α （8～13 Hz）、β （14～30 Hz）和γ （31～50 Hz）），再分别提取出各个频段对应的微分熵特征，图3中的第一步就是分别提取每个频段的微分熵特征；第二步，每一频段的微分熵特征按照图2的映射原则组成1个二维特征图；最后通过堆叠4个频段的二维特征图形成三维特征图。此三维特征图充分融合了脑电信号的空间信息以及时频信息，为后面使用CNN进行二次特征提取以及更好的进行情绪分类奠定了坚实的基础。

1.3 卷积神经网络

卷积神经网络［17］是目前深度学习的重要代表性算法之一，在图片识别与分类中得到了广泛应用，由于其在图片识别与分类中的成熟表现，众多研究者将卷积神经网络应用到情绪识别的研究领域，且取得了不错的效果。在其他研究者的研究基础上，本文将DenseNet引入到情绪识别研究之中，DenseNet浅层特征重用的特点为情绪识别的研究開辟了一条可以尝试的新道路。

1.3.1 DenseNet网络

密连卷积网络（Densely Connected Convolutional Networks， DenseNet）［14］，区别于其他深度神经网络，没有从网络的深度或宽度寻找特征，而是通过特征重用来最大化地发挥网络的能力，对于其中的每一层，前面所有层的特征都被用作输入，其自身特征也被用作后面所有层的输入，允许任意2个非相邻层之间进行跨层连接，可以连接不同层学习到的特征，增强特征表示的能力。DenseNet主要由密连模块（dense block）、过渡层（transition layer）以及瓶颈层（bottleneck layer）构成，其中密连模块实现特征重用功能。

其中，［x0，x1，…，xl-1］表示对第0层到第l－1层产生的特征图进行张量拼接，Hl（·）是1个由3种相继操作组成的复合函数：块归一化（Batch Normalization， BN）、校正線性单元（Rectified Linear Unit， ReLU）和3×3卷积（Convolution， Conv）。

1.3.2 MSC-DenseNet网络

受GoogleNet的Inception结构启发，将多尺度卷积核并行合并模块（Multi-scale convolution kernel parallel merging module， MSC）引入DenseNet网络，MSC模块如图4所示。

MSC采用3种尺寸大小的卷积核（1×1、3×3、5×5），小尺寸的卷积核可获得更细致的特征，大尺寸的卷积核，感受野更大，可以充分考虑脑电各个通道之间的相对位置关系，提取脑电信号的空间信息。

其中5×5卷积核采用2个3×3卷积替代，一方面堆叠的3×3提供了更多数量的激活函数，增加了网络的非线性特性；另一方面，在具有相同感受野的条件下，一定程度上可以提升神经网络的效果，减少网络参数的计算量。在3×3卷积前面都有1个1×1的卷积操作，可以对不同通道间的信息做线性组合，实现跨通道的信息交互和信息整合，最终，MSC-DenseNet的整体网络结构如图5所示。

整个网络主要由3个密连模块，2个过渡层以及多尺寸卷积核并行合并模块组成。其中，首先使用16个3×3大小的卷积核进行卷积运算，进行特征的初次提取；然后，使用16个3×3，步长为2的最大池化进行下采样处理。在经过卷积和池化之后，进入到第一个dense block，也就是网络的核心部分，不仅可以实现浅层特征重用，还能够借助MSC模块中的多尺度卷积实现特征的多层提取；在dense block之后有1个过渡层，由1×1卷积和2×2最大池化组成，经过多次实验验证，使用3个dense block模块、2个过渡层得到的实验效果最佳，在第三个dense block后使用全局平均池化代替全连接层，最后经过softmax分类器进行积极、消极、中性3种情绪状态的分类。

1.3.3 实验环境

本文的MSC-DenseNet模型是在Tensorflow框架下通过Python编程实现的。实验环境为英特尔Core i5-8500 CPU@3.00 GHz 16 GB内存，英特尔UHD Graphics 630显卡，64位Windows10系统。

表2记录了MSC-DenseNet结构详细的参数设置信息，其中，学习率决定了整个优化过程中的步长更新，在训练初期使用较大的学习率，前进的步长就会较长，能够以较快的速度进行梯度下降，在训练后期，逐步减小学习率，有利于算法的收敛，使其接近最优值。本文采用了分段常数衰减，在训练的前3 600个Batch size使用的学习率为0.00001，初始阶段使用较大的学习率，不仅加快梯度下降的速度，也可以节省一定的训练时间，提高训练速率，此后逐渐减小学习率，3 600～5 000个Batch size学习率设置为0.000005，5 000～7 000个Batch size学习率设置为0.0000025，最后使用0.000001的学习率实现算法的收敛。在网络的最后使用全局平均池化代替全连接层，其余部分采用最大池化进行特征提取与降维。

2 结果与分析

本节在4个节律中分别进行实验，找出最能表征情绪状态的节律并与4个节律全部组合使用得到的效果进行比较，所有实验都是基于被试者第一次实验测得的脑电数据。

2.1 评估指标

本文采用准确率（Accuracy）、F1分数（F1-score）以及混淆矩阵进行模型性能的评估。

混淆矩阵（confusion matrix），又称为可能性表格或是错误矩阵。它不仅仅局限于准确率，可以带来更多的分析，呈现算法性能的可视化效果，直观地看出分类判别错误之处。

2.2 单被试者实验

在实验开始前将每一位被试者的数据样本随机打乱分为训练集、验证集与测试集3部分，其中训练集占70%，验证集占20%，测试集占10%。

表3记录了单被试者4个节律以及所有节律共同使用的F1分数以及准确率，其中，被试者2无论处于哪个节律，其准确率都可达100%，说明本文模型在被试者2中可以得到理想的分类精度，从15个被试者的平均F1分数以及平均准确率分析，4个节律的F1分数都在0.97以上，γ节律达到了0.9821，其准确率也达到了98.24%，验证了浅层特征重用以及多尺度卷积核共同使用的优越性，α节律与其他3种节律相比，得到的分类准确率相对较低。

4个节律共同使用分别与θ、α、β、γ得到的结果进行比较，γ节律得到的F1分数以及准确率与所有节律共同使用得到的结果相近，说明在只使用γ节律的情况下，也可以得到较好的分类效果，其实验结果与脑电信号的基本知识相吻合。γ波频率范围约为31～50 Hz，是脑电信号中频率最高的成分，出现该频段时人通常处于十分激动、亢奋的状态，或是受到了强烈的刺激，而α波较多出现在成人安静闭目状态下，θ波在成年人受挫或者抑郁以及精神病患者中极为显著，所以人在正常情况下，γ波中包含更多的情绪状态信息。

2.3 所有被试者实验

训练数据采用全部被试者的实验数据，每位被试者3 394个数据样本，共15个被试者，将数据样本随机打乱分为训练集、验证集与测试集3部分，其中训练集占70%，验证集占20%，测试集占10%。

表4记录了所有被试者的实验结果，在θ、α、β、γ 4个节律中，β节律得到的准确率最高，为98.47%，与γ节律的98.45%相近，β节律在处于精神紧张或情绪激动时会出现，在使用所有节律的情况下，得到的准确率为98.68%，略高于β节律。表5展示了每个节律的混淆矩阵，每一列代表预测类别，每一行代表的是实际类别。其中，在θ节律中，对于中性状态的预测结果最差，错误率最高；在α节律中，对于积极与消极状态的预测与其他节律相比，其误差率也较高，积极与消极情绪大多被错误的预测成了中性状态；在β、γ以及所有节律中，其预测结果相近，同时也表明在使用更少的参数量以及工作量的情况下，可以使用β或γ节律代替使用所有节律。

从2个实验的实验结果可知，本文提出的MSC-DenseNet模型呈现出明显的优势，单被试者实验平均准确率达到了98.51%，所有被试者实验准确率达到了98.68%，說明三维特征图结合特征重用在关于脑电信号的情感识别研究上具有很好的分类性能。

2.4 不同算法对比

为了验证本文提出方法的有效性，选用常用的机器学习算法支持向量机（SVM）以及深度学习算法CNN与本文方法在所有被试者实验中进行对比分析。其中，SVM核函数选用高斯核函数，惩罚因子设置为1；CNN选用1×1、3×3、5×5三个不同尺寸大小的卷积核，3×3最大池化层，全局平均池化代替全连接层，最后Softmax输出分类结果。图6直观地展示了SVM、CNN以及本文方法在所有被试者实验中得到的准确率对比结果。

从图6可以看出，使用本文方法得到的分类准确率最高，达到了98.68%；其次，使用CNN的方法准确率是97.84%；使用SVM的方法只有93.69%。说明相较于机器学习，深度学习在脑电情绪识别领域具有一定的优势，使用多尺度卷积核的CNN模型得到的准确率最高达到97.84%，但是本文方法在每个节律上得到的准确率都具有一定的优势，且最高准确率可以达到98.68%，表明了多尺度卷积核结合特征重用的有效性。

另外，单从识别准确率这一指标来看，本文方法具有一定优势性，但与SVM、CNN模型相比，本文模型相对复杂，计算量较大，导致准确率提高的同时带来了效率的降低，这将是未来研究中重点优化内容。

2.5 同类研究对比

目前，已有大量研究提出了关于脑电信号情绪识别的方法，在本节中，我们将本文方法与其他同样采用SEED数据集的现有方法进行比较。文献［9］对脑电信号的前期处理同本文一样，提取脑电信号5个频段的微分熵特征，然后选取最能表现情绪状态的脑电通道，使用深度信念网络实现分类。文献［18］根据脑电通道电极位置，将一维脑电时域信息转换成二维的微分熵频域特征，使用分层卷积神经网络（Hierarchical Convolutional Neural Network，HCNN）进行二次特征提取与分类。文献［19］先采用小波包变换对信号进行分解，构建二维结构样本，然后对设计的6种深度不同的CNN模型进行投票与加权建立集成模型，在单被试者实验中得到了93.12%的分类准确度。文献［20］提出1种新的深度学习分类模型—三维卷积注意神经网络（Three-dimension Convolution Attention Neural Network， 3DCANN），该模型由时空特征提取模块和脑电图通道注意权重学习模块组成，最终获得了97.35%的分类准确度。文献［21］提出1种新的自适应优化空频微分熵（Adaptive Optimized Spatial-frequency Differential Entropy，  AOSFDE）特征，首先根据导联重要性进行通道选择，然后通过稀疏回归算法对微分熵特征进行优化选择，针对15名被试者的积极/消极、积极/中性、中性/消极这3个情绪二分类场景平均准确率分别达到91.80%、93.30%和85.10%。

由表6可知，本文的MSC-DenseNet方法在SEED数据集上获得的分类准确率比其他文献方法都高，说明本文方法在SEED数据集上取得的效果更好，在情绪识别方面具有一定价值。

3 结论

随着深度学习算法在众多领域的成功应用，越来越多的研究者尝试将深度学习应用到脑电信号情绪识别领域并取得了一定成就。本文结合脑电信号的空间特性与时频特性构造三维微分熵特征图，并使用改进的DenseNet网络进行特征提取与分类，最终在单被试者实验中得到了98.51%的平均分类准确率，在所有被试者实验中得到了98.68%的分类准确率，引入DenseNet特征重用的特点为脑电信号情绪识别的进一步研究开辟了新道路，有较好的研究潜力。通过与支持向量机、卷积神经网络的对比实验验证了本文方法的科学性与可行性，同时也证实了深度学习在情绪识别中的表现比机器学习效果好。

参考文献（References）

［1］WILAIPRASITPORN T， DITTHAPRON A， MATCHAPARN K， et al. Affective EEG-based person identification using the deep learning approach［J］. IEEE Transactions on Cognitive and Developmental Systems， 2020， 12（3）： 486-496.

［2］王春晨，文治洪，王航，等. 基于脑电信号的情绪状态识别算法研究［J］. 医疗卫生装备， 2020， 41（2）： 20-25.

WANG C C，WEN Z H，WANG H，et al. Research on emotional state recognition algorithm based on EEG signals［J］.Chinese Medical Equipment Journal， 2020，41 （2）： 20-25.

［3］TUNCER T， DODAN S， SUBASI A. A new fractal pattern feature generation function based emotion recognition method using EEG［J］. Chaos， Solitons & Fractals， 2021， 144： 110671.

［4］ALAZRAI R，HOMOUD R，ALWANNI H， et al. EEG-based emotion recognition using quadratic time-frequency distribution［J］. Sensors， 2018， 18（8）： 2739.

［5］ZHANG Y， JI X M， ZHANG S H. An approach to EEG-based emotion recognition using combined feature extraction method［J］. Neuroscience Letters， 2016， 633： 152-157.

［6］LIU C L， HSAIO W H， TU Y C. Time series classification with multivariate convolutional neural network［J］. IEEE Transactions on Industrial Electronics， 2018， 66（6）： 4788-4797.

［7］RAMZAN M， DAWN S. Fused CNN-LSTM deep learning emotion recognition model using electroencephalography signals［J］. International Journal of Neuroscience， 2023， 133（6）： 587-597.

［8］SONG T F， ZHENG W M， SONG P， et al. EEG emotion recognition using dynamical graph convolutional neural networks［J］. IEEE Transactions on Affective Computing， 2020， 11（3）： 532-541.

［9］ZHENG W L， LU B L. Investigating critical frequency bands and channels for EEG-based emotion recognition with deep neural networks［J］. IEEE Transactions on Autonomous Mental Development， 2015， 7（3）： 162-175.

［10］ASGHAR M A， KHAN M J， RIZWAN M， et al. An innovative multi-model neural network approach for feature selection in emotion recognition using deep feature clustering［J］. Sensors， 2020， 20（13）： 3765.

［11］LIU J M， SU Y Q， LIU Y H. Multi-modal emotion recognition with temporal-band attention based on LSTM-RNN［M］. Berlin：Springer， 2017.

［12］KOELSTRA S. Deap： a database for emotion analysis using physiological signals［J］. IEEE Transactions on Affective Computing， 2012， 3（1）： 18-31.

［13］李昕， 蔡二娟， 田彦秀， 等. 一种改进脑电特征提取算法及其在情感识别中的应用［J］. 生物医学工程学杂志， 2017， 34（4）： 510-517，528.

LI X， CAI E J， TIAN Y X， et al. An improved EEG feature extraction algorithm and its application in emotion recognition［J］. Journal of Biomedical Engineering， 2017， 34 （4）： 510-517，528.

［14］HUANG G， LIU Z， MAATEN L V D， et al. Densely connected convolutional networks［J］. IEEE Computer Society， 2016： 4700-4708.

［15］尹永強. 基于卷积神经网络的脑电情绪识别方法研究［D］. 济南：山东师范大学， 2021.

YIN Y Q. Research on EEG emotion recognition methods based on convolutional neural networks［D］. Jinan： Shandong Normal University， 2021.

［16］李颖洁， 李玉玲， 杨帮华. 基于脑电信号深度学习的情绪识别研究现状［J］. 北京生物医学工程， 2020， 39（6）： 634-642.

LI Y J， LI Y L， YANG B H. A review of EEG emotion recognition based on deep learning［J］. Beijing Biomedical Engineering， 2020， 39（6）： 634-642.

［17］PHAN T， KIM S， YANG H， et al. EEG-based emotion recognition by convolutional neural network with multi-scale kernels［J］. Sensors， 2021， 21（15）： 5092.

［18］LI J P， ZHANG Z X， HE H G. Implementation of EEG emotion recognition system based on hierarchical convolutional neural networks［C］∥International Conference on Brain Inspired Cognitive Systems， Cham：Springer， 2016： 22-33.

［19］魏琛， 陈兰岚， 张傲. 基于集成卷积神经网络的脑电情感识别［J］. 华东理工大学学报（自然科学版）， 2019， 45（4）： 614-622.

WEI C， CHEN L L， ZHANG A. Emotion Recognition of EEG based on ensemble convolutional neural networks［J］. Journal of East China University of Science and Technology， 2019，45 （4）： 614-622.

［20］LIU S Q， WANG X， ZHAO L， et al. 3DCANN： a spatio-temporal convolution attention neural network for EEG emotion recognition［J］. IEEE Journal of Biomedical and Health Informatics， 2022， 26（11）： 5321-5331.

［21］苗敏敏， 徐宝国， 胡文军， 等. 基于自适应优化空频微分熵的情感脑电识别［J］. 仪器仪表学报， 2021， 42（3）： 221-230.

MIAO M M， XU B G， HU W J， et al. Emotion EEG recognition based on the adaptive optimized spatial-frequency differential entropy［J］. Chinese Journal of Scientific Instrument， 2021，42 （3）： 221-230.（責任编辑：编辑郭芸婕）

收稿日期：中文收稿日期2022-03-03

基金项目：国家自然科学基金项目（61561004），江西省教育厅科学技术研究项目（GJJ201408）

作者简介：苏靖然（1997—），女，硕士研究生，专业方向为智能信息处理、深度学习。

*通信作者：李秋生（1976—），男，教授，从事智能信息处理方向的研究，e-mail： liqiusheng@gnnu.edu.cn。