脑电信号情绪识别研究综述

郭国栋，高亚罕，曹宇杰

（1.上海理工大学 医疗器械与食品学院，上海 200093；2.上海健康医学院 医疗器械学院，上海 200237）

0 引言

情绪是以个体的需要、愿望等倾向为中介的一种心理现象，是人对客观事物的态度体验以及相应的行为反应［1］。早在1884 年，情绪的概念第一次被提出。随着研究的深入，Ekman等［2］将情绪划分为6种基本形式，包括悲伤（Sad）、高兴（Happy）、恐惧（Fear）、厌恶（Dis-gust）、惊讶（Surprise）和愤怒（Angry）。在进行情绪识别时微表情信息、语言语态、姿态表情、生理信号等都是重要的数据来源［3］。其中，生理信号具有难以伪装、信息量更加丰富等特点。脑电信号就是一种典型的生物电信号，是大脑皮层神经细胞或头皮表层电活动的总体反应，其中包含了大量的生理和病理信息［4］。同时，情绪的波动会对肌体生理信号产生影响，不可避免会对脑波产生相应的影响［5］。因此，通过对脑电信号进行采集和分析可以直观准确地判断人体的生理及心理状态。

脑电信号的情绪识别主要包括了5 个基本步骤［6］，如图1 所示。本文主要对脑波情绪特征提取、情绪分类方法以及基于深度学习的脑电信号情绪识别方法进行归纳与总结。并且，脑电信号数据集是情绪识别研究中的重要部分，主要对常用的脑电信号数据集进行介绍与分析。最后，阐述了目前脑电情绪研究中存在的问题，并对其未来发展作出了展望。

Fig.1 Main steps of emotion recognition of EEG signals图1 脑电信号情绪识别主要步骤

1 情绪脑电信号采集及特征提取

脑电信号是一种极其微弱的生理信号（幅值在微伏级别），在采集过程中不仅会受到脑电数据采集设备和外部环境的干扰，人体自身的一些生理因素如眼电、肌电等也会对脑电信号产生影响［7］。同时，测试者自身当下的生理及心理状态也会对脑电信号的采集产生影响。大量的伪迹信号会增加脑电信号分析难度，难以从中直观分析出与情绪的内在联系。为了便于后续研究，对采集到的信号作一定预处理，通过这种初步处理，可以得到具有一定规律的信号［8］。

脑电信号的情感识别是情感计算领域的一个重要研究方向，脑电信号的特征提取与分类是进行情绪识别的基础。传统脑电信号的特征提取，主要从时域特征、频域特征、时频域以及非线性动力学分析4 种特征入手，如图2 所示。研究表明，右脑区在情绪方面有更多信息［9］。传统的特征提取方法从每个通道提取脑电特征，却忽略了通道的空间特征和全局同步信息。这些特征也包含了与情绪状态相关的信息，因此在进行脑电情绪识别时有必要对空间域特征进行分析。

Fig.2 Feature extraction of EEG signals图2 脑电信号的特征提取

（1）时域特征。时域特征也称信号的统计特征，Kwon等［10］将脑电信号采集时对称电极间产生的幅值差作为特征信号进行采集，并取得了较好的分类效果；Zhuang 等［11］利用经验模式分解（EMD）的特征提取和情感识别方法，适用于非线性非平稳信号的分析处理，可提高情感识别性能。因为脑电信号的特殊性，难以通过某一确定的时域特征进行分析，在实际运用过程中想要达到预期处理效果，需根据特定需求对实验数据进行有针对性的处理。

（2）频域特征。在脑电情感识别中，最常见的特征是来自不同频带的功率特征，可通过傅里叶变换（Fourier Transfer，FT）将时域信号转换为频域信号。Xing 等［12］利用脑电信号和视听特征视频情感识别的融合方法将功率谱密度与视频视听特征相结合，取得了较好的分类效果。通过频域特征进行提取，可从分离不同频带相应的特征信号加以分析，但在脑电信号采集中会产生干扰导致频带出现重叠，此时提取的特征值会产生偏差。

（3）时频域特征。脑电信号是一种非平稳随机信号，仅从时域或频域进行特征提取具有局限性，最常用的还是时频结合的分析方法。在运用小波变换处理信号时只对信号的低频部分进行分解，而抛弃对信号高频部分的处理。因此，需依据小波包变化对小波空间作进一步分解，能同时对信号的低、高频部分进行多层次划分，可以对脑电信号的任意频段信号进行特征提取［13］。希尔伯特黄变换与传统方法相比，其在处理非线性非平稳信号方面更具优势。Mutlu［14］提出一种基于Hilbert 振动分解（HVD）的脑电信号识别框架，其计算复杂度较低，更适合于实时生理信号处理应用。总体而言，时频域法能够更加细节地表现出脑电信号的瞬时特征。

（4）非线性动力学分析。脑电信号具有非线性和混沌性的特点［15］，传统的脑电信号分析大多基于傅立叶变换技术，该技术假定被分析信号的线性和平稳性，由于脑电活动的复杂性和动态性，非线性方法更适合于评估脑电的内在动力学，探索情绪发生时大脑活动的生理机制。Zheng等［16］通过具有微分熵特征的判别图正则化极值学习机实现情绪有效识别；Thammasan 等［17］采用分形维数（FD）从原始脑电信号中提取信息特征，对情绪进行分类。实验结果表明，FD 在唤醒和价态分类方面略优于PSD 方法，并且FD与情绪的相关性高于PSD。

（5）空间域特征。脑电信号采集时在大脑头皮层上放置不同位置的电极，这些电极在大脑头皮上有固定的空间分布模式。同时，不同脑区对不同情绪的反应也不尽相同。因此，在对脑电信号的空间域特征进行提取时主要从空频域特征和电极空间组合上加以分析。Hao 等［18］在进行脑电信号情绪识别时融入对空间特性的分析，构造了多通道脑电信号的多带特征矩阵（MFM）。随着研究的深入，Chao 等［19］提出一种借助通道的空间特征和全局同步信息，将多通道脑电信号封装成灰度图像的全局特征提取方法。结果表明，对脑电信号全局同步特征和空间特征的分析有利于情绪识别。

2 脑电信号情绪分类与识别

2.1 脑电信号情绪分类

在对脑电信号进行特征提取后，依据提取出的特征对脑电信号进行情绪分类处理。随着人工智能的不断发展，情绪识别计算技术已经成功地将情绪变化与脑电信号联系起来，因此只要施加适当的刺激，就可以从脑电信号中识别情绪变化并对其加以分类。

目前，传统机器学习研究方向主要包括决策树、随机森林、人工神经网络、贝叶斯学习等。每一个预测模型都独有一个特定的算法结构，通过参数微调完成不同的识别任务。在进行预测时首先根据数据特点选定一个模型结构，然后将训练数据输入模型，最后输出一个使输出错误最小化的基于特定参数的学习模型。Zhang 等［20］采用EMD策略提取特征向量，通过支持向量机分类器进行训练和识别情绪。随后Mohammadi 等［21］将支持向量机和K-近邻分类器相结合对所提取的特征进行情感状态检测。针对多通道的信号特征，Zheng［22］提出一种新的群稀疏典型相关分析（GSCCA）方法，非常适合同时处理EEG 情感识别和自动通道选择问题。与利用SVM 法不同的是，Tripathi 等［23］探索了两种不同的神经网络模型，一种简单的深层神经网络和一种用于分类的卷积神经网络。同时，证明了神经网络可以作为大脑信号的鲁棒分类器，甚至优于传统的学习技术。每种模式都有自己的特点，在一些任务中表现不错，但在其他方面表现不佳。因此，Mehmood 等［24］将SVM、K-近邻、线性判别分析、朴素贝叶斯、随机森林、深度学习和4 种集成方法（Bagging、Boosting、Stacking 和Voting）相结合对最优特征作了进一步处理。实验结果表明，与常用的谱功率带方法相比，该方法极大提高了情感识别率。

2.2 基于深度学习的情绪识别分类

传统的机器学习分类器存在着缺乏确定模型结构的专业知识和多模态特征提取过于简单的不足［25］。利用深度学习，学习脑电信号样本数据的内在规律和表示层次，能够让机器具有分析学习能力，在处理复杂的样本数据和进行分类处理时更具优势。

（1）卷积神经网络（Convolutional Neural Networks，CNN）。CNN 是一类基于卷积计算且具有深度结构的前馈神经网络，在图像领域取得了巨大成功。近年来，它们被引入到脑电、肌电图、心电图等生理信号的处理中。Xiang等［26］进一步设计了一个结合CNN 和RNN 的混合深度学习模型，在提取任务相关特征、挖掘信道间相关性以及从这些帧中合并上下文信息方面具有更好的效果；Li 等［27］利用层次卷积神经网络（HCNN）对情绪的积极、中性和消极状态进行分类。研究表明，HCNN 在二维空间中具有很强的表征学习能力，它在情绪识别尤其是在β 波和伽玛波上具有很高的识别效率。

（2）深度神经网络（Deep Neural Network，DNN）。深度神经网络是一个复杂的模型，由一组简单的RBM 模型组成。可以逐步提取输入数据的深层特征，通过预训练学习深度输入特性。Zheng 等［28］介绍了一种新的基于差分熵特征的深度信念网络（DBN），将两种情绪类别（正和负）从EEG 数据中进行分类，结合隐马尔可夫模型（HMM）准确捕捉更可靠的情绪阶段转换，DBN-HMM 的平均准确率达87.62%。Kawde 等［29］将原始的EEG、EMG、EOG 和GSR 信号直接输入到DBN 中，根据数据分布提取高级特征，在DEAP 数据库上，对价态和唤醒的识别准确率分别为78.28%和70.33%。

（3）概率神经网络（Probabilistic Neural Network，PNN）。PNN 是一种基于贝叶斯策略的前馈神经网络。PNN 学习过程简单、训练速度快、分类更准确、容错性好等，使得分类更加准确，对误差和噪声有较高的容忍度。Siao 等［30］利用PNN 和KNN 研究左脑损伤和右脑损伤对情绪识别的影响，发现RBD 在情绪识别方面存在更大的障碍。

（4）长短期记忆网络（Long Short-Term Memory，LSTM）。LSTM 可以处理RNN 的消失梯度问题，并且可以利用长期依赖序列和上下文信息。Salma 等［31］提出一种从原始脑电信号中识别情绪的深度学习方法，通过LSTM 从脑电信号中学习特征，然后由稠密层将这些特征分为低/高唤醒、价态和喜欢。在DEAP 数据集上对该方法进行了验证，结果表明，唤醒类、价态类和喜欢类的平均准确率分别为85.65%、85.45%和87.99%。

人工神经网络（ANN）是当前备受青睐的计算智能技术之一。然而，传统的人工神经网络在人类情感分析等应用中的性能并不理想。这就需要对神经网络进行改进，使其具有比传统系统更好的性能。为了克服传统神经网络在计算复杂度和准确性方面的不足，Zhong 等［32］利用深度学习方法提出一种基于多层融合层的层叠式自动编码器（MESAE）集成分类器用于情绪识别，基于生理数据驱动的方法识别深层结构。与现有最好的情感分类器相比，分类率和F 评分的平均值提高5.26%。Hemanth 等［33］提出循环反向传播神经网络（CBPN）和深Kohonen 神经网络（DKNN）。基于以上研究，探讨使用脑电图（EEG）信号对人类不同情绪进行分类时的表现。

3 情绪脑电信号数据集比较与分析

脑电信号情绪识别中各数据集比较如下：

（1）DEAP。2012 年，Koelstra 等［34］创建了一个多模态数据集用来分析人类的情感状态。该数据集是目前公开的情绪脑电信号数据集中较为完善的数据集，共采集了32名受试者，每位受试者进行40 次长度为1 分钟的音乐视频刺激，采集相应的脑电图（EEG）和外周生理信号，同时还记录了其中22 人的正面面部视频。受试者从视频的熟悉程度、不喜欢程度、兴趣程度进行评分。

（2）NeuroMarketing［35］。该数据集是一个通过脑电信号分析神经营销的数据集，共采集了25 名受试者，受试者观看14 种商业电子商务产品后作出喜欢与否的判断。

（3）SEED［36-37］。该数据集拥有最多的脑电信号采集通道，对15 名受试者的62 个通道的脑电信号进行采集。通过令受试者观看每段约4 分钟的蕴含正/负/中性情绪的视频，记录相应的脑电信号。该数据集用于情绪刺激的视频时间长度较长，更有利于受试者的情绪表达。

（4）SEED-IV［38］。该数据集在脑电信号的基础上，添加了眼球运动。该数据集对每位受试者进行了更多的实验次数，在不同的时间段对受试者进行3 个阶段采集，每个阶段包含24 个试验共观看72 个电影片段，并记录相应的脑电信号。使用62 通道ESI 神经扫描系统和SMI 眼睛跟踪眼镜收集他（她）的EEG 信号和眼球运动。

（5）HCI-Tagging。该数据集建立在对多媒体标签这一新领域的研究上，在脑电信号的基础上，记录音频、视频、凝视数据和生理数据，建立了一个在多媒体信息检索中用户对媒体内容的情感反馈数据集，是目前脑电信号采集中数据类型最丰富的数据集。

（6）DREAMER［39］。建立了一个多模式数据集，该数据集由23 名参与者通过视听刺激在情感激发过程中记录的脑电图（EEG）和心电图（ECG）信号组成。同时，参与者在每次刺激后对他们的情感状态进行自我评估，包括配价、唤醒和支配力。

（7）MPED［40］。建立了一个多模态生理情感数据库，该数据集中的情绪类型最丰富，通过28 个视频作为诱导样本刺激6 种不同情绪和中性情绪，收集了脑电图（EEG）、皮肤电反应、呼吸和心电图（ECG）4 种生理信号。

这些数据集在样本个数、数据类型等方面略有不同，具体如表1 所示。

Table 1 Comparison of emotional EEG data sets表1 情绪脑电信号各数据集比较

4 脑波数据增强

数据扩充是通过转换训练生成新样本的过程数据，目的是提高分类器的准确性和鲁棒性［41］。随着深度学习在情绪识别领域的发展，训练神经网络需要更丰富、均衡的数据集。但现有数据集仍面临着采集规模较小、数据量不足以及样本不均衡的问题。因此，提出通过从少量原始训练数据中生成大量人工训练数据，并利用这些数据扩充训练集以解决该问题。在语音识别、图像处理等领域，这已被证明可以提高分类精度。Lotte 等［42］针对BCI 领域提出在时域、时频域进行信号分割和重组，使用类比方法生成大量人工训练数据，并利用这些数据扩充训练集以解决该问题。在处理脑电信号时，Palazzo 等［43］在脑电图仪（EEG）记录的大脑信号基础上利用生成对抗网络（GAN）生成匹配特定对象类别或短文本描述的图像。同时，由于生成对抗网络产生的人工脑电图数据是由单通道产生的，缺乏通道相关性。Wang 等［44］提出通过几何变换和加噪（高斯，Poisson，Salt，Pepper 等）同时随机加入一些局部噪声（泊松噪声、Salt 噪声，或胡椒噪声）的方法进行数据扩充，并在HCI 数据集上进行了实验验证。结果表明，数据扩充是解决该问题的有效方法。

5 结语

随着人工智能的发展，脑机接口技术不断进步，通过脑电信号进行情绪识别的需求日益凸显，脑电情绪信号研究具有广阔前景。情绪识别可从技术创新与应用开发两方面进行探讨。

在技术层面注重与情绪相关的特征识别，考虑更多的边缘信息，也与其他生理信号相结合进行情绪识别。同时，改进深度学习模型，虽然当前学习模型可以得到较高的识别结果，但在数据预训练过程中会产生大量参数，导致成本增加，且距离实时识别还有一定距离，应在降低成本的同时进一步提高准确率。在数据增强方面，通过合理的技术手段对原始数据进行人工合成以提高数据规模，从而达到更好的训练效果。

在应用开发方面，与脑机接口技术进一步结合，使设备轻便化，增加情绪识别的实用性，做到实时的情绪识别、情绪反馈。在心理学领域，将进一步探索在传统的微表情等情绪识别中加入生理信号的相互佐证。随着脑科学的不断发展和脑机融合技术的逐步完善，通过脑电信号对人们的情绪以及各项生理指标进行智能分析和判断将成为现实。