基于时域、频域脑电（EEG）特征情感分类研究

张博，刘璐，杨立波，李哲

（1.长春理工大学 电子信息工程学院，长春 130022；2.长春光华学院 音乐学院，长春 130033）

21世纪是“脑科学世纪”，对脑科学的研究越来越受到全世界众多科研工作者和工程技术人员的关注。在人体内，结构和功能最复杂的组织就是大脑，它控制着人类的情绪、语言、思维等高级活动［1］。情绪作为人脑对外界事物的回应，可以实时表达人与外界事物的关联性。在安全领域，通过对询问对象进行测谎，可以判断其传达信息的准确性［2］。近年来，随着人们压力的不断增大，许多人都会产生压抑、焦虑等负面情绪。长期处于负面情绪的人不仅会对生活、学习带来负面影响，严重者会患抑郁症。因此，已经有越来越多脑电研究人员对于情绪识别在医疗领域的研究方面进行了大量的工作，并取得了大量的研究成果。

Matthias J等人［3］利用脑机接口技术，采用正性图片、中性图片以及负性图片对震颤性麻痹患者研究了正负情绪的分类。Tommaso等人［4］采用标准的正性和负性图片库作为试验素材对亨廷顿患者进行了正负情绪的检测研究。有一些研究者通过采用不同的情绪刺激手段来设计不同的实验范式进行情绪识别研究。Jan De Houwer等人［5］使用同种类不同的效价图片，如动物图片（蝴蝶和蛇），作为情绪诱发的方法进行情绪识别的研究。

脑电信号的情绪识别，其关键是对脑电信号进行处理，本文研究设计实验，采集被试脑电信号，选取时域特征和频域特征，分别使用SVM和HMM-SVM模型对EEG信号进行情绪分类，同时针对情绪分类结果进行了实际数据的比对验证，具有一定的实际应用价值。

1 情绪识别理论分析

目前对情绪识别的方法较多，常用的有通过心电图以及呼吸等方法进行识别判断，但是这些信号在情绪改变时存在差异性较小，变化速率不明显等缺点，因此准确率较低。而采用脑电信号（EEG）进行情绪识别已经是越来越多研究者所采用的方法［6］，其实时性好，差异性大，当情绪发生改变时，脑电信息随之发生变化，因此本文采取脑电信号进行情绪分类的研究。

脑电信号幅度微弱，频率在1～50 Hz之间，是一种随机性很强的非平稳信号，因此在脑电信号里掺杂了各种EEG伪迹，需要对原始脑电信号进行预处理，去除EEG伪迹［7］。然后提取出其时域和频域特征信息，作为原始信号，通过基于熵的可分性判据方法来进行特征选择，最后利用SVM分类器和HMM-SVM模型来进行情绪的分类实现，对于时域和频域的原始信号处理，能够大幅提高情绪识别的准确度。

2 实验设计

2.1 实验条件及对象

本次实验选择了32名被试者来参加实验，均为大学生，男生、女生各一半，听力正常，身体健康，无任何脑神经损伤，并且保持良好的精神状态来参加实验。实验在轻松舒适的环境下进行，保证不被打扰。被试者坐在舒适柔软的沙发上，要求被试者在实验的过程中尽量保持不动，以免增加肌电等干扰。音乐播放的音量按照被试者的要求调整到最合适的位置，确保被试者全身心投入到实验中。

2.2 脑电采集设备

实验EEG信号采集设备是可持续采集脑电信号的8通道OpenBCI V3 8bit开源Arduino EEG模块，脑电采样频率为250 Hz，可在实验中持续采集被试者的EEG信号。按照国际10-20系统电极放置法，将脑电帽的8个电极分别安放于大脑左前额区Fp1、右前额区Fp2、C3（左侧中央区，通道3）、右侧中央区C4、左后颞区T5、右后颞区T6、左枕区 O1、右枕区 O2，如图 1所示［8］。图 2是主要芯片硬件工作原理。

图1 电极位置图

图2 芯片硬件工作原理

将8个电极置于头皮表层，记录下脑细胞群的节律性和其他自发性的电活动，横轴为时间，纵轴为脑细胞的实时电位，这就是脑电图EEG，如图3所示。

图3 脑电图EEG实际波形

2.3 实验流程

为了在实验环境中激发特定的情绪，实验使用精心挑选的40首具有高度情感（快乐、悲伤）的音乐片段作为刺激，以保证激发情感的可靠性。音乐片段的选择标准如下：

（1）整个实验时间不宜过长，以免造成听觉疲劳；

（2）音乐内容无需解释即可理解；

（3）音乐应该诱发一个期望的目标情绪。

在所选的素材库中总共有40首关于两种情绪（快乐、悲伤）的音乐片段，32名受试者被要求在听完每首音乐片段后评估自己的情绪，其中包括情绪关键词（快乐、悲伤）和两个维度：愉悦度（Valence）和唤醒度（Arousal）来度量情绪状态。度量标准是从数字1到9打分。

在二维空间平面中Valence和Arousal情绪状态的分类标准为：

快乐态：（arousal<3）∩（valence>6）

悲伤态：（arousal>5）∩（valence<3）

被试的脑电信号是由前文提到的便携式脑电帽来采集。

下面给出了本文设计的情绪实验的详细方案，如图4所示。实验中，每首音乐都是30秒，且音乐类型是随机呈现的。实验开始前有一个5秒的开始提示，以提高被试者的注意力。每首音乐播放之后有10秒的自我评估以及10秒的静音间隔。为避免被试者产生听觉疲劳，播放20首音乐后有10分钟的休息时间。被试者的自我评估是基于他们听音乐片段时的真实感受，而不是他们认为音乐片段的情感应该是什么。根据反馈，如果参与者未能激发出正确的情绪，或者唤起的情绪不够强烈，这些数据就会被丢弃。

图4 情绪实验的详细方案

2.4 脑电数据的处理与分析

2.4.1 预处理

采集到的脑电信号需要经过预处理，消除外界的干扰（噪声等），得到可用于实验的纯净的脑电信号［9］。如眼电伪迹，可以使用Scan4.5软件里的Ocular Artifact Reduction功能去除；舌电伪迹，可以借助Scan4.5软件的Artifact Rejection功能进行去除。

2.4.2 特征提取

EEG信号的特征提取是情绪识别、分类中的关键一步，不同的特征所对应的分类精确度大不相同［10］。本设计分别提取脑电信号的时域特征和频域特征来进行情绪识别的研究。

（1）时域特征

时域特征是在时域上将脑电信号的信号统计结果作为特征。本设计对EEG数据采用了以下五种时域特征为脑电特征进行情绪识别的研究：

原始信号的均值，如式（1）所示

式中，E(n)表示原始EEG信号；N表示信号的总采样点数。

（a）原始信号标准差σE，如式（2）所示：

（b）原始信号的一阶差分平均绝对值δE，如式（3）所示：

（2）频域特征

利用快速傅里叶变换（FFT）将时域信号转换为频域信号，然后提取出与不同情绪对应的频率信息，从而完成情绪识别分类，脑电信号在频域上分为五个频带，分布范围从1～50 Hz之间，如表1所示。

表1 脑电信号在频域上的5个主要划分

这五种频带分布对应了不同的心理状态和情绪种类。

得到EEG信号的快速傅里叶变换后，将EEG信号的频域划分到五个频带上，得到五个频带的傅里叶变换，然后利用公式：

得到每个频带的频谱，即能量。8导脑电信号在五个频带上共有40个特征。

2.4.3 特征选择

本设计采用基于熵（entropy）的可分性判断进行特征选择。已经有研究者们利用信息论中熵的概念来衡量各类后验概率的集中分散程度［11］。

Shannon熵：

在Shannon熵的基础上，对特征的所有值取积分，就得到了基于熵的可分性判断：

JE越小，则可分性越好；反之，可分性越差。

3 HMM-SVM模型

支持向量机的英文是Support Vector Machine，简称SVM。它不仅结构简单，而且具有很强的分类能力，是近年来被广泛研究和使用的分类算法。其核心是最优化问题，定义适当的核函数，在高维特征空间求取最优线性分类面从而实现分类。如图5所示，实心点和空心点分别代表两类训练样本，其中M为最优分类线，M1和M2与最优分类线平行，并且是各类样本中离分类线最近的两条直线。M1和M2间的距离是两类的分类间隔或分类间隙，M1和M2上的点称为支持向量。如果在高维空间中，最优分类线就是最优分类面。其目的是将两类准确无误的分隔开来并且使两类的分类间隔最大化。

图5 SVM线性分类面

在选取核函数时，选取的标准是归纳误差最小。通过比对，选取径向基核函数（Radial Basis Function）：

由于SVM的分类速度慢，往往需要较长的计算时间。为弥补这一缺点，引入HMM。

隐马尔可夫模型（Hidden Markov Model，HMM）是在马尔可夫链的基础上发展起来的，开创了对随机过程“Markov过程”的研究，为自然过程的研究提供了一般性的数学分析工具［12］。HMM是一个双重的随机过程，即包含可观测状态和隐含状态两种。其中隐含状态不能直接通过观测获取相应的信息，需要利用可观测的状态通过转移概率进行推测得到。如图6所示。

图6 HMM模型

HMM因其严谨的数据结构和可靠的计算性能在识别技术领域得到广泛应用［13］。一个HMM可以简记为：

①X：隐含状态的集合X={θ1,θ2,…,θN}

②Y：观测状态的集合Y={V1,V2,…,VM}

③π：初始概率分布矢π=(π1,π2,…,πN)，

其中，πi=P(q1=θi),1≤i≤N。

④A：状态转移概率矩阵A=(aij)N×M，其中

⑤B：观察值概率矩阵B=(bjk)N×M，其中对于连续HMM，B是一组观察值概率函数，即

因此本文结合两个统计，即SVM很强的分类能力与HMM可靠的计算识别能力正好弥补了彼此的不足。HMM-SVM模型情绪识别分类原理如图7所示：首先对经过预处理和特征提取的数据训练HMM模型和SVM分类器；然后计算每个HMM模型对信号的匹配程度，排除掉概率小的类，得到候选模式集，最后利用SVM分类器进行辨识得到分类结果。

图7 HMM-SVM情绪识别分类模型

4 结果与分析

分别利用SVM和HMM-SVM模型两种方法对脑电数据进行情绪二分类，结果表明，基于HMM-SVM模型进行情绪的分类，可以提高分类的准确性。对于情绪分类的结果，不仅考虑其准确率（accuracy），还引进了另外两个指标：灵敏度（sensitivity）和特异性（specificity）衡量最后的分类效果。

4.1 基于时域特征的分类结果

图8 五种时域特征平均分类准确率

图9 基于时域特征的分类结果

4.2 基于频域特征的分类结果

本文提取了频域上五个频带的能量作为脑电特征，利用这五个频带情绪的二分类。同样，使用SVM和HMM-SVM进行分类，取32位被试者的平均分类准确率，如图10所示。将五种频域特征融合后，8个通道则共有40维特征。分类结果如图11所示，横坐标表示特征维数，纵坐标代表分类精确率。

由图8和图10可以看出，在所选的五种特征和五个频带上，使用HMM-SVM模型的分类效果均优于单使用SVM的分类效果。

图10 五种频域特征平均分类准确率

由图9和图11两个结果图可看出，分别使用以上两种分类方法，基于时域特征的平均分类准确率最高可达80.07%（SVM）和84.97%（HMMSVM），平均准确率分别为73.59%和81.06%；基于频域特征的平均分类准确率最高可达83.02%（SVM）和87.68%（HMM-SVM），平均准确率分别为79.18%和83.93%。两种特征平均分类精确率达到最高时的特异性和灵敏度相差均不到0.15，另外三条曲线还有重合的点，代表此时的分类效果最好。

图11 基于时域特征的分类结果

通过以上分析，使用HMM-SVM模型、选取频域特征作为脑电特征的分类效果最好，平均准确率可达83.93%。

5 结论

基于EEG信号的情绪识别研究中，不同的分类器模型以及特征提取的好坏对最后的情绪识别分类结果起决定性作用。为了提高识别情绪的准确率，本研究在支持向量机（SVM）分类器的基础上，构建HMM-SVM模型，提取脑电信号的时、频域特征，并设计情绪识别的实验。实验结果表明，构建的HMM-SVM模型在基于脑电频域特征方面的情绪识别准确率更高。