基于心率变异性的情绪识别研究*

易慧，陈瑞娟△，邓光华，胡淑芬，肖淑绵，王慧泉,2

(1.天津工业大学生命科学学院，天津 300387；2.天津市光电检测技术与系统重点实验室，天津工业大学，天津 300387)

1 引 言

情绪在人们生活中扮演重要角色，它影响着人们的行为，人机情感交互的关键技术之一是情绪识别，引发“情感计算”的出现[1]，情绪识别是对他人情绪状态进行识别和解释的方法[2]，近年来这一领域正逐渐成为研究热点。在情感计算领域中，常用的算法有支持向量机、K-最近邻法、线性判别函数、多层感知器等，通过对脑电、肌电、呼吸、皮电等生理信号的研究，以实现情绪的精准识别。

文本、语音、表情和势态均可通过主观意识的控制来隐藏实际的情感，但生理信号特征主要来自于神经系统和内分泌系统，且不受主观意识的控制，能够更加真实地反映出人的情感特征[3]。目前，使用多种生理信号联合识别的分类精度较单一生理参数的识别精度高，多模态生理信号的情绪识别被广泛应用。在上述生理信号中，心电信号蕴藏丰富的生理信息。心率变异性(heart rate variability, HRV)不仅可以表现人体内外环境对心血管系统的影响，也反映了心血管系统在自主神经及体液调节下做出的相应调节。因为情绪状态的变化直接影响自主神经系统及体液调节，所以个人的情绪变化可以在HRV中得到反映体现，即HRV能够用来进行情绪识别[4]。Picard等[5]通过一系列的实验证明从人类的特定生理信号中提取某些有效的特征组合，将其用于情感识别的研究是可行的。Ekman[6]在对人体生理信号的研究过程中发现某些生理反应对具体情感状态的产生具有特异性,且心电采集设备较脑电采集设备更加便携，易于采集，极大地方便人机情绪交流的市场化和商业化。

HRV[7]指心电信号R-R间期逐波之间的微小差异，它包含丰富的自主神经系统反应信息，心率变异性常常视作为心脏的窗口，HRV很大程度上反映了心脏对外界环境的适应能力,而这种适应性主要是由自主神经系统对心脏的调控来实现的[8]，因其可以无创、定量评估自主神经系统功能，不仅广泛应用在临床上,也已越来越多地应用在情绪识别中[9]。研究表明，通过加强对老年高血压患者的心理疏导和支持可以缓解患者的焦虑抑郁情绪,从而改善老年高血压患者的血压变异性、心率变异性及生活质量[10]。同时，对情绪进行识别在提升新产品的用户体验、员工培训、改善医疗护理等方面均具有重要意义。

2 实验设计与心电信号采集

2.1 情绪的诱发方式

情绪诱发方式多种多样，有研究者使用音乐听觉刺激的方式来诱发情绪，也有使用图片即视觉刺激的方式来诱发情绪，目前国际上常用的情绪诱发素材库包括国际情绪图片系统 ( international affective picture system,IAPS)和国际情绪声音库 ( international affective digitized sounds,IADS)为情绪研究工作提供了较标准的诱发素材库，但是由于一定的文化差异，该情绪诱发素材并不适合在中国使用[11]。电影剪辑法既有视觉刺激也有听觉刺激，可较好地诱发人的情绪，因此，本研究使用电影剪辑法来进行情绪诱发。

情绪可通过效价和唤醒度的二维空间模型进行精确定义，空间模型从这两个方面给出情绪特有的特征。本研究选取不同唤醒度的八种情绪，即恬静、气愤、悲伤、恐惧、厌恶、平静、惊奇、搞笑，这八种情绪的二维空间模型见图1，每种情绪选取两段不同的视频来进行诱发。实验中选取视频的标准是情节易于理解，且每段视频仅诱发单一情绪。

图1 情绪的二维空间模型Fig.1 The two-dimensional space modelofemotion

2.2 情绪诱发实验的设计与采集

实验采集了八种不同的情绪，每种情绪两段视频，每段视频时长5 min，视频总时长80 min，情绪诱发流程见图2，每段视频中间被试者休息2 min以平复情绪。

受试者在观看视频的同时填写主观量表，量表内容包括情绪类型选择及其诱发情绪的强度，强度等级分别为很强、较强、一般、无感。以主观量表验证诱发材料能否诱发相应的情绪，诱发的情绪是否纯净，从而为客观分类提供参考标准。

图2 情绪诱发实验流程Fig.2 Flowchart of emotion evoked experiment

本研究选择23位无心理疾病和心血管疾病的在校学生为受试者，实验前无剧烈运动(避免运动后心率过快)。实验现场见图3，在标准实验室进行，显示器置于离受试者80～100 cm处，受试者间均隔板隔开，避免相互干扰。心电采集部分是由多功能生理信号采集系统中的心电采集单元完成的。

为了确定情绪材料信效度，即情绪材料是否成功诱发了相应情绪，针对视频材料进行了事后分析，选取了受试者的主观报告数据，进行了统计学的分析评估，t检验的评估结果显示，除了惊奇外其他情绪均成功诱发且纯净。

图3 实验场景Fig.3 Experimental scene

3 心电信号预处理和特征值提取

3.1 心电信号预处理

由于心电信号极其微弱，所以提取到的心电信号存在多种噪声和电磁干扰，如肌电干扰、运动伪差、电极接触噪声等。本研究采用小波变换(wavelet transform，WT)对心电信号进行分解和重构以减小噪声，去噪前后对比见图4。

图4 小波变换去噪前后对比(a).去噪前心电波形;(b).小波变换去噪后心电波形Fig.4 Comparison of wavelet transform before and after denoising(a).before denoising; (b).after denoising

小波变换(WT)是一种新的变换分析方法，它继承和发展了短时傅立叶变换局部化的思想，同时又克服了窗口大小不随频率变化等缺点，能够提供一个随频率改变的“时间-频率”窗口，是进行信号时频分析和处理的理想工具。WT的原理是把某一被称为基本小波(也称母小波，Mother Wavelet)的函数ψ(t)做位移τ后，再在不同尺度a下与待分析的信号x(t)做内积：

(1)

等效的频域表示为：

(2)

式中，X(w)和Ψ(w)分别是x(t)和ψ(t)的傅里叶变换。

与傅里叶变换相比，WT能够准确地分析出信号在何时发生畸变，可以检测出其他分析方法忽略的信号特征，能以非常小的失真度实现对信号的压缩与消噪。总之，研究中采用的WT模极大值去噪方法根据信号与噪声在WT下不同的特性来对信号进行消噪，最大的优点是具有“局部化”性质和“数学显微镜”性质，很适合于非线性、非平稳信号的分析[12]，能够在去噪同时最大限度地保留信号的原始信息,因而利于用在信噪比较低的生物信号的提取中[13]。

3.2 特征值的提取

采用Pan等[14]提出的一种经典pan_tompkin(PT)算法来检测QRS波群信息，见图5。提取的R波峰值信息，见图6。该算法原理简单，实时性好[15]，包含有带通滤波、微分、微分、平方、滑窗积分等过程。

图5 PT算法用于QRS信息检测Fig.5 The PT algorithm have been used for information detection

图6 提取的R峰Fig.6 The extracted R peak

本研究一共提取了16个HRV特征参数，包含9个时域特征，7个频域特征，特征意义见表1和表2，时域上主要提取RR间期的相关参数，频域上主要提取能量相关的参数，表3列出了一位受试者在不同的情绪下提取的部分HRV特征值。

表1 HRV时域特征Table 1 Time-domaincharacteristics of HRV

表2 HRV频域特征Table 2 Frequency-domaincharacteristics of HRV

表3 不同情绪的部分特征值Table 3 Partial eigenvalues of different emotions

4 识别算法与结果分析

4.1 算法分析

提取特征值后，本研究采用支持向量机(support vector machine,SVM)来进行情绪分类。SVM[16]是由Vapnik提出的基于结构风险最小化的准则，其中结构风险是指经验风险与置信区间的和。SVM寻找一个最优分隔超平面，该超平面能最大程度地将这两个类别的训练样本分开，同时使每类样本到它的距离尽可能的大[17]，它是一种解决小样本、非线性、高维机器学习问题的较优方法，适用于心电信号。

4.2 结果与分析

首先对特征值数据集进行八分类，任意选取其中10组受试者数据共160段心电作为训练集，5组受试者数据共80段心电作为测试集，用SVM分类，核函数为径向基，16个特征值作为数据集，精确度为13.75%(11/80)；已有研究表明MEAN、SDNN、RMSSD、PNN50、HFn、LFn、HF/LF这七个特征值与情绪之间的联系更为紧密，若用以上七个特征值作为数据集进行八分类，其他条件不变，精确度为16.25%(13/80)，分类效果不佳。

八分类的种类较多，加上个体差异性较大，因此分类效果不佳，现选取比较典型的、对心率变异性影响较大的四类情绪进行分析，分别为搞笑、悲伤、恐惧、平静。16个特征值作为数据集，选10组受试者数据共80例样本作为训练集，5组受试者数据共40例样本作为测试集，精确度为30% (12/40)；七个特征值作为数据集，选10组受试者数据共80例样本作为训练集，5组受试者数据共40例样本作为测试集，精确度为37.5% (15/40)；由上述可见，七个典型的特征值的分类结果较优于16个特征值的分类结果。

对平静、搞笑、悲伤、恐惧四类情绪分别作了一对一的分类(七个特征值)，结果见表4,由于恐惧和平静两种情绪在唤醒度上差异较大，分类效果最佳，达75%。

表4 二分类精确度Table 4 Accuracy of two-category

由于HRV存在较大的个体差异，所以对特征值作如下处理：(平静状态的特征值-各种情绪特征值)/平静状态的特征值。由于不同的情绪对SVM参数的敏感度不同，通过调整SVM的参数进行建模的改进，调参后的结果见表5，可见通过特征值优化和参数调整提高分类精度。

表5 调参后的精确度Table 5 Accuracy after parameter adjustment

5 结论

本研究探究了不同情绪下的心电信号与自主神经系统的特征变化，通过不同情绪下的心电信号采集实验，对恬静、气愤、悲伤、恐惧、厌恶、平静、惊奇、搞笑等八种情绪进行了分类识别。首先采用WT法降低噪声干扰，其次提取了HRV关于时域、频域的特征参数，并提出了相对特征值法以减小个体差异；最后利用SVM算法实现情绪分类。经过不断调整SVM的参数得到精度为60%～75%的分类结果。针对本研究的分类结果，在以下方面可以进一步探索，以提高识别精度：增加建模数据量，缩小个体差异；增加其他维度的生理信号，提高建模精度；改进建模手段，用深度学习等方法提高建模精度。本研究提出的基于HRV的特征信息进行多种情绪的分类识别方法将主观情绪与客观生理信号之间建立联系，对情绪识别的研究奠定了基础。本方法对影片的测评、培训评价、提升新产品的用户体验、员工培训、改善医疗护理等方面具有广泛的应用价值。