多种生理信号的采集及其在情绪分析中应用

聂春燕，贺　方，佐藤礼华

(1．长春大学 电子信息工程学院，长春 1300222；2．长春理工大学 电子信息工程学院，长春 130022；3．大阪电气通信大学 综合信息学部，四条畷市清泷 大阪府 575-0063)



多种生理信号的采集及其在情绪分析中应用

聂春燕1，贺方2，佐藤礼华3

(1．长春大学 电子信息工程学院，长春 1300222；2．长春理工大学 电子信息工程学院，长春 130022；3．大阪电气通信大学 综合信息学部，四条畷市清泷 大阪府 575-0063)

摘要：利用实验室现有设备采集测试者在4种情绪(Joy、Anger、Sadness、Pleasure)下的3种生理信号(心电、皮电及呼吸)。在此基础上，基于相关算法对采集的生理信号提取混沌特征值。以混沌特征作为模式识别的特征参数，采用C5.0决策树进行情绪识别。研究结果表明在情绪识别方面，基于3种生理信号比1种生理信号具有更高的识别率。

关键词：生理信号；混沌特征；情绪分析；决策树

在心理康复训练时，为了能够准确掌握被试者的生理和心理状况，需要对被试者的各种生理信号进行实时观测和分析，从而拟定相应的治疗计划，安排合适的训练手段，有助于患者恢复健康。因此，研究不同情感下人的生理信号的变化，对预测和治疗抑郁症以及动态评价人体健康状态具有一定意义。生理信号是一种生物特征信号，主观无法控制其变化。当人情绪出现波动时，生理信号也相应改变，所以生理信号能够表达当前真实的情绪。采用非线性混沌理论进行情绪识别是近年来研究的热点，基于混沌特征的模式识别为情绪分析的研究提供一种新方法。

1情绪类型及素材的选择

文中选择常用的4种情绪状态，分别是高兴(Joy)、愤怒(Anger)、悲伤(Sadness)、愉快(Pleasure)，基本定义[1]如表1：

表1　4种情绪的定义

在采集数据之前，应尽量让被试者保持平静状态。首先被试者观看4种不同类型视频，情感诱发视频素材如表2所示。利用多导生理记录仪对被试者进行测试，采集实时生理信号数据。视频观看阶段，在情绪反应较强烈时，在Acqknowledge软件操作界面按F1键实时标记，以此作为评估情绪的一个依据。生理信号数据采集的流程如图1所示。

最后阶段，将诱发情绪的每种电影分别剪辑为10段，这样每种情绪对应10个样本。

表2　情感诱发视频素材

图1　生理信号数据采集基本流程

2实验仪器及数据采集

生理信号数据采集需要一套MP150多导生理记录仪，两台电脑，其中一台连接多导生理记录仪，显示采集的实时生理信号数据，另一台用于被试者观看情绪诱发素材视频。

2.1MP150多导生理记录仪

美国Biopac公司生产的MP150多导生理记录仪是电脑化多导生理记录仪，可同时测量心电、呼吸、皮肤电导、眼电、肠胃电等多种生理参数。MP150硬件性能参数有16个模拟数据采集通道，可以实现同时采集16种生理信号，实时采样频率最高为400KHz，并且可以联网工作。

2.2MP150硬件连接与设置

实验室现有MP150多导生理记录仪的ECG、SC、RSP模块，以下将采集3种生理信号，即心电、呼吸及皮电信号，各模块连接示意如图2所示。

图2　MP150多导生理记录仪

图2最左边是MP150主机模块，作用是给采集模块供电，以及实现采集模块与电脑的连接，保证电脑能够实时监测数据的采集。将主机插上电源，用交叉网线将主机和PC机连接起来。通电状态下POWER灯显示为绿色。RSPEC-R模块完成RSP信号和ECG信号的采集，MP150有16个模拟数据输入通道，在设置RSP和ECG采集通道时，只需注意选择的通道彼此不占用对方通道即互不冲突即可，并且保证各个信号的采集通道处于打开状态。PPGED-R模块实现SC信号的采集，SC通道只需注意不能与RSP和ECG通道相同，可以在剩下的14个通道里任意选择。

下一步，被试者佩戴采集相应生理信号的装置，被试者心电和呼吸信号的采集装置佩戴示意图如图3所示。ECG信号采用3导联方式采集，将3张贴片电极分别置于胸腔左下第五肋与第四肋间，红色正极导线连接；锁骨下方剑突处，白色负极导线连接；远离心脏的右腹部，黑色地线连接。被试者在不同情绪下，心脏跳动情况不同，在胸腔部位产生电位差，从而得到ECG信号。RSP信号的采集是在呼吸绑带连接好后，将其绑于胸腔近膈肌高度处，微紧，确保被试者不会有约束感。被试者在不同情绪下胸腔收缩和扩张程度不同，呼吸绑带的拉伸度也随之变化，通过内置传感器转化为电信号传输到采集系统里，从而获得RSP信号。

图3　ECG和RSP信号采集装置佩戴示意图

被试者皮电采集装置佩戴示意图如图4所示，SC信号的采集通过PPGED-R模块实现，采用3导联的方式采集，一般选择中指、无名指以及小拇指的指尖作为采集信号点。中指接红色正极，无名指接白色负极，而小拇指接黑色地线。被试者在不同情绪下，手指皮肤导电性不同，产生的电位差也不同，电位差的变化就是皮电信号。

图4　SC信号采集装置佩戴示意图

2.3Acqknowledge软件设置

硬件部分设置成功后，再设置相配套软件的参数。Acqknowledge软件是MP150采集与分析系统的上位机软件。这款软件是基于硬件MP150多导生理采集系统开发的，最多能显示60个通道，可对采集的数据进行数字滤波、傅利叶变换等，而且能够计算数据的最大值，最小值，心率，斜率等参数，能够自由设定存储时刻，重复次数，可用EXCEL进行统计计算，数据资料可作为WINDOWS文件长期保存。

打开Acqknowledge软件后，对3种生理信号的采样频率均设置为500Hz，对硬件模块上的通道选择在软件上做同样的设置， RSPEC-R模块通道设置如图5所示。

图5　RSPEC-R模块通道设置

RSPEC-R模块和PPGED-R模块通道设置完成后，软件操作界面如图6所示。

图6　Acqknowledge软件操作界面示意图

3混沌特征的选取

文中基于生理信号的混沌特征进行情绪模式识别。混沌特征很多，但本文选取最大Lyapunov指数、关联维、盒子维、信息熵、近似熵及复杂度，提取这6种特征的方法分别是wolf法计算最大Lyapunov指数，G-P算法计算关联维，DBC算法计算盒子维，用定义计算信息熵和近似熵及L-Z复杂度。

3.1最大Lyapunov指数

Lyapunov指数表示初始条件对混沌运动影响大小的参量，是定量描述混沌系统的重要参数。Wolf指出用相轨线、相平面、相体积等方法直接演化去估算Lyapunov指数，这种方法叫做Wolf法[2]。

3.2关联维

关联维是系统中相点之间的相关度，是混沌非线性系统一个十分关键的特征参量。P.Grassberger基于延迟嵌入空间的思路，构造了G-P算法来求取关联维[3]。该算法实现简单、原理易懂。

3.3盒子维

盒子维描述时间序列的复杂性和不规则性，能够方便的用计算机完成，使用范围较宽泛。1994年，N. Sarkar和B. Chaudhuri提出了计算盒子维的DBC(Differential Box Couting)算法[4]。该算法快速、方便、精确。

3.4信息熵

信息熵描述系统整体的不确定性，对分析混沌序列有着实际的意义。信息熵代表信源的不确定度，即无序性，系统愈混乱，信息熵的值愈大；反之，系统是有序的，其值愈小[5]。

3.5近似熵

近似熵是非负数，系统的复杂性愈高，近似熵的值愈大；反之复杂性愈低，其值愈小。

3.6复杂度

1976年，Lempel和J.Ziv根据Kolmogorov的定义提出了具体计算复杂度的算法，叫做L-Z复杂度(L-Z Complexity)[6]。复杂度能定量描述简单、复杂等信号，提供时间序列的定量分析方法，在生理信号分析中引发了极大的关注。

文中对3种生理信号求取每个样本的混沌特征参数。由于每个生理信号对应6种混沌特征，所以总共获取18个参数，分别是ECG信号的最大Lyapunov指数、关联维、盒子维、信息熵、近似熵和复杂度，SC信号的最大Lyapunov指数、关联维、盒子维、信息熵、近似熵和复杂度，RSP信号的最大Lyapunov指数、关联维、盒子维、信息熵、近似熵和复杂度，最后组成样本的混沌特征矩阵。

4数据的分析

利用相应算法对实际采集到的3种生理信号数据分别提取6种混沌特征，得到了18个混沌特征参量，将提取的混沌参数构造Excel表格。Excel表格如表3所示，总共有41行、19列，前18列是这3种生理信号的18个混沌特征参量属性，第19列是类别Emotion，每种情绪对应10个样本数据，总共行数为41。

表3　Excel混沌参数表格构造

文中采用的C5.0决策树算法[7]基于软件Clementine[8]来实现情绪识别，利用Clementine软件平台，建立数据流模型，输出矩阵如图7所示。

图7　矩阵输出

图7表明对anger情绪正确识别的样本数有8个，其中有1个错判为joy，1个错判为sadness；对joy情绪正确识别的样本数有9个，有1个错判为sadness；对pleasure情绪正确识别的样本数是6，有2个错判为joy，2个错判为sadness；对sadness情绪正确识别的样本数有8个，有2个错判为joy。

结合图7，再根据：

表4　不同情绪的识别率

3种生理信号对不同情绪(joy、anger、sadness、pleasure)识别的C5.0部分决策树如图8所示。

图8　C5.0决策树

5结语

文中采集实际的生理信号数据，将基于混沌特征参数的模式识别方法应用于情绪识别分析中。研究结果表明，融合3种生理信号的混沌特征去识别不同情绪的正确率比基于单一一种生理信号的情绪识别率要高，同时，对不同情绪有一定差异，分别为：Joy-90%，Anger-80%，Sadness-80%，Pleasure-60%。若提高识别率还需要增加采集样本数量，如采用加入EMG信号样本以及增加情绪诱发视频素材等方法。

参考文献：

[1]刘月华.典型生理信号综合测量及情绪识别研究[D]. 上海：上海交通大学,2011.

[2]Alan Wolf, Jack B. Swift, Harry L.Swinney.Time-Delay Systems: Lyapunov Functionals[M].Boston:Birkhauser, 2012:215-224.

[3]Grassberger P, Procaccia I. Characterization of strange attractors[J].Phys Rev Lett,1983,50(5):346-349.

[4]Chaudhuri B, Sarkar N. Texture image classification using multi fractal dimension[J]. Journal of Marine Science and Application,2003(2):76-81.

[5]杜春梅,崔建国,田丰. 二维相空间中肌电信息熵的计算[J]. 控制工程,2006,13(增刊):107-109.

[6]Diaz,Josep. Algorithms and Complexity[C].7th International Conference, Italy 2010, 26-28.

[7]白秀莲,巴雅尔,哈斯其其格. 基于C5.0的遥感影像决策树分类实验研究[J].遥感技术与应用,2014,29(2):338-343.

[8]岳小婷. 数据挖掘工具CLEMENTINE应用[J]. 牡丹江大学学报,2007,16(4):103-105.

责任编辑：程艳艳

Collection of Many Kinds of Physiological Signals and Its Application in Emotion Analysis

NIE Chunyan1，HE Fang2， SATO Reika3

(1．College of Electronic Information Engineering，Changchun University，Changchun 130022，China；2. School of Electronics and Information Engineering，Changchun University of Science and Technology，Changchun 130022，China；3. Faculty of Information Science and Arts, Osaka Electro-Communication University, Shijonawateshi 575-0063， Japan)

Abstract：Three kinds of physiological signals (ECG, SC and RSP) of one subject are collected under four kinds of emotions such as joy, anger, sadness and pleasure by using an existing equipment in the laboratory. On this basis, chaotic characteristic values are extracted from the collected physiological signals based on the relevant algorithms. C5.0 decision tree is used to make emotion recognition by taking chaotic characteristics as the characteristic parameters of pattern recognition. The research results show the recognition rate with three kinds of physiological signals is higher more than that with one kind of physiological signal in emotional recognition.

Keywords：physiological signal； chaos characteristics； emotion analysis； decision tree

收稿日期：2016-03-28

基金项目：教育部“春晖计划”科研项目(Z2014136)；吉林省教育厅规划课题(2014LY502L20)

作者简介：聂春燕(1966-)，女，吉林四平人，教授，博士，主要从事信号检测与处理、混沌理论及其应用、虚拟仪器等方面研究。

中图分类号：TP391.4

文献标志码：A

文章编号：1009-3907(2016)06-0044-06