基于变尺度符号化补偿传递熵的EEG压力情感分析

高云园 王翔坤 田玉平* 佘青山 董 骅

1(杭州电子科技大学自动化学院，杭州 310018)2(浙江省脑机协同智能重点实验室，杭州 310018)3(中国信息通信研究院安全研究所，北京 100191)

引言

人类的情感复杂且易变，对情感的识别和分析对注意力、决策、知觉、记忆等许多认知活动有积极的影响。认知心理学和神经心理学的研究表明，情感的产生和变化与中枢神经系统功能直接相关[1]，这为使用脑电信号(electroencephalography, EEG)对情感分析提供了理论依据。在各种各样的现有情感中，压力对健康的潜在影响尤其值得注意，长时间承受压力可能会严重影响身心健康，从而引起或加剧高血压和冠状动脉疾病等疾病[2]。

通常认为压力和平静具有互补性[3]，所以常常将这两种情感放在一起研究。最近的一些研究也表明，使用非线性的方法研究压力和平静状态下EEG的规律性，可以成功区分这两种状态[4]。目前，大多数研究是利用脑区通道的时域或者频域特征，如Nie等[5]利用快速傅里叶变换，通过提取处理后的EEG信号不同频带的对数能量作为特征，进行效价维度的两类情感识别；Arturo等[6]提出多元样本熵和多元排列熵用于特征提取，采用决策树和支持向量机对不同尺度下EEG通道的熵值组合进行判别；Zheng等[7]使用异质迁移学习的方法，从具有时空特性的眼睛的扫视轨迹进行知识迁移，以提升EEG情感模型被试迁移的性能。

大脑神经元之间存在着同步性活动，情感变化时，脑区通道间信息交互就会产生相应变化，使用脑网络，利用通道间的信息交互可以有效提升情感识别的准确率，研究人员已经基于这一点进行了分析。如Guo等[8]利用情感表达时不同脑区和通道之间稀疏组LASSO-Granger因果关系特征进行分类；Xie等[9]使用情感变化时脑网络的差异性作为特征进行分类。

由于在大脑这个复杂网络环境中不确定性因素和各种条件的制约，如外部的瞬时干扰和噪声，有可能使得系统在变化过程中其动力学行为呈现出具有连续和离散等特征的的脉冲现象，这种瞬态的变化，往往能更深刻和准确的反映动态系统的演变规律[10]。既往研究认为，瞬时效应主要指情感加工过程中瞬时刺激和感知觉相关的瞬时状态[11]，持续效应指与持续性刺激相关的持续状态[12]。但是，如何在EEG情感分析中处理瞬时因果效应，目前的研究还很少。针对这一问题，本研究提出了变尺度符号化补偿传递熵算法(variable-scale symbolic compensation transfer entropy,VSSCTE)，通过考虑瞬时因果效应的补偿算法，增强有效的因果关系，分析不同情感下EEG通道间信息交互变化，并进一步使用VSSCTE得到的因果关系构建EEG的脑网络模型，使用相关测度并结合ReliefF算法对采集通道进行选择和优化，在保证准确率的前提下，实现减少计算量，提高实时性的效果。

1 材料和方法

1.1 DEAP数据集

采用DEAP数据集，这是一个由Koelstra等[13]提出的多模态数据集被用于分析人类情感状态，也是现在情感研究中使用最广泛的数据集之一。该数据集记录了32名受试者(年龄在19～37岁，平均年龄26.9岁，男女比例1∶1)不同情感状态时的EEG和其他生理信号。

受试者坐在距离17寸屏幕大约1 m远的地方，每个受试者在实验前都会签署知情同意书，每人观看40段时长1 min的音乐视频，以512 Hz采样率记录32个通道的EEG信号，同时还记录了13个周围生理信号。实验以一个2 min的基线记录开始，在此期间屏幕中向参与者展示一个固定十字(受试者保持轻松的状态)。然后，在40组试验中展示了40个不同音乐视频，每个视频的实验包含以下步骤：

1)2 s的编号展示，告知受试者的实验进度；

2)5 s的基线记录；

3)1 min音乐视频展示；

4)自我评估，从唤醒度，效价，喜好和支配程度这4个维度进行1～9打分。

当进行20组实验后，受试者可进行适当的休息，同时实验人员检查脑电帽是否发生位移，之后继续进行剩余20组实验，具体流程如图1所示。

图1 实验范式Fig.1 Subject experiment procedure

本研究根据Russell的二维情感模型，用效价和唤醒度对情感进行分类，压力和平静分别位于第2象限左侧和第3、4象限中间，并根据之前的研究[14]，选择唤醒度高于5且效价低于3的样本作为压力样本。而平静样本则选择唤醒度低于4且效价在4～6之间[6]，如图2所示。最后，根据筛选标准，在所有参与者中选择了125个平静样本和127个压力样本。由于原始EEG信号是非平稳的随机信号，单纯的时域特征或者频域特征都不足对其进行表示[15]，所以使用平移不变性和方向性较好的小波变换函数对信号去噪，同时使用“db5”小波基进行6层分解，将原始信号分解为α、β、γ等3个波段。受试者在每个视频刺激的前半段存在没有进入该情感状态的可能，而有效提取通道之间的关系，需要受试者完全沉浸在该情感状态中，同时考虑到β频段与精神和情感变化更为密切[16]，所以选择每次实验最后30 s的EEG信号的β频段作为本次实验的数据。

图2 二维情感模型中数据选择范围Fig.2 The value range in the valence-arousal emotion model

1.2 方法

1.2.1变尺度符号化补偿传递熵

补偿传递熵[17]可以用来估计功能耦合的强度以及大脑通道之间的信息传递。由于补偿传递熵考虑的是变量间的信息量传递，不需要假定变量间具有特定形式的关系，因此具有比Wiener-Granger因果性[18]更好的适用性，尤其是对于非线性系统。但是在补偿传递熵计算过程之中发现了两个问题：一是计算过程没有考虑到瞬时因果效应对时间序列的影响；二是需要重建观察到的多元动力学系统的状态空间，并在这个多维状态空间中估计概率。为了解决这些问题，本研究借鉴排列熵算法[19]中对时间序列的重新排列，提出了VSSCTE方法，其中符号化可以有效降低原始时间序列的维数，达到抑制噪声和减少计算量的目的[20]，而改变尺度则可以发现隐藏在时间序列中的动态信息。

假设原始时间序列为X={x1,x2,…,xn}，尺度化过程表示为

(1)

式中，s为尺度因子,a为尺度化后元素的位置坐标。

多尺度符号化的思想在信号分析中得到了广泛的应用，因其能够有效地发现隐藏的或有偏差的动态信息，从而展现出完整的符号动态特征[21]。

尺度序列Xs={xs1,xs2,…,xsn}的符号化的定义为

(2)

式中，N为符号集的大小，N越大与原始序列越接近，但是符号集太大就失去了符号化处理的意义；QN为设定的一个门阈值，确定的方法有等区间法和等概率法两种，本研究使用等概率法，即不同符号出现的概率大致相等，这样有利于保留序列的有效信息[22]。之后，对尺度符号化后的时间序列xQN={xQN(1),xQN(2),…,xQN(N)}进行相空间重构，表示为

(3)

式中，m是嵌入维数，τ是延迟时间。根据排列熵的排列方式对xQN(i)的每个分段中的元素进行重组，并按升序排列有

(4)

元素原始位置的序列πj={j1,j2,…,jm}，对于嵌入维数m，一共有m!种排列方式，考虑了信息量的提取和计算量，本研究采用Cao算法[23]，选取m=3和τ=3，所以共有6种排列类型，对应符号为(0，1，2，3，4，5)。

假设M是由一组相互作用的动力学过程构成的复合系统，在其中，需要得到从源系统X={x1,x2,…,xT}流向目标系统Y={y1,y2,…,yT}的信息，将M中的其余系统归入向量Z={Z(k)1：T}k=1,2,…,M-2，用x、y和z描述系统X、Y和Z随时间变化的状态的非平稳随机过程，在给定Z的条件下，源系统X与目标系统Y的传递熵可表示为

(5)

式中，p(·)为联合概率分布，根据信息熵的定义，可以得出传递熵与信息熵H(·)的等价关系，即

(6)

瞬时因果效应可以反映有生理意义的相互作用，也可以反映没有生理意义的相互作用(例如，可能是由于未观察到的混杂因素)。在这两种情况下，瞬时因果效应对任何因果测度的计算都会产生影响[24]。

当瞬时因果效应被认为具有因果意义，源进程的零滞后项xn则合并在第2个条件熵中用于传递熵计算，即

(7)

在这种情况下，零滞后项被过去时间序列吸收，即xn与x1:n-1的作用相同。因此，在使用传递熵计算瞬时因果关系时，源系统的当前状态被认为是因果相关的。

当瞬时因果效应被认为不具有因果意义，零滞后项同时包含在用于传递熵计算的第1个和第2个条件熵中，即

(8)

此时零滞后项被认为是一个条件因子，即xn与y1:n-1,z1:n的作用相同，从而补偿源系统的当前状态，以消除传递熵计算中的瞬时因果效应。

1.2.2脑网络模型分析

EEG的脑网络分析可以通过记录在不同脑区的信号，研究它们的相关性和因果关系，并通过对网络测度的分析，探索EEG因效性脑网络的拓扑结构，从而了解大脑不同脑区之间的协同工作模式。使用VSSCTE构建因效性脑网络时需要选择阈值T，将关系矩阵转为邻接矩阵。阈值的选择直接影响脑网络分析的准确性。在得到阈值选择后的邻接矩阵构建脑网络，利用度、介数和聚类系数等3个典型的网络测度进行EEG通道间的交互分析。

1)度

度是最简单也是最直观的脑网络测度，是指与节点i连接的边的数目，反映了该节点在网络中的重要性，节点i的度ki可以表示为

(9)

式中，N代表网络的所有节点，aij是节点i和节点j之间的连接权重，在本研究中是上述EEG关系矩阵中的系数。如果该节点连接的节点越多，则ki越大，表明该节点在网络中越重要。

2)介数

介数代表了节点或者连接边在整个网络中的重要性，介数高的节点或者边意味着位于网络中的重要位置。节点介数的公式为

(10)

式中，N为网络节点总数，σ(s,t)为节点s和节点t之间最短路径的数目，σ(s,t|i)为节点s和节点t之间经过节点i的最短路径数目。

3)聚类系数

聚类系数是用来描述一个图中的顶点之间集团化程度的参数。节点i的聚类系数Ci可以定义为与i之间相邻的ki个节点中，真实存在的连接边数ei占可能存在的连续边数目的比例，表示为

(11)

整个网络的聚类系数C为

(12)

式中，N为网络的节点总数，C越大，网络的集团化程度越高。

最后，对计算出来的数值使用SPSS统计分析软件进行计算结果的显著性分析，以确保算法有效性。

1.2.3通道选择及分类方法

在复杂的脑网络系统中，并不是所有的通道都与情绪密切相关。当提取的特征量比较大时，如果提取全部通道的特征，会使分类时间大幅增加，降低实时性。为了减少冗余特征，提升分类实时性，使用ReliefF算法进行通道选择。在通道选择时，分别基于脑网络3种测度的不同组合方式，利用ReliefF算法对脑电每个通道的分类准确性进行排序。根据排序，在测试集中取第一个通道构成的特征组合进行分类，之后依次加入下一个通道的特征，经过不断的分类和训练，直到32个通道全部加入特征集中。

目前，情感分类主要采用支持向量机(support vector machines, SVM)进行分类，使用SVM对DEAP数据集中32位受试者采用VSSCTE方法获得的数据在标准化处理后进行情感分类，并进行十折交叉验证得到最终分类准确率。

运行环境均在本地PC上运行，其中CPU为i5-8265U，GPU为MX250，RAM内存为8 GB，系统版本为Windows 10，Matlab版本为R2017a。

2 结果

2.1 尺度因子选择

有研究表明，不同脑区参与不同的感知和认知活动，例如额叶与思维、意识、情感有关，为了选取合适的尺度参数，所以针对受试者S01，使用尺度符号化补偿传递熵对额叶的FP1、FP2通道双向信息交互进行分析。图3中展示了100个尺度因子(0～200，步长为2)的分析结果。可以发现无论是压力状态还是平静状态，尺度符号化补偿传递熵的值均在尺度为10附近时达到峰值。在其他受试者中，也发现了类似的规律。因此本研究选择尺度因子10作为后续分析的尺度因子，对EEG进行符号化补偿传递熵计算。

图3 尺度因子选择(以Fp1和Fp2通道为例)Fig.3 Scale factor selection (take Fp1 and Fp2 channels as examples)

2.2 变尺度符号化补偿传递熵分析

VSSCTE可以定向表示信息在不同通道之间的传递关系，同时对瞬时因果效应进行“补偿”，通过计算通道之间的VSSCTE，可以得到在平静和压力状态时情感的变化情况。图4中对于每个目标通道，以该通道为目标计算出具有统计意义的VSSCTE值，可见在压力状态下大多数通道的VSSCTE值要高于平静状态时的熵值(P<0.05)，且在左侧额叶(如Fp1，AF3，F7)以及右侧顶叶(如P4，P8，CP6，CP2)的脑区通道熵值的区分度更显著。

图4 变尺度符号化补偿传递熵Fig.4 Variable scale symbolization compensation transfer entropy

由于VSSCTE包含了通道之间的间接传递，将所有间接传递的熵值并入到主传递的熵值中，归一化后构建VSSCTE的关系矩阵如图5所示，从图中也可以看出，脑区之间的信息交互在压力状态比平静状态更为密切。

图5 VSSCTE关系矩阵。 (a)平静状态；(b)压力状态Fig.5 Variable scale symbolization compensation transfer entropy relationship matrix. (a) Calm state; (b) Stress state

综合分析32位受试者的实验结果，共得到125个平静状态和127个压力状态的VSSCTE关系矩阵，最终得到两种特征向量的分类准确率，如表1所示。可以发现，考虑瞬时因果效应的VSSCTE算法相较于传统的TE算法在分类性能上有了极大的提升，但是运行时间几乎相同。

表1 二元传递熵(TE)与VSSCTE分类性能对比

2.3 因效性脑网络分析

在较大阈值范围0.05≤T≤0.95，步长为0.05的情况下，测试不同的阈值对结果显著性差异的影响，最终得到最优阈值为0.85。根据阈值T=0.85生成邻接矩阵，构建压力和平静两种状态的β频段因效性脑网络。图6为压力和平静两种状态下度、介数和聚类系数的统计结果。从图6中可以看出，压力状态时的度、介数和聚类系数都远大于平静状态，说明此状态脑区之间的信息交互更为密切。

图6 网络测度的统计结果。(a)度；(b)介数；(c)聚类系数Fig.6 Statistical results of network measures. (a) Degree; (b) Betweenness; (c) Clustering coefficient

将TE和VSSCTE分别构建脑网络的指标进行对比，如表2所示，可以发现考虑瞬时因果效应的VSSCTE对于两类情感状态更具有显著的区分度(P<0.01)。所以在情感分析时更能发现深层次的因果关系，体现大脑这一复杂系统不同通道之间的瞬时定向联系。

表2 二元传递熵和VSSCTE构建脑网络指标对比

利用ReliefF算法对脑电每个通道的分类准确性进行排序，经过不断的分类和训练，得到如图7所示的分类准确率和通道选择数目的曲线。从图7中可以发现，当EEG通道个数在15附近时，7种特征的分类准确率都达到一个较高的值，与相应特征的最高分类准确率的差值均小于2%(除聚类系数之外)。实验结果证明了ReliefF算法的有效性，同时也说明与情感相关的EEG通道约为15个，考虑到不同特征差异也会对结果产生影响，在通过ReliefF算法得到每个通道的权值之后，将这些权值归一化，之后将每种特征属于该通道的权值相加，得到一组具有共性的通道，按照权值从大到小依次为C3、FP1、P3、T7、F4、O2、O1、FP2、AF3、FC1、C4、OZ、P4、P7、FC5。

图7 不同网络测度组合与通道选择个数分类准确率Fig.7 Classification accuracy of different network measure combination and channel selection number

分类准确率如表3所示。通过对分类性能结果的分析可以发现，通道优化后的VSSCTE算法分类准确率仅下降了约2%，但是计算时间却由51.27 s降至23.84 s，更适合实际的应用场景。

表3 通道选择前后VSSCTE分类性能对比

同时，为了验证VSSCTE提取特征的分类性能，本研究对比了现有典型的特征提取方法，使用与本研究相同的数据进行分析，并使用SVM进行分类。最终结果如表4所示，结论表明优化后的VSSCTE算法较其他方法能更有效地进行情感识别。

表4 多种特征提取方法分类对比

3 讨论

复杂脑功能的实现，往往需要不同脑区之间的协作配合，这意味着分布在不同脑区的神经元间存在着丰富多样的信号传递，使某种特殊的功能得以实现。本研究提出VSSCTE方法，提取EEG特征，并构建因效性脑网络，分析在压力和平静两种情感状态脑区通道间的信息交互。但是，在复杂的脑区通道之中，并不是所有的通道都与情感密切相关。当提取的特征量比较大时，如果提取全部通道的特征，会使分类时间大幅增加，忽略了实时性这一重要指标。通过使用ReliefF算法，根据不同情感状态时EEG通道特征对样本的区分能力计算该通道特征的权重，得到了15个与情感最为密切的通道。

研究结果还发现，压力状态时，度、介数和聚类系数较平静状态均有较大的差异，提示了在压力状态时，大脑的信息交互更为活跃，这与Arturo等[4]的研究结果一致。Bennett[29]和Yoon[30]的研究发现，前额叶皮质-边缘、前额叶皮质-基底节以及顶叶是调节人类情感、认知功能和社会行为的重要神经环路。本研究通过对脑网络的一些测度的分析得到了优化后压力和平静状态区分度较大的通道，在保持较高分类准确率的前提下，减少了计算时间。此外，研究发现区分度较高的通道基本位于左侧前额和前顶叶，这与Ledoux等[31]证实的情感产生的生理机制一致，也在一定程度上证实了本研究的有效性。而且目前对于多通道的EEG建模过程中经常能获得协方差不为零的残差项，在一定程度上提示了EEG间有可能存在瞬时作用的影响。Deshpande等[32]研究了瞬时作用对多元信号定向关联所产生的影响，其结果也证实了瞬时作用对具有时延的定向信息交互的结果产生具有较大的影响。

本研究所提出的方法虽然在情感分类准确率和计算时间等方面有显著的进步，但仍有一些问题需要解决。一方面，不同的被试对同一音乐视频可能产生不同的效价和唤醒，这给客观的情感刺激分类带来了困难。另一方面，从理论上讲，当两个过程X和Y的当前变量Xn和Yn不是有条件的独立于观察到的多元过程的过去和现在变量的任意组合时，对瞬时因果效应的严格处理，应在两个过程X和Y之间设置瞬时因果关系。上述这些问题都会对分类准确率以及生理性分析带来影响，在后续的实验中还会进一步探索。

4 结论

情感识别的大量研究成果已在情感相关疾病的诊断与治疗以及日常生活中得到应用。本研究从脑通道间信息交互的角度出发，结合对瞬时因果效应的补偿算法，提出了VSSCTE为特征的情感分析方法，提升了压力情感的分类准确性。在此基础上，通过VSSCTE构建因效性脑网络，对采集通道进行选择和优化，减少了计算量，提高了实时性，为情感分析和计算提供了新的方法和思路。