基于脑网络的多特征融合情感识别方法

房春英, 张馨桐, 王 璞

(黑龙江科技大学 计算机与信息工程学院, 哈尔滨 150022)

0 引 言

情感识别的方式有很多,多是通过研究面部表情、手势、语音语调等生理特征比较和分析不同人群的情感。个体可以通过不同的情绪类型(悲伤、恐惧、平静、快乐等)有效地向他人传递不同的信息。与人类主观意识容易控制的表情、态度、声音等外在表现相比,人类自主神经系统和内分泌系统直接传递的生理信号不易受意识的影响,因此,它可以更准确、更直接地表达人们的情感状态[1]。脑电信号(EEG)是反映皮层神经元潜在活动的生理信号,能较好地反映中枢神经系统在不同领域的活动,如驾驶疲劳检测[2]、运动想象任务[3]。EEG与人体的身心活动密切相关,且具有良好的时间分辨率以及对认知和心理状态的敏感性。因此,可以用EEG来判断人类的情感状态。

现有研究表明,在情感识别领域,基于EEG进行研究能够有效对不同的情感状态进行分类。Gupta[4]在DEAP情感数据集上构建了幅值平方相干功能脑网络,提取了平均路径长度、全局效率、局部效率等特征,在两个维度上分类准确率均达 67%以上。Hosseini[5]提取近似熵特征,并利用支持向量机进行情感识别,识别正确率达到73.25%。Murugappan[6]采用线性分类器来识别兴奋、惊恐、厌烦等情感,在研究中对比不同频段以及不同电极点个数对情感识别率的影响,研究发现使用熵特征的识别正确率能够达到83.04%,比时域统计特征表现更好。李立等[7]提取EEG的gamma波段信号,并利用SVM进行正负情绪识别,得到识别率为93.5%。

笔者通过基于情感脑电数据集(SEED),利用FastICA算法进行数据预处理,基于皮尔逊相关构建脑网络并提取网络模块度特征,以及基于脑电信号提取差分熵(DE)、功率谱密度(PSD)和样本熵(SE)三种单一特征。运用支持向量机将网络模块度特征和三种单一特征分别进行情感识别,将模块度特征分别与三种单一特征融合后进行情感识别,比较不同特征的分类准确率。

1 特征提取

文中对采集的原始脑电信号进行预处理来获得较纯净的脑电信号,预处理的主要步骤包括去伪迹、去噪声和FastICA。通过预处理来完成数据的初步提取,再根据实验内容提取并划分相应的实验数据,分别从脑网络构建和信号处理两个方面提取脑电特征。

1.1 数据集

文中采用上海交通大学仿脑计算与机器智能研究中心(BCMI)提供的情感脑电数据集(SEED)作为情感识别的训练和测试数据。共有15名中国受试者(男性7名,女性8名;平均年龄:23.27,标准差:2.37)参加了情感刺激实验,从材料库(6部电影)中选择了15个中文电影剪辑(积极,中性和消极情绪)作为实验中使用的刺激。每个实验有15个trials,每个trial都会播放一个4 min左右的电影片段。每个受试者需要做三次相同的实验,以保证提取脑电数据的真实性和普遍性。原始脑电数据采用ESI NeuroScan系统,根据国际10-20系统,配有62个电极,采样频率为1 kHz。

1.2 数据预处理

EEG数据的预处理一般通过EEGLAB(基于MATLAB的EEG处理工具箱)来实现,为了降低计算复杂度,在预处理阶段,使用EEGLAB将原始数据降采样到200 Hz。为了更好地提取特征数据,需进行数据滤波,应用0～75 Hz的带通滤波器。

受到各种伪影的显著影响,常采用独立成分分析(ICA)方法去除噪声。ICA算法原本就是针对盲源分离问题而提出的,利用了源信号的独立性和非高斯性。ICA算法从提出至今就处于不断改进中,文中采用其改进算法FastICA预处理数据。FastlCA算法是一种最小化估计分量互信息的神经网络方法,采用了批处理的方式,即在每一步迭代中有大量的样本数据参与运算,使收敛更稳健。

1.3 脑网络的特征提取

选择脑网络的节点,应尽可能多地考虑大脑的每个区域,确保节点的外部独立性和内部一致性。在确定脑网络的节点时,应确保所确定节点的内部信息尽可能完整,外部信息相互独立。在基于EEG构建脑网络时,可选择神经元、脑区、头皮以及其他脑部区域作为节点,考虑到头皮电极位置固定、方便测量和计算,因此选择头皮电极为节点是目前应用最广泛的方法。文中采用的节点选择方法是将按国际标准10-20系统电极摆放位置的头皮电极作为节点。边指的是大脑区域间的功能连接,主要根据是否需要加权操作以及属于有向网络或者无向网络进行综合定义,通过某种指标度量不同节点之间的时间序列相关性来建立连接,然后选择合适的方法进行脑功能网络的构建。

功能性脑网络是依据时间序列关系建立的无向网络,皮尔逊相关系数是衡量时间序列之间无向关系的经典方法之一。电极X与Y的皮尔逊相关系数为

(1)

式中:T——时间窗口大小;

Xs[t]——时间节点s处,电极X的时间窗口中第t个节点的EEG信号;

研究基于皮尔逊相关构建脑网络,提取网络模块度特征。Newman在文献[8]中给出了模块度Q的定义,网络中节点v的边数为m,模块度的公式为

(2)

式中:kv——节点的度;

A——网络的邻接矩阵,Avω=0表示节点v和ω之间没有边,Avω=1表示有边;

δνω——量化表示v和ω是否在同一社区,如果是则等于1,不是则等于0。

1.4 脑电信号的特征提取

特征提取是指对脑电信号进行变换,找出与任务相关的代表性特征的方法,是情感识别研究中至关重要的一个环节[9]。文中分别提取功率谱密度(PSD)、差分熵(DE)和样本熵(SE)三种脑电信号特征。

功率谱密度是频域分析中常用的方法之一,它反映了单位频带内信号的功率信息[10],表示输入信号的功率随频率的变化情况,即信号的功率在频域内的分布特征。根据Parseval定理有:

(3)

其功率谱密度为

(4)

式中:s(t)——长度为T的能量;

S(f)——傅里叶变换。

差分熵常用来统计连续信号包含的信息总量,对连续性随机信号的概率分布中不确定性总量进行量化[11]。相比于功率谱密度,差分熵可以有效地减少由脑电信号在不同频域的能量差引起的计算误差。高斯分布的差分熵定义为

(5)

样本熵(SampEn)是以近似熵作为计算基础、用来衡量时间信号序列复杂度的特征参数。样本熵定义为数据向量在由m维增加至m+1维时继续保持其相似性的条件概率[12],样本熵的计算过程如下。

首先将一组以等时间间隔采样、长度为N的时间序列X=x(1),x(2),…,x(n)重构为m维矢量组合,给定阈值r(r>0),即

(6)

式中:d——X(i)和X(j)之间的距离,由对应元素计算得到的最大差决定;

Bm(r)——符合条件d[X(i),X(j)

理论上该初始序列的样本熵计算公式为

(7)

由于实际情况中,N的值不可能趋近于无穷大,应为一个有限的常数值,则样本熵的估计值计算公式为

(8)

2 实验结果

实验计算功率谱密度(PSD)、差分熵(DE)和样本熵(SE)特征在以下五种频段下进行:delta (1～3 Hz), theta (4～7 Hz), alpha (8～13 Hz), beta (14～30 Hz) 和gamma (31～50 Hz)。实验选择10位受试者,每位受试者观看积极电影片段和消极电影片段各5个,共计100个样本。为了提高识别的准确度,按照2 s一次切片,将样本扩展为9 000个,其中选取80×90个作为训练集,20×90个作为测试集。分别将10位受试者三次采集的数据都提取相关的特征进行分类并叠加平均后,可以得到三种特征在各频段下的平均分类准确率η,如表1所示。

表1 三种特征在各频段下平均分类准确率Table 1 Average classification accuracy of three features in each frequency band

从表1可以看出,PSD、DE、SE三种特征在Gamma频段下的平均分类准确率均高于其它四个频段,分别为72.06%、80.47%、83.28%。这表明Gamma频段在脑电情感分类中效果最好,其中,DE和SE特征比PSD特征的分类准确率高。

为了进一步对比基于网络模块度与三种传统特征的情感识别准确率,先基于10位受试者三次采集的数据提取网络模块度特征进行情感分类,得到网络模块度特征Q的平均分类准确率,如表2所示。

表2 网络模块度特征的平均分类准确率Table 2 Average classification accuracy of network modular feature

从表2可见,模块度特征的平均分类准确率高于PSD、DE、SE特征的准确率,其中,三次实验的平均分类准确率分别为89.67%、90.82%和89.93%,结果表明,网络模块度这一特征在情感识别方面有良好的效果。

将网络模块度分别与功率谱密度、差分熵和样本熵特征组成融合特征,并进行情感分类,得到的融合特征的平均分类准确率,如表3所示。

表3 融合特征的平均分类准确率Table 3 Average classification accuracy of fused features

从表3可以看出,相比于单一的PSD、DE、SE特征,融合网络模块度特征后的分类准确率在各频段均有提高。其中,Gamma频段的分类准确率仍为最高,样本熵融合特征最高可达90.92%,融合样本熵特征后的分类准确率比单一特征提高了7.64%。四种特征全部融合后的分类准确率最高可达89.28%。结果表明,脑网络模块度在情感识别方面具有较高的准确性。

为了能更好更有针对性地分析上述几种特征的情感识别效果,将文中的特征与现有的方法进行对比,数据均选取自基于SEED数据集进行SVM分类的研究。不同研究方法提取的脑电特征、情感识别所采用的分类器及其分类的准确率,见表4。

表4 不同方法的情感识别准确率 Table 4 Accuracy of emotion recognition by different methods

由表4可知,网络模块度作为情感识别的特征具有良好的识别效果。对比特征和算法包括:Zheng等[13]进行基于深度神经网络的脑电情感识别临界频带和通道研究,分类准确率为86.65%。Lu等[14]提出基于动态熵的模式学习从个体的脑电信号中识别情绪的方法,分类准确率为85.11%。Vipin等[15]使用 EEG 信号的灵活解析小波变换的跨主体情感识别方法,分类准确率为83.33%。本研究提取网络模块度特征进行情感分类平均准确率为90.14%,融合网络模块度特征和样本熵特征后在Gamma频段的平均分类准确率最高可达90.92%,识别效果更优。

3 结 论

基于特征提取研究了脑电的情感识别:一方面,从脑电信号处理角度提取功率谱密度、差分熵、样本熵特征,分析比较不同频段下情感的差异性;另一方面,构建脑功能网络,将网络模块度作为情感脑电特征,在SEED数据集上利用SVM分类不同特征,并将网络模块度特征分别与功率谱密度、差分熵、样本熵特征融合,得到融合特征分类准确率较之前的单一特征有所提高。其中,最高的Gamma频段的分类准确率最高可达到90.92%,比单一特征提高了7.64%,更好地验证了网络模块度特征的有效性。