联合脑电信号与虚拟技术的大脑情绪状态的半球不对称性研究

蓝文威 陈 晨 张 金 张家琦 黎 峰 高军峰*

1(中南民族大学生物医学工程学院, 武汉 430074)

2(认知科学国家民委重点实验室，武汉 430074)

引言

大脑功能状态的研究一直是人类探索自身奥秘的热点，随着近年脑科学、神经科学及信息科学的快速发展，大脑功能状态的研究日新月异，关于大脑情绪状态的研究也逐渐深入。情绪作为人类大脑的高级功能，综合了个人的思想和行为，在一定程度上表现出对外界或者自身刺激的反应，同时伴随着一系列的生理以及心理上的变化。在情绪判别方面，之前人们对于情绪的理解皆基于自身对自身的内在思想或者他人对自身的外在行为进行主观评估，实际上，通过生理信号对人类大脑情绪状态的客观评估手段则更具有科学性，脑电信号(electroencephalogram, EEG)由于其高效率和低成本的优势，在近年来检测情绪状态的研究中得到了广泛的应用[1-2]。

国内外已有大量关于大脑情绪状态的研究。有报告指出，参与情绪的脑区主要集中于杏仁核、基底神经节、前额皮层、扣带回皮层和顶叶皮层[3]。另外，早在20世纪90年代Canli在使用正电子发射型计算机断层显像(positron emission computed tomography，PET)功能性成像技术对大脑情感的半球不对称研究时，已经发现积极(或与进近相关)的情绪更倾向于偏向左半球，而消极(或与退缩相关)的情绪则是更加强烈地偏向右半球[4]。Zibman等[5]进行皮质-皮质配对联合刺激(ccPAS)实验，结果发现，外侧前额叶皮层的左右侧的电生理和行为均显示出半球不对称性的变化。Crawford等[6]在受试觉醒和催眠状态下引发愉快和悲伤的情绪，并且对大脑前额区(F3F4)、中央区(C3C4)和顶区(P3P4)的EEG窄波频带进行分析。研究发现，低频alpha波(8.0～9.5 Hz)在顶区左右大脑半球存在差异。Lu等[7]使用左前(后)、右前(后)、左半球、右半球、前半球、后半球等8个不同大脑区域的脑电信号，基于动态熵的模式学习来识别个体之间的积极和消极情绪。

随着计算机技术的蓬勃发展，人机交互技术被广泛应用于各大领域。虚拟现实技术(virtual reality, VR)是20世纪快速发展起来的一项新兴的实用技术，通过计算机模拟虚拟环境，以自然的方式与虚拟三维环境中的物体或者虚拟人类进行交互，创造出身临其境的感官体验。这种技术很适合作为认知科学、心理学等领域的研究方法，衍生出更加新颖的实验方案。利用虚拟现实技术仿真技术，可以实现视觉与听觉上的双重刺激，可以在大脑情绪状态的研究中更加逼近现实场景的真实感受[8]。有效地解读个体的情绪状态能解决工作生活中的各种现实问题，如判定人们工作生活中的精神亚健康状态、了解客户对产品的满意度进而调整营销策略、检测车辆行驶过程中司机的精神状况，在教育领域中可以通过解读学生的学习状态来调整学习内容和方式等[9]。

本研究引入半球不对称性指数作为研究大脑情绪状态的工具。实验使用VR中的3D影片刺激诱发积极、中性以及消极情绪，同时记录脑电信号，从功率谱脑地形图上观察各脑区，在此基础上重点分析差异较大的脑区，计算各频段平均功率谱密度和半球不对称指数，从中探寻主要脑区的左右半球不同情绪下的差异和情绪生理活动的显著特征。

1 材料和方法

1.1 实验设计

由10/20系统标准64导脑电帽和德国BrainProducts公司的脑电图仪一同采集脑电数据，使用Recorder数据采集软件、BrainAmp信号放大器与隔离电源。VR使用的是美国Facebook公司轻量级VR头显一体机Oculus Go。实验中选择双侧乳突作为参考电极，水平眼电电极放置于外眼角处，垂直眼电电极放置于左眼下约2 cm处，前额Afz电极接地，采样频率为500 Hz，各导联阻抗均小于5 kΩ[10]。实验材料刺激采用的是YouTube上的3D影片以及网络上一些VR团队所制作的影片，一共12个影片片段，如图1所示，其中2个喜剧片和2个爱情片、4个风景纪录片、2个惊悚片和2个灾难片，分别对应积极情绪、中性情绪、消极情绪，每个影片时长4～6 min，12个片段依次播放，每观看一个影片充分留出休息时间让受试平复心情再继续。图2展示了受试在实验时的状态。

图1 部分刺激材料展示Fig.1 Display of some stimulating materials

图2 受试实验中Fig.2 The subject in the experiment

1.2 受试者

实验选取了20名受试者，男受试10名，女受试10名，均来自本校在校大学生与研究生，年龄范围在23～25岁，平均年龄23.9岁，身体健康，裸眼视力或矫正后视力正常，没有色盲色弱缺陷，没有心理疾病或精神疾病史，参加实验前睡眠良好，实验时精神状态良好。在进行脑电数据采集之前，让受试了解实验无害性，告知实验流程及规则，并签署实验知情同意书。

1.3 信号预处理

利用Matlab平台中的EEGLAB工具箱进行EEG预处理。顺序为电极通道定位，去除IO眼电电极。以双侧乳突(TP9、TP10)作为参考电极、进行1～49 Hz带通滤波去除工频干扰，采样频率500 Hz保持不变，然后对其进行独立成分分析(independent component analysis, ICA)并使用AJUST插件辅助去除脑电信号中肌电、眼电等伪迹信号，得到干净的脑电信号。

2 脑电分析方法

2.1 功率谱密度和半球不对称性指数

特征提取是对脑电信号进行变换，找出具有代表性的特征。常用的脑电特征提取主要有3个方向：时域特征、频域特征和时频特征，本实验所采用的分析方法是功率谱估计分析。在对EEG信号进行频域分析时，功率谱估计是一种很常用的方法，可以将EEG信号转换成功率随频率变化的谱图，更加直观的从功率谱图中分析EEG信号不同波段的功率分布与变化情况[11]。本研究中采用的是Matlab中BrainStorm工具箱，使用Welch法对EEG信号中的各频段进行功率谱估计。

首先，分析大脑各脑区在积极情绪、中性情绪、消极情绪中的功率谱密度分布情况，64导脑电帽导联分布如图3所示。进一步地，选取几个脑区的相关导联作为主要研究对象，这些脑区包括额区(F3-F4)、中央区(C3-C4)、顶区(P3-P4)以及枕区(O1-O2)，利用BrainStorm工具箱将功率谱数据导出，然后计算半球不对称性指数。

图3 64导脑电帽电极分布Fig.3 Distribution of 64-lead EEG cap electrode

半球不对称性指数是计算同一频率下的左右半球功率谱密度之间的相对差，差异表征大脑的半球不对称性，差异的大小表征偏大脑左半球或者右半球的不对称性程度[12]。本研究在alpha(8～13 Hz)、beta(14～30 Hz)、gamma(31～49 Hz)频带中分别计算不对称指数。首先，在每个EEG频带中，计算20名受试的某一脑区左侧导联平均功率谱密度(WLmn)和右侧导联平均功率谱密度(WRmn)。然后计算每个EEG频段，通道和对象的半球间EEG不对称性指数为

(1)

式中，f表示某一频段，m和n表示某一脑区左右半球对应导联。半球不对称性指数A越高则表示相对左半球越活跃，由此对不同脑区的两个通道进行不对称分析。

2.2 统计学处理方法

对积极、中性、消极情绪下的半球不对称性指数运用重复测量方差分析，采用Greenhouse-Geisser法校正，获得3种情绪下半球不对称性指数上的差异，有

(2)

(3)

事后成对比较采用Bonferroni法校正，目的在于调整两两比较时的检验水准，有

(4)

式中，α表示之前的检验水准，m为比较次数。

3 结果

3.1 功率谱密度

对所采集的不同情绪的脑电信号进行信号预处理，再通过EEGLAB将20名受试的3种情绪的功率谱密度根据不同情绪和不同波段分别叠加平均后，绘制alpha、beta和gamma频段上的大脑地形图，见图4。将3种情绪的功率谱密度进行对比，结果发现在各情绪下，积极情绪的额区的激活程度高于另两种情绪，而在各频段之间的对比以及不对称性上未观察到有明显差异。

图4 不同情绪下各频段功率谱密度(每列上中下分别为积极情绪、中性情绪和消极情绪)。(a)Alpha频段；(b)Beta频段；(c)Gamma频段Fig.4 The power spectral density of each frequency band under different emotions (positive emotion, neutral emotion and negative emotion in each column). (a)Alpha band; (b) Beta band; (c) Gamma band

3.2 半球不对称性指数

图5给出了在不同情绪下的各脑区通道之间的alpha、beta和gamma频段的不对称性指数值。总体上看，在3种情绪下额区的各频段不对称性指数均为正值，顶区以及枕区均为分数较高的负值，表明3种情绪下额区的激活程度左侧半球大于右侧半球，顶区、枕区则相反。中央区的不对称性指数正负值均有。

图5 不同情绪下各频段不对称性指数。(a)积极情绪；(b)中性情绪；(c)消极情绪Fig.5 Asymmetry index of different frequency bands under different emotions. (a) Positive emotions; (b) Neutral emotions; (c) Negative emotions

进一步集中观察并对比积极情绪与消极情绪的不对称性指数，各频段下的额区、顶区和枕区结果如下：

1)额区(F3-F4)的alpha、 beta和gamma频段，积极情绪的指数值在0.1值上下，而消极情绪的指数值接近于0值；

2)顶区(P3-P4)的alpha、 beta和gamma频段频段在两种情绪下均为负值(右半球更活跃)；

3)枕区(O1-O2)的3个频段在两种情绪下同样均为负值(右半球更活跃)。

通过3种情绪下不对称指数的重复测量方差分析，统计结果非球形性时采用Greenhouse-Geisser法校正P值，k为3，n为20。结果发现，3种情绪下额区alpha频段的半球不对称性指数的差异边缘显著，F(2,38)=2.879，P=0.069。事后成对比较采用Bonferroni法校正，α取0.05，m为3。发现额区alpha频段的积极情绪与消极情绪两组间有具显著差异，P<0.05；积极与中性差异不显著，P>0.05；消极与中性差异不显著，P>0.05。而在3种情绪下额区的beta和gamma频段，以及各频段的中央区、顶区和枕区，均未发现显著差异。

上述统计结果表明，研究只集中讨论alpha频段的3种情绪下的不对称指数即可。图6显示了20名受试在额区(F3-F4)的alpha频段不对称性指数的分布情况。结果显示3种情绪下的平均额区不对称性指数均为介于0～0.2的正值，说明在3种情绪下的半球不对称性特征—左侧额区比右侧额区的活跃程度高。同时，额区出现积极(0.130±0.227)、中性(0.058±0.240)、消极(0.006±0.130)依次递减的趋势，箱型图中的数值分布也显示出这一点，表明从积极到中性、再到消极的情绪过程中，左侧额区的活跃程度是逐渐降低的。

图6 额区(F3-F4)alpha频段在3种情绪下的不对称性指数对比(统计学显著性表示为*P<0.05)Fig.6 Comparison of asymmetry index of frontal region (F3-F4) alpha band under three emotions(Statistically significant:*P<0.05)

4 讨论

本研究联合虚拟现实和脑电技术，首次将半球不对称性指数用于研究不同情绪下大脑功能状态的不对称性。越来越多的神经科学和认知科学的研究显示了虚拟现实和脑电技术结合的优势。临床上，已经有将其作为暴露疗法治疗心理疾病，主要包括自闭症、创伤后应激障碍、恐惧症、社交焦虑症、抑郁症等疾病的治疗。相关研究显示该技术可以有效地减轻负面情感的症状，从而增强情绪调节能力[13]。因此，本研究在实验刺激材料上使用VR影片，更真实地模拟情感触发的场景，然后记录了20名受试在导致不同情绪的VR影片下的脑电信号，基于功率谱密度，计算不同脑区半球不对称性指数，统计分析后，集中对额区的alpha频段进行了深入分析。

从功率谱密度上来看，积极情绪与消极情绪下在额区存在差异，即积极情绪的额区能量高于消极情绪，但是在左右半球的不对称性上却未见明显差异。 进一步地对半球不对称性指数的统计分析得出了额区alpha频段激活程度为左侧半球大于右侧，从积极到消极情绪缓慢下降。体现了额区在表达情绪的过程中扮演着关键的角色。Bartolic等[14]在情绪状态对额叶认知任务影响的实验结论，也显示出额叶对情绪表达和情绪调节的重要性。在3种情绪下，额区左半球的激活程度均高于右半球，可以认为左半球在处理情绪方面占主导地位，在表达的感知中具有优势。

本研究的结果也提示额区可以作为情绪研究的重要脑区进行研究。额区作为人类大脑认知功能最重要的脑区之一，其中背扣带回、内侧前额叶皮质参与情绪的产生[15]。大量的研究表明杏仁核是人体情绪产生的根源[16]。进一步地，Davidson在其关于额叶不对称性研究的综述中指出， alpha频段的不对称性与背外侧前额叶皮质有关[17]。该作者认为左侧前额叶背外侧的区域可能影响杏仁核的活动，并推测该区域负责了部分的情绪产生，此外，还发现左前额叶活性较高的个体的应激激素皮质醇水平较低，有力地揭示了具有较高水平的左侧前额叶活动的个体确实具有更积极的外周生物学指标。本研究的结果在一定程度上证实了该作者的上述推测。

本研究通过不对称性指数，仅发现额区在alpha频段上不同情绪间的差异，不过文献显示情绪的产生和调节以及它的不对称性应该不仅与前额叶相关，还可能与其它脑区存在重要的关系，本研究的结果不够全面。另外，本研究仅适用了头皮脑电，未对皮层上的神经元活动信号进行分析。今后可以通过溯源等方法进行皮层脑电信号的分析，从而更精确地定位在不同情绪下激活的其他脑区。此外，还可以通过功能连接等方法进一步了解左侧前额叶背外侧皮质是如何调控其他脑区(如杏仁核、海马体和丘脑)，从而导致在不同情绪下的大脑半球的神经活动的不对称性。

最后，本研究仍存在一定局限性，有些实验材料的选择可能未能使受试达到理想的不同情绪，且个体间的生理差异也会影响实验结果的稳定性等。需要扩大试验人群数量及实验年龄范围，以验证本研究方法的普适性。在未来，需要在实验刺激上进行更仔细的筛选，以期望可以更有效的模拟真实的脑电情绪状态。

5 结论

本研究采用功率谱估计与半球不对称性指数分析了不同情绪下左右半球的整体和区域特性。在处理情绪的过程中，左侧额区的主导程度在积极、中性、消极情绪下依次递减，提示左侧额区在人类情绪状态的表达中表现活跃，特别是在积极情绪中占据主导地位。本研究从功率谱的角度揭示了情绪与大脑半球不对称性的关系，对大脑情绪机制和情绪心理学的研究提供了一定的参考价值。