基于虚拟现实的不同情绪视频下的脑电谱特性

李海宝 李颖洁,2,3 华旻磊 田丰 杨帮华

0 引言

虚拟现实(virtual reality，VR)是指生成的沉浸式三维 (three dimension，3D)环境，使用者可以从中体验类似于现实世界的活动[1]。VR试图用受试者在计算机生成的人工3D环境(VR场景)中的感知取代在现实世界的感知，而且这种VR场景并不一定需要基于现实世界进行创建[2]，所以设计者可以创建出现实世界不具备的、受试者想象的场景，以满足研究问题的需要。大量研究表明，VR视频可以诱发出情绪体验[3]，与普通视频相比，其具有更强的情绪唤醒体验[4]。但是情绪VR视频材料究竟会引起怎样的神经活动，不同情绪的VR视频的神经机制有何不同还缺乏深入研究。

脑电(electroencephalogram，EEG)是通过电生理方法记录到的脑细胞群的自发性、节律性的电活动，具有时间分辨率高和获取方便的特点，是了解与脑电活动有关的现象最直接、最简单和最丰富的信息来源[5]，认知研究中广泛采用EEG的研究方法[6]。研究人员常常记录受试者受到情绪刺激时的EEG，通过对EEG信号的分析来研究情绪加工的神经机制。目前结合EEG和VR已被用于多种研究，在已查到的情绪有关文献中，研究者使用谱分析发现VR场景下的脑电活动有其自身的特点。例如，有研究使用谱分析和源定位分析方法，比较了静息控制状态下和VR正念体验下焦虑受试者的脑电模式变化，发现VR干预导致了一定比例的脑电能量从较高的β频带转移到较低的β频带，并显著降低了前扣带皮质的宽带β活动[7]。Horval等[10]在评估VR诱发情绪时，采用EEG信号θ、β波能量特征与效价和唤醒度作相关分析，发现幸福情绪的效价和唤醒度与β相关最大，恐惧情绪的效价和唤醒度与θ显著相关。Guo等[11]研究VR过山车诱发的恐惧情绪时，用α与β能量的比值分析恐惧情绪产生的脑电效应，发现在过山车的慢速到缓坡阶段，比值减小，在缓坡到快速下降阶段，比值增加。这些研究关注了VR场景，但针对不同情绪属性的VR刺激材料对神经活动的影响还未深入探讨。此外，还有很多研究利用脑电特征，进行了情绪的分类研究。Bilgin等[8]使用EEG频带能量作为情绪唤醒度特征分类，研究发现VR下的分类准确率显著高于普通场景。Marín-Morales等[9]研究了在真实博物馆的自由探索和通过VR虚拟博物馆探索时唤起的不同情绪评价和对应的脑电活动，通过将EEG平均相位相干特征作为情绪效价和唤醒度的高低分类特征，发现对于效价分类，VR场景下的分类准确率大于真实场景；对于唤醒度分类，真实场景下的分类准确率大于VR场景。这些研究关注了分类准确率的提升，但特征背后的神经机制还不清楚。以上这些研究都证明了EEG谱特性可以有效反映VR场景诱发的情绪变化，但是不同情绪VR视频下的EEG谱特性究竟是怎样的还未见报道。

为此本文首先制作了3种情绪特性(正性、负性和中性)的VR视频材料，通过分析受试者观看这些视频的EEG特征，即在不同VR情绪刺激下的θ、α、β频带能量进行分析比较，研究在不同情绪的VR视频刺激下，EEG特性是否会有显著不同。

1 材料和方法

1.1 受试者

从学校招募30名志愿者学生，其中男生15人，女生15人，年龄为(22.19±2.13)岁，受教育年限为(16.04±2.10)年，均为右利手，视力正常或矫正正常，无精神病史。受试者在实验前填写抑郁自评量表(self-rating depression scale，SDS)和焦虑自评量表(self-rating anxiety scale，SAS)，评分均在正常范围内(SDS正常范围 ≤53，SAS正常范围 ≤50)，评分SDS为 40.23±5.27、SAS为 35.37±5.70。本实验经过上海市临床医药伦理委员会的批准，所有受试者在实验前均已签署知情同意书。

1.2 材料

采用上海大学上海电影学院制作的情绪VR视频片段作为刺激材料，分为正性、中性和负性3种。影片由团队自主拍摄制作而成，取景于上海城市地标(东方明珠、外滩)、街景和学校主题晚会。

拍摄设备为诺基亚OZO，该设备搭载了8枚光学传感器，分布在球形机身的四周，还配备了8颗嵌入式麦克风用于记录全息音像。拍摄结束后用OZO Creator软件进行拼接渲染，使用After Effects进行后期处理，格式采用H.264编码。得到的VR视频分辨率为4 096×2 048，帧速为30帧/s。每种视频材料都分别包含20个内容不同、长为4 s的视频片段，如图1所示。

图1 三种VR视频场景

在正式投入实验使用之前，另外招募20名志愿者对材料进行效价和唤醒度的行为学评分，每名志愿者都戴上VR设备，把60个情绪视频看完，然后对该试次的情绪刺激进行效价(valence)和唤醒度(arousal)的评分，评分等级均为1～9。分别对效价和唤醒度使用配对t检验进行两两比较，结果P均<0.05，评分结果显示3种材料互相存在显著差异，符合实验要求(见表1)。

表1 20名志愿者对三种情绪材料的效价和唤醒度的评分统计

1.3 实验流程

首先向受试者解释实验过程，随后为其戴上VR头盔(VR设备为由HTC与Valve联合开发的HTC Vive)。在正式实验开始之前，要求受试者平静情绪，为帮助其有效平静下来，VR头盔出现3 min的蓝天白云的中性场景。随后正式实验开始，正式实验分为2组，每组30个试次(一个4 s的视频片段作为一个试次)，分别为：正性试次 20个和中性试次 10个，负性试次 20个和中性试次 10个。考虑到VR沉浸感强，为防止不同情绪间的干扰，正性和负性试次单独进行。在一个实验组中，随机选择开始的组，在每个小实验中，哪种试次先出现也是随机的。4组小实验之间会让受试者休息平复情绪，受试者报告休息好后继续实验。在每个试次开始之前，首先出现3 s黑色屏幕，屏幕中央呈现白色“+”用于集中受试者的注意力，每个试次结束后，受试者完成对刺激材料的效价和唤醒度评分，之后进入下一试次，直到实验结束。实验流程如图2所示。实验程序由Unity Technologies开发的Unity2018a游戏引擎编写。

图2 实验流程

实验在一个相对封闭的安静房间中进行，受试者调整舒适坐姿后戴上头盔开始实验，整个实验时长在40 min左右。

1.4 数据采集与预处理

脑电采集设备为博睿康科技(常州)股份有限公司的8导EEG检测仪(NeuSen.W08，Neuracle，常州，中国)。Cpz作为参考电极，AFz作为接地电极，采集数据的电极为Fz、F3、F4、T7、T8、Pz、P3、P4。采样频率为1000 Hz，电极阻抗均小于5 kΩ，采集时使用50 Hz陷波器滤波滤除工频干扰。数据采集过程中，要求受试者保持安静不动，防止运动干扰脑电造成不必要的伪迹。

预处理过程包括：(1) 滤波，滤波范围为1～40 Hz；(2) 数据分段，根据程序打在EEG中的标记以刺激前200 ms、刺激后4 s的范围进行分段；(3) 去除坏道坏段，将EEG信号明显受到严重干扰的数据段去除，插值修复某些坏段；(4) 去除眼电成分，使用独立主成分分析[12]方法去除眼电伪迹；(5) 插值，对于个别信号还有问题的数据段进行插值；(6) 重参考。在上述步骤中，前5步使用EEGLAB 14_1_2b完成，第(6)步重参考使用REST的零参考技术完成[13]。最后将所有数据按照正性、中性和负性分类导出。去掉噪声太大无法处理的数据，有效数据共有25例。

本文使用小波变换对经过预处理的脑电数据进行分频处理，对每个数据段分别提取θ (4～8 Hz)、α (8～13 Hz)和β(13～30 Hz)三个频带的脑电信号。

1.5 分析方法

本文中共观察行为学和脑电2个方面的表现，其中行为学指标包括受试者对情绪刺激的效价和唤醒度做出评价(打分)。这在情绪评价中被称为效价-唤醒度空间，是情绪状态量化的一种表示方法[15]。基于这种表示，任何情绪状态都可以表示为效价-唤醒度坐标平面上的一个点。本文以此为基础，要求受试者使用效价-唤醒度空间的值来评价他们实验时的情绪状态。评分等级为1～9，对于效价，“1”代表极度消极，消极程度渐渐减轻，“5”代表中性，积极程度渐渐升高，“9”代表极度积极；对于唤醒度，“1”代表极度平静，随着数字增大强烈程度渐渐升高，“9”代表极度强烈。

脑电节律的种类很多，各种不同的情绪、心态都会影响脑电波的变化[16]。脑电指标包括θ、α、β频带的能量，不同频带的信号代表了大脑不同的情绪或注意力状态。本文对预处理后的分频数据，采用公式(1)计算频段能量[14]：

(1)

式中：k代表第k个试次；N代表每段中的数据点个数，为进一步保证数据质量，本文去掉4 s前后的200个点，因此这里N=3600；X(k)i代表第k个试次第i个点的值。

1.6 统计分析

本文采用IBM SPSS 21软件进行统计分析，分别对受试者的效价和唤醒度评分进行重复测量方差分析，其中组内因素为“情境条件(condition)”(正性视频/中性视频/负性视频)。同时对EEG数据进行重复测量方差分析，组内因素有“情境条件(condition)”(正性/中性/负性)、“脑区域(region)”(额区/左颞区/右颞区/顶区)、“半球(hemisphere)”(左半球/右半球)。若存在交互效应，则进行简单效应分析。统计结果P若小于0.05，则认为存在显著性差异。

2 结果

2.1 行为学结果

对评分(ratings)进行重复测量方差分析，发现情景条件(condition)主效应[F(2,50)=35.856，P=0.000]和情景条件-评分(condition-ratings)存在交互效应[F(2,50)=147.740，P=0.000]。进一步进行简单效应分析，结果如下。

(1) 对于效价，正性刺激下的效价评分最高，负性刺激下的评分最低。正性刺激效价显著大于中性和负性刺激(P<0.01)，负性刺激效价显著小于中性刺激效价(P<0.01)。即正性刺激诱发了最高的愉悦度，负性刺激诱发了最低的愉悦度。

(2) 对于唤醒度，负性刺激诱发了最高的唤醒度，中性刺激诱发的唤醒度最低。正性评分和负性评分显著大于中性评分(P<0.01)，正性评分显著小于负性评分(P<0.05)。

行为学评分统计结果如图3所示，进一步验证了刺激材料的有效性。

*表示P<0.05；**表示P<0.01

2.2 脑电分析结果

将情景条件定义为正性、中性、负性；脑区域定义为额区(F：F3,FZ,F4)、左颞区(LT：T7)、右颞区(RT：T8)、顶区(P：P3,PZ,P4)。对观看3种VR情绪视频任务下的EEG做了θ、α、β频段的分析，发现3个频段都有情景条件和脑区域的主效应。此外，在α频带发现情景条件与脑区域存在交互效应，具体结果如表2所示。

表2 观看VR情绪视频α能量分析统计结果

从表2可以看出，正性和中性VR刺激诱发的θ、α、β频带的能量都显著高于负性刺激下的能量，并发现额区和顶区的α能量都显著高于颞区。

对α频带的交互效应进一步分析发现，在额区和顶区有情景效应，比较结果如表3所示；而固定情景时发现，无论哪种情绪刺激下，顶区诱发的α能量都显著高于颞区(P=0.000)。

表3 α频带的情景效应

表3表明，与其他区域相比，在顶区下的α频带能量，正性和中性VR视频刺激诱发的结果显著大于负性VR视频诱发的能量；额区中性刺激的α频带能量显著大于负性刺激的能量。

进一步关注半球效应，取左半球(L)能量定义为F3、T7、P3处的能量均值，右半球(R)能量定义为F4、T8、P4处的能量均值，统计结果如表4所示。

表4 左右半球能量对比统计结果

由表4可以看出，在θ频带发现右半球能量显著大于左半球能量，没有发现情景与半球的交互效应。

3 讨论

本研究的目的在于通过分析不同VR情绪视频诱发的行为学和脑电信号各个频带能量，探究不同情绪VR视频对受试者的心理生理反应。

3.1 VR情绪视频可以有效诱发特定情绪

从行为学数据来看，效价是描述情绪是积极还是消极的指标，效价评分越高，表明受试者的主观情绪越积极，反之则越消极；唤醒度则是描述情绪的强度，唤醒度越高，强度越大[17]。本文结果表明，在不同情绪的VR视频中，正性刺激的效价显著大于负性和中性刺激，中性刺激效价显著大于负性刺激；正性和负性的唤醒度显著大于中性，符合预期。行为学数据的结果说明VR情绪视频材料与实验开始前对材料进行测试的结果一致，这些刺激材料的情绪属性是稳定的。

3.2 VR情绪刺激下脑活动的负性偏向特性

从电生理数据来看，在VR情绪视频刺激下有显著的负性偏向(negative bias)，正性和中性VR刺激诱发的θ、α、β的能量都显著高于负性刺激，但没有发现正性和中性刺激之间的差异，部分验证了本文关于不同情绪刺激下的各频带能量都会有显著差异的假设。研究发现，与中性或正性情绪相比，负性情绪引起的反应更迅速、更突出，被称为负性偏向[18]。这种负性偏向通过多种反应系统来体现，包括与认知、情感和社会行为有关的系统[19]。作者在查找到有关负性偏向的EEG研究时，发现很多都是和情绪障碍相关的研究，例如，Akar等[20]使用EEG的非线性参数Katz分形维数(Katz fractal dimension，KFD)、香农熵(Shannon entropy，ShEn)等，对比了抑郁症组与控制组的大脑复杂性，发现抑郁症组相对于控制组在负性刺激下大脑复杂性更高。更多的研究是通过事件相关电位(event related Potential，ERP)来完成。例如，Carretié等[18]在研究负性偏向时发现，一种与注意力有关的事件相关电位成分P200，对负性情绪刺激的反应比对正性情绪刺激的反应具有更高的幅值和更短的潜伏期，表明负性情绪比正性情绪更大程度且更快地诱发了注意力资源的调动。此外，有研究让受试者处在中性的或者具有威胁性质的VR背景中观看虚拟中性人脸或虚拟愤怒人脸表情，同时采集他们的EEG，研究大脑对VR场景下的人物面部情绪进行加工时的电活动，发现同样在中性情绪面孔刺激下，VR威胁场景下的晚期正电位(late positive potential,LPP)幅值比VR安全场景下大，而在愤怒情绪面孔刺激下，无论处于中性还是负性VR场景，都会导致早期LPP幅值增加[21]，也即意味着，不论是何种形式的负性，只要受试者在VR场景中受到负性刺激，都会导致其LPP幅值相对其他情况有所增加。

本文结果显示为负性情绪刺激下θ、α、β的能量与正性、中性情绪刺激相比显著最小。研究指出，更大的α活动被认为反映了大脑皮质区域在清醒但未被占用状态下的空闲状态[22]，减低的α活动与认知活动的增加有关[23]。本文负性刺激下α活动低于中性和正性刺激，可见大脑对负性VR刺激的加工反应异于其他属性的刺激。同时有研究表明，前额α频带能量随着情绪唤醒度的增加而减少[24]。由于负性唤醒度显著最高，中性唤醒度显著最低，本文发现在额区，中性刺激诱发的α能量显著高于负性刺激诱发的α能量。

本研究发现与正性和中性刺激相比，在负性情绪刺激下θ能量和β能量都是最小。根据Koelstra等[25]的研究，他们发现θ能量与情绪材料的唤醒度成负相关，本研究中唤醒度最大的负性刺激相比正性和中性刺激诱发出更小的θ活动，与文献结论一致。另外，有研究表明，负性情绪的认知重评调节成功(把负性刺激加工为中性或正性的一种认知策略)与θ能量的增加有关[26]，因此也从侧面反映出，与其他特性的情绪刺激相比，负性情绪刺激诱发的θ活动能量最小。Onton等[27]通过让受试者闭眼想象不同情绪的场景，分析发现，脑电β能量与情绪效价呈正相关。在本实验中效价最低的负性情绪刺激诱发了最小的β能量，可见VR情绪刺激材料和这种情绪刺激诱发的脑活动特性一致。

此外，研究指出，α活动的减少伴随着θ活动的增加意味着更强的困倦状态，α活动的减少伴随着β活动的增加意味着警觉性的增加与信息处理过程参与度的增加[22]。Laufs等[28]使用功能磁共振成像技术和EEG测量静息状态下受试者的大脑活动，发现顶叶和额叶皮质活动强度与α能量呈显著的负相关关系。本文负性刺激下α能量显著最小的同时，θ能量也显著最小，作者推测与正性和中性刺激相比，负性刺激下受试者更为清醒；同时，本研究中α能量最小，伴随的β能量也显著最小，与前人结论不一致，除了上文与效价相关的解释外，实际上，也有早期文章指出，β活动并不总是与α活动负相关[29]，因此还需要更翔实的实验探究分析。

3.3 区域效应

在情绪的神经科学研究中已发现，多个不同大脑区域涉及情绪处理，但是不同大脑区域活动与不同情绪的因果关系以及不同大脑区域之间关系的详细描述仍然缺乏[30]。本文的结果显示，不论在哪种刺激下，额区和顶区的α能量都显著高于颞区。以往的EEG研究表明，颞区在情绪行为中起着重要作用[31]，颞回的不同亚区参与情绪线索的处理[32]。同时，神经影像研究表明，大脑杏仁核周围的颞叶皮质是分析面部情绪的重要区域，前颞叶内有着很强的情绪表达能力[33,34]。据此本文认为由于实验中颞区的情绪处理活动较额区和顶区强，从而表现出α能量较额区和顶区为低。在额区，中性刺激下的α能量显著大于负性刺激的能量；在顶区，正性和中性刺激下的α能量显著大于负性刺激的能量，与前面论述的负性偏向特性一致。

有关VR条件下的情绪刺激的研究，尚未见到相关偏侧化分析。本文发现无论何种情绪刺激下，右半球θ能量都显著大于左半球。据文献称，θ活动被认为是一种工作记忆加工相关的皮质指数。Spironelli等[35]在一项言语工作记忆研究中发现，右半球增强的θ活动表明失读症(dyslexics)儿童在精确解读语言时左半球结构参与的缺失，作者指出这种θ活动的半球不对称性可以作为失读症语言缺陷的一种非特异性的特征。Ferber等[36]基于行为学的研究，发现视觉工作记忆是一种对视觉信息进行编码和维护的过程，要求将目标特征精确地绑定到空间位置上，并且右脑承担主要作用。综上，本文推测由于VR视频的临境感使得受试者的空间感增强，受试者的视觉工作记忆增加，从而右脑的工作记忆活动增加，表现出θ能量的右半球偏侧化现象。没有发现情绪与半球的交互效应，原因有待进一步探究。

4 结论

VR作为一种体验虚拟现实的工具，通过计算机生成的虚拟真实世界消除了地理和环境因素的限制，给用户带来身临其境的体验[37]。当VR与视频相结合，视频技术具有的特性，如感知的简单性和所呈现材料的动态性[38]，可以使得VR视频成为诱发情绪的一种很好的工具。本文首次尝试探索不同情绪的VR视频刺激下的EEG特性，从EEG的不同频带活动、大脑不同区域及左右半球的角度进行分析，发现了VR情绪视频刺激下EEG的不同频带能量特征的显著差异结果，并逐一进行深入讨论。本研究一方面为情绪VR的神经活动特性提供了证据，另一方面由于VR与传统研究工具(如普通图像、视频)相比，具有很高的临境感，使得本实验呈现出一种更接近现实状态下不同情绪刺激的大脑活动，为情绪加工的神经机制研究提供了有意义的实验参考。

本文也有一些局限性，例如本文的脑电采集系统只有8个通道，因此对区域效应的研究还有待进一步验证；实验素材中负性刺激采用的是恐怖视频，而有研究指出对于某些情绪，如恐惧、悲伤、爱和愤怒，存在着不同的神经回路[39]，因此负性偏向特征还需要更广泛深入的研究。