观看3D影像所致不适感的脑电功率谱特征分析

靳静娜 刘志朋 李颖 尹杰 殷涛

(中国医学科学院 北京协和医学院 生物医学工程研究所，天津 300192)

引言

自2009年底3D电影《阿凡达》放映以来，3 D影像在国内外都得到了广泛的关注，相关3 D影像播放设备及3 D电影产业得到了快速发展，并已有3 D电视进入家庭。但是，由于观看3D影像引起一些人不同程度的不适感，包括：疲劳、头疼、眩晕甚至恶心呕吐等症状，成为其发展的一个重要障碍[1]。因此，评估3 D影像引起的不适，促进“健康3 D”的发展被提上了议程。

在评估3D影像所致不适的研究中，大多数研究者采用基于问卷的主观评估方法。该方法简单、方便，但是受个体主观感受影响较大，评估结果准确度较差[2]。也有研究者使用客观的方法从视觉不适角度进行评价，如使用红外跟踪法进行测量[3]，但这个检测需要在光照强度100 lux的环境中进行追踪，且3 D眼镜需安装红外设备，无疑加重了受试者的负担。也有研究者使用光学方法进行检测，但是需要棱镜进行矫正[4-5]，实验过程繁琐，不适于大样本实验。使用生物电的方法对3 D影像所致不适的研究还比较少[6-8]，在现有的研究中，只关注了3 D影像的生物电变化，没有与2 D影像的对比，结果也只进行了简单的功率谱密度分析，没有形成统一的表征3D所致不适感的特征指标，不能有效评估3D影像所致不适感。

生物电信号是生物体生命活动状态的反映，是生物医学工程研究的重要手段，广泛应用于生理状态监测、脑功能研究、情感与心理分析等方面。其中脑电已成为最广泛的评定中枢神经系统变化的指标之一，被誉为检测疲劳的“金指标”[9]，且该测试设备不会引起受试者的不适，能准确的记录受试者的脑电变化。3 D影像的产生利用双眼视差的原理实现，在观看过程中视神经、脑神经对视差的强力调节引起感觉上的不适，这种不适会引起神经电生理上的变化。因此，采用2 D和3 D对比的方法，选用了主观感受信息结合客观指标——脑电功率谱及重心频率，对该不适进行探讨。功率谱和重心频率是脑电信号频域的两个特征量，反映了大脑皮层的兴奋或抑制状态时的电活动。通过设计分组实验，在观看2 D影像和观看3 D影像条件下采集脑电，分析两种脑电功率谱和脑电重心频率特征的变化并进行了探讨。

1 实验方法

快波是大脑皮层兴奋时的主要波形，反映大脑神经元兴奋的程度;慢波是大脑皮层处于抑制状态时电活动的主要表现，反映了大脑神经元抑制的程度;脑电功率谱是反映大脑神经元兴奋或抑制程度的一个指标;重心频率是频谱中分量较大的信号成分的频率，反映在不同条件下整个EEG功率谱的迁移情况。在疲劳状态时，慢波增加，快波减少，大脑神经元处于抑制状态，使脑电功率谱降低，重心频率也向低频迁移。

通过设计分组实验，在观看2 D影像和观看3 D影像条件下采集脑电，分析两种脑电功率谱和脑电重心频率特征的变化。对观看影像所致不适分别采用主观感受评价和脑电功率谱及重心频率相结合的方法进行分析。

1.1 实验设计

受试者共分为2组，每组5人，每人进行两次实验，共计取得20组实验数据。为了消除观看顺序对实验结果的影响，第1组(3男2女)先观看2D模式，后观3 D模式。第2组(2男3女)先观看3 D模式，后观看2D模式。同时，对于每名受试者的实验时间进行随机化设计，使得每名受试者两次实验时间间隔在10 d以上，以消除时间间隔较短造成的适应性。为了排除其他因素对实验数据的影响，有关的实验条件如实验室温度、观测距离等均保持一致。

实验中播放2 D影像和3D影像的设备采用三星电子公司生产的55 C8000XF3 D电视，该电视用双眼视差技术实现3 D立体效果，配合主动快门眼镜进行3D影像观看，电视也可放映普通2D影像。实验室环境：用不透光的窗帘遮挡外部光源，两层窗户进行隔音，实验过程中温度和湿度保持恒定，且室内没有震动或异味。实验中观看距离为3 m，眼睛与电视屏幕中点保持水平。

测试视频源为两个内容类似的3D动画电影，《Monsters Aliens》和《Megamind》，长度均大于 80 min。当观看3D影像时佩戴主动快门眼镜，观看2 D电影时将这两部电影由3D模式转换为2D模式。脑电信号检测采用Neroscan32导脑电仪，采用国际常用的10～20导联头皮电极系统，记录了 FP1、FPz、FP2、F7、F3、Fz、F4、F8、T7、C3、Cz、C4、T8、P7、P3、Pz、P4、P8、O1、Oz和 O2 共 21 通道脑电信号，同时记录了水平眼电和垂直眼电，两个参考电极(M1和M2)位于两耳乳突，系统采样率为1000 Hz，电极与皮肤间的阻抗在5 KΩ以下。

实验受试者身体健康，年龄在20～30岁之间，自愿参加的在读研究生。受试者视力或矫正视力正常，且在实验前睡眠状况良好，没有吸烟、饮酒或喝含咖啡因的饮品，所有受试者均在早饭0.5 h后进行实验。

主观感受问卷选用参考文献[3]中所述的25个问题[3]，包括视觉疲劳以及相关方面的症状，问答采用五分制，分为：非常严重、严重、一般、轻微、无。

1.2 实验步骤

实验流程如图1所示，分为以下几个步骤：

步骤1：受试者填写第1次问卷，记录观看影片前的主观感受信息;

步骤2：分别采集1 min静息闭眼状态下脑电、1 min静息睁眼状态脑电;

步骤3：观看影片，记录观看过程中80 min的脑电与眼电信号;

步骤4：观看结束后，受试者填写第2次问卷，记录在观看影片后的主观感受信息;

步骤5：受试者自由活动15 min;

步骤6：受试者填写第3次问卷，记录观看影片后休息一段时间的主观感受信息;

步骤7：采集5 min钟静息脑电信号。

图1 实验流程图Fig.1 Diagram of the experimental process

2 实验结果处理方法

采用Matlab软件工具进行脑电信息处理和结果的统计分析。

2.1 脑电预处理

采集到的脑电信号默认参考点为头顶电极ref和end，由于其紧邻脑电采集电极，使采集到的脑电信号幅度较小。将采集到的脑电信号重新以两耳乳突电极为参考电极进行重设，对信号进行滤波，提取50 Hz以下的信号、降采样(采样率由1000 Hz变为100 Hz)，并利用ICA方法去除垂直眼电和水平眼电。

2.2 脑电信号处理

将预处理后的21通道脑电信号进行FFT变换，求得21通道的在每个时间段的功率谱，并计算各个通道脑电的重心频率。

重心频率反映信号功率谱密度的分布情况。计算0.5～30 Hz功率谱曲线的重心频率，用于考察观看不同影像时EEG功率谱重心迁移情况的计算公式为

式中，fg为重心频率，f1到 f2为频率范围，p(f)为信号的功率谱，f为频率值。

2.3 统计分析

分别对观看影像前后以及休息一段时间后受试者的主观量表得分进行统计学t检验，脑电的各功率谱特征比较采用配对t检验。

3 结果

3.1 主观感受评价

主观感受问卷共设有25个问题，对观看前后的主观感受各问题进行打分：非常严重(1分)、严重(2分)、一般(3 分)、轻微(4 分)、无(5 分)，即：得分越低，表明所致不适感越高，问卷的最高得分为125分。对采集的各受试者主观信息得分进行叠加，其均值和标准差如图1所示。

图2 主观感受评价信息得分Fig.2 Score of subjective evaluation information

从图2可以看出，两种观影条件下，观看后相对于观看前主观感受的得分都显著降低，且观看3 D影像的主观感受得分更低，表明被试者经过80 min的观看影像，主观不适程度增加，且观看3D影像所致的主观感受不适更为严重，说明观看影像对受试者产生了较大的影响，导致主观感受不适程度增加。而休息一段时间后相对于观看后，主观疲劳量表得分又显著增加，表明主观感觉不适程度降低，这是由于休息缓解了受试者的不适程度。

每位受试者分别进行2 D影像和3 D影像的观看，对比在观看前、后及休息一段时间3个不同时间段对受试者的影响，同时对2种观影条件的影响也进行统计分析。对该主观感受问卷结果进行配对t检验，所得结果如表1和表2所示。

表1 观看影像时不同时间段问卷比较的t检验P值Tab.1 P values for the t test of the questionnaires in different periods

表2 两种影像相同时间段问卷比较的t检验P值Tab.2 P values for the t test of the same questionnaires when watching two different videos

统计分析表明，对2 D影像，观看前与观看中、观看中与休息一段时间后存在显著性差异;对3 D影像，观看前与观看中、观看中与休息一段时间后、观看前与休息一段时间后的主观感受存在显著性差异(P＜0.05)，并且对观看前与观看中、观看中与休息一段时间后3 D影像表现出更为显著的差异(P＜0.01);对同一次问卷，两种影像之间的统计结果没有明显差异(P＞0.05)。

3.2 脑电特征分析

3.2.1 功率谱

3.2.1.1 整体脑电的功率谱

对观看前、观看中及观看后的数据进行处理，得到两种观影时的脑电功率谱。图3所示为观看2 D影像与3 D影像功率谱的差值脑地形图及统计结果。

图3 2D影像与3D影像功率谱差值的脑地形图。(a)观看前;(b)观看中;(c)休息一段时间后Fig.3 Subtraction power spectrum of the brain mapping for 2D and 3D videos.(a)Before viewing;(b)Viewing;(c)After a rest time

图4 2 D影像与3D影像功率谱差值的统计结果(圈表示P＜0.05)。(a)观看前;(b)观看中;(c)休息一段时间后Fig.4 Statitstics results of the subtraction power spectrum for 2D and 3D videos.(a)Before viewing;(b)Viewing;(c)After a rest time

在观看前，有如图3(a)所示，2 D影像功率谱与3 D影像功率谱相差不大，对其进行统计分析，所得的图4(a)表明，在各导联没有显著性差异;在观看中，图3(b)在所有的21个导联，2D影像的功率谱要比3D影像的高，且在枕区表现更为明显。统计结果有如，图 4(b)所示，除 FP1、FPz、T7 通道外，其余通道均存在显著性差异(P＜0.05)。由图3(c)和图4(c)可以看出，休息一段时间后，2D影像的功率谱与3D影像功率谱相差不大，统计显示在各导联没有显著性差异。

3.2.1.2 重心频率

(1)整体脑电的重心频率

对观看前、观看中及休息一段时间后的脑电数据进行处理，得到2 D与3D两种观影条件下脑电的重心频率的差值脑地形图及其统计结果如图5所示。

图5 2D影像与3D影像重心频率差值的脑地形图。(a)观看前;(b)观看中;(c)休息一段时间后Fig.5 Subtraction gravity frequency of the brain mapping for 2D and 3D videos.(a)Before viewing;(b)Viewing;(c)After a period of resting

在观看前，如图5(a)及6(a)所示，脑电重心频率相差不大，统计显示在各导联没有显著性差异。在观看中，如图5(b)所示，在前额区，2 D影像的重心频率大于3D影像，在后枕区，3 D影像的重心频率大于2 D影像。通过统计检验，如图6(b)所示，在前额区(导联 FP1、FPz、FP2、F3、Fz)处两种播放影像的重心频率有显著性差异(P＜0.05)。休息一段时间后，图5(c)及6(c)表明，2 D脑电的重心频率与3 D重心频率相差不大，统计显示在各导联不存在显著性差异。

(2)分段的脑电重心频率

将采集到的观看过程中脑电信号进行细化，每10 min分为一段，共有8段。分别计算21个通道在每个时间段的重心频率，图7为其中两个通道(FP1和FPz)的结果。

将第一段(1～10 min)和第七段(61～70 min)两个时间段进行分析，在该两个时间段，2 D脑电减去3 D脑电所得的重心频率的脑电地形图及统计结果如图8所示。

图6 2D影像与3D影像重心频率统计结果(圈表示P＜0.05)。(a)观看前;(b)观看中;(c)休息一段时间后Fig.6 Statitstics result of the subtraction gravity frequency for 2D and 3D videos.(a)Before viewing;(b)Viewing;(c)After a rest time

图7 脑电在通道FP1(上)和FPz(下)每个时间段的重心频率Fig.7 The gravity frequency of the FP1 channel(up)and FPz channel(down)in each period

在0～10 min时，两种影像重心频率的差异主要表现在额区，如图8(a)所示，结果为2 D的重心频率大于3 D，统计结果如图9(a)显示，在额区(导联FP1、FPz、FP2、F3、Fz)两种播放影像的重心频率有显著性差异(P＜0.05);在61～70 min时，除颞区外两种影像脑电的重心差异表现为整个脑区，如图8(b)所示，结果为2 D的重心频率大于3 D，统计结果在图 9(b)显示，除颞区(导联 F7、F8、T7、T8、P8)外两种观影脑电的重心频率都有显著性差异(P＜0.05)。

图8 2D影像与3D影像重心频率差值的脑地形图。(a)第1段(1～10 min);(b)第7段(61～70 min)Fig.8 Brain mapping of the subtraction gravity frequency for 2D and 3D videos.(a)The first period;(b)The seventh period

图9 2D影像与3D影像重心频率统计结果(圈表示P＜0.05)。(a)第1段(1～10 min);(b)第7段(61～70 min)Fig.9 Statitstics result of the subtraction gravity frequency for 2D and 3D videos.(a)The first period;(b)The seventh period

由以上分析可知，通过主观信息的统计方法分析观看2D影像和观看3D影像的感受，由图2及表1结果表明，观看3 D影像的主观信息比观看2 D影像的得分低，说明3D影像所致不适程度较重;经过休息后，两种影像主观信息得分差异不大，表明所致的不适得到缓解;分析脑电功率谱特征，从图3～图9可见，受试者观看3 D影像脑电的功率谱及重心频率比观看2D影像的低，休息后脑电的功率谱及重心频率差异变小。由此可以看出，主观信息与脑电特征量之间有较好的一致性：相比于观看2 D影像，观看3D影像时主观信息得分降低，脑电功率谱及重心频率也较低，说明观看3D影像所致不适程度增加时，脑电功率谱及重心频率相应降低，这种不适在休息一段时间后缓解。

4 讨论和结论

脑力疲劳是指日常工作或者学习过程中，因长时间从事脑力劳动而导致人们作业机能衰退、脑力活动能力下降的现象。从电生理学的角度来看，脑神经细胞的活动是兴奋与抑制互相作用、互相转化、互相诱导的过程。大脑在工作时，神经细胞活动相对处于比较有序的状态，大脑神经元表现为兴奋;在疲倦时，神经细胞处于比较无序的状态，大脑神经元表现为抑制。

从实验结果可以看出，受试者观看3 D影像脑电要比观看2D影像的功率谱低，这个结果反映出相比于观看2 D影像，观看3 D时大脑神经元兴奋性降低，抑制程度增强，说明观看3 D影像比观看2 D影像受试者的疲劳度增大，且该现象在整个脑部区域都有表现。

功率谱曲线的重心频率不仅可以很好地反应信号功率谱密度的分布情况，表征频谱中分量较大的信号成分的频率，而且还可以反映在不同条件下整个EEG功率谱的迁移情况。在清醒状态时，快波增加，慢波减少，大脑神经元处于兴奋状态，使重心频率向高频迁移。在疲劳状态时，慢波增加，快波减少，大脑神经元处于抑制状态，使重心频率向低频迁移。本实验中受试者观看3 D影像比观看2 D影像的脑电重心频率低，且在额区表现出明显差异，说明观看3D影像使额区的频谱向低频移动，频谱中分量较大的信号成分的频率降低，大脑皮层兴奋性降低，受抑制程度增加，这与额叶主要反映掌控人体的注意力及视觉通讯传导应该有重要的联系。

以脑电作为评价方法探讨观看3 D影像所致不适感是一种全新的方法，目前国内外研究都较少，且没有得出比较一致的结果，在该方面的研究仍需做很多工作。包括：

(1)主观感受问卷

所采用的主观感受问卷引自前人的研究文章，共包括25个问题，涵盖了视觉不适相关的眼部及所致的身体其他部分的感受，其结果显示：两种影像在时间上的差异都是显著的，但是并没有显示出在观看完后两种影像之间的差异。用来评价某一指标的主观感受问卷，往往都是经过层层优化及验证得出的最后结果，而目前用来评价3 D所致不适的相关主观感受问卷并没有一个标准，有好多研究3 D所致不适的学者都采用了比较简单的问卷[11-12]，该种问卷并没有涵盖观看3 D影像所致的全部不适。本研究所采用的问卷不是评价两种影像之间的差异的最优结果，这就需要采取一定的措施对主观感受问卷进行优化，如修改每个问题的权重或去除某些受试者都没有表现相应不适感的问题等。我们对本文所采用的问卷进行了修正，从中提取出了11个问题(包括1：眼睛疲劳;2：眼睛沉重;3：眼睛内部疼痛;12：头沉;13：头疼;17：肩膀僵硬;20：背部疼痛;21：消化能力弱;22：恶心;23：腿沉;24：腿疼)。对该改进的问卷进行计算统计，结果显示两种影像在不同时间段及其之间都能表现出明显差异(P＜0.05)，且3 D影像所引起的差异是显著的(P ＜0.01)，但是对该问卷的正确性需要进一步通过实验来验证。

(2)2D影像和3 D影像播放内容影响及实验的进一步细化

所采用的2 D影像和3D影像为不同播放内容，但其都为相同类型，且影片情节比较平缓，没有出现很大的起伏。但是所得结果受播放内容的影响并不能确定。因此，不同内容引起的情绪、感情变化对脑电特征量的影响需要设计相应的实验去除。

有研究显示：3D影像所致不适与播放设备关系不大，主要受影片的内容及后期制作的影响。下一步将对3 D的内容参数，如景深、图像的运动速度等进行考虑，通过生物电的评价方法对其进行特征量提取并进行评价，得出观看3 D影像比较舒适的内容参数范围。

(3)评价方式

本研究初步尝试采用脑电的客观评价方法进行分析。大脑作为中枢神经中枢，精确控制着人体的各个部分，各部分的不适也将在大脑中有一定的反应，通过采集大脑皮层的脑电信号，并对其进行处理，是分析3D影像不适感的较客观的分析方法。除此以外，3D影像的成像原理及调节和辐辏不一致必然使眼部肌肉频繁调节，引起眼部肌肉的疲劳，因此也可以尝试采集处理相关肌肉肌电信号进行分析，或许将能得到理想的特征量。

[1]Kazuhiko U，Peter AH.Visual fatigue caused by viewing stereoscopic motion images： Background， theories， and observations[J].Display，2008，29(2)：106-116.

[2]Lambooij M，Fortuin MF，Ijsselsteijn WA，et al.Visual discomfort and visual fatigue of stereoscopic displays：A review[J].Journal of Imaging Science and Technology，2009，53(3)：030201-1-030201-14.

[3]Masaki E，Takahiro N，Fumio O.Repeated vergence adaptation causes the decline of visual functions in watching stereoscopic television[J].Journal of Display Technology，2005，1(2)：328-340.

[4]Yana S，Ide T，Mitsuhashi T，et al.A study of visual fatigue and visual comfort for 3 DHDTV/HDTV images [J].Display，2002，23(4)：191-201.

[5]Emoto M，Niida T，Okana F.Repeated vergence adaptation causes the decline of visual functions in watching stereoscopic television[J].Journal of Display Technology，2005，1(2)：328-340.

[6]Yano S，Emoto M，Mitsuhashi T.Two factors in visual fatigue caused by stereoscopic HDTV images[J].Display，2004，25(4)：141-150.

[7]Dale M，Halgren E.Spatiotemporal mapping of brain activity by integration of multiple imaging modalities[J].Current Opinion in Neurobiology，2011，11：202-208.

[8]Wheatsone C.On some remarkable，and hitherto unobserved，phenomena of binocular vision [J].Philosophical Transactions of the Royal Society of London，1838，22(11)：371-394.

[9]Hu Wenqiang， Ma Jin， Han Wendong. Prevention and monitoring means of flying fatigue[J].Chinese Journal of Clinical Rehabilitation，2004，8(3) ：542-543.

[10]张崇，郑崇勋，欧阳轶，等.基于脑电功率谱特征的脑力疲劳分析[J].航天医学与医学工程，2008，21(1)：35-39.

[11]包化宇.观看立体影像引起的视觉疲劳与改进措施[D].北京：北京邮电大学，2009.

[12]Lee.EC，Heo H，Park KR.The comparative measurements of eyestrain caused by 2D and 3 D displays[J].IEEE Transactions Consumer Electronics，2010，56(3)：1677-1683.