飞机座舱显示界面脑力负荷测量与评价

卫宗敏 完颜笑如 庄达民

(北京航空航天大学 航空科学与工程学院，北京100191)

飞机座舱是复杂的人机交互系统，信息高度密集.随着飞机不断更新换代以及各种智能化、信息化系统的运用，飞行员所面临的信息加工要求日趋严格，往往需要在短时间内处理大量信息并快速作出反应决策，从而容易出现脑力负荷较高，甚至超载的情况［1］，严重影响到飞行员的工作效率、飞行操作的可靠性以及飞行员自身的生理心理健康.据统计，在世界范围内近20年的飞行事故中，约有35%的飞行事故与飞行员脑力负荷过重相关［2］.因此在座舱显示界面设计阶段，通过准确评价甚至预测飞行员的脑力负荷，优化脑力任务设计并使其保持在适宜水平，已成为具有重要现实意义的研究课题.

脑力负荷测量是进行脑力负荷预测以及脑力任务优化设计的基础，其目的主要包括两个:设计和评价显示界面以确保所提供的信息不至超载;当飞行任务紧急时，优化界面信息显示以尽量减少作用于飞行员的脑力负荷［3］.航空事故调查结果显示，脑力负荷所引发的航空事故与飞行员对信息的自动探测、警觉性、朝向注意等认知能力的下降而引起的飞行操作失误关系密切［4－5］.在目前认知神经科学领域所使用的ERP(Event Related Potential)技术中已发现多个成分可反映大脑的认知加工过程.ERP是指外加一种特定刺激，作用于感觉系统或脑的某一部位，当给予刺激或撤销该刺激时，在脑区引起的电位变化，ERP技术在实时、高精度反应信息加工活动等的时间效应方面具有独特优势［4－5］.研究表明，失匹配负波(MMN，Mismatch Negativity)和P3a成分可以有效地反映大脑皮质对信息变化的自动探测能力和注意朝向能力［5－7］，从而可能用于脑力负荷的测量与评价领域.

目前，为测试某一显示界面设计的可用性，国外人机工效学领域已较为广泛地使用飞行模拟器开展飞行员的脑力负荷、注意资源分配、情境意识等的测量与评价研究［8－9］，而国内所开展的相关研究还较为有限.本文在前期实验［10］的基础上，基于ERP技术开展飞行模拟任务，选取MMN和P3a成分作为评价指标，对被试者的脑力负荷情况进行测量，以期用于进一步的飞机座舱显示界面设计的适人性评价，为优化完善显示界面设计提供依据.

1 方法

1.1 被 试 者

被试者为北京航空航天大学在地面飞行模拟器上接受过良好培训的模拟飞行员16人(男性，23～27岁，平均年龄24.4岁)，右利手，视力或矫正视力正常，听力正常.

1.2 实验设计

实验采用3×3×3完全被试内设计，即:脑力负荷(高、低、对照)×脑侧(左侧、中线、右侧)×脑区(额区、额中央区、中央区).由于MMN的头皮分布以额部中央区所记录的波幅为最大，故本实验选取“额区、额中央区、中央区”3个脑区进行统计.16名被试者均参与高、低、对照3种脑力负荷条件下的3次飞行模拟任务，每个被试者的3次飞行模拟任务之间间隔0.5 h，脑力负荷水平的实验顺序在被试者中交叉平衡.

1.3 飞行模拟任务

被试者需要在飞行模拟器上完成以巡航任务为主、包括起飞和降落在内的完整的动态飞行过程.不同被试者在进行起飞或降落手动作业时会在操作时间上有少许差异，故一次飞行模拟实验时间约为830 s.实验通过设定所需监视的仪表数量、异常信息的呈现时间和间隔时间来控制被试者的脑力负荷水平.要求被试者在飞行模拟过程中监视平视显示器上的仪表显示状态，并对异常信息进行识别、判断及响应操作.异常信息的设定范围如表1所示.

表1 异常信息的设定范围

在高脑力负荷条件下，需要被试者保持监视的仪表信息数量为9个(包括:俯仰角、空速、气压高度、航向角、滚转角、方向舵状态、副翼位置、起落架状态、发动机状态)，异常信息的平均呈现时间与间隔时间分别为1 s与0.5 s;在低脑力负荷下，需要被试者保持监视的仪表信息数量为3个(包括:俯仰角、空速、气压高度)，异常信息的平均呈现时间与间隔时间均设定为2 s;在对照脑力负荷条件下，无异常信息出现，被试者保持监视的仪表信息数量为0.

1.4 三刺激“oddball”任务

被试者在飞行模拟过程中佩戴电极帽和耳机，由耳机双侧呈现三刺激“oddball”模式下的听觉任务.实验场景如图1所示.

图1 实验场景

一个完整的听觉刺激序列包含1 120个标准刺激(800 Hz，80 dB SPL，80%)、140 个偏差刺激(1000 Hz，80 dB SPL，10%)和 140 个新异刺激(包含多种告警声音等，80 dB SPL，10%)，3种刺激的呈现时间均为100 ms，刺激间隔(SOA，Stimulus Onset Asynchrony)为600 ms.实验采用非随意注意条件下的诱发方法，要求被试者关注飞行模拟任务，忽略听觉刺激，由大脑完成对声音刺激的自动加工.

1.5 数据记录与分析

采用Neuroscan Neuamps系统记录30导脑电信号:F7，FT7，T3，TP7，T5，FP1，F3，FC3，C3，P3，O1，FZ，FCZ，CZ，CPZ，PZ，OZ，FP2，F4，FC4，C4，P4，O2，F8，FT8，T4，TP8，T6，M1，M2.以鼻尖为参考，前额接地，同时记录水平和垂直眼电.电极与皮肤接触阻抗小于5 kΩ，记录带宽为0.1～200 Hz，采样率为1 000 Hz/导.利用 EOG信号相关法去除垂直眼电和水平眼电对EEG信号的影响，排除有明显伪迹的数据.分析时程为600 ms，含刺激前的100ms为基线校正，波幅大于±150μV视为伪迹剔除，所得ERPs经1～30 Hz的无相移带通数字滤波器滤波.用偏差刺激的ERPs减去标准刺激的ERPs，得到由声音频率变化所诱发的MMN-1和 P3a-1，如图2a所示;用新异刺激的ERPs减去标准刺激的ERPs，得到由异常声音所诱发的MMN-2以及P3a-2，如图2b所示.

图2 MMN和P3a成分的总平均图

计算机系统自动记录被试者对异常信息的正确操作率和反应时间(从目标出现到做出响应的时间间隔)作为评价指标.采用SPSS 17.0统计软件包对行为绩效数据和脑电数据进行重复测量的方差分析.

2 实验结果

2.1 行为绩效结果

高、低脑力负荷下被试者对异常信息的正确操作率和反应时间见表2.单因素重复测量的方差分析表明，高脑力负荷状态下被试者对异常信息的正确操作率显著降低(p＜0.001)，反应时间延长(p=0.065)，但未达到显著性水平.

表2 高、低脑力负荷下的正确操作率和反应时间

2.2 ERP 结果

MMN(含 MMN-1，MMN-2)和 P3a(含 P3a-1，P3a-2)成分的总平均图如图2所示，其脑电压地形图见图3.从图2和图3可以看出，MMN和P3a的幅值在不同脑力负荷条件下均存在明显差异，以额中央部最为明显.根据图2和图3，针对额中央部的9导电极，对MMN(测量时间窗:100～200 ms)和P3a(测量时间窗:200～300 ms)成分的峰值进行三因素重复测量的方差分析.

图3 高、低、对照脑力负荷条件下的脑电压地形图

2.2.1 MMN 成分统计结果

对于MMN-1成分，三因素重复测量的方差分析表明，脑力负荷主效应显著(p＜0.001)，表现为高脑力负荷条件下的 MMN峰值(－2.828 μV)显著高于低脑力负荷条件下的MMN峰值(－1.637 μV)，低脑力负荷条件下的 MMN 峰值(－1.637 μV)显著高于对照脑力负荷条件下的MMN 峰值(－0.178 μV).脑区主效应也是显著的(p＜0.001)，并如图3所示呈现出明显的额区电压优势效应，具体表现为额区的MMN峰值(－1.832μV)显著高于额中央区的 MMN 峰值(－1.561μV)，额中央区的 MMN 峰值(－1.561 μV)显著高于中央区的MMN峰值(－1.250μV).脑侧的主效应不显著(p=0.432).无交互效应达到显著性水平(p＞0.05).

对于MMN-2成分，三因素重复测量的方差分析表明，脑力负荷和脑侧的主效应均不显著(p＞0.05).脑区的主效应显著(p=0.024)，具体表现为额区的 MMN 峰值(－3.783 μV)显著高于额中央区的 MMN 峰值(－3.719 μV)，额中央区的MMN 峰值(－3.719 μV)显著高于中央区的 MMN峰值(－3.454 μV).无交互效应达到显著性水平(p＞0.05).

2.2.2 P3a 成分统计结果

对于P3a-1成分，三因素重复测量的方差分析表明，脑力负荷主效应显著(p＜0.001)，表现为高脑力负荷条件下的P3a峰值(0.592 μV)低于低脑力负荷条件下的P3a峰值(1.592 μV)，低脑力负荷条件下的 P3a峰值(1.592 μV)显著低于对照脑力负荷条件下的P3a峰值(2.956 μV).脑区主效应也是显著的(p=0.009)，并如图3所示，呈现出中央区电压优势效应，具体表现为中央区(1.904 μV)、额中央区 (1.714 μV)、额区(1.523 μV)的 P3a峰值依次显著降低.脑侧主效应不显著(p＞0.05).无交互效应达到显著性水平(p＞0.05).

对于P3a-2成分，三因素重复测量的方差分析表明，脑力负荷主效应显著(p=0.015)，表现为高脑力负荷条件下的P3a峰值(3.629 μV)显著低于对照脑力负荷条件下的P3a峰值(6.141 μV).低脑力负荷条件下的 P3a 峰值(4.726 μV)与高脑力负荷条件下 P3a 峰值(3.629 μV)以及对照脑力负荷条件下的 P3a峰值(6.141 μV)相比均不显著(p ＞0.05).脑区的主效应也是显著(p＜0.001)，并如图3所示呈现出中线电压优势效应，具体表现为中线位置的 P3a峰 值 (5.482 μV)显 著 高 于 左 侧 脑 区(4.438 μV)和右侧脑区(4.575 μV)的 P3a 峰值.无交互效应达到显著性水平(p＞0.05).

3 讨论

3.1 行为绩效结果讨论

由表2所示的行为绩效数据表明，被试者在高、低脑力负荷条件下的作业绩效差异显著，在高脑力负荷条件下，被试者对异常信息的正确操作率显著降低，且反应时间延长.这一结果支持了认知负载理论，即知觉负荷能够在感知加工阶段影响注意资源的分配［11］.在高脑力负荷条件下，被试者需要同时处理的信息量增多，则平均分配在每个信息上的注意资源减少，从而导致正确操作率的下降;且随着信息量的增加，被试者对单个信息的注视频率降低，因此反应时间延长.

3.2 对ERP结果的讨论

3.2.1 关于MMN成分的讨论

大脑对信息的自动加工属于不受意识控制的加工，是认知过程的重要组成部分之一，而人行为的自动化即是大脑对信息自动加工后的结果［7］.飞行员在面临复杂多变的空域情况时，仍然能够灵活操作，同时完成掌握飞行姿态、观察空域、控制飞行速度、飞行高度等多项操作任务即与飞行员对部分信息能够做到自动化加工密切相关.

大量研究表明，MMN成分是反应大脑信息自动加工的可靠的客观性指标［7，12］.在本研究中，通过测试3种脑力负荷水平下的MMN成分的峰值，发现其随着脑力负荷的增加而出现逐级性的显著提高，这一实验结果与初期研究结果相符［10］，并与文献［13 －15］的研究结果一致.本实验结果支持了Lavie所提出的认知控制负载理论，说明在飞行模拟条件下，脑力负荷的增加导致了被试者对非任务相关信息(即声音刺激)的自动加工能力的增强.提示在高脑力负荷条件下被试者对外界听觉信息的变化更为敏感，或阈值降低，也表明被试者在高脑力负荷条件下对非随意注意通道的无意义信息的门控能力下降，使得这些信息被纳入加工机制，反而抑制了大脑对有用信息的有效加工，从而可能导致被试者对于目标信息的注意能力的下降，反应在本实验中的行为绩效结果上，即为被试者的操作绩效显著降低.如果是在实际的飞行任务中，则可能导致飞机驾驶人为失误现象的增加和发生空中交通事故的可能.

3.2.2 关于P3a成分的讨论

相关研究表明，P3a是朝向反应的重要指标，朝向反应属非随意注意，其注意对象原非心理活动的指向者，但因具有足够的新异性和刺激强度而获得注意.朝向反应能够使机体觉知并应对不测事件，使之优先进入认知加工进程，对机体具有重要的保护意义［5－6］.在执行飞行任务过程中，为及时、准确、全面地获取飞行信息，飞行员的随意注意与非随意注意活动同时并存，“自下而上”与“自上而下”的信息加工机制互为补充.并且，由于非随意注意往往是在周围环境发生变化时产生的(例如突然出现的视觉异常信息或告警音等)，因此基于非随意注意的信息加工机制有助于对作业人员的机体产生保护作用，避免其遭受到意外伤害，体现了人类机体的“原始智能”［16］.

在本研究中，P3a成分的峰值随着脑力负荷的增加而发生逐级性的显著减低，提示被试者在高脑力负荷条件下的非随意注意能力减弱.这一点从脑电压地形图上也可获得验证，从图3可以看出，P3a成分在对照脑力负荷条件下呈现出明显的中央区电压优势效应，但随着脑力负荷的增加而发生明显的活性降低.因此，本研究表明，增加脑力负荷可能会降低作业人员对危险信号的觉察判断能力，从而导致在飞行作业任务时不能及时有效地应对突发状况以进行自我保护，从而对飞行安全造成潜在威胁.

在本研究中，由新异刺激所诱发的MMN和P3a成分对于评价高低负荷不敏感，其原因可能在于本实验所采用的新异刺激的新异程度过高，导致了过强的注意朝向效应，从而削弱了负荷因素的影响.

4 结论

本文结合飞行模拟任务，以正确操作率、反应时间和两种ERP成分为指标，针对实验设定的所需监视的仪表数量和异常信息，采用三刺激“oddball”模式开展了三级脑力负荷的测量与评价研究，并获得以下结论:

1)MMN成分的峰值对脑力负荷变化敏感，随着脑力负荷的增加，MMN的峰值显著增大，反应了被试者对异常信息的自动加工能力的提高.

2)P3a成分的峰值对脑力负荷变化敏感，随着脑力负荷的增加，P3a的峰值显著降低，反映了被试者朝向注意能力的减弱.

3)由偏差刺激和新异刺激所诱发的MMN和P3a成分均具有一定的任务负荷效应，其中，由偏差刺激所诱发的MMN与P3a成分对与飞行任务相关的脑力负荷具有更好的敏感性，将可能用于进一步的脑力负荷分级评价.

References)

［1］郭小朝，刘宝善，马雪松，等.战术导航过程中新歼飞行员的信息显示需求［J］.人类工效学，2003，9(1):5 －10 Guo Xiaochao，Liu Baoshan，Ma Xuesong，et al.Cockpit information required by advanced fighter pilots for displays in tactical navigation［J］.Chinese Journal of Ergonomics，2003，9(1):5－10(in Chinese)

［2］Caldwell J L，Gilreath S R，Norman D N.A survey of work and sleep hours of US army aviation personnel［R］.USAAR L-99-16，1999

［3］柳忠起，袁修干，刘涛，等.航空工效中的脑力负荷测量技术［J］.人类工效学，2003，9(2):19 －22 Liu Zhongqi，Yuan Xiugan，Liu Tao，et al.Mental workload measurement technology in the aviation ergonomics［J］.Chinese Journal of Ergonomics，2003，9(2):19 －22(in Chinese)

［4］罗跃嘉，魏景汉.注意的认知神经科学研究［M］.北京:高等教育出版社，2004:1－7 Luo Yuejia，Wei Jinghan.Attentive research and cognitive neuroscience［M］.Beijing:Higher Education Press，2004:1 －7(in Chinese)

［5］吕静.脑力疲劳状态下注意特征及情绪变化的ERP研究［D］.西安:第四军医大学，2008 Lü Jing.ERP study of attention and emotion in the mental fatigue［D］.Xi’an:Fourth Military Medical University，2008(in Chinese)

［6］Kok A.On the utility of P3 amplitude as a measure of processing capacity［J］.Psychophysiology，2001，38(3):5572 －5778

［7］Naatanen R，Jacobsen T，Winkler I.Memory-based or afferent processes in mismatch negativity(MMN):a review of the evidence［J］.Psychophysiology，2005，42(1):25 － 32

［8］Nicklas D，Staffan N.Mental workload in aircraft and simulator during basic civil aviation training［J］.The International Journal of Aviation Psychology，2009，19(4):309 －325

［9］Paul L，Maria K.Cardiac data increase association between selfreport and both expert ratings of task load and task performance in flight simulator tasks:an exploratory study［J］.International Journal of Psychophysiology，2010，76(2):80 －87

［10］完颜笑如，庄达民，刘伟.脑力负荷对前注意加工的影响与分析［J］.北京航空航天大学学报，2012，38(4):497－501 Wanyan Xiaoru，Zhuang Damin，Liu Wei.Analysis on effect of mental workload on preattentive processing［J］.Journal of Beijing University of Aeronautics and Astronautics，2012，38(4):497－501(in Chinese)

［11］Lavie N.Perceptual load as a necessary condition for selective attention［J］.Journal of Experimental Psychology:Human Percept＆ Performance，1995，21(3):451 －468

［12］Marco P J，Grau C，Ruffini G.Combined ICA-LORETA analysis of mismatch negativity［J］.Neuroimage，2005，25(3):471 －477

［13］宋国萍，张侃.驾驶疲劳后听觉信息自动加工的ERP研究［J］.人类工效学，2011，17(4):1 －4 Song Guoping，Zhang Kan.ERP study of auditory automatic process over driver fatigue［J］.Chinese Journal of Ergonomics，2011，17(4):1 －4(in Chinese)

［14］Zhang P，Chen X，Yuan P，et al.The effect of visuospatial attentional load on the processing of irrelevant acoustic distractors［J］.Neuroimage，2006，33(2):715 －724

［15］Lü J Y，Wang T，Qiu J，et al.The electrophysiological effect of working memory load on involuntary attention in an auditoryvisual distraction paradigm:an ERP study［J］.Experimental Brain Research，2010，205(1):81 －86

［16］Murata A，Uetake A，Takasawa Y.Evaluation of mental fatigue using feature parameter extracted from event-related potential［J］.International Journal of Industrial Ergonomics，2005，35(3):761－770