基于机器学习的飞行员脑力负荷评估研究进展

王煜文， 王 盛， 韩明秀， 牛海军， 柳忠起， 刘 涛*

(1. 北京航空航天大学生物与医学工程学院， 北京 100191； 2. 上海航空电器有限公司，上海 201100)

1 引言

脑力负荷(Mental Workload， MWL)也被称为心理负荷、精神负荷或认知负荷[1]。 目前对脑力负荷的定义存在多种理解，Young 等[2]认为脑力负荷是为满足客观和主观的业绩标准而付出的注意力的大小。 从认知心理学来看，脑力负荷可以从任务转换或注意力分配的角度加以框定[3]。

在动态和不确定的环境中，驾驶飞机极具挑战性[4]。 飞行员需执行多种任务，如控制飞行轨迹，监测飞行参数，与空中交通管制员沟通以及识别潜在危险等，多种任务的执行增加了飞行员的注意力资源分配难度，从而导致飞行员过高的脑力负荷[5]。 高脑力负荷导致的视觉和听觉注意力、工作记忆以及执行能力下降，极大地增加了飞行员在执行飞行任务中做出错误决策的概率[6]。程道来等[7]研究表明，人为失误导致的飞行事故占总体飞行事故的70%～80%。 因此，有必要对飞行员的脑力负荷进行科学的评估。 可靠的脑力负荷量化方法不仅有助于提高飞行安全，也可用于飞行训练以及座舱视觉显示界面的优化设计[8]。

飞行员脑力负荷测量方法有生理测评法、主观测评法、作业绩效评估法以及综合测评法[9-11]。与其他测评方法相比，生理测评指标具有客观性、实时性以及连续性等优点，因此受到了国内外研究学者的关注[12]。

目前已有很多较经典的脑力负荷预测模型，如倒U 型模型[13]、Siegel-Wolf 时间压力模型[14]以及多资源理论模型[15]等。 在过去的几年中，机器学习在神经科学中的应用迅速增加。 机器学习能够帮助神经科学家提高医学诊断以及脑机接口等领域的预测性能，同时可以更准确地确定变量间是否可以相互预测[16]。 通过采集作业人员的生理信号，基于机器学习方法评估脑力负荷已成为近年来的研究热点[17-20]。 本文针对使用脑电(Electroencephalogram， EEG)、心电(Electrocardiography， ECG)以及多生理信息，基于机器学习对飞行员脑力负荷评估的方法进行综述和探讨。

2 生理测评法

生理测评法通过检测作业人员某些生理指标的变化来反映脑力负荷的改变。 生理测评法的指标按照所涉及的生理器官功能分为三大类，分别是与大脑、心脏以及眼睛相关的生理指标[8，21]，如EEG、ECG 以及眼电(Electrooculogram， EOG)等。

2.1 脑电评测法

被动式脑机接口(passive Brain Computer Interface， pBCI)可以识别和连续监测人的各项基础认知功能状态[22]，为更直接评估飞行员的脑力负荷提供了一种便捷的途径。 因脑电设备具有无创、便携、运行成本低以及操作简单等优点，在脑机接口(BCI)中应用最为广泛[23]。

有研究者基于自发脑电信号，使用θ 波、α 波和β 波的频域特征作为脑力负荷的神经标记[5]，发现低负荷到高负荷的转变与顶叶部位的α 波段功率的降低和额叶部位的θ 波段功率增加有关[24]；β 波段和γ 波段能量的增加则与更高的任务需求相关[25]。 基于诱发脑电的事件相关电位(Event-Related Potentials， ERPs)，完颜笑如等[26]发现在模拟飞行环境中，当脑力负荷较高时，额叶的失匹配负波(Mismatch Negative， MMN)会增强，而颞叶MMN 会降低。 Miller 等[27]发现晚正电位(Late-Positive Potentials，LPP)振幅随着脑力负荷的增加而显著降低。

2.2 心电评测法

基于ECG 信号对飞行员进行脑力负荷监测的常用指标有但不限于心率(Heart Rate， HR)和心率变异性(Heart Rate Variability， HRV)[28]。人们普遍认为任务难度的增加会导致HR 的增加，因此，心血管反应可以用来评估飞行员的脑力负荷[29]。 但HR 的变化不仅与脑力负荷有关，还与紧张和疲劳等其他因素相关[5]。 HRV 也是评估脑力负荷的重要指标[30]，HRV 的时域指标心搏间期(Interbeat Interval， IBI)应用较多，其次是采样周期内相邻NN 间期之差大于50 ms 的百分比(percentage of NN50 intervals， pNN50)，NN 间期的标准差( Standard Deviation of the NN Intervals， SDNN)以及相邻NN 间期差值的均方根(the Square Root of the Mean of the Sum of the Squares of Difference Between Successive NN Intervals Differences， RMSSD)；HRV 的频域指标低频/高频(Low Frequency/High Frequency， LF/HF)比值应用最为广泛，其次是高频、低频和中频指标[31]。 已有研究发现，在模拟和真实飞行环境中，随着脑力负荷的增加，飞行员的HRV 会随之减小[5]。

2.3 眼电评测法

通过EOG 信号可以获取相应的眼指标。 在飞行员脑力负荷研究中，常用指标有:眨眼频率(Blink Frequency， BF)、 瞳孔直径( Pupil Dilation， PD)以及注视时间(Fixation Duration，FD)等[32]。 Marquart 等[33]研究表明，BF 随着脑力负荷的增加而增加，随着视觉工作负荷的增加而减少。 BF 对中等或较大的负荷变化比较敏感，但当飞行任务时间较长时，使用BF 评估脑力负荷并不可靠[34]。 PD 对脑力负荷的微小变化高度敏感，随着脑力负荷的增加而增加，但是PD 的测量需要较高精度的眼动追踪设备，且光线变化和强度等因素会严重影响PD 对脑力负荷的敏感度[35]。 FD 与脑力负荷呈正相关，且对脑力负荷具有敏感性和诊断性，但是高密度视觉环境、信息呈现的频率以及任务时长也会影响FD[36]。

3 基于机器学习的脑力负荷评估

3.1 基于脑电信号的脑力负荷评估

基于EEG 信号对飞行员进行脑力负荷监测的实验大多数是在模拟飞行环境下进行[37]，从Wilson 等[38]开始，脑电设备开始应用于在真实的飞行环境。 基于脑电信号的脑力负荷评估方法总结如表1 所示。

表1 基于脑电信号的脑力负荷评估方法总结Table 1 Summary of mental workload assessment methods based on EEG signals

在模拟飞行环境中，Blanco 等[8]发现，通常线性判别分析(Linear Discriminant Analysis，LDA)具有最好的分类性能，个性化的特征集和分类器组合可以最大限度地提高分类准确率；在预测飞行任务复杂性中，相比使用单个通道，综合利用不同通道的脑电特征，21 名受试者中有17 名受试者保持或提高了分类性能。 Kakkos 等[39]在2D 和3D 模拟飞行实验中，使用LDA 作为基分类器，利用随机子空间集成(Random Subspace Ensemble， RSE)方法[40]对3 级脑力负荷进行分类，分类准确率均为82%。 在3D 模拟飞行环境中，Pei 等[41]使用随机森林(Random Forest， RF)对低、中、高脑力负荷进行分类，探索了不同频段、不同特征组合、不同特征选择与融合方法对脑力负荷识别的影响。 结果发现，使用傅里叶变换提取的频域特征进行分类准确率更高(77.79%)；在5个波段中，γ 波表现出的分类性能最好；在Fisher分数(Fisher Score， F-score)和随机邻近嵌入(Stochastic Proximity Embedding， SPE)2 种特征选择方法中，仅F-score 方法提高了分类精度； 与使用单一特征相比，采用组合特征，分类精度总体上有所提高；使用F-score 特征选择和特征融合后，所有受试者的分类准确率均有提升。

Lee 等[42]通过Berlin 脑机接口工具箱[43]对脑电信号进行预处理，综合考虑了EEG 信号的频域、时域和空间信息，以及EEG 信号记录时间长的特点，提出了一种多特征块的卷积神经网络( Multiple Feature Block-based Convolutional Neural Network， MFB-CNN)来识别模拟飞行环境下飞行员的疲劳、脑力负荷、分心以及正常等4 种心理状态。 在离线分析中，使用4 次两折交叉验证得到了75%的正确率，在伪在线分析[44]中，疲劳、工作负荷和分心的检测精度分别为72%、72%和61%。

在真实飞行环境中，Dehais 等[24]采用两种方法对飞行员高低两种负荷水平进行分类:①当仅使用连续信号时，利用两对正则化的共空间模式(Common Spatial Patterns， CSP)计算δ，θ，α 以及β 4 个波段频率功率特征，使用收缩线性判别分析(shrinkage Linear Discriminant Analysis， sLDA)算法进行分类，正确率为70%；②但当同时使用ERPs 和事件相关的频域特征，然后使用最小冗余最大相关(minimum Redundancy Maximum Relevance， mRMR)特征选择算法选择20 个特征作为sLDA 分类器的输入后，其分类准确率并未超过50%。

基于多属性任务模拟(Multi-attribute Task Battery， MATB)平台，张洁等[45]提出基于脑电功率谱密度和支持向量机(Support Vector Machine，SVM )的脑力负荷评估方法，经网格搜索方法对SVM 进行参数优化后，对低、中、高脑力负荷的平均分类准确率达到了96.65%。 大多数关于脑力负荷的研究都局限于单一任务，Ke 等[46]使用递归特征消除算法[47]计算预测值与测试集任务难度之间的相关系数，然后挑选出n-back 任务和MATB 任务中最显著的特征子集，使用SVM 算法作为回归模型，使用受试者执行n-back 任务的数据作为训练集，来预测受试者在执行MATB 任务时的脑力负荷。

在自动增强型座舱空气管理系统(Automatic enhanced Cabin Air Management System， ACAMS)中模拟人机交互任务，针对相同受试者在不同日期的EEG 信号特征分布不同的问题，Yin 等[48]使用自适应堆叠去噪自编码器(Stacked Denoising Autoencoder， SDAE)，实现了对高、低两种负荷水平的分类。 在相同的数据集上，Yang 等[49]将3层SDAE 和Bagging 集成分类方法相结合，同时为提高基分类器的识别性能，将显著局部信息[50]作为SDAE 中一个额外隐含层，最后形成了ELSDAE 模型，实现了对高低两种负荷水平的分类。针对数据类别不均衡的问题，Cui 等[51]提出了一种基于动态SMOTE[52]的多层感知机(Multilayer Perceptron， MLP)模型，实现了对脑力负荷的分类识别。

3.2 基于心电信号的脑力负荷评估

在模拟飞行环境中，Hannula 等[53]采集了14名现役飞行员驾驶大黄蜂拦截战斗机时的心电数据和飞行相位，将平均心脏搏动间期和飞行相位作为人工神经网络(Artificial Neural Network，ANN)和多元线性回归(Multilinear Regression，MLR)模型的输入，发现ANN 模型的分类准确率的平均绝对误差为11.4%，比MLR 模型的平均绝对误差减少了13%～23%。

Xi 等[54]基于两名飞行员驾驶Bell205 直升机执行目标跟踪任务时的ECG 数据，根据目标运动速度，将跟踪任务设置为3 个级别。 在ECG 数据集较小的情况下，使用迁移学习(Transfer Learning， TL)[55]方法预测飞行员脑力负荷。 该研究首先使用1～40 Hz 带通滤波器预处理，然后经过离散傅里叶变换和连续小波变换，分别得到ECG 的频谱图和尺度图，并将其作为AlexNet 模型[56]的输入。 研究对比分析了2种迁移学习方法:①将预训练好的AlexNet 模型作为特征提取器，使用SVM 进行分类；②对已经训练好的 AlexNet 模型进行微调( finetuning)[57]。 结果发现，当使用尺度图作为模型的输入时，方法1 比方法2 的准确率更高。

3.3 基于多生理信息的脑力负荷评估

脑力负荷具有多维性，单一生理指标可能只对其中一个或几个维度敏感，无法全面评估脑力负荷[1]。 虽然大多数生理指标能够反映脑力负荷的变化，但并非适用所有任务情景。 采用多种方法或指标替代单一的方法或指标对脑力负荷进行评估已成为工效学界评估脑力负荷的发展趋势[58]。 与其他生理信号相比，EEG 信号直接反映了大脑皮层的活动，可以为脑力负荷评估提供较为准确的信息[59]，但是EEG 容易受到眼电、肌电以及电子设备等噪声干扰。 为弥补EEG 信号的不足，研究人员采用多生理信息的方法对脑力负荷进行评估，例如:基于EEG与ECG、呼吸速率或皮肤电等生理信息对脑力负荷进行评估。 基于多生理信息的脑力负荷评估方法总结如表2 所示。

表2 基于多生理信息的脑力负荷评估方法总结Table 2 Summary of mental workload assessment methods based on multiple physiological indexes

在模拟飞行环境下，Han 等[60]基于EEG 和外周生理信号(ECG、呼吸以及皮肤电)，利用正则化的线性判别分析(regularized Linear Discriminant Analysis， rLDA)实现了对疲劳、分心、脑力负荷的分类。 Oh 等[61]基于EEG、ECG、作业人员表现数据以及NASA-TLX 量表，使用集成分类器评估飞行模拟器中作业人员在不同挑战水平下的脑力负荷，使用Bagging、Boosting、 Stacking 以及Voting 4 种集成分类方法，分别获得了88%、95.7%、94%和97.44%的分类准确率。 Han 等[62]基于多模态生理信号搭建多模态深度学习(Multimodal Deep Learning， MDL)网络，实现了对飞行员分心、脑力负荷、疲劳和正常4 种脑状态的分类识别。 在MDL 模型中，首先使用卷积神经网络(Convolutional Neural Network，CNN)提取EEG 信号特征，使用长短时记忆(Long Short Term Memory， LSTM)网络提取外周生理信号特征，然后将CNN 和LSTM 输出的特征合并，并将其输入到全连接层中，最后通过Softmax 函数实现分类。

针对多显示界面多飞行任务下的飞行员脑力负荷评估问题，卫宗敏[63]基于贝叶斯判别分析(Bayes Discriminant Analysis， BDA)方法，提出了脑力负荷评估的多维综合评估模型，并将该模型与基于单一指标、2～5 种指标的模型进行对比分析。 结果表明，该多维综合评估模型分类正确率最高，平均分类正确率达到82.22%。 在仪表监控任务中，Fan 等[64]提取枕区EEG 指标和ECG指标，构成了多维原始样本数据，使用主成分分析(Principal Component Analysis， PCA)对原始多维样本进行降维，使用SVM 对脑力负荷进行分类，其分类准确率为80%。

Wilson 等[65]使用EEG、EOG、ECG 以及呼吸信号，基于ANN 模型实时评估了7 名受试者在执行MATB 任务时的脑力负荷，对基线、低难度任务以及高难度任务的分类正确率分别达到了85%、82%和86%。 但是研究并未考虑生理数据的日间变化对受试者状态的影响。 针对该问题，Christensen 等[66]使用ANN、LDA 和SVM 分别对受试者当天和日间的负荷进行评估，结果发现，3种分类器的分类准确率均远超过50%以上，但都受到日间数据的负面影响。 通过增加训练集中不同日期的数据和预测当天少量数据两种方法提高了模型的分类准确率和泛化性能，两种方法对日间数据的分类准确率都达到了80%以上。

4 讨论

对比分析生理测评法中的各项指标，结果发现，相对于使用某一种生理信息，基于多生理信息对脑力负荷评估可以获得更高的分类精度，但是并非越多的生理信息就可以获得越高的分类精度。 与单独使用EEG 相比，当同时使用EEG、ECG 和呼吸信号时，并不能显著改善基于EEG 信号的分类准确率[59]；Hogervost 等[67]也发现，使用EEG 评估脑力负荷效果最好，其次是眼部相关指标和外周生理指标，结合EEG 和眼指标的分类正确率最高，略高于90%，但是仅使用Pz 通道的EEG 信号其分类效果就可达86%。

在空间、成本或其他资源受限的情况下，使用多生理传感器可能不切实际，EEG 可能是飞行员脑力负荷监测的首选生理信号，特别是随着能够嵌入标准头盔或帽中无需导电凝胶的干电极系统应用越来越广泛。 在真实飞行环境中，大幅减少电极的数量，将其集成在飞行员的头盔中，可以为飞行员提供更好的舒适性。 但缺点是无法使用ICA 来识别EEG 信号中的伪迹，例如:眨眼、眼漂、头动、肌电以及心电等伪迹。 一种解决方法是使用黎曼伪影子空间重构(riemannian Artifact Subspace Reconstruction， rASR)方法[68]对脑电信号进行预处理，该方法对眼电伪迹比较敏感，且能够保留更多的感兴趣成分，能够有效提高EEG 信号的信噪比。

基于传统机器学习方法对飞行员脑力负荷进行评估，LDA 具有较好的分类性能，通过组合不同的特征，为每名飞行员构建个性化的特征子集以及使用集成分类的方法，可以提高模型的分类性能。 不同于传统机器学习中手动提取特征的方法，深度学习方法可以从原始信号中自动提取特征。 综合考虑EEG 信号时域、频域以及空间信息，或者基于多生理信息，并根据任务和生理信号特点，构建合适的深度学习模型，有可能获得比传统机器学习更高的分类精度[69]。 但是深度学习方法的缺点是没有统计理论基础，其可解释性不强，且调参过程耗时较长。

大多数脑力负荷分类算法对指定日期的单个受试者的脑力负荷识别已获得了较高的精度。 但是生理数据的日间变化和受试者间差异是需要考虑的问题。 对于单个受试者不同日期的脑力负荷，通过增加训练集中受试者其他日期的数据，或者使用少量当日数据对已训练好的模型进行校正，可以提高模型的泛化能力和精度。 迁移学习不仅广泛应用于文本情感分类、图像分类以及多语言文本分类中[55]。 在脑力负荷分类识别中，当训练数据样本较少时，可以将已经训练好的网络作为特征提取器或者使用fine-tuning 的方法进行分类；迁移学习也可用于提高受试者间脑力负荷分类器性能[70]。

目前，大多数关于脑力负荷的研究都是基于单一任务，在真实飞行环境中，飞行员可能需要执行多种任务，所以构建能够跨任务评估脑力负荷的模型非常必要。 Zhang 等[18]提出了一种深度递归与三维卷积神经网络(Recurrent and 3D Convolutional Neural Networks， R3DCNN)的级联结构模型，在无先验知识的情况下，跨n-back 和算术两种不同任务对高低脑力负荷进行评估。 Ke等[46]构建的模型实现了跨n-back 和MATB 任务对脑力负荷进行评估。 在飞行员执行飞行任务过程中，飞行员的脑力负荷水平、紧张以及焦虑等状态可能也会同时发生变化，在开发状态监测算法时，需要考虑到不同状态的交叉影响，使算法具备更强的鲁棒性和泛化能力[71]。

5 结语

准确评估飞行员的脑力负荷水平对减少人为失误、保障飞行驾驶安全、优化人机界面设计以及飞行员的选拔与培训等具有重要意义。 本文对使用生理测评法，基于机器学习对飞行员脑力负荷评估的研究现状进行了回顾，对比分析了不同生理信号或使用不同机器学习算法评估飞行员脑力负荷的准确率。 采用多生理信息评估脑力负荷更为精准，但是在资源和空间受限的条件下，EEG是最优的选择；使用传统机器学习方法对脑力负荷评估时，选择合适的特征选择算法或者使用集成分类方法有助于获得更高的分类准确率；根据生理信号和任务特点，构建合理的深度学习网络模型结构，可以获得高于传统机器学习的分类准确率。

在未来，基于机器学习构建飞行员脑力负荷评估模型时，解决以下3 个问题有助于将构建的模型应用于真实的飞行环境中:①去除EEG 信号在真实飞行环境中的伪迹，提取EEG 信号有用信息；②提出更高精度的在线脑力负荷实时分类算法；③构建能够跨日间、跨受试者以及跨任务的飞行员脑力负荷模型。