实际任务背景下脑力负荷的实时监测与评估研究现状

程 珊，杨菁华，丛 林，滕超淋，张太辉，熊凯文，党维涛，胡文东，马 进

(1空军军医大学航空航天医学系航空航天医学装备教研室，陕西 西安 710032；2空军工程大学基础部，陕西 西安 710051)

无论是民用还是军事领域，只要涉及人员及操作安全的关键岗位，作业者脑力疲劳不可避免地成为重要风险因素之一。在军事领域，疲劳对飞行活动和潜艇远航等典型高风险任务场景的影响值得关注。杨菁华等[1]在其综述文章中提到，在美国2013—2018年期间的非战斗行动中，航空事故造成198名人员死亡，157架飞机损毁，总成本超过94.1亿美元，其中人为错误导致了80%的航空事故，而人员疲劳导致的“判断和决策错误”是主要因素之一。与飞行员狭小的工作环境不同，潜艇艇员所有活动均处于封闭环境，限制了阳光暴露与艇员规模，且必须长时间持续保持作战效能[2]；在民用交通领域，20%交通事故的原因或促成因素与汽车驾驶员的疲劳状态直接相关[3]。对民航而言，客舱噪声和振动、气压变化、长途飞行、昼夜节律紊乱等飞行任务固有因素不可避免地引起飞行员的疲劳状态[4]；此外，疲劳状态也被公认为应急反应领域(消防员、急救员等)一种典型的工作风险因素，不仅威胁相关人员生命安全，还危及他们所服务的公共事务[5]。

在此类以脑力工作负荷为主的特殊作业场景中，当高认知需求出现时，作业者必须保持高度警惕、使用高水平的脑力资源来维持长时间所要求的任务表现。而脑力状态的变化，尤其是负荷增加和疲劳发生时，会导致维持和执行任务的能力和意愿降低、决策能力受损、人为失误增加，安全风险增加[6-7]。虽然，任务后的疲劳检测能够及时掌握作业者的功能状态，对后续开展相关任务风险预警提供参考价值，但无法及时阻止安全事故的发生、发展。相比而言，任务中实时监测作业者的脑力工作负荷，对于及时识别疲劳意义更大。

1995年，廖建桥[8]首次讨论了脑力负荷的概念和在系统设计中测量脑力负荷的重要性，并首次系统总结了当时脑力负荷测量的方法及其局限性，为后续国内脑力负荷测量研究坚定了理论基础。2003年，HOCKEY[9]提出了一种关于作业人员功能状态的新理论框架，为实际工作背景下脑力负荷测量提供了新思路。根据该理论，任务中作业人员功能状态应该被看做是个体、任务、特定环境(运动等)与生理心理状况(如睡眠不足、疲劳和焦虑等)等相互作用的结果，可能进而影响了任务绩效。而作为一种试图维持任务性能水平的代偿机制，资源分配的变化又可能增加心理生理激活。由此可见，脑力负荷实时监测方法应该充分考虑实际脑力工作中认知任务与环境中其他非认知因素的相互作用，进一步更好地适用于实际工作场景。因此，本文从脑力负荷评估方法、信号获取技术、任务设置方法与评估建模等方面总结了目前研究的现状、存在问题及对策。

1 任务中脑力负荷测量技术

脑力工作负荷与疲劳状态的评估方法主要分为主观和客观，包括主观量表、心理指标、运动特征和医学信号测量来评，且各自具有优缺点及不同的时间分辨率。虽然，这些方法在实验室研究中得到了广泛的应用，但由于实际工作场景复杂的特性，它们在任务中实时监测的应用价值则不同。

1.1 主观评估法在任务中应用的问题

主观量表评估主要指实验参与者在任务执行过程中根据自身真实体验，利用工作负荷评定相关量表，例如任务负荷指数NASA-TLX[2]、Samn-Perelli 7级疲劳量表、疲劳评定问卷[6]、作业疲劳症状自评量表[10]等对工作负荷与疲劳状态进行分级评分。尽管基于任务执行时收集的主观评分的方法是一种低成本、易于实施的方法，但易受个体差异的影响，评价标准也不够统一。同时，这种策略在实时工作负荷监测应用中存在严重的局限性。填写问卷的行为需要参与者必须在中止当前任务的前提下进行，该行为本身可能会增加主要任务的工作负荷水平，导致报告的脑力负荷水平的变化。此外，主观量表测量法不允许连续不间断进行任务负荷的评估，也就具有较差的时间分辨率。虽然，缩短作业者提供反馈的时间间隔可能会提高时间分辨率，但这实际上可能会由于任务执行过程出现大量中断而进一步增加工作负荷[11]。与主观量表测量法类似，心理指标也存在此类问题。由此可见，主观工作负荷评估法并不适合在实际任务过程中实时在线监测作业者的脑力工作负荷。

1.2 客观评估法在工作场景中应用的价值

作业者在高脑力工作负荷调节下，其心脏功能、神经功能、呼吸功能等相关功能均发生相应变化，而这些指标都可以通过电生理信号或光学信号测量方法检测到。例如，脑电图(electroencephalogram，EEG)可以直接反映大脑神经功能状态，在认知任务负荷下θ和α频段功率等指标增加[12-14]和不同频带能量的比值(如α与θ比值)的改变[15]，并且EEG微状态的改变[16]也可助于区分自我报告的脑力负荷感知；YANG等[17]研究者在模拟飞行任务负荷下研究了基于心电图(electrocardiogram，ECG)提取的心率变异性指标(heart rate variability，HRV)的改变规律，结果发现低频功率、高频功率、标准化功率、低频与高频功率比值在高认知负荷与低认知负荷间显著差异，结果也证实了ECG信号及相关指标可用于客观识别高认知负荷。LI等[18]结合近红外光谱技术和ECG信号，研究了心率变化和前额叶激活状态在模拟飞行条件下监测脑力负荷变化的可行性。基于眨眼、瞳孔和扫视等的特征已被证实评估脑力负荷水平的有效指标[19-20]。BAFNA等[21]总结了精神疲劳的有效眼动特征，并指出眼跳是最有希望的类别；本研究团队前期利用睡眠剥夺实验模拟脑力疲劳状态，验证了不同信息干预条件下的姿势控制出现了显著的改变，并与脑力疲劳程度显著相关[22-23]；而且，基于姿势控制的疲劳评估技术已经初步在飞行员群体中进行了试用[24]。此类信号的获取可以与任务执行过程同时进行，甚至有可能在任务绩效反映出作业者功能状态变化之前就捕捉到这些变化，故基于EEG、ECG等生物学信号的测量策略由于获取过程不会引起任务中断，而呈现出较高的时间分辨率，适合实时在线监测。

2 任务中生物学信号获取方法

2.1 基于生物信号的任务负荷实时监测方法

在监测过程中，工作流程、自我感知、社会互动等实际工作环境固有的特征不应该被改变，故测量设备在实际工作场景中不应该干扰穿戴者的活动。而临床级的测量设备通常需要很长时间才能安装好，长时间佩戴也不舒服，且限制行动自由[11]，故临床级设备不可能直接应用于涉及运动的实际场景中。可穿戴技术让这些生物信号在实际工作场合应用成为可能。例如，EEG信号的无线传输和小型化的放大器设备[25]、干电极的使用[6]，已经可以实现移动场景中的信号采集。而EEG信号特征计算时间窗的缩短(可到30 s)[14]可以显著减少EEG设置的时间，故高度便携的EEG头戴设备可能是真实的工作场景研究的首选。虽然实际工作场景的混杂因素可能影响交感与副交感神经活动的平衡，导致HRV指标对疲劳的敏感性和特异性在研究间差异较大[26]，但通过多参数的联合也可能达到最优的效果。例如，基于皮肤电(galvanic skin response，GSR)、心率、皮肤温度(skin temperature，ST)等生物测量数据构建的疲劳预测模型的准确性达到了82.9%[6]。另外，针对基于压力中心的姿态控制测量法需中断任务的弊端，穿戴式磁惯性测量单元监测[27]和三维立体摄像技术[28]的运动捕捉方法可与任务同时进行，也适合实际动态工作场景应用。基于生理信号的客观监测方法虽然不受作业者主观能动性的影响，但在实际工作场景中还会受到干扰因素影响。因此，此类方法通常在基础研究基础上进行应用验证研究。

2.2 便携式生物信号获取方法的应用

目前便携式的可穿戴技术测量生理信号已经被证实可靠有效。例如，基于光纤传感器坐垫获取的心冲击图信号计算的心率值与医学标准的心电监护仪的数据一致[29]。而光电脉搏图(photoplethysmogram，PPG)传感器和相关的信号处理方法可置于头戴设备中获取心率信号，且与ECG数据之间高度相关[3]。RAMREZ-MORENO等[6]在研究工作场所基于生物信号快速评估脑力疲劳方法时采用一种无线EEG头戴装置(Ultrortex“Mark IV”型号，OpenBCI公司，美国)和腕带(E4型号，Empatica公司，意大利)对EEG和生物信号测量(PPG、搏动间期、心率、GSR和ST)进行同步记录，还可将数据存储在云服务器上，使用E4 Manager应用程序访问对获得的数据进行离线处理、特征提取和模型评估。ALBUQUERQUE等[11]构建体力活动下脑力负荷评估的多模态数据库时，采用可穿戴的设备同步记录多参数据，例如BioHarness 3胸带集成ECG、呼吸频率和加速度监测，Enobio便携式8通道无线EEG头戴设备采EEG信号，E4腕带监测ST、GSR和血容量脉搏。由此可见，便携式、可穿戴生物信号获取方法技术已经在实际场景中广泛应用，是任务中实时监测作业者生理心理状态改变的关键。

3 实际任务背景下脑力负荷研究方案设计

在实际工作场景下直接研究脑力工作者任务负荷评估方法应用价值较高、实用性强，但实际场景中影响因素复杂，研究者无法控制干扰因素去深入探讨负荷改变隐藏的机制及多种因素间的相互作用问题。因此，基础研究与应用研究相结合的研究方式是研究实际问题合适的策略。由于实验室模拟工作场景的方式是基础研究重要的方法，故本文总结了脑力负荷的常用方法及问题，便于研究者更加深入研究应用性问题。

3.1 目前研究中脑力负荷常用设计方法及问题

ALBUQUERQUE等[11]研究者指出，以往研究设计的模拟脑力负荷工作主要是基于参与者执行不涉及体力活动等任务时收集的神经或生理数据。虽然这些模型对于涉及静态操作员的场景可能有用，但它们可能不适用于作业者在涉及体力活动等因素影响的实际动态任务情境。例如，目前主流的脑力疲劳诱发方式有睡眠剥夺和持续认知任务两种形式。其中，睡眠剥夺实验范式组织较为简单，要求受试者在规定的时间内保持清醒状态。张朋等[10]采用了36 h睡眠剥夺成功诱发出受试者的脑力疲劳状态，受试者每4 h进行一次主观问卷填写和EEG信号采集。而连续认知任务负荷诱导脑力疲劳的方法常有N-back任务、Stroop任务、多重任务、模拟任务负荷等范式。例如，WRIESSNEGGER等[12]为了让参与者精疲力尽，以引出一个脑力工作负荷和脑力疲劳，参与者被要求执行3个试次(每次20 min，共60 min)的不同难度的N-back任务(1-back、2-back和3-back)。KARTHIKEYAN等[5]在研究阳极经颅直流电刺激对疲劳状态时工作记忆的影响时，使用了1 h的视觉空间2-back工作记忆任务。而60 min改良Stroop色词任务也可以诱发脑力疲劳[30]。ALBUQUERQUE等[11]则要求受试者同时执行三种任务(系统监控、跟踪和资源管理)来引出不同的负荷水平。PAN等[4]让受试者在执行飞行模拟器任务期间(基本飞行操作，6 h/d)，利用可穿戴式无线生理设备获取1 440份有效的ECG样本，进一步提取了能够反映飞行员疲劳状态的特征指标。由此可见，目前大部分研究设计的脑力负荷模拟方法主要是基于参与者执行不涉及体力活动、应激等因素的任务过程中收集的生理数据，不适用于操作者在动态任务背景下脑力负荷的评估研究。

3.2 实际工作场景中脑力任务研究设计的对策

以认知负荷为主的实际脑力工作场景时常伴随着体力、应激、压力等认知之外因素的作用，同样会改变生物信号的特征[31-32]。目前，研究者已开始探索在进行认知任务时增加体力活动、应激等因素对生理心理功能的影响。研究已经证实，认知任务和体力活动、应激水平等因素之间存在交互作用。例如，ALBUQUERQUE等[11]通过跑步机和自行车骑行的形式设计了三种不同的体力活动水平，量表结果显示，随着体力活动水平的增加，有较高比例的受试者将心理需求维度评分增加。而ZINK等[33]研究结果显示，当受试者在不受约束的环境下进行体力活动时，P300成分减少，这表明自由骑行模式导致的认知负荷增加和感知到的任务难度之间存在相互作用。CHATAIN等[34]研究发现，随着认知任务负荷的增加，受试者完成股四头肌等长收缩任务的耐力时间变短、肌电自主激活水平下降，交感神经活性增大，肌肉用力感增大。轻度应激也可能改变神经生理的复杂性。BLONS等[35]参与者被要求在有和没有附加的压力源条件下执行一项认知任务，并记录心率动力学。在单独的认知任务中，受试者的迷走神经和熵指标中都提高；在加入压力因素时，焦虑反应者HRV的熵指标则下降。程珊等[36]为了在地面模拟真实的飞行任务负荷，设置了一个包含体力活动的多重认知任务负荷，结果验证在4 h持续模拟飞行任务负荷下，被试重心晃动范围等指标显著增大，并构建了有效的评模型。由此可见，实际工作场景中是动态的，应该从不同生理与认知模式互补角度，考虑动态任务状态下脑力工作负荷监测问题。

4 实际工作场景中脑力负荷状态识别模型的构建

4.1 目前脑力负荷评估模型构建方法及问题

EEG信号检测作业人员疲劳状态的关键是研究能够有效反映大脑警觉性的特征提取和识别方法。张朋等[10]基于EEG的δ、θ、α与β节律波指标，通过方差分析和logistic回归筛选出敏感特征后，构建了随机森林回归模型(random forest，RF)；研究者将数据分为两组，分别用于训练和测试，平均识别精确率高达85.25%；受试者工作特征曲线(receiver operating characteristic curve，ROC)结果表明，识别严重疲劳状态时的ROC曲线下面积值(area under the curve，AUC)最大(0.892)，代表其敏感性最强。其他的建模方法还有粗糙集离散化算法[14]、深度总和-对数-多项混合算法[37]等。与EEG信号建模方法类似，ECG信号的处理一般也经过提取和识别的过程。例如，PAN等[4]采用学习向量量化算法(learning vector quantization，LVQ)对疲劳状态进行识别(无、轻度、疲劳)，其准确度分别为82%、78%、85%；而LVQ平均准确率达到81.94%，比反向传播神经网络和支持向量机算法分别提高了12.84%和9.02%。XU等[29]利用RF分类器构建的模型对脑疲劳状态识别准确率达到96.54%。课题组前期基于不同疲劳状态下变化显著的姿势控制参数，而后采用主成分分析法分别构建了脑力疲劳评估模型[22-23]，任务负荷评估模型[38]和体力负荷评估模型[23，39]。由此可见，虽然不同研究涉及不同的机器学习和深度学习技术进行疲劳特征的提取和识别，但主要基于同一实验数据库下的不同数据集对构建模型进行训练和测试，可能影响实践中不同数据库中应用效果。

4.2 实际工作背景下脑力负荷评估研究设想

基于前文综述可知，实际工作场景下脑力工作者的生理心理状态受到多种因素的影响，例如认知负荷、体力负荷、应激状态等。因此，实际任务背景下脑力负荷评估技术不仅涉及不同的生理心理维度，同时考虑多种因素的影响。一方面，研究者已经开始采用多种生理指标评估操作者的脑力疲劳状态。RAMREZ-MORENO等[6]的研究虽然同时采集了多种生物信号(EEG、PPG、GSR、ST)，但采用多元线性归构建脑力疲劳模型时，仅采用了1 min的EEG数据的3个特征，准确率为88%；他还指出，在EEG特征外，增加其他生理特征有助于提高模型的准确性，并为疲劳评估提供更好的见解。LIU等[40]基于EEG信号和眼电图中提取的多个特征，采用快速支持向量机算法来识别疲劳驾驶状态。基于识别结果，研究者还设计了一种基于物联网技术的疲劳驾驶预警系统。GÜNDDU等[41]基于EEG、GSR、HRV和眼动追踪数据，证实了数据融合的分析方式在精神疲劳和压力评估中可以发挥不同的作用。另一方面，研究者也探索了非认知因素影响下脑力负荷的评估技术。例如，ALBUQUERQUE等[11]在三种不同的体力活动水平下进行多重任务(系统监控、跟踪和资源管理)，利用RF构建的疲劳评估模型结果显示，加入体力活动影响因素时，基于EEG识别模型的AUC值较大，而血容量脉搏指标(blood volume pulse，BVP)的效果最差；同时，基于EEG、ST、GSR和BVP四种特征的二分类脑力负荷方法，AUC平均值在0.995以上，表明同时使用多种模式进行脑力负荷评估可能是设计可靠系统的关键。由此可见，虽然已有研究尝试采用多种模态信号识别疲劳状态，但在体力负荷、应激等因素影响下的多模态信号构建疲劳识别模型中的作用尚不清楚。

5 结束语

在航空等涉及生产和生命安全的特殊领域，脑力工作负荷在线实时监测对于及时识别疲劳状态、有效采取必要干预措施和阻止重大生产安全事故具有重要现实意义。由于主观工作负荷评估法会干扰主要任务且时间分辨率较低，而具有高的时间分辨率的生物学信号可以通过可穿戴设备实时获取，适用于实际的工作场景。因此，便携式的可穿戴生理信号测量技术则成为在实践工作场景中实现脑力工作负荷实时在线监测的关键。

通过文献回顾，我们了解到脑力负荷的测量技术、任务负荷的设计及评估模型的构建都应该从实际工作场景出发。而实际工作场景中脑力负荷的实时监测受到多种复杂因素的影响，其中实际工作场景中脑力负荷评估的关键问题是实际工作场景中体力、应激、压力等因素等非认知因素对脑力疲劳识别的影响。基于此关键科学问题，未来研究应重点解决以下三个问题：①实际工作场景中由于身体活动等因素的影响，故未来研究应该开发并完善便携式、小型化及可穿戴式的生物信号采集与分析技术，便于在实际动态任务场景中应用；②目前主流研究主要通过认知任务、睡眠剥夺等诱发单纯的脑力负荷，忽视了实际工作场景中体力负荷等其他因素的影响。未来研究应该从不同神经和生理模式之间的互补角度，考虑实际工作场景下脑力工作负荷实时监测问题；③脑力工作负荷对作业者的影响涉及大脑活动、自主神经活动、眼球运动与姿态控制等多个维度的改变，故应该重点考虑实际任务背景下的多层次不同模态数据融合评价脑力疲劳的方法。