认知负荷超载场景下人机协同与信任的有效性评测模式——以飞行员应急条件下的认知场景为例

喻国明,杨 雅,修利超,程思琪,郭婧一,刘彧晗,苏健威

(1.北京师范大学 新闻传播学院;2.北京师范大学 认知神经传播学实验室,北京 100875;3.暨南大学 新闻与传播学院,广东 广州 510632;4.北京师范大学 认知神经科学与学习国家重点实验室、IDG/麦戈文脑科学研究院,北京 100875)

一、问题的提出:智能化自动化辅助技术和装备的广泛应用

近年来,随着智能化自动化辅助技术、装备和人机协同实践的发展,飞行员应急状态下的人机协同决策效度和准确度成为亟待研究的议题,飞行员在应急状态下的认知、脑荷准确评估和实时监测,成为评估决策信度和效度的基础。

应急状态作为一种动态场景,与飞行员执行任务中经历的主观认知过程和客观突发事件密切相关。实践中,飞行员收到来自驾驶舱内外的大量信息,尤其需要在应急条件下对实时态势进行快速、精准分析,做出正确决策。任务执行过程中飞行员的认知过载、事故征候、旋转、中枢疲劳、睡眠剥夺、低氧以及失重负压等因素也会影响其对应急事件的决策处理,甚至导致原本能够正常执行的任务变为应急事件。相较其他静态情境,飞行员所面对的应急条件具有复杂、不确定性、动态演化特性,传统基于“预测—应对”的应急决策范式难以处置更为复杂、非线性的动态应急场景。因此,针对应急条件进行实时监测和追踪、及时识别和分级应对,并依据应急条件的发生和演变过程为飞行员提供动态的人机协同决策方案,成为当下非常有必要的研究议题。

为此,本项研究探究可对应急条件进行实时研判的定级管理模型,以及人机协同决策的自动化分级模式,基于“应急条件监测和定级—飞行员认知脑荷状态实时评估—人机协同决策模式定级—控制风险、优化决策、保证任务完成”的思路,提出更具动态性、针对性、适应复杂非线性应急场景的人机协同决策方案。

具体来说:其一,应急条件监测和定级,以及飞行员认知脑荷状态的实时评估。飞行员遭遇何种应急场景,对应场景中的认知状态和心理行为特征。通过构建应急场景、认知状态、心理行为的系统模型,提供有针对性的解决方案。其二,人机协同决策模式定级,如何实施飞行员认知与决策的干预和培训,如何提升应急反应能力,人机交互界面需要提供何种支持,以此确定应急场景支持系统基本的功能和可供性的范围,基于人机交互设计原则与降低认知复杂度原则对应急场景支持系统进行设计,并设计出有针对性的飞行员面对应急状态的训练方案。其三,控制风险、优化决策、保证任务完成。锁定应急场景支持系统和训练方案中的关键性指标,进行针对性的脑电和眼动等实验研究,为策略模型和系统做出实证支持。最后,本项研究将提交关于飞行员训练方案、认知状态评估、应急场景和决策评估等关键指标测量的研究报告。

二、现阶段国内外研究现状及主要差距

(一)关于应急条件的分级研究

应急条件下要求及时风险分级、精准评价动态风险,准确做出决策。应急条件主要指通过相关指标计算测评,为风险赋予不同重要等级,并据此提供不同等级的应对措施。应急状态下飞行员通常会面对三个压力源:时间压力、模糊信息压力、认知和情绪压力。

从分级指标来看,主要分为客观和主观属性的指标。客观属性层面指标包括:损失后果、[1]紧急条件、[2]波及范围、[3]公众责难[4]等。主观能力层面的指标包括,应急状态的感知严重性、感知发生率等[5]。

从研究方法来看,主要包括数学模型法和标准分级法。数学模型法根据环境的客观指标建立风险函数,运用多因素数学模型进行风险分级。标准分级法则依据国家标准、法规、规范等,直接进行风险分析和判断,划分风险级。目前在飞行员应急条件下应用最广泛的是军用标准(MIL-STD-882)提供的标准分级法,即在对飞行员状态分析的基础上,识别其感知危险度和感知严重度,通过矩阵组合实现风险分级目的。

综上,既有研究存在两个不足:第一,既有研究很少将行动者的主观能力作为应急条件分级指标纳入考虑,缺少对行动者个体状态的认知层面的考察,即飞行员的脑力负荷是否超载、认知层面的感知控制力是否足够等。第二,研究方法之间的割裂,缺乏融合的多模态监测和评估模型。既有研究或者仅采用客观属性作为函数指标建模计算,或者采用自我报告的方式调查行动者感知进行标准界定,尝试采用融合多模态的脑电生理测量方式对飞行员的认知状态进行测量,并将其作为分级指标纳入函数模型分析,成为留给本项研究探索的研究空白。

(二)人机协同决策的评估研究

传统意义上,决策质量主要取决于人类决策者的认知加工能力。然而,技术装备的更新,使得智能体越来越多被赋予决策者职能,以减轻人的认知负荷、促进决策优化,人机协同决策概念出现。[6]本项研究的人机协同决策主要指的是飞行员与装备自动化系统之间的协同决策,可以从三个视角维度,即组织视角、关系视角和交互视角进行探究。其中,组织视角指向人机的任务分配,关系视角指向人机的接受度和信任度,交互视角则指向人机在物理和心智界面上双向干预的沟通设计(见下页图1)。

图1 人机协同决策研究的研究视角

实际应用显示,人机协同决策仍处在“人具有绝对主导权”的低自动化阶段,[7]即自动化系统可以为飞行员提供方案建议,再由飞行员选择接受、否决或在自动化决策方案基础上手动修改,更高层次的自动化决策方式尚未推行。

当前人机协同决策尚处于低层次阶段,主要有两个原因:第一,未厘清人机协同中二者主导/辅助的角色转变问题。例如,人类决策者倾向于实时情境下的理解分析,而人工智能仅能通过算法预设来分析,何时人类决策者应将决策权力移交给智能体,如何使自动化决策程度与具体问题情境适配。[6]第二,未厘清人机协同中二者分工领域的问题。例如,在人类生命等道德推理领域使用无监督智能体决策,[8]有可能导致自动化决策出现反效果,诱发道德价值冲突,降低决策绩效适应性和问责性。当前,自动化框架水平将人机决策划分为辅助决策、半自动决策、自动决策等层次,[9]明确了具有独立功能的自动化水平和人类对应参与的程度和过程、理论化了人机协同决策的人机角色与决策权重层级,使每个决策都可由人类和介入程度不同的智能体依据具体场景达成,该框架可为解决人机协同决策的分级厘清提供思路。

(三)关于脑力负荷的监测评价研究

脑力负荷的测量评估。脑力负荷是指个体心理处理能力或资源数量与任务所需数量之间的感知关系,[10]近年来也涌现出很多测量工具。从业界来看,波音公司实施了许多不同的脑力负荷测量方法,如主观评价法、生理测量法、时间序列分析等,实践证明时间序列分析法效度最高。NASA-TLX量表也是较为广泛运用的脑力负荷测量工具。当然,基于不同单一测量指标的综合评估模型的测量效果更好,结合NASA-TLX、正确探测率、心率变异性的时域指标(SDNN)以及ERP指标(如P3a)等,建立多模态、多维度综合模型,评估飞行员在应急任务中的脑荷准确率最高。[11]

脑力负荷的影响因素研究。以往少有研究直接探讨影响飞行员脑荷的因素,但是飞行任务中特别是应急条件下人的因素,包括操作人员认知状态、工作环境、设备和协同之间的相互作用等开始备受重视。基于此,减少人为错误的方法是研究人(身体和心灵)、人和技术,以及工作环境之间的关系,包括情境意识、决策过程和总负荷。进一步,总负荷脑力负荷可以解析为任务负荷、工作负荷、脑力负荷、信息负荷、沟通负荷五个负荷源的建模,[12]这一视角实际上也是考虑到了飞行员在做决策时所受到的多方因素影响。

脑力负荷与决策准确率的相关关系研究。飞行员需要在短时间内处理大量信息,协同完成多项任务,脑力负荷状态对任务绩效有直接影响,如过低负荷导致飞行员情境意识丧失,超高负荷造成飞行员遗漏关键信息。[13]任务需求、绩效和脑荷之间存在一个“倒U”模型,[14]分为六种状态:过载任务需求、高任务需求、过低任务需求、最优任务需求、状态相关性努力、任务相关性努力。脑荷的警戒线在最优任务需求区与状态相关性努力、任务相关性努力的临界处,此时虽然通过增加额外的努力也能维持最优的绩效,但是长时间作业会增加人员的压力,不利于作业人员的健康状态。整体来看,围绕脑荷虽然已有很多研究成果,但是关于应急条件下的脑力负荷的文献还很少,也缺乏关于人机协同任务下影响脑力负荷的相关因素的深入讨论。

三、本项研究的创新性

本项研究综合采用认知神经科学、决策心理学、传播学、人因等多学科理论、模型与研究方法,研究应急条件下基于飞行员认知状态的人机协同决策方法,探索决策过程中认知机制、脑力负荷的多模态生理参数和非线性变化,分析人机协同决策中各因素的作用机制,进而开发出应急条件下优化脑力负荷、提高飞行员决策速度和正确率的训练系统。

第一,提高应急场景下脑力负荷识别率,综合运用认知神经科学测量手段弥补既有研究对飞行员脑力负荷识别率不高、指标单一的缺陷,综合脑电、多导、眼动等多模态生理参数融合的精准识别,把握不同应急情境下飞行员的脑力负荷和情绪感知,同时精准把握飞行员对待不同应急场景和协同方案的实时认知状态,建立量化的应急条件分级管理和决策优化系统。

第二,建立应急条件下人机协同决策训练模型,提出不同认知状态下优化应急场景的新思路。本项研究弥补既有协同决策模型准确率待提高、飞行员认知状态与决策非线性关系把握不明晰的缺陷,提出基于不同认知状态的风险识别、定级公式和快速决策训练模型,将飞行员脑力负荷值、注意力、视觉感知、情绪响应度等指标纳入风险识别定级公式和训练模型中。同时,归纳提出适配不同应急场景层级的自动化决策层级,在适当的应急场景支持系统中,拟考虑数字虚拟形象“飞行安全专家”,以提高人机协同的场景适配性和决策准确度,为创新飞行员应急状态下的人机协同系统功能支持提供新的视角。

(一)总体目标及任务分解

本项研究总体目标是在应急状态下,通过综合运用认知科学测量手段,实时监测飞行员的脑电、眼动等多模态生理指标数据,解析飞行员的认知状态、脑力负荷程度、视觉感知等,提升不同应急场景下飞行员的脑力负荷识别率;构建应急条件下人机协同决策模型,提升飞行员决策准确率;并依此研发应急条件下人机协同决策训练系统。

第一阶段:测量不同应急场景下的飞行员脑力负荷值与情绪响应程度,综合运用脑电、眼动等生理技术的组合,实现应急场景下脑力负荷识别率指标。完善应急条件定级公式,建立应急场景分级框架。

第二阶段:实验探索不同应急情境下有效的人机系统决策机制与决策绩效,进行认知状态和应急决策的相关性分析,建立人机协同决策的层次模式,实现应急条件下决策准确率提升。

第三阶段:结合模拟场景和实际场景,具体检验应急条件分级模式、认知状态监测模型和人机协同决策模式的有效性和可用性,并不断优化调整,最终建立可指导实践的层级式“场景—认知—协同决策”对应框架。

(二)研究方法

本项研究通过对飞行员的脑力负荷源进行测量,借助多种测量方法与技术如自评量表、表情语音识别、行为实验、脑电眼动生理实验等,形成对飞行员脑力负荷的评价维度指标体系。

1.多模态生理参数指标测量

多模态生理测量方法假设生理反应和任务相关,包括心率测量、眨眼测量、眼动测量、眼动电图(EOG)、瞳孔直径测量、脑电功率谱分析(EEG)、呼吸测量、事件相关脑电位(P300)和体液分析等。脑电、眼动、多导等生理实验法能通过识别脑电波、眼动轨迹和皮肤电肌电信号,客观捕捉生理数据,以实现对个体认知加工过程和情绪响应过程的客观、精确把握。由于个体本身及其执行任务过程中所具有的非线性、随机性和离散性等特征,对工作负荷进行定量建模分析较为困难。当前用于描述飞行员脑力负荷的模型有“倒U形”模型、Siegel-Wolf时间压力模型、Boeing时间序列分析方法、McCracken-Aldrich脑力负荷预测方法、时间线分析和预测负荷方法、廖建桥的时间压力模型等。本项研究在此基础上,拟开发飞行员多模态脑力负荷三维评价指标体系,涉及脑电生理信号、视觉捕捉、面部表情和语音识别。

2.模拟人机协同的行为实验法

人机交互和协同中存在三种行为模式。[15]第一层次,在进行作业时,飞行员处理熟练的事务常不加思考执行反射性动作,这是一种基于技能的行为(skill-based);第二层次,基于规则的行为(rule-based),为了实现特定目标,通过现有规则加以执行;第三层次,基于知识的行为(knowledge-based),从对外部状况的认知和解释出发,主观进行判断和决策,对照规则的要求后再移到技能行为层次。飞行员的决策行为过程包括感知阶段、认知阶段、决策阶段和行动阶段,决策模式包括解析性决策和直觉性决策,[16]据此可在模拟不同应急场景和决策场景,设置飞行决策行为实验,对特定场景下的决策模式和行为模式进行针对性的实验分析。

3.主观自评和他评法

主观自评法。通常使用问卷进行调查,并在多时段进行多次填写,通过两包和日志的结合,评定被试飞行员所处的工作负荷等级。当前主要的评价标准有SSS(Stanford Sleepiness Scale)、KSS(Karolinska Sleepiness Scale)和VAS(Visual Analog Scales),NASA-TLX(National Aeronautics and Space Administration-Task Load Index)、主观负荷评价技术SWAT、修正的库柏哈柏法MCH量表等。

主观他评法。通过录制实验视频,邀请相关专家根据飞行员的面部表情以及动作、姿势等行为,对被试飞行员的工作负荷等级进行评估。这一方法与其他生理信号综合评估,可以从评价角度获得较为客观的工作负荷等级。

4.模糊聚类分析法

模糊聚类分析是一种采用模糊数学语言对事物按一定的要求进行描述和分类的数学方法,可以根据应急条件分级指标来构造关于应急场景的模糊矩阵,并在此基础上根据一定的隶属度来确定聚类关系,即用模糊数学的方法把样本之间的模糊关系定量的确定,从而客观地划分类型。

四、本项研究的技术路线

(一)技术路线一:实时监测与高效识别飞行员的认知状态、脑力负荷

1.稳态条件下(非应急状态)飞行员认知状态和脑力负荷的实时监测

建立测量脑力负荷的指标模型和动态测量系统,参照图2的任务负荷模型。总负荷可分解为五项,其中脑力负荷是重要的组成部分。任务负荷受到机器界面和操作规则的影响;沟通负荷是指人员之间的通信状态,既受到天气情况影响,也取决于语言、文化规范和社会关系等人际沟通情况;信息负荷取决于真实的突发状况和情境复杂性等,可以从沟通表现中确定或从操作员的反应中评估。飞行员的行为、技能、知识、隐性知识、实践、身体状况和心理生理状况会影响其工作负荷和脑力负荷,脑力负荷在决策者的主观情况意识和决策中起着决定性作用。

图2 测量脑力负荷的Endsley指标模型[17]

2.应急条件下飞行员认知状态和脑力负荷的高效识别

在飞行员执行任务时,通过机舱摄像头、通话对讲系统和可穿戴生理指标检测系统对他们的面部表情、语音特征以及电生理指标进行实时监控,并结合每个检测维度的正常、紧张、紧急、危急四个分指标的应急状态进行即时评估。上述分维度中每项分数分别为0、1、2、3。根据不同分维度应急状态的加总,得到飞行员应急状态的综合等级划分。当飞行员的综合评分为0～1分时,为正常状态;当综合评分为2～3分时,为紧张状态;当综合评分为4～5分时,标记为紧急状态;当评分为6～9分时,则为危急状态。塔台或地面指挥需要根据飞行员实时的综合指标状况进行不同程度干预和管控。

3.脑力负荷和应急决策正确率的相关分析

通过一系列现场模拟实验,找到脑力负荷与人机协同决策正确率的平衡点,将脑力负荷由低到高分为数级,分别去测量决策正确率,分析二者之间的非线性关系,确定脑力负荷和决策正确率的最优指标,参考图3的认知负荷与工作绩效的相关曲线图。

图3 De Waard认知负荷与工作绩效的曲线图[18]

(二)技术路线二:构建应急状态和人机协同决策的识别和分级模型

1.确定应急状态的表征与分级

第一,搭建用于应急条件分级理论指标体系,包括对飞行员应急认知状态指标的细化提取和事件客观属性的识别。认知指标层面,分为脑力负荷及执行控制力两个维度。其中,脑力负荷指飞行员心理负荷、任务负荷、工作负荷、沟通负荷、信息负荷等层面;执行控制力指飞行员感知的心理可控度、任务可控度、结果可控度、沟通可控度、信息可控度等层面。客观指标层面,可分为波及程度、损失程度、频繁程度三个指标。

第二,实际场景中识别提取指标精确数据。采取自评他评、深度访谈等研究方法结合认知神经科学等新兴测量工具,识别应急场景中飞行员脑力负荷、执行控制力以及事件客观属性,在实际场景中分别提取各指标数据。提炼代表各类应急场景的抽象表征,确立应急条件的分类,总结提炼不同应急条件下的指标群,如模糊性、复杂性、时间压力程度等。结合应急程度(如低、中、高)等,交叉形成应急条件分类(如正常、紧张、紧急、危急),便于飞行员在应对实际任务时有相应应急条件类型参考。

第三,确定指标权重关系并建立分级系统。采取系统科学中层级分析、模糊聚类等研究方法,先对指标重要度权重进行赋值,利用熵权法对指标权重修正分析,提高权重值精确度,并利用模糊综合评判方法和模糊聚类分析方法参照指标权重对应急场景聚类分析、评级,验证关系,最后利用耦合度模型计算修正指标耦合关系程度,最终确立应急场景风险值的函数公式,划定分级阈值,定量得到应急场景的分级系统模式。

2.基于人机角色的人机协同决策分级研究

人机协同决策分级的目标是使智能体能更好改善飞行员在决策中的不良行为,使协同程度更符合分级情境。

第一,探索飞行员在应急决策中的认知和行为局限。采取行为实验、问卷调查等社会科学研究方法,在应急情境中评估飞行员的认知和行为局限。从认知资源有限理论和个体有限理性的视角,通过脑电、眼动、行为等实验探究飞行员在面对应急情境时认知上可能产生的可得性偏差和锚定效应局限,在情绪上可能产生的情绪压力局限和道德决策困境,以及由此造成的行为偏差(见下页图4),据此归纳飞行员在不同应急条件层级下所展现的认知和行为局限程度和偏向。

图4 应急决策中个体认知和行为局限表现[6]

第二,探索智能体解决人类认知和行为局限的有效方案。人机协同中失误的产生因素可能分为五个类别,其中,40%的动作失误与贮存失败有关,是指遗忘或不正确回忆有关意图和动作;20%的动作失误是检验失败,是指有关一个既定序列的进展情况在关键环节没有得到充分检验;18%的动作失误是子程序失败,涉及到动作序列中各单独元素的兼容、省略、重新排序等;11%和5%是辨别失败和程序组织失败,前者是指区分或辨别目标时发生的错误,而后者是由不恰当的动作组合引起的。[19]

本项研究组通过对飞行员的可能行为失误的特征进行分类,有助于本项研究后期针对行为决策失误进行针对性的提升训练与人机功能支持。采用行为实验等方法,从任务分配、关系建立、交互界面设计三个方面深入探究智能体解决人类认知和行为局限的方法。例如,任务分配方面,探索不同任务性质及不同的人机角色对于协同决策绩效的影响,可能解决人类在面对何种情境时倾向于将任务主导权交付给智能体,智能体在何种条件时接管任务更能提高决策绩效等问题;关系建立方面,探索极端应急场景下飞行员对智能体的信任和依赖程度变化,以优化人机关系协同;交互界面方面,探索不同物质界面(视觉交互、听觉交互)对决策绩效的影响,可能解决智能体开发和设计方面的适用问题。

第三,搭建人机协同决策分级模型。依据人类认知和行为局限及智能体解决方案,首先将人类认知行为局限按照局限程度分级,再为其赋予不同的智能体协助方式,完成人机协同决策分级模型的理论框架搭建,以便于人机协同决策系统依据应急情境动态选择分级决策模式。例如,分级模型可以依据实验结果为协同程度定级,划定清楚人机角色定位与标准(-2级代表完全自动化,2代表完全人为化),见表1。在应急场景中,如果人类决策者否决了系统提供的方案并对决策要素进行调整,那么系统将自动调整决策等级,以有效降低操控员的工作负载,动态适配应急情境,提高决策绩效。

表1 人机协同决策分级框架参考[7]

表2 不同应急脑力负荷下的指挥干预水平与措施

第四,检验人机协同决策分级模型有效性。依照分级框架,在分级情境中实际应用检验,以明晰框架缺陷,修正框架,服务于决策系统建立。

(三)技术路线三:构建应急状态下人机协同决策干预和训练策略系统

提出优化脑力负荷和决策正确率的技术手段和训练方法。干预训练系统由以下四部分组成:(1)即时训练:应急条件下脑力负荷发生变化时的即时调控措施。(2)短期训练:短期认知能力优化手段,如执行任务前的经颅直流电刺激(tDCS)等。(3)中期训练:GOMS击键层模型训练人机协同决策的反应时间。(4)长期训练:日常状态下改善脑力负荷与认知决策的训练系统。

1.即时干预:应急条件下的干预

即时干预以前文提出的脑力负荷三维评价指标体系为基础,形成实时监控的动态测评与干预系统。该系统对执行紧急任务训练的飞行员进行全程、实时监控。监控过程中,针对飞行员所表现出的四种综合性应急反应状态,塔台指挥与地面指挥应进行不同程度的干预,通过对飞行员状态与指挥者干预之间的配合进行一一匹配和试验,从而找到适合飞行员在不同应急状态时的最优干预手段,从而提高飞行员应急环境下的决策正确率。

在实战中,对飞行员应急状态下的三维脑力负荷指标进行实时监测与监控,为减少飞行员在执行任务过程中的认知负荷,该指标的实时数据仅线下指挥人员处显示,当飞行员实时综合指标分数达到2～9分时,地面指挥中心应及时对其进行相应水平的干预,从而确保飞行员在空紧急任务执行过程中的安全、决策正确率的提高以及任务的顺利完成。值得注意的是,线下指挥官干预前应及时与执行应急任务的飞行员进行迅速沟通,从而确保干预的必要性和有效性。

2.短期干预:认知能力的预先优化

经颅直流电刺激(transcranial direct current stimulation, tDCS)是一种利用恒定的、低强度直流电流非侵入性地调节大脑皮质神经元活动的技术。一方面,tDCS技术可以通过刺激大脑皮质来快速提升被试飞行员的工作记忆能力,如视觉空间工作记忆能力、[20][21]工作记忆容量[22]等。通过联合训练发现,该技术对飞行员在模拟航空监控任务的心理不应期效应、视觉工作记忆任务中均有积极促进作用,这为飞行员人员选拔与驾驶舱模拟和实战训练提供借鉴与参考。另一方面,tDCS与行为训练相结合的实训模式能够有效改善飞行员个体任务转换训练前期的训练效果。此外,tDCS对于情绪加工也有积极作用。tDCS对情绪加工中飞行员大脑静态特质和动态功能具有一定的调节作用,可以增强情绪加工的注意力、显著改善低氧环境(常压低氧舱模拟3700m)下被试的情绪状况,并能持续6h以上;可以提高人脑警觉度(目前仅在2h内有效)、提高脑血氧饱和度,改善人体疲劳状态等。

3.中期干预:人机协同决策反应时间的干预

GOMS击键层模型给出了人机交互完成一项任务的典型时间,是系统完成该任务的各个串行的基本操作所需时间的总和。对图形界面进行GOMS击键层分析,计算出完成一个确切的任务所需的操作时间,是进行人机协同界面量化的有效方法,[23]如表3所示。

表3 GOMS基本操作的典型时间表[24]

在GOMS模型基础上可以进行界面效率测试,即确认飞行员在给定的界面需要多长时间来完成一个确切的任务。采取信息学的方法,确定完成任务需要提供的信息量的最小值,合理地估计完成某任务使用界面的最短时间。本项研究组将根据GOMS击键层模型对各项人机交互任务进行任务标准值的估算,一方面可以最大效度地实现应急场景功能支持系统的逻辑简化,另一方面也可以作为实验中飞行员人机协调程度表现的最佳标准。

4.长期干预:认知能力的日常训练

正念是一种对注意的控制,正念水平高的个体可以把注意力集中在当下的目标刺激当中,包括对注意的自我控制、对个体经验的导向。正念能够影响飞行员的情境意识、注意与记忆。[25]在高负荷的工作环境中,能够有效调节飞行员的压力与焦虑情绪减少飞行事故的发生。研究表明,通过有规律的正念训练可以提高飞行员的情境意识水平。[26]较高水平的正念能够使飞行员的注意力更加集中和灵活,从而降低危险行为发生的概率。[27]

由此,本项研究提出技术路线图,如图5。

图5 本项研究技术路线图

五、本项研究的实验手段

(一)多模态认知生理实验手段

1.生理信号监测法

当飞行员产生脑力负荷时,其各项生理指标都会出现偏离正常状态的现象,因此,通过实时监控飞行员生理信号变化可作为认知状态识别的有效方法。目前常用的检测方法主要包括肌电信号(EMG)、心电信号(ECG)、脑电信号(EEG/ERP)、脉搏信号等。

脑电波的节律能够指示被试的脑负荷程度。随着工作负荷的不断增加,EEG信号中δ波和θ波会随之增加,而α波和β波则会降低。[28]

肌肉负荷作为影响脑力负荷的成分之一,可以通过肌电信号进行客观测量。对肌电信号进行时频域分析和非线性分析,得到肌电信号的积分值(iEMG)、平均肌电值(AEMG)和均方根值(RMS)等指标,[29]部分表征被试飞行员的脑力负荷状况。

心电信号指标包括心率(Heartrate, HR)和心率变异性(Heart Rate Variability, HRV)。心率作为一个整体性指标,可以反映个体心理生理的整体负荷程度;心率变异性指正常人体的每次心跳间存在的微小差异,与工作负荷程度显著相关,[30]更能体现飞行员的脑力负荷状况。

呼吸频率和肺活量与个体的负荷状况之间存在相关性。当飞行员产生一定负荷状态时,其呼吸频率和肺活量都会降低。由此,呼吸频率也可以作为脑荷状态的评价指标的一环。

本项研究拟通过专业可穿戴设备对飞行员的脑电信号、肌电信号、心电信号以及呼吸频率等生理指标进行实时测量,针对其在任务执行的不同阶段所感知到的脑荷程度以及其生理指标进行整合性分析,对生理指标所代表的不同脑力负荷状态进行阈限设定,从而将生理指标所代表的应急状态进行分级。

2.语音分析监测法

脑力负荷同时具有心理和生理上的复杂性,当人体产生一定程度负荷时会在语音上有所体现。有研究对于国外轰炸机机组的男性飞行员开展工作负荷检测实验,发现被试飞行员在经过30多小时的持续作业后,语音信号的时长、基音频率都随工作负荷程度的增加而更明显。语音分析方法具有较强的便利性和即时性,国内科研团队TrAdaBoost前沿算法的提出,相比基于传统机器学习的工作负荷程度检测方法,结果更为准确可靠。在此基础上对飞行员在执行任务时的声音信号进行语料库扩充式收集,并针对不同个体音色差异进行区分。借助机器学习、深度学习算法的特征参数,[31]对飞行员在执行任务时的语音复诵变化及其对应的应急状态进行识别,从而获得基于语音特征的应急状态分级。

(3)面部表情识别

面部表情识别,通过广泛收集飞行员多种任务执行过程中面部表情的变化,对其展现出不同表情时的图像进行自评和他评,从而获得关于不同类型表情的综合性评价数据库。根据数据库中图像的评价结果,进行基于飞行员表情的应急状态分级,分别为表情正常、紧张、紧急、危急四类。

(二)综合运用行为实验法

1.认知偏差行为实验

运用认知偏差行为范式,对飞行员在应急情境下的认知局限进行有效把握,如认知盲点、注意偏向、从众效应、锚定效应等,更准确把握飞行员可能出现的认知局限类别和程度,方便优化人机协同决策模型。其中,注意偏向行为实验中可运用点探测范式和视觉搜索范式,探究飞行员在应急场景中的注意偏向,分析其对不同危险刺激物或操作程序的识别程度,探究其注意定向的方向及速度快慢,明晰飞行员认知偏向的局限并加以干预训练。

2.博弈行为实验

运用博弈相关行为实验范式,如最后通牒博弈范式、爱荷华博弈范式等,探究飞行员个人决策的认知行为局限。例如,设计实验要求一名提议者向另一名响应者提出一种人机决策权分配资源的方案,如果响应者同意这一方案,则按照这种方案进行资源分配;如果回应者拒绝这一方案,则两人均不会获得任何收益。

六、本项研究所要实现的关键技术

第一,飞行员认知状态实时监测技术,多模态生理参数信息融合技术。

第二,构建应急条件下飞行员多模态认知状态模型,探索突发事件下飞行员认知状态模型非线性变化。

第三,飞行员认知状态与应急决策相关分析,分析脑电、眼动等指标数据,构建注意力、认知负荷、视觉感知与应急决策的相关性模型。

第四,应急条件下人机协同决策策略和干预训练技术,构建分级应急条件下的认知状态与人机协同决策模型。