基于任务情境的飞行员合作交流能力测评方法

汪磊，蔡艺伟，张梦茜，谭维，陈金涛，刘莎

(1.中国民航大学安全科学与工程学院，天津 300300； 2.中国国际航空公司天津分公司，天津 300300)

1 引言

民航事故统计表明，60%以上的飞行事故是由机组因素导致，而其中机组沟通协调问题是造成机组资源管理失效的主要原因之一[1-2]。同时随着飞机驾驶舱自动化程度的提升，对飞行员技能的要求由手动操作向监控管理转变。加之信息化时代的来临，信息的传递及接收成为驾驶舱主要的工作环节，因此合作交流能力是适应新时代飞行任务不可或缺的能力，对合作交流能力的测评也成为飞行员能力测评体系中必不可少的维度。欧盟法规、国际航协的飞行员资质测试和国际民航组织(ICAO)定义的飞行员9项必备能力中[3]，都强调了对飞行员的合作和交流能力的要求，同时对提升飞行员沟通与合作技能提出重点关注度。

目前，国内外对飞行员基本认知能力测试的研究较多，如欧洲航空安全局(EASA)开发的飞行员选拔系统(Global Pilot Selection System，GPSS)、飞行员能力测试系统(Pilot Aptitude Testing System，PAT)、我国空军军医大学研发的军方飞行员选拔系统等，均可对飞行员的空间感知、数字推理、注意力、决策力、判断力、工作记忆等基本认知能力进行测评，但是目前针对民航飞行员合作交流能力测评的研究较少。由于合作过程和交流过程均为非线性的序列活动，使得飞行员的合作交流能力通常被视为难以测量的能力[4]，并且已有的测评方式也多为问卷调查，主观性较大且脱离飞行员工作状态，难以反映其任务情境下的实际能力，因此可应用的飞行员合作交流能力测评工具领域尚是空白。

为了解决上述飞行合作交流能力测评方式偏离实际情境、不符合智能驾驶舱工作特点以及难以适应飞行员任务角色由操纵转弯为监控的问题，本研究拟在已有的针对其他领域的合作交流能力测评系统的基础上，引入飞行任务情境，提出一种基于任务情境的飞行员合作与交流能力测评方法，实现在任务情境中对飞行员合作交流能力水平的准确评估、动态监控及发展预测，从而实现更加高效、更加有针对性的训练，提高机组资源管理能力和飞行安全水平。本研究整体路线图如图1。

图1 飞行员合作交流能力测评研究思路

首先开展合作与交流能力的理论研究，再对飞行员合作和交流能力的测评方法以及计分方法分别进行设计，最后进行实验验证并提出进一步改进方案。

2 理论研究

2.1 合作能力测量

所谓团队协作能力，是指作为一个团队成员，通过与其他团队成员共享资源和协作，相互沟通、相互帮助并努力融入团队，最终使得整个团队圆满完成任务的一种能力。李海军等人[5]开发“飞行员团队协作能力测试系统”,采用模拟真实场景进行实验，由被试与模拟的队友共同操作一架飞机,通过协作任务的绩效反应团队协作配合能力；胡文东等人[6]研制开发了“三维运动控制协作任务”、“围堵协作任务”等测试,充分综合的时间、运动、操作等因素,根据相应指标计算团队任务绩效；俄罗斯航天员在训练的过程中也采用“仪表任务”训练团队协作配合；惠铎铎[7]等人根据对飞行任务以及飞行人员性格的研发了一套飞行团队协作能力测试系统，测试过程中，被试通过摇杆控制自己的受控球以配合团队其他成员完成任务。也有部分学者通过调查法收集研究对象的各种材料，进行综合分析并得到某种结论，但它一般不强调个体间相互的比较,不侧重对个体在群体中所处的位置进行判别[8]。

目前，针对合作能力的测评多应用于教育领域，而部分有关民航领域合作能力的研究多采用问卷的方法，主观性较强且受外界不确定性因素影响较大。李海军[5]、惠铎铎[7]等人研发的飞行团队协作能力测试系统，主要适用于团队整体合作能力的测评，难以区分飞行员个人稳定的基础合作能力，并且测试过程采用控制摇杆或模拟飞行的方式，不便于测试的普及和开展。

在上述研究的基础上，为更真实的反映飞行员工作状态下的合作能力，本测试结合飞行任务设定特殊情境；为剔除人-人协作的不确定性，测试采用会话代理的人机交互模式[9]；为减少语言能力差异带来的残差，测试采用对话选择的互动方式；为优化题目结构，测试基于PISA2015协作问题解决框架，从12个维度对飞行员合作能力进行测评。最后参考项目反应理论(Item Response Theory,简称IRT)[10]，根据路径节点选择的差异，通过多元计分的方式对被试合作能力进行评分，并通过系统输出测评结果。

在飞行员执飞过程中，合作能力主要用于解决特定任务情境下的问题。本研究采用PISA2015测评矩阵，以被试协作解决问题的能力反映其合作能力，见表1。

表1 PIAS2015协作问题解决框架矩阵

2.2 交流能力测量

沟通是团队成员传递信息，表达情感，交流思想的主要表现，一般认为，良好的沟通能力有助于冲突的解决，增强团队效能感等[11]。研究表明[12]在进近阶段发生了52%的沟通冲突，37%的飞机事故中涉及通信错误[13]。目前，交流能力的测评多应用于教育领域及医护人际沟通领域，针对民航业的研究较少，部分有关交流能力的测试有量表和试题测试两种。量表主要依靠飞行员自评或同事评价，主观性较强且易受多种不确定因素影响。试题测评应用最广泛的是第四军医大学DXC心理测评系统中的字对匹配测验，主要检测对词语的准确理解能力。但机组人员的交流是一个从信息理解到信息表达的互动过程，对信息的准确表述也是交流能力不可或缺的一部分。对语言能力的测评国际上有Cookie theft[14]和波士顿诊断性失语症测验[15](Boston Diagnostic Aphasia Examination，BDAE)等方法，主要应用与对脑损伤患者语言能力的测量,但其本质都是对被试语言表达、信息传递、准确描述能力的测量。

波士顿诊断性失语症测验是目前美国较为广泛使用的一种失语症诊断性测验，且该测验已制定出一套标准化的评分标准。因此，本文引入了波士顿失语症测验，并加入飞行场景，通过图片及文字提问的方式呈现问题，从语义内容、词汇内容和句法复杂性三个维度，检测语义能力和产出能力,见表2。

表2 波士顿失语症测量指标及评分标准

3 实验设计

3.1 飞行员合作能力测评设计

3.1.1 测评指标

飞行员的合作能力主要应用于机长、副驾驶以及空中交通管制人员组成的团队中，由于各自的注意、认知、感受等不同，对待问题或任务的角度也不尽相同，因此团队成员之间需要额外的交互活动来缓解信息需求中的矛盾，通过各方进行协商以实现最优结果[16]。团队合作最必要的一个环节是建立共享情境意识(SSA)，即团队中的每个人保持相同程度的情境意识[17-18]，适当的SSA可通过执行交互过程形成团队认知[19-20]，团队成员则需主动交换产生团队认知所必须的信息。

结合飞行员进行团队合作所必须的信息共享、交互协商、完成任务三个关键环节，以及PISA2015协作式问题解决框架[21]，将合作能力的测量分为：建立和维和共识、采取适当的行动解决问题、建立和维护团队组织三个维度，提出观点并解释观点、修订/完善观点、同意/反对及证据、提问/追问、制定计划、任务分配、任务执行、监督提醒、进度把控、情感支持 10个具体指标，见表3。

表3 飞行员合作能力测评指标

3.1.2 测评流程

每个任务从开始至结束,由被试与会话代理进行多个回合的沟通、聊天与行动,这些回合组成一系列具体试题。每道试题都给出有限选项,考生通过选择来确定完成任务的路径,一个任务的结束点自然形成下一个任务的启动起点。每道试题都指向飞行员合作能力测评10个具体指标的其中一个。测评界面如下图所示，界面的上半部分为情境展示区，会显示此刻的飞行状态以及面临的飞行任务，界面的下半部分为被试答题区，在这里会根据情境内容显示问题及选项，由被试进行选择。测试包含显性试题和隐藏试题，显性试题指由会话代理开始飞行员被动参与的试题，隐性试题指在被试有沟通互动意愿时点击相应按键得到的试题，反应被试在合作任务中的主动参与度。通过被试输入的讨论结果反应其任务执行情况。

测试过程中，界面会显示动态情境，被试需参考情境变化(仪表显示)、飞机状态、故障情况、天气状况、机场距离等与会话代理进行讨论，并在有限的时间内选择出最佳降落机场。在讨论的过程中，仪表示数及各机场的天气状况会发生动态变化。本项目共包含4个主要任务场景，显性题目数量根据被试路径选择在5-10道不等，隐藏题目两道，隐藏对话最多可触发5次，被试可通过隐藏对话进行提醒、分配、鼓励、信息获取等，从而加快任务进度，提高选择的准确性，见图2。

图2 飞行员合作能力测评试题结构

3.1.3 结果统计

试题的每个选项均指向飞行员合作能力测评指标中的一个，通过专家访谈法，对不同的路径进行打分，如在会话代理1界面选择A则跳转到会话代理2界面进入第二题，选择B则跳转到会话代理3界面进入第二题，选择C则直接跳转到会话代理4界面并加2分。以此类推，根据被试路径节点选择的差异进行自动打分，与此同时，在测试过程中，包含显性试题和隐性试题，当被试想要主动询问、发言时刻点击此图标，即可能触发隐藏试题，该图标用来反应被试在此次讨论任务中的主动参与程度。最后，被试选择题目得分(包括显性试题与隐藏试题)与点击灯泡次数的和即为合作能力测评项目的总得分。

3.2 飞行员交流能力测评设计

3.2.1 测评指标

交流是合作的必要组成部分，也是团队互动、信息传递、问题协商必不可少的途径。飞行员的交流主要包括信息接收和信息传达两个流程，接收信息指对语言、仪表、文字的准确理解，信息的传递主要考察口头表达的有效信息，即传递的目标和计划等是否能帮助团队建立共享的心理模型和流动状态[22-23]。交流最重要的是将信息传达给接受者进行解释的真实度[24]，即语言表述的准确性，其中对语言能力的评估包括标准化语言评估和叙事话语评估[25]，结合波士顿失语症测验维度，对飞行员语言能力测评维度进行初步筛选，又通过飞行场景分析以及专家调研发现：有效表述、解释表述、流畅表述在驾驶舱对话中最为重要。并通过专家打分法得到各指标权重，其中，有效率为50%、准确率30%、解释率20%，见表4。

表4 飞行员交流能力测评指标

3.2.2 测评流程

飞行员交流能力测试的目的是检测飞行员个体语义能力和语言产出能力。本测试将展示4张飞行情境中的仪表图片(样例参见图3)，飞行员需对每一张图片的内容进行详细描述，并深入解读图片信息(如描述其飞行阶段、可能面临的情况、仪表示数产生的原因等)。在此过程中，要求被试尽量保持内容准确及语言流畅。最终统计每一张图片描述中的有效字数、正确字数和流畅字数。

图3 飞行员交流能力测评试题样例

样例题参考答案示例：图中共有三块仪表盘和一个起落架杆，由仪表盘示数可知飞机当前指示空速大约为211节，目标指示空速为200节，地速283节，气压基准为标准海平面气压，当前高度为19 530英尺，目标高度为10 000英尺，航向为265°，带有左坡度，并且以1 600 ft/min的下降率下降，未接通自动驾驶仪，未接通飞行指引，未接通自动油门，发动机N1转子转速为左发37.5%、右发37.5%，发动机排气温度EGT为531摄氏度，目前剩油12.2千磅，起落架在收上位置，由此可判断出飞机处于下降阶段，飞行速度较小。

3.2.3 结果统计

首先在设置关键字段，如第一题的有效表述中标记“目标速度(空速)200节；当前速度(空速、表速)是184在增加；马赫数是点501；真空速196；地速196；处于下降状态；速度偏小；下降率3150”等词语为有效信息；解释表述中设置“ 飞机处于下降状态；左发慢车/单发失效/一发失效/左侧发动机故障；速度偏小；没有完成起飞后检查单；地速和空速不匹配”等为解释信息；流畅率则根据字符间隔时间进行计算，由总字数比上总时间即为被试的流畅率。测试过程中记录每个文本的总字数(N)、描述时间(T)，提取其中的有效表述字数(n1)、正确表述字数(n2)，得到被试的有效率(a)、准确率(b)、流畅率(c)，最后由权重赋值得到被试语言能力测评的最终得分，其计算过程如下：

4 实验验证

4.1 实验设计及实施

4.1.1 被试招募

被试全部为国内某航空公司航线飞行员，共计20名，均为男性且具备足够的飞行经验。其中，机长10名，副驾驶10名，飞行小时数从4 000到15 000不等。通过数据筛选与分析，共保留20组有效数据，数据收集时间为2020年11月-2021年1月。

4.1.2 实验设计

合作能力的测评依靠问卷星平台设计问卷并进行发放，交流能力的测评依靠科大讯飞智能录音笔进行语音识别及文字转换工作。被试需要先认真阅读和填写知情同意书，然后熟悉测试系统的流程和操作方法。在正式开始实验前，被试需登记个人信息，并登录实验平台进行模拟测试，此阶段被试的表现将不予记录，直到被试已经确定掌握测试流程方可进行正式测试。正式测验阶段被试的每个操作都会被记录，用来测评飞行员合作交流能力，见图4。

图4 飞行员合作能力测试示意图

4.2 结果统计及分析

本实验共收集到20组数据，根据被试合作能力和交流能力的得分，分别分成高分组和低分组，数据的描述性统计参见下表5。

进一步对两组数据的差异性检验表明，两组被试的合作能力得分(t=-4.284，P=0.012)和交流能力得分(t=-5.613，P=0.001)均存在显著差异，说明测试具有良好的区分度。

对结果进行汇总分析，应用IBM SPSS 25，通过分位数图示法对20组数据进行正态性检验，检验结果如图5所示，由此可表明飞行员合作交流能力得分分布符合正态分布，见图5。

图5 飞行员合作与交流能力得分Q-Q图

5 讨论

在本研究中，对20名被试进行差异性检验发现高低分组差异性显著，测量数据具备良好的区分度，证明建立和维护共识、采取适当的行动解决问题、建立和维护团队组织是评价飞行员合作能力的重要指标，有效率、解释率、流畅率从是评价飞行员交流能力水平的重要指标。其中，多数指标与该维度能力水平成正相关，但解释率与飞行员交流能力水平呈现出负相关状态，造成该结果的原因一方面是数据量较小，受个别异常数据影响较大，另一方面可能是解释内容增加了被试的思考时间，从而影响了表述的流畅率，进而导致交流能力得分的下降。

经检验发现，飞行员的合作交流能力得分均符合正态分布，本研究结果可以与以往其它领域的合作交流能力研究结果相对照。该实验的顺利完成证明基于会话代理的人机交互模式可应用与飞行员能力水平测量的过程中，且对工作效率的提升及人-人协作不确定性的剔除具有积极意义。

6 结论

(1)在其他领域已有的合作、交流能力测评方法的基础上，结合飞行员工作特点加入飞行任务场景，并参考专家意见进行修改精炼，总结出针对飞行员合作与交流能力测评的方法理论与实际试题，并招募被试展开实验。

(2)本实验在成熟飞行员之间开展，共收集数据20组，通过SPSS对收集到的数据进行正态检验，发现样本服从正态分布，可反映出飞行员之间合作交流能力的水平分布，后续将以软件的形式进行能力水平测试，提高测试的效率和精确度。

(3)本研究仅在小范围内开展实验，数据量较小，后续可以开展广泛实验，以更加充分的数据检验该模型的有效性，最终形成一套完善可靠的飞行员合作交流能力测评体系，为飞行员能力监测、日常训练提供针对性的依据，为飞行员能力测评的开展提供新方法新思路。