王艳军*,王丽伟,林思远b,丛玮,薛建飞,Wshington Ohieng e,*
© 2021 THE AUTHORS. Published by Elsevier LTD on behalf of Chinese Academy of Engineering and Higher Education Press Limited Company This is an open access article under the CC BY-NC-ND license(http://creativecommons.org/licenses/by-nc-nd/4.0/).
在过去的几十年里,人们对人机系统和人驱复杂系统中的人,即操作员问题进行了大量的研究[1,2]。这包括改进人因绩效的分析和测量以及人因失误对系统可靠性和有效性影响的研究,以及开发支持人因操作的智能工具[3-5]。尽管自动化水平不断提高,先进技术和运营理念得到应用,空中交通管制员仍然在空中交通管理(air traffic management, ATM)系统中发挥着关键作用 [6-9]。迄今为止,研究主要集中在空中交通管制员的通信、认知活动和工作负荷[10-12],而对其眼动行为的关注甚少。空中交通管理系统正处于转型过程中;例如,从雷达管制到基于轨迹运行的转变,导致人和自动化的角色、责任和要求都发生变化[9]。未来的管制工作中,管制员的主要任务将是监控自动化系统,确保其正常运行,并在出现故障或性能下降时快速恢复控制[9,13]。鉴于空中交通管制员工作的独特性,了解他们的眼动在空中交通管理领域和其他领域都很有意义。如果能很好地理解管制员的眼动,就有可能更好地理解他们的决策过程。
眼动已经成为包括心理学、工效学和计算机科学在内的各个学科的研究热点。Kowler [14]对眼动文献进行了广泛的回顾。在眨眼、瞳孔大小等各种行为中,Kowler强调了眼动的三种眼动行为,即注视控制、平滑追踪和扫视,并讨论了它们与视觉的相互作用。在计算机科学中,眼球追踪被用来分析计算机界面和人机交互的可用性[15]。例如,MITRE先进航空系统开发中心(Center for Advanced Aviation System Develop ment, CAASD)进行的眼球追踪研究评估了他们新开发的自动化概念相对位置指示器(relative position indicator, RPI)对空中交通管制员注意力分配策略的影响[16]。作者发现RPI改变了管制员的视觉扫描模式,这可能需要对管制员的信息显示进行优化。研究还发现,眼动指标可以用来衡量人的表现[17,18]。Ahlstrom和Friedman-Berg [19]研究了管制员的眼动和认知负荷之间的关系。他们发现,包括眨眼和瞳孔大小在内的眼动测量比常用的主观工作负荷测量提供了更敏感的工作负荷测量。此外,研究表明,眨眼信息和扫视速度是自然任务中唤醒水平的指标[20,21]。医学领域的眼动研究见参考文献[22,23]。
眼动研究最近受到了广泛的关注,因为它可以提供关于兴趣、目标、计划和认知策略的信息。在参考文献[24]中,Jang等证明了潜在的、隐藏的认知策略可以通过眼动推断出来。他们提出了一个基于眼动显著特征的预测人类内隐意图的模型。尽管作者声称他们的模型显示了合理的性能,但这仍有待于在复杂任务的性能方面得到证明。
由于眼动是大脑寻找信息的自然指标,因此通过分析眼动数据可以促进对信息搜索行为的研究。关于通过眼动寻找任务导向信息的主题,已经进行了许多研究[25-29]。Gottlieb等[29]最近的一项研究强调了对信息搜索潜在机制的研究。回顾了三个不同领域的研究,包括机器学习、眼动、心理学与神经科学。
另一个关于信息搜索的研究流派集中于人类解决视觉搜索问题时出现的人眼扫描模式。美国联邦航空管理局(FAA)调查了空中交通管制专家如何扫描雷达屏幕以获取信息[30]。对各种眼动数据,包括注视、扫视、眨眼、瞳孔信息,进行了研究。研究发现,管制员往往将注意力集中在交通密度最高的空域,这可能导致入侵识别的滞后,导致不安全事件的发生。Fehd和Seiffert[31]也报道了类似的行为。人类倾向于集中在一个中心位置,这主要是由于将多个目标组合成一个单一目标的认知策略。Van Meeuwen等[32]使用雷达屏幕截图的静态图片来调查新手、中级和专家空中交通管制员的认知策略。Kang等[33,34]开发了一种算法来量化管制员的信息搜索和航空器选择行为。
如上所述,眼动与认知策略密切相关,尤其是与信息搜索密切相关。虽然研究者已经尝试确定有经验的空中交通管制员的视觉扫描策略,但训练或工作经验对管制员信息搜索行为的影响尚不清楚。
本文收集和分析了管制员的眼动数据,初步了解了工作经验与眼动测量之间的关系。论文的其余部分组织如下:第2节简要介绍了数据采集和实验;第3节报道了不同管制员在不同工作经验水平下观察到的眼动行为的分析结果;第4节为结论。
为了采集空中交通管制员的眼动数据,我们邀请了25名年龄在21~40岁[平均值(M)=28.4,标准差(SD)=20.08]的人员(22名男性、3名女性)参与设计的模拟实验。包括南京航空航天大学空管专业4名学生(归类为“新手”),其他21名学员为浙江省某空管中心管制员(含1名新手)。所有参与者根据其工作经验和个人能力分为五个级别(表1)。
表1 参与者信息
二级、三级、四级和五级的工作经验分别为(14.0±3.5)年、(9.3±1.0)年、(6.5±0.6)年和(2.8±1.1)年。
根据中国民用航空局(CAAC)的规定,二级、三级、四级和五级管制员的最低工作经验要求分别为12年、8年、6年和2年。然而,管制员的水平不仅仅取决于多年的经验。例如,只有拥有12年经验的最好的管制员才能进入二级。表1提供了这五个级别的参与者的信息。
根据中国民用航空局空中交通管理局的一份统计报告,中国女性管制员的比例低于20%。女性进近管制员的比例更低,不到10%。例如,在某省空中交通管理局的50个进近管制员中,有两个是女性进近管制员。因此,我们实验参与者的性别比例是合理的。
在实时模拟过程中,利用faceLABTM5.0记录空中交通管制员的眼动。它是一个非眼睛接触系统,具有很高的眼动追踪的能力。faceLABTM可以测量许多特性,包括:
·头部姿势:可以在三维(3D)坐标中识别受试者头部的位置和方向。
·注视:左眼和右眼都可以输出单独的注视射线。每条注视射线由一个原点和一个单位矢量组成。
·扫视:定义为眼睛从一个注视点到下一个注视点的弹道运动。扫视速度可达700 (°)·s-1。
·眼睛闭合度:测量虹膜覆盖率的百分比,以确定闭眼。
·眨眼:这是系统记录的两值信号(真或假),它报告眨眼事件的发生,即快速闭眼,然后快速睁眼。
·瞳孔测量:faceLABTM可以测量每一只瞳孔的直径。
闭眼百分比(PERCLOS):这是一种疲劳测量,定义为疲劳的最可靠的单一可见指标。PERCLOS的计算主要基于被试的闭眼情况。
出于安全考虑,在管制员的实际工作时间内,我们无法在他们的工作站上放置任何设备来记录他们的眼动。为了采集复杂活动任务中的眼动数据,研制了雷达管制模拟系统进行高保真仿真。模拟系统的功能和界面与空管人员在实际工作中使用的功能和界面完全相同。因此,管制员无需熟悉模拟系统。然而,使用实时模拟的一个潜在限制是,参与者在模拟过程中可能感觉不到与工作过程中相同的压力或紧张。这一局限性将在本文的最后一部分讨论。
模拟空域是杭州的一个进近扇区(ZSHCAP03),其航路结构如图1所示。扇区的垂直范围为3000 m以下。这一部门的主要职能是在移交给杭州塔台之前对进场航班进行排序,并指挥起飞航班和一些飞越航班。
根据实际飞行数据,确定了三种不同级别的交通场景,即简单、正常和困难。需要注意的是,对不同交通场景(包括异常交通场景)的影响的分析超出了本文的范围。
图1. 杭州终端空域的边界和航路结构(ZSHCAP03)。突出显示的区域是杭州机场的一个进近扇区(APP03);深蓝色的线代表路线;绿色的线是扇区边界;浅灰色的线表示眼球运动轨迹。红点代表空中交通管制员的注视点,正如在一次模拟演习中记录的那样。
faceLABTM摄像头就放在主屏幕中间的管制员前面(图2)。为每个参与者建立一个特定的模型,以便精确地追踪他或她的眼球运动。校准是在模拟开始前进行的。在模拟过程中,参与者可以正常使用胳膊和腿,并且可以戴眼镜。在模拟开始之前,向参与者简要介绍了研究目的和交通场景。所有参与者均签署知情同意书。
为了从原始数据中识别注视,采用了速度阈值注视识别(I-VT)算法。I-VT的主要思想是利用角速度来区分注视点和扫视点。为了识别注视点,必须预先指定一个预定义的参数,即速度阈值。例如,阈值可以设置为125 (°)·s-1。
第一步是将眼动数据的原始时间序列按升序排序。接下来,计算每个点的点对点角速度。以下规则可用于区分注视点和扫视点:如果该点的角速度小于阈值,则为注视点;否则为扫视点。然后,该算法将连续的注视点输出到注视组中。所有的扫视点都被忽略。
输出注视组的数据格式为<x,y,t,d>,其中,x和y为组中各点中心的坐标,t为组中第一个点的时间,d为测量注视组的持续时间。
图1描绘了一个管制员的注视轨迹的示例。如图所示,眼球运动轨迹明显遵循路线结构的模式。
图2. 空中交通管制模拟系统及人眼追踪装置。
为了分析工作经验对管制员注视行为的影响,首先研究了三种广泛使用的眼动指标:兴趣区域(AOI)、注视持续时间和注视熵。如第2.1节所述,根据参与者的工作经验,将眼动数据分为五组。各组兴趣区域数量和注视持续时间的统计结果如图3(a)所示。如图所示,这五个组可进一步分为三类:第I类(二级)、第II类(三、四、五级)和第III类(新手)。
二级管制员的眼动与其他管制员不同。二级管制员的兴趣区域数量最少(M=1126 s),但注视持续时间最长(M=1.66 s)。较长的注视持续时间和较少的兴趣区域数量表明二级管制员更喜欢关注某些区域,而不是监视扇区中的所有空间。这种行为的原因可能与他们目前的工作职责有关。二级管制员是最有经验的管制员,至少有12年的空中交通管制员工作经验。他们的技能和能力在具有相同工作经验的管制员中表现突出。然而,大多数二级管制员已晋升为行政职务,而不是作为管制员管理空中交通。虽然他们拥有空中交通管制的能力,但他们可能不愿意对整个空域进行监视,特别是在模拟过程中。显然,这是一个注意力资源分配不当的情况。
图3.兴趣区域和注视持续时间(a)及扫视速度(b)的统计结果。误差线表示关联组数据的标准差。
在第II类中,注视持续时间和兴趣区域数量呈现相反的趋势。这类管制员是空中交通管制中心负责日常运行的主要工作人员。从五级到三级,平均兴趣区域数量逐渐增加,而平均注视持续时间逐渐减少。在第II类中,定位感兴趣航班所需的平均时间为1.1 s,这表明他们能够合理分配注意力。II类中兴趣区域数量的标准差比I类大得多。这可能表明管制员之间的能力差异很大。另一个原因可能是二级管制员比其他级别的管制员少。
这五个组中的特例都是新手组。我们在图3(a)中绘制了兴趣区域和注视的统计结果,在图3(b)中绘制了扫视速度。如图3(a)所示,平均注视持续时间仅为0.2 s,远低于其他组。虽然平均兴趣区域数量与第II类的数量在同一水平内,但兴趣区域数量的标准差是非常大的。在这里,应该记得,新手刚刚完成培训,没有工作经验。因此,在新手中看到更大的变化也就不足为奇了。与其他管制员相比,新手不熟悉空域和空中交通管制程序。他们必须在整个空域分配注意力资源。空域结构和交通分布会影响他们的认知策略。他们管理空中交通的能力仍在培养提高中。然而,兴趣区域数量的巨大变化表明新手中可能有潜在的天才管制员。这些才华横溢的新手可以定位到正确的航空器,并将注意力分配到这些区域。
通过对兴趣区域数量变化的比较分析,可以进一步揭示工作经验对注视的影响。如图3(a)所示,二级管制员兴趣区域数量的标准差最小,而新手的标准差最大。一个小的变化表明,经过多年的训练和实地实践,经验丰富的管制员可能会采用类似的信息搜索策略。相反,空中交通管制的初学者必须在职业生涯的早期阶段学习并接受信息搜索策略的培训。
从眼动数据中获得了一张热点图,显示了在给定空域内的注视概率。图4显示了来自二、三、四、五和新手级别的六个不同管制员的六张热点图。图中以红色和黄色突出显示的热区代表注视密度较高的空域,表明空中交通管制员倾向于频繁监控这些区域。图像中突出显示的区域清晰地勾勒出了空域的结构,机场位于中心,主要交通流往返于左上角和左下角。在这些图像中,机场始终是管制员关注的焦点。他们花费了大量的时间来监控进出机场的交通状况;这一结果与之前的研究一致[31]。新手的热点图显示,新手倾向于监视空域的每一个部分,这表明他们在寻找关键信息时效率很低。
图4. 由六个管制员的数据生成的注视热点图。(a)二级;(b)三级;(c)四级;(d)五级;(e)、(f)新手。
为了研究管制员的扫视行为,计算了扫视速度。结果如图3(b)所示。新手的平均扫视速度比持证管制员快,持证管制员的扫视速度几乎相同。经过多年的专业训练,经验丰富的管制员已具备了管理空中交通的特殊能力。研究表明,扫视速度与追踪运动目标的能力有关。更快的扫视速度可能表明对快速变化的环境有更好的反应能力。在这种情况下,新手有最快的扫视速度;然而,这并不意味着新手比其他管制员能更好地搜索必要的信息。相反,新手的速度可能是由他们随机选择的飞机造成的,因为新手不熟悉管制工作。新手无法估计航空器的位置,所以他们需要经常查看每架航空器。
为了进一步研究空中交通管制员眼动行为的差异,我们比较了注视点数量、注视持续时间和扫视速度的分布。在对空中交通管制员语音通信活动的研究中,学者们发现空中交通管制员的交互通信次数呈重尾分布[35,36]。我们想确定管制员的眼动行为是否显示出类似的模式。图5展示了上面列出的眼动度量的各自分布。可以看出,注视持续时间的分布与注视次数的分布具有相似的规律。来自有经验的管制员的数据分布以指数衰减和幂律尾为特征,而新手的分布以幂律分布为特征(用对数-对数图中的直线拟合)。然而,扫视速度的分布集中在一条直线上,这表明所有管制员的扫视速度都遵循幂律分布。这些结果有待进一步探讨。
图5.(a)注视次数;(b)注视持续时间;(c)扫视速度的概率(P)分布。
数据驱动方法的流行促进了通过眼动对信息搜索行为的定量测量。基于信息理论的注视相关测量方法的发展在人为因素研究中具有特殊的意义。熵的概念起源于物理学,旨在描述系统的混乱程度。熵已成功地应用于各个领域,包括物理学、社会科学和最近的眼动研究[37]。给定记录的眼动数据,根据Shannon熵和条件熵方程,可以计算出静态注视熵(stationary gaze entropy,STE)和注视转移熵(gaze transition entropy, GTE)。关于注视熵测度的最新综述见参考文献[38]。在目前的工作中,我们使用Shannon熵来衡量管制员的注视熵,在今后的研究中对转移熵进行进一步研究。注视熵定义如下:
式中,X是总长度为n的注视序列,而i是X中包含的每个注视的位置。p(x,y)表示管制员的注视落在(x,y)位置的概率。这个方程给出了实验过程中瞬间注视位置的平均不确定度。因此,它可以确定管制员注视的离散性。为了计算注视熵,首先将雷达屏幕离散为64×36个部分,得到总共2304个矩形。然后就可以直接得到在任何给定的时间样本中,注视落在每个矩形上的频率。
每个管制员的注视熵用公式(1)计算,所有管制员的平均值为6.94±0.79。图6展示了不同级别管制员的注视熵。图中最右边的框显示了所有管制员的熵。值得注意的是,与扫视速度相比,注视熵呈现出类似的趋势[图3(b)]。三级管制员具有较高的扫视速度,但较低的熵,这表明他们具有最有效的信息收集能力。虽然新手管制员也表现出较低的熵和最快的扫视速度,但他们的平均注视远低于其他人。这可能表示无法从复杂的交通状况中获取必要的信息。
图6. 不同级别管制员的注视熵。
由于每个级别管制员的样本数据有限,我们在这里重点比较新手和专家。我们选择7.2作为阈值,将管制员分为两组:高注视熵(high gaze entropy, HGE)组和低注视熵(low gaze entropy, LGE)组。结果见表2。由于实验样本的数量少于40个,因此采用Fisher精确检验来检验统计检验[39]。结果显示,新手和专家的注视熵在统计学上有显著差异(p= 0.042)。近80%的新手管制员属于低注视熵组,而11个专家管制员中有4个属于低注视熵组。一般来说,注视点越多,注视熵越大,这与前面几节得到的结果是一致的。然而,从以上结果可以得出一个结论,过于依赖于单一的眼动测量可能导致对空中交通管制员的信息搜索策略的误解。
表2 不同经验水平人群注视熵差异的比较
眼动可以作为人类感知和注意力分配的指标。本文对空中交通管制员的眼动行为进行了研究,重点分析了不同工作经验水平空中交通管制员眼动行为的差异。本文的目的是通过数据驱动的方法来理解观察到的眼动行为的潜在机制,重点是所有被研究的空中交通管制员的眼动统计模式。为了收集更可靠的眼动数据,设计了真实的雷达管制场景。眼动数据是在人在环路模拟过程中采集的。同时,开发了一个I-VT算法来从记录的眼动数据中提取注视信息。然后,对三个常用的测量指标进行了深入探讨:兴趣区域数量、注视持续时间和扫视速度。结果表明,一个合格的管制员可以采用有效的信息搜索策略,合理分配注意力资源。为了提高空中交通管制中视觉搜索行为的训练效率,还需要进一步的研究。虽然眼动数据的概率分布具有重尾特征,但形状对于区分新手和有经验的管制员是有用的。此外,本文还对注视熵进行了比较;这一发现可能会导致对空中交通管制员的信息搜索策略的误解,因为过于依赖于单一的眼动测量。
综上所述,本文发现工作经验对管制员的眼动行为有显著影响。兴趣区域、注视持续时间、扫视速度和注视熵是判断见习管制员是否具有有效收集信息能力的信息搜索行为的合理指标。建议结合不同的眼动指标来揭示空中交通管制员认知策略的根本差异。
本文的工作还存在局限性。其他人类行为研究也可能遇到的一个主要挑战是无法捕捉空中交通管制员所经历的紧张和压力。在实际操作中,空中交通管制员必须做出快速、准确的决策,以保证航空器的安全有序飞行。在实际操作中不会出错。然而,在实时模拟过程中,管制员的工作态度会发生变化,因为他们知道自己即使会出错也不会带来什么影响。因此,在人在环路模拟过程中,管制员比在日常工作中更加放松,并且由于环境的不同,管制员的行为也会发生变化。本工作的第二个限制是只考虑了管制员的主要任务,对次要任务,如与其他管制员的协调,没有进行模拟。在实际操作中,空中交通管制员需要处理从相邻扇区进出的航班。因此,他们必须监控周围路段的交通状况,以便制定战术计划。为了捕捉这些行为,必须设计一个涉及多个相连扇区的大规模模拟实验。最后但同样重要的是,在目前的工作中没有考虑模拟场景的影响。我们没有使用静态图片,而是使用实时流量捕捉管制员的眼动数据。交通场景的密度和复杂性可能会影响管制员的信息搜索行为。鉴于空中交通管制工作的独特性,建议来自心理学、计算机工程和数据科学领域的合作者开展进一步的跨学科研究。
致谢
我们感谢空中交通管制员和学生参与实验。本研究得到了国家自然科学基金(U1833126、U2033203、61773203、61304190)的资助。
Compliance with ethics guidelines
Yanjun Wang, Liwei Wang, Siyuan Lin, Wei Cong, Jianfei Xue, and Washington Ochieng declare that they have no conflict of interest or financial conflicts to disclose.