基于用户自定义兴趣区的飞行员眼动数据可视分析方法

贺怀清 郑立源 刘浩翰 张昱旻

摘 要：针对传统基于兴趣区的可视化方法在分析飞行员眼动数据过程中无法关注细节的问题，提出了一种基于用户自定义兴趣区的眼动数据可视分析方法。首先，根据具体的分析任务，引入对任务背景图像的自我划分和定义;然后，在此基础上，结合多种辅助视图和交互手段，设计并实现了面向飞行员培训的眼动数据可视分析系统，帮助分析人员分析不同的飞行员之间的眼动差异，最后通过案例分析，证明了可视分析方法的有效性和分析系统的实用性。实验结果表明，较传统方法来说，所提方法增加了分析人员在分析过程中的主动性，在整体和局部方面，支持分析人员对任务背景进行细节的探索，增加了分析人员分析数据的多角度性，让分析人员能够结合整体发现飞行学员在训练过程中认知困难的部分，进而制定更有针对性、更有效的训练课程。

关键词：飞行员;眼动数据;数据可视化;可视分析;兴趣区;多视图

中图分类号：TP391.9

文献标志码：A

Visual analysis method for pilot eye movement data based on user-defined interest area

HE Huaiqing， ZHENG Liyuan*， LIU Haohan， ZHANG Yumin

College of Computer Science and Technology， Civil Aviation University of China， Tianjin 300300， China

Abstract：

Focused on the issue that the traditional interest area based visualization method can not pay attention to the details in the process of analyzing pilot eye movement data， a visual analysis method of eye movement data based on user-defined interest area was proposed. Firstly， according to the specific analysis task， the self-divison and self-definition of the background image of the task were introduced. Then， multiple auxiliary views and interactive approaches were combined， and an eye movement data visual analysis system for pilot training was designed and implemented to help analysts analyze the difference of eye movement between different pilots. Finally， through case analysis， the effectiveness of the visual analysis method and the practicability of the analysis system were proved. The experimental results show that compared with the traditional method， in the proposed method， the analysts initiative in the analysis process is increased. The analysts are allowed to explore the local details of the task background in both global and local aspects， making the analysts analyze the data in multi-angle; the analysts are allowed find the flight students cognitive difficulties in the training process as a whole， so as to develop more targeted and more effective training courses.

Key words：

pilot;eye movement data; data visualization; visual analytics;Area Of Interest （AOI）; multi-view

0 引言

近年來，随着人们生活水平的提高，飞机逐渐成为了人们日常出行的首选交通工具，其安全性越发引人关注。当然，随着航空系统技术的进步，飞行员训练和机组人员、空中管制员程序的改进，商业航空的事故发生率已经相对较低。其中，缘于技术故障的仅占10%，而人为因素造成的占到了60%～80% [1]。2013年美国联邦航空管理局（Federal Aviation Administration， FAA）[2]发布了一项培训规定，要求到2019年3月将加强飞行员监控培训纳入现有的航空职业培训项目中。法国调查机构事故调查局（British European Airways， BEA） [3]也建议研究飞行员的眼球追踪监视，以改进驾驶程序。在最近的一项调查[4]中，75%的飞行员回答说，公布有关不同飞行阶段（如起飞、进近）所需的视觉模式的详细信息，可以帮助他们提高监控技能，可见飞行员眼动轨迹的研究对于飞行员训练至关重要。

d=di/dmax（2）

这里0代表完全相似，1代表相似度比较小。在日常对相似度的比较中，数值越大代表相似度越高，所以本文方法用sim=1-d来表示相似度，这样就构成了内部圆形的颜色编码。

2.2.2 参与者分类

考虑到分析人员在分析过程中要对所有参与者进行评估，本文方法根据参与者对比中相似度，对所有参与者进行分类，构建参与者分类视图。视图包含三层圆形，如图3所示，外层圆形包含所有参与者，中间层每个灰色圆形表示一类参与者，内层每个深色的圆形表示一个参与者，其中圆形的大小代表与被选对象的相似度，圆形越大，表示与被选对象相似度越高。

2.2.3 总体概览

飞行的不同阶段，飞行员所关注的区域以及关注区域的停留时间不同，为了便于分析人员快速获取训练阶段参与者重点关注的区域，给出总体概览视图，如图4所示，显示所有参与者在各个AOI的停留时间，其中横轴代表每个AOI，纵轴代表在每个AOI停留的总时间，便于分析人员了解每个AOI在整个任务过程中的重要程度。

2.3 单一视图

2.3.1 参与者列表

参与者列表列出了数据集中的所有参与者，如图5所示。

每一行代表一个参与者AOI交替的情况，每一行起始标签代表参与者编号，末尾标签代表该参与者完成任务的总时间。为了便于分析人员更好地对所有参与者观察，本文方法采用统一开始时间和结束时间的方式，在每行的末尾处用灰色的矩形条填补，可以让分析人员在短时间内对所有参与者完成任务所花费的时间有一个大致的了解。

2.3.2 单一参与者

对于分析人员，参与者每次视觉转換的原因和转换后的关注点，是重要的分析指标。本文方法提出单一参与者视图，如图6所示，包括上下两个部分：上半部分用缩略图表示当前参与者每次AOI转换时，所关注的区域，其中缩略图上的红色点表示每次AOI转换时，参与者所关注的第一个注视点;下半部分则对应当前参与者的视觉转换轨迹视图。

2.4 交互操作

数据可视化虽然能在一定程度上帮助用户理解数据，但其效果有一定的局限性。为了让用户进一步的了解和探索数据，充分发挥分析人员的主动性和分析能力，本文加入了选择和拖放交互设计。

2.4.1 选择操作

参与者列表展示了每个参与者的大致完成信息，通过鼠标点击选中每个参与者，相对应的参与者对比、参与者分类和单一参与者都会重新构建。

2.4.2 拖拉操作

当分析人员打开任务背景图片后，可以通过点击并拖拉鼠标的方式定义AOI。

3 方法实现和案例分析

3.1 基于本文方法的可视分析系统

本文的样本数据主要来源于A320飞行驾驶模拟器场景下，使用Tobii Glasses 2.0与配套的眼球跟踪系统，该眼动仪支持头部自由活动，自动校正平行视差，采集视觉范围为水平82°，垂直52°，在30Hz的条件下对模拟下降、进近和着陆阶段飞行员眼动轨迹数据进行双眼运动采样。结合分析目标，提取原始数据中的当前注视点基于任务背景下的坐标点（x，y）和眼动转换时间time信息，在眼动数据采样过程中，由于被选人员的自身影响以及设备存在的外部环境影响等原因，使得眼动仪在采集过程中会产生噪声数据。因此，在预处理阶段需要对噪声数据进行处理，例如补充空白数据、过滤异常数据等操作。

本文方法使用Java实现，利用JavaScript和D3.js库进行可视化界面和交互的实现。如图7所示，其中（a）自定义AOI、（b）参与者列表、（c）任务背景、（d）参与者对比、（e）参与者分类、（f）、整体概览、（g）单一参与者。

3.2 案例分析

以A320飞行驾驶模拟器场景下，模拟降落和进近阶段10名飞行员眼动轨迹数据为例，在数据集中P0和P1为飞行员教练，P2～P9为新手飞行员，下面说明分析人员使用系统的过程。

3.2.1 自定义AOI

当进行飞行员眼动数据分析时，分析人员可以根据具体的分析任务，对AOI自定义，然后根据自定义的AOI以及多视图，从飞行员注视点、注视时间、注视模式等方面对眼动数据进行整体到局部的探索;同时在探索的过程中，如果自定义的AOI无法达到分析人员对任务分析的角度，分析人员可以再次根据分析任务对AOI重新定义，从而提高分析人员在数据分析过程中的主动性和数据分析的多角度性。

根据案例中对飞行员眼动数据分析的研究，将A320驾驶舱划分为5个AOI（如图8，包含一个未选择AOI），分别为驾驶舱外景（AOI1）、遮光板（AOI2）、中央仪表盘（AOI3）、中央操纵台（AOI4）和未选择区域（AOI5），划分后对10名飞行员眼动轨迹数据进行可视化，结果如图7。

3.2.2 整体概览

对可视化视图进行分析，结合视图对整体进行分析。

首先通过对视图7（b）进行观察，发现参与者完成任务所用时间大部分都在10.8min到12.2min左右，但是参与者P5完成任务只用了8.8min，低于模拟驾驶过程的平均完成时间，其次P6和P8完成时间也偏短。结合视图（f），可以看出，在所有的AOI中，驾驶舱外景（AOI1）和中央仪表盘（AOI3）的停留时间占比比较多，可以看出在降落和进近过程中，对驾驶舱外景和中央仪表盘的监控的重要性;再结合视图（d）中的圆环，可以看出参与者大致分为三种类型：在两个AOI之间分布平均、在驾驶舱外景注视时间较长和在中央仪表盘注视时间较长。

本文将P0作为被观察对象，结合（b）（c）（d）（e）视图，可以发现：

1）在轨迹相似度方面，P0和P1在眼动轨迹扫射方面相似度最高，其他飞行员参与者的眼动轨迹与P0的相似度偏低，如图9所示。

2）在AOI的切换方面，P0和P1飞行员在外景和仪表盘之间停留时间分布均匀，且在外景和仪表盘之间进行有规律的切换，在最后飞机落地滑向停机位时，更加关注外景，具有较好的扫视频率和注视频率，而其他飞行员在完成整個任务过程中视觉大部分停留在外景上，基本不关注仪表盘的变化，在飞机滑向停机位的过程中几乎不关注仪表盘，只关注机舱外景。

3）在关注时间方面，P0和P1飞行员在每次AOI切换后保持时间相差不大，可以看出在每次视线的转换过程中，都能及时有效地获取相关信息，并作出相对应的操作，而其他飞行员，存在视线转换后长时间停留的情况，可以看出该飞行员在读取AOI中某个仪表盘的过程中出现了认知困难的情况，难以第一时间获取有效的信息。再根据视图（g）中单一飞行员AOI转换的缩略图，可以大概定位飞行员认知困难的AOI区域。

4）在飞行员评估方面，可以从视图（e）中更好地获取，其余参与者与被选择参与者之间的关系，从而对每个参与者进行评估打分。

3.2.3 细节探索

通过3.2.2节的结合分析，可以对所有参与者有一个整体概览了解，但是在分析人员对飞行员眼动数据的分析中，可能不仅需要了解飞行员关注的是外景还是中央仪表盘，还需要了解飞行员关注的是哪部分仪表盘或者仪表盘哪个位置和数字，所以根据具体的分析任务对AOI进行重新定义，如图10所示。

对重新构建后的视图进行分析，可以看出：P0和P1飞行员在AOI1、AOI2关注时间较多，在其他仪表盘上关注时间均衡，其他飞行员在AOI1和AOI4上关注时间较长，对AOI4关注时间多集中在降落前期，在其他仪表盘上关注时间较少。结合对飞机降落和进近过程的分析，飞机在降落的前期，会从AOI4中的系统显示仪表盘中获取飞机降落需要检查的项目，所以可以看出，飞行员在查看该仪表盘时出现认知困难情况。

进一步对图10中AOI1的主飞行显示仪表盘（PFD）进行重新定义AOI，如图11。

PFD主要包括三部分，左侧的空速表、中间的姿态表和右侧的高度表，对重新构建后的视图进行分析，可以发现P0和P1在速度和高度表之间扫视频率和注视时间均衡，其他飞行员存在过度关注高度或者速度的情况。

本文提出的可视化方法同文献[11-15]对比讨论如表1。

通过上述对比可以看出，本文提出的方法在主动性、整体性、局部性、多角度性和多参与者方面比其他可视分析方法完整，尽管在全面性方面仅仅支持静态，但是目前仍可应用于固定场景下动态刺激的可视化，比如车辆驾驶、飞行驾驶、室内监控等，此时被观察人员看到的场景单一，眼球运动在固定场景内移动;因此本文提出的方法对飞行员训练过程中眼动数据的分析有很大帮助，同时提高了分析人员的主动性和准确性，得到质量较高的分析结果，并以此制定针对性的训练项目，提高飞行训练的效率，加大飞行安全。

4 结语

本文提出了一种基于用户自定义AOI的飞行员眼动轨迹可视分析方法。以一套完整的可视系统为基础，让分析人员根据具体分析任务，自定义合理的AOI，结合定义不同AOI所形成的多种可视化视图，对飞行训练过程中飞行员的眼动轨迹数据进行分析和探索。通过案例分析，本文初步验证了方法的可行性和有效性。

系统注重分析过程中分析人员的主动性，让分析人员在具体分析任务的基础上，自定义合理的AOI，进而作出有效、合理的分析结果。相比于传统的固定AOI的可视化方法，本文方法大大提高了分析人员的参与程度，以帮助分析人员多角度分析飞行员的眼动轨迹数据。

在飞行员眼动数据分析方面，如何借助眼动数据对飞行员飞行绩效进行评估，对飞行员飞行疲劳状态进行分析也是非常重要的。同时目前存在的可视分析技术，在飞行员心理和情感可视方面还有需要突破的难点。在可视化设计方面，由于被试人群的特殊性，可操作的公开数据集较少，且目前只有静态任务背景数据，对于视频类飞行员训练眼动轨迹数据不支持。如何加大对视频类数据的可视化支持，为分析人员提供更方便、更完整的可视分析系统，以提高民航飞行安全，这些都是未来研究的重要方向。

参考文献

[1]SHAPPELL S， DETWILER C， HOLCOMB K， et al. Human error and commercial aviation accidents： an analysis using the human factors analysis and classification system [J]. Human Factors， 2007， 49（2）： 227-242.

[2]Federal Aviation Administration （FAA）. 14 CFR part 121 qualification， service， and use of crewmembers and aircraft dispatchers; final rule; federal register [EB/OL]. （2013-11-12） [2018-11-02]. http：//www.gpo.gov/fdsys/granule/FR-2013-11-12/2013-26845.

[3]British European Airways （BEA）. Study on aeroplane state awareness during go-around [EB/OL]. （2013-08-01） [2018-11-02]. https：//www.skybrary.aero/bookshelf/books/2404.pdf.

[4]LEFRANCOIS O， MATTON N， YVES G， et al. The role of pilots monitoring strategies in flight performance [EB/OL].（2016-09-26）  [2018-11-02]. http：//oatao.univ-toulouse.fr/16173/1/Lefrancois_16173.pdf.

[5]柳忠起，袁修干，樊瑜波，等.模擬飞机着陆飞行中专家和新手眼动行为的对比[J].航天医学与医学工程，2009，22（5）：358-361.（LIU Z Q， YUAN X G， FAN Y B， et al. Comparison of expert and novice eye movement behaviors during simulated landing flight[J]. Space Medicine and Medical Engineering， 2009， 22（5）： 358-361.）

[6]孙瑞山，汪苧，董屾.基于非接触式眼动仪的模拟飞行中注视分析[J].人类工效学，2013，19（4）：51-55.（SUN R S， WANG N， DONG S. Simulated in-flight gaze analysis based on non-contact eye tracker[J]. Chinese Journal of Ergonomics， 2013， 19（4）： 51-55.）

[7]REYNAL M， COLINEAUX Y， VERNAY A， et al. Pilot flying vs. pilot monitoring during the approach phase： an eye-tracking study [C]// Proceedings of the 2016 International Conference on Human-Computer Interaction in Aerospace. New York： ACM， 2016： Article No. 7.

[8]DEHAIS F， BEHREND J， PEYSAKHOVICH V， et al. Pilot flying and pilot monitorings aircraft state awareness during go-around execution in aviation： a behavioral and eye tracking study [J]. The International Journal of Aerospace Psychology， 2017， 27（1/2）： 15-28.

[9]白杰，葛祥雨，杨坤.飞行员探测跑道入侵的眼动模式分析[J].航天医学与医学工程， 2017，30（5）：327-332.（BAI J， GE X Y， YANG K. Analysis of eye movement patterns in pilots detection of runway incursion [J]. Space Medicine and Medical Engineering， 2017， 30（5）： 327-332.）

[10]程时伟，孙凌云.眼动数据可视化综述[J].计算机辅助设计与图形学学报，2014，26（5）：698-707.（CHENG S W， SUN L Y. A survey on visualization for eye tracking data [J]. Journal of Computer-Aided Design and Computer Graphics， 2014， 26（5）： 698-707.）

[11]RICHARDSON D C， DALE R. Looking to understand： the coupling between speakers and listeners eye movements and its relationship to discourse comprehension [J]. Cognitive Science，2005， 29（6）： 1045-1060.

[12]STELLMACH S， NACKE L， DACHSELT R. Advanced gaze visualizations for three-dimensional virtual environments [C]// Proceedings of the 2010 Symposium on Eye-tracking Research and Applications. New York： ACM， 2010： 109-112.

[13]KURZHALS K， HLAWATSCH M， HEIMERL F， et al. Gaze stripes： image-based visualization of eye tracking data [J]. IEEE Transactions on Visualization and Computer Graphics， 2016， 22（1）： 1005-1014.

[14]BURCH M， KULL A， WEISKOPF D. AOI rivers for visualizing dynamic eye gaze frequencies [C]// Proceedings of the 15th Eurographics Conference on Visualization. Chichester， UK： the Eurographs Association and John Wiley & Sons， 2013： 281-290.

[15]BLASCHECK T， SCHWEIZER M， BECK F， et al. Visual comparison of eye movement patterns [J]. Computer Graphics Forum， 2017， 36（3）： 87-97.

This work is partially supported by the National Natural Science Foundation of China （U1333110）.

HE Huaiqing， born in 1969， Ph. D.， professor. Her research interests include graphic， image and visual analysis.

ZHENG Liyuan， born in 1993， M. S.candidate. His research interests include graphic， image and visual analysis.

LIU Haohan， born in 1966， M. S.， associate professor. His research interests include graphic， image and visual analysis.

ZHANG Yumin， born in 1996， M. S. candidate. Her research interests include graphic， image and visual analysis.