智能化信息系统对飞行员视觉搜索特性的影响

谭维, 王文青, 汪磊, 张之洋, 邵铿睿, 孙源

(1.中国民航大学安全科学与工程学院, 天津 300300; 2.民航航空公司人工智能重点实验室, 天津 300300)

随着对飞行员驾驶安全性和高效性等要求的不断提高,加快对驾驶舱内系统的升级已然成为其重要发展途径。飞行员在驾驶舱中获取的信息除了来自电子仪表系统、操作面板、指示灯等,还包括在特定场景下需要查找的各类飞行手册上的信息,如性能图表、航图、操作程序等。早期按法规要求必须配备的纸质版机载手册质量大,使用周期短,修订程序复杂,印刷和保存都需要一定的费用和空间,并且查找时间长、使用效率低。现代驾驶舱大多使用电子飞行包内的电子文档存储格式的飞行手册,电子化手册解决了纸质版手册的一部分问题,但查找具体操作程序依旧存在效率低、所需时间长、无法同时浏览不同页面等缺点。随着智能化驾驶技术的发展,从电子飞行包升级到交互系统,其工作原理是通过与飞机各系统数据实时交联,自动感知场景以便及时准确地显示操作程序和建议等信息,减少飞行员信息搜索的时间,提高飞行操作效率,保证飞行安全。

交互系统作为智能化驾驶场景的新型手段,其工效学问题考虑不当的话,就会容易导致飞行差错从而制约飞行安全[1]。视觉是人类获取外界信息的一个重要渠道,80%～90%的信息都来自视觉通道。在实际飞行过程中,飞行员的中枢神经和视觉器官始终处于注意力集中的紧张状态,同时还需要不断进行信息的收集、整合、分析、判断和决策等处理过程。研究表明[2],信息的接收-分析-处理过程是引起眼疲劳和中枢神经系统疲劳的主要因素。然而,驾驶舱内的大部分信息都是通过视觉呈现的,且超过75%的飞行员错误都与感知失误有关[3]。因此,在进行飞机智能驾驶操作界面及自动化系统设计时应充分考虑飞行员的视觉认知特点[4]。

视觉搜索是一种复杂的认知过程,是人类获取外界信息进行加工的一种重要方式[5]。目前,视觉搜索的研究主要集中在阅读[6-7]、汽车驾驶[8-10]、界面可用性评估和设计[11-13]等领域。在航空领域也有开展相关研究。范晓丽等[14]研究了飞行员在实际飞行中监视各种仪表信息的视觉搜索过程,得出不同水平的时间压力和搜索难度对视觉搜索绩效水平的影响具有显著差异;Li等[15]通过眼动跟踪技术研究了飞行员在与两种不同设计的机组警报系统交互时的视觉扫描模式,得出集成设计优于传统设计,尤其体现在提供由视觉行为决定的准确指令方面;Yu等[16]使用特定的飞行模拟器和便携式眼动跟踪设备来捕获飞行员在飞行操作期间的视觉扫描模式,得出将眼动跟踪设备集成到模拟器中可能是提高飞行员情境意识训练的一种有效方法,并且通过对视觉扫描模式和信息处理机制的深入理解,可提高飞行员飞行训练的有效性;陈剑政等[17]研究了不同模拟光环境下不同视力者视觉搜索绩效的差异,得出不同光环境对视力低于正常者的视觉搜索绩效存在显著影响;Lazaro等[18]研究了驾驶舱显示器中的视觉复杂性对飞行员视觉搜索时间和准确性的影响,结果表明,视觉复杂性的增加导致了视觉搜索时间和目标检测错误的增加;王燕青等[19]通过分析正常着陆和单发失效着陆两个模拟场景中飞行学员搜索信息时的注视方式及其对团队情境意识和绩效的影响,发现在正常着陆场景下飞行学员应多关注驾驶舱外的情境,在单发失效场景下飞行学员应平均分配对驾驶舱内外景的注意力才能获得较高的团队情境意识,进而提高着陆绩效。当前研究只是利用有限的视觉参数进行视觉搜索绩效、扫描模式的研究,而没有在接近真实飞行场景的环境中通过实验深入分析其他视觉参数与视觉搜索特征及绩效间的影响关系。

因此,现通过分析眼动数据来探究飞行员使用交互系统和电子手册处置故障时的视觉搜索特征,构建视觉搜索绩效评估模型探究飞行员视觉搜索绩效水平,研究信息系统智能化程度的提高在复杂场景下能对飞行员工作绩效产生的影响,以期为驾驶舱人机交互界面的设计、优化及迭代提供参考,从而提高飞行员的安全操作水平,保证飞行安全。

1 实验

1.1 被试人员

实验招募20名航线飞行员作为被试,其中机长教员6名,机长4名,副驾驶10名,总飞行小时数2 000～18 000 h,平均飞行小时数(6 771.80±4 297.02) h。所有被试身体健康,无色盲色弱,视力、听力均正常。

1.2 实验条件

实验在A320驾驶舱人机交互模拟仿真平台上进行,如图1所示,能模拟各类正常场景和非正常场景下驾驶舱内的实际状态。被试在进行实验操作过程中需全程佩戴Tobii Pro Glasses 2头戴式眼动仪,以有效追踪并采集被试视觉行为数据。根据实验场景及被试实际操作情况对眼动仪采集的数据进行兴趣区(area of interest,AOI)划分,最终划定5个兴趣区如图1所示,即主飞行显示(primary flight display, PFD)、导航显示(navigation display, ND)、发动机/警告显示(engine/warning display, E/WD)、系统显示(system display,SD)、信息系统(交互系统/电子手册)。

图1 A320驾驶舱人机交互模拟仿真平台及AOI划分Fig.1 A320 cockpit human-computer interaction simulation platform and AOI division

1.3 实验设计

实验中被试分别使用两种不同智能化等级的信息系统(交互系统和电子飞行包内的以文档格式存储的飞行手册)来处置单发失效和襟翼卡阻两个复杂故障场景。具体如下:设定飞机从广州白云机场02L跑道起飞,离地后在爬升过程中一台发动机失效(无损伤),被试先执行飞机电子中央监控(electronic centralized aircraft monitor,ECAM)操作程序,再执行交互系统或电子手册上的重新点火程序及操作建议,设置发动机重新点火成功。在返场的进近过程中,当襟翼设置到形态2时设置襟翼卡阻故障,被试按ECAM显示保持安全速度,查阅SD提示信息,再执行交互系统或电子手册上的襟翼卡阻程序并查找相应性能数据,最终带着故障落地,实验结束。实验场景如图2所示。

图2 实验场景路线图Fig.2 Roadmap of the experimental scenario

为消除学习效应,被试按飞行员型别等级与飞行经验平均分配的原则分为两组,一组10人先使用交互系统处置场景1即单发失效,再使用电子手册处置场景2即襟翼卡阻;另一组10人先使用电子手册处置场景1,再使用交互系统处置场景2。

1.4 实验数据处理

研究以信息系统类别为自变量,以视觉搜索特性为因变量设计实验,通过分析眼动数据[14-20],从视觉搜索特征和视觉搜索绩效水平两方面来对飞行员的视觉搜索特性展开研究。同时,根据划定的AOI选取了5个眼动指标来研究飞行员使用交互系统和电子手册处置故障时的视觉搜索特性[21-28],分别为:注视总持续时间、注视总持续时间占比、注视次数、注视次数占比、总访问持续时间。

研究选取被试处置故障时的完整过程作为研究阶段,所有统计分析均使用SPSS 25.0,P<0.05表示存在统计学差异,对数据进行Shapiro-Wilk正态性检验,符合正态分布的数据进行独立样本t检验,反之采用非参数统计方法曼-惠特尼U检验。

2 结果分析与讨论

2.1 统计分析

对被试在单发失效和襟翼卡阻两个场景下分别使用不同信息系统的眼动指标进行统计分析,其结果如图3和图4所示。两个故障处理的重点有所差异,可体现飞机不同故障下飞行员注意力分配的差异。场景1单发失效需要飞行员关注飞行参数和发动机状态变化(信息分布在PFD、ND、E/WD和SD上),同时还要按照标准操作程序处置(信息分布在E/WD、SD和信息系统上)。场景2襟翼卡阻需要飞行员花大量精力在着陆性能计算、操作程序阅读(信息分布在E/WD、SD和信息系统上)和襟翼状态参数获取上(信息分布在PFD、ND、E/WD和SD上)。

*表示P<0.05;**表示P<0.01

*表示P<0.05;**表示P<0.01

对场景1单发失效的AOI眼动数据进行描述性统计分析发现,使用交互系统在PFD的注视总持续时间、注视总持续时间占比、注视次数、注视次数占比和总访问持续时间均大于使用电子手册的,在E/WD、信息系统均小于使用电子手册的,在ND、SD大小接近。差异性分析发现,被试在使用不同信息系统处置场景1时,PFD的注视总持续时间占比、注视次数占比差异显著(P<0.05),E/WD的注视总持续时间、总访问持续时间差异显著(P<0.05),信息系统的注视总持续时间、注视总持续时间占比和注视次数差异显著(P<0.05),注视次数占比和总访问持续时间差异特别显著(P<0.01)。

对场景2襟翼卡阻的实验数据进行描述性统计分析发现,使用交互系统在PFD的注视总持续时间、注视总持续时间占比、注视次数和总访问持续时间均小于电子手册,在信息系统的注视总持续时间、注视总持续时间占比、注视次数、注视次数占比和总访问持续时间均小于电子手册,在E/WD的注视总持续时间占比和注视次数占比均大于电子手册,其他AOI大小接近。差异性分析发现,被试在使用不同信息系统处置场景2时,SD的注视总持续时间、注视总持续时间占比、注视次数、注视次数占比和总访问持续时间差异显著(P<0.05),信息系统的注视总持续时间占比和注视次数占比差异显著(P<0.05),注视总持续时间、注视次数和总访问持续时间差异特别显著(P<0.01)。

2.2 视觉搜索绩效分析

研究表明[18,29-31],视觉搜索绩效主要通过视觉搜索所花费的时间和搜索准确度来量化反映。根据飞行员执行飞行任务时对速度和效率的高要求,对飞行员视觉搜索绩效研究主要从搜索速度和搜索效率两方面展开分析。根据实验采集的眼动数据确定视觉搜索绩效评估指标,并建立视觉搜索绩效评估模型[32],确定了用搜索速度(用S表示)和搜索效率(用A表示)来表征飞行员视觉搜索绩效水平。

注视总持续时间(用D表示)可以反映人认知过程的困难程度,即数值越大表示被试确认目标的时间越长,认知越困难,因此,将搜索速度S定义为某个兴趣区注视总持续时间的倒数[33],表达式为

S=D-1

(1)

由式(1)可知,被试认知越困难,注视总持续时间D越长,视觉搜索速度S越小。

被试在进行目标搜索的过程中,若对当前注视点的信息获取不足则会重返上一个注视点来重新获取信息,这种行为被称为回溯注视。这些回溯注视点的产生会导致总访问持续时间(用V表示)大于注视总持续时间,且随着回溯注视点的增多,总访问持续时间增多[22]。因此,将搜索效率A定义为某个兴趣区总访问持续时间V与注视总持续时间D的比值[32],表达式为

(2)

由式(2)可知,当A>1时,有回溯现象发生,且A越大,表明视觉搜索效率越低。

对实验采集的眼动数据进行整理、计算,可得被试在单发失效、襟翼卡阻两个场景下分别使用交互系统和电子手册的视觉搜索绩效评估模型的评价结果如图5和图6所示。

图5 单发失效下的视觉搜索绩效结果Fig.5 Visual search performance results under engine failure

图6 襟翼卡阻下的视觉搜索绩效结果Fig.6 Visual search performance results under flap locked

可以看出,单发失效下,在E/WD、SD和信息系统3个AOI上,使用交互系统的搜索速度大于电子手册,在PFD和ND上,使用交互系统的搜索速度小于电子手册。

单发失效下,在5个AOI上,使用交互系统的搜索效率均高于电子手册,且在PFD处最高。

襟翼卡阻下,在5个AOI上,使用交互系统的搜索速度均大于电子手册,且在ND处最大。

襟翼卡阻下,除在信息系统这个AOI上,使用交互系统的搜索效率低于电子手册,其他4个AOI的搜索效率均高于电子手册,且在SD处最高。

2.3 讨论

通过对比分析眼动数据来探究飞行员使用交互系统和电子手册在处置单发失效和襟翼卡阻时的视觉搜索特性。实验结果表明飞行员使用不同信息系统处置故障时的视觉搜索特性存在显著差异,具体表现为:使用交互系统有效减少了飞行员处置单发失效时在E/WD(判断故障与系统状态)、处置襟翼卡阻时在SD(执行带故障的进近操作程序)及处置两种故障时在信息系统(执行故障处置程序)的注视总持续时间、注视总持续时间占比、注视次数、注视次数占比和总访问持续时间。使用交互系统对飞行员处置单发失效时对信息系统的注视总持续时间、注视总持续时间占比和注视次数影响显著(P<0.05),对总访问持续时间和注视次数占比影响特别显著(P<0.01);在处置襟翼卡阻时对信息系统的注视总持续时间占比和注视次数占比影响显著(P<0.05),对总访问持续时间、注视总持续时间和注视次数影响特别显著(P<0.01)。结果还发现使用电子手册处置故障在信息系统的标准差较大,且比使用交互系统的大。一方面,因为使用电子手册处置故障需要飞行员在执行程序的同时对当前系统状态进行判断,再做出相应决策,缺少了交互系统的智能决策功能;另一方面,由于不同飞行员的决策水平与思考时间有所差异,飞行员注视电子手册的时间反映了他们的决策时间,故飞行员使用电子手册处置故障在信息系统的标准差偏大。

Kotval等[21]研究指出注视持续时间的长短可以反映提取信息的难度,注视点的数量可以反映AOI的重要性。Hornof等[23]发现,注视次数、注视持续时间不仅能够反映视觉搜索效率,还能够有效反映视觉搜索策略,即采取更系统的视觉搜索模式需要更少的重访次数和注视时间。实验结果发现使用两种信息系统在复杂飞行场景中的注视总持续时间和注视次数均在信息系统最大,其次是E/WD,这表明信息系统和E/WD上的信息是飞行员处置故障的重要信息来源,与实际情况相一致。结果表明,使用交互系统能够有效降低飞行员搜索和提取信息的难度,提高视觉搜索效率,同时还促使飞行员采取更系统的视觉搜索策略,有利于快速处置故障,保证飞行安全。

不同的故障属性及飞行情境决定了飞行员的视觉搜索特征。在场景1单发失效中,使用交互系统在PFD(显示主要飞行参数)、ND(显示导航信息)处的注视总持续时间、注视总持续时间占比、注视次数、注视次数占比和总访问持续时间均大于电子手册;在场景2襟翼卡阻中,使用交互系统在E/WD(警告信息及排故程序)的注视总持续时间占比、注视次数占比均大于电子手册。在故障处置过程中,提示信息量的增加会降低飞行员的搜索绩效,如使用交互系统处置单发失效时在PFD和ND处的搜索速度,处置襟翼卡阻时在信息系统的搜索效率均小于电子手册。结合实际情况分析,单发失效发生在起飞后爬升阶段,飞行员主要从PFD获取相关飞行参数以保证关键阶段飞行操纵的稳定性;襟翼卡阻发生在进近阶段,飞行员需要从E/WD上获取故障信息及进近性能数据,从而执行操作程序与着陆评估,保证飞行安全。

研究还基于眼动数据建立了视觉搜索绩效评估模型,该模型指出使用交互系统能够有效提高被试处置故障的视觉搜索绩效水平。基于此结论并结合Beck等[34]、Moacdieh等[35]在驾驶舱显示界面视觉复杂性方面的研究,发现视觉复杂性越高导致搜索时间越长和错误率越高。而使用交互系统能有效提高视觉搜索速度和效率,即交互系统能有效提高视觉搜索绩效水平,降低驾驶舱显示系统的视觉复杂性,帮助被试快速找到目标信息并处置故障,保证飞行安全。

3 结论

(1) 使用交互系统显著减少了飞行员在处置单发失效时E/WD、襟翼卡阻时SD以及在处置两个故障时信息系统的注视总持续时间和总访问持续时间。

(2) 使用交互系统能够缩短飞行员决策和判断的时间;起飞后单发失效场景下飞行员在E/WD、SD和信息系统3个AOI上,使用交互系统的搜索速度大于电子手册,在PFD和ND上使用交互系统的搜索速度小于电子手册。进近过程中襟翼卡阻场景下飞行员在5个AOI上使用交互系统的搜索速度均大于电子手册,且在ND处最大。

(3) 使用交互系统能有效提高飞行员在处置单发失效和襟翼卡阻故障时的视觉搜索效率。起飞后单发失效场景下飞行员在5个AOI上,使用交互系统的搜索效率均高于电子手册,且在PFD处最高。进近过程中襟翼卡阻场景下,除在信息系统这个AOI上,使用交互系统的搜索效率低于电子手册,其他4个AOI的搜索效率均高于电子手册,且在SD处最高。

(4) 研究结果表明信息系统智能化程度的提高在复杂场景下能对飞行员工作绩效产生正效应,可为驾驶舱人机交互界面的设计、优化及迭代提供理论参考,保证飞行安全。