飞行模拟环境视觉认知建模初步研究

王宏伟 顾宏斌 吴东苏

摘   要：为了对飞行员在飞行任务中的视觉认知进行建模研究，本文进行了基于眼动追踪技术的模拟飞行试验，并通过试验结果以及对飞行员的调查采访初步确定了模型的输入与输出。把飞行员看成一个有限状态机，初步搭建飞行员视觉认知模型框架，并在其中加入了简单的自我学习机制。然后利用图像处理技术对输入的视景图像进行特征提取，通过事先构建的飞行员模糊认知知识库，利用模糊认知的方式对提取到的特征信息进行处理，最终得到飞行员对于飞机当前姿态的认知。最后，本文利用动态时间规整算法对模型的真实性进行了验证。

关键词：飞行员  视觉认知  眼动  建模  动态时间规整

中图分类号：V216.7                                 文献标识码：A                        文章编号：1674-098X（2019）02（c）-0010-04

安全永远是民用航空里不可更改的主题，调查数据表明，一半以上的飞行事故是由飞行员失误导致的，所以关于与飞行员相关的人为因素对民用航空影响的研究刻不容缓[1]。飞行仿真技术是研究航空安全的一项重要手段，而飞行员建模是判断飞行模拟器真实性和可靠性的重要途径。在飞行员感知到的外界信息中，眼睛所获得的视觉信息占据了80%，因此，飞行员视觉认知的建模研究对于飞行员建模具有重要意义。

1  基于眼动追踪技术的模拟飞行试验

1.1 试验目的

在建立飞行员视觉认知模型的初期，我们首先要明确模型的输入和输出。为了确定在飞行员对飞机状态的认知过程中所需的外界信息以及飞行员对所获得的各视觉信息的关注程度，同时获得一些飞行员视觉认知模型中的细节参数信息，我们以进近着陆阶段为例，进行了基于眼动追踪技术的模拟飞行试验[2]。

1.2 试验设备

本次试验所用到的硬件设备主要有SMI无线眼动追踪眼镜、塞斯纳172型号飞行模拟器以及SMI工作站一台。本次试验所用到的软件主要有：微软模拟飞行软件、SMI ETG智能记录软件以及SMI BeGaze数据分析软件。SMI BeGaze数据分析软件可实现对眼动追踪数据及场景视频资料的定性观察及定量分析[3]。

1.3 试验对象

本次试验的试验对象是10名已完成国外培训但尚未参加工作的飞行学员，10名飞行学员所属航校均为南非艾维，均接受过塞斯纳172型号的真机实训，实训时长均为180个飞行小时。

1.4 试验场景搭建

经过對各试验设备的调试，我们完成了基于眼动追踪技术的模拟飞行试验场景搭建，如图1所示。图左下角的电脑即SMI工作站，飞行学员佩戴的眼镜即SMI无线眼动追踪眼镜，其与工作站直接相连。

1.5 试验流程

（1）记录被试者的基本信息，被试者穿戴SMI无线眼动追踪眼镜等试验设备。（2）定标、校准。（3）利用微软模拟飞行软件，环境设置为正常，被试者在飞行模拟器中执行五边飞行程序，同时利用SMI ETG软件进行实时数据采集与记录，采样频率为120Hz。（4）完成正常情况下的五边飞行，结束记录。（5）环境设置为风雨，被试者重新开始执行相同的五边飞行程序，同时利用SMI ETG软件进行实时数据采集与记录，采样频率为120Hz。（6）完成风雨情况下的五边飞行，结束记录。（7）环境设置为夜间，被试者重新开始执行相同的五边飞行程序，同时利用SMI ETG软件进行实时数据采集与记录，采样频率为120Hz。（8）完成夜间环境下的五边飞行，结束记录。（9）被试者脱卸实验设备，记录被试者的飞行体验，下一个被试者准备。

1.6 试验数据分析

我们选择凝视时间和注视轨迹图作为眼动分析的指标[4]。在SMI BeGaze分析软件中，我们得到了屏幕不同区域的凝视时间图，由于试验是针对整个五边飞行程序进行的，而我们只需要飞行员进近阶段的眼动信息，因此我们在刚开始进近和进近结束分别获取了屏幕不同区域的凝视时间图，各个区域凝视时间之差就是飞行员在进近阶段对屏幕不同区域的凝视时间。

通过飞行员在进近阶段对屏幕不同区域的凝视时间图我们可以发现，无论正常、风雨还是夜间情况下，飞行员在进近阶段注意力都主要集中在两个区域：舱外视景（主要是跑道和地平线）以及舱内仪表（主要是地平仪、垂直速率表、高度表、下滑道指示器和航道指示器）。在正常、风雨和夜间三种情况下，舱外视景的凝视时间都要明显高于舱内仪表的凝视时间，也就是说，三种情况下飞行员的注意力都主要集中在舱外视景中，其次是舱内仪表，舱外视景是飞行员获取视觉信息的主要来源，舱内仪表次之。

我们通过计算飞行员注视点从舱外视景转移到舱内仪表或从舱内仪表转移到舱外视景所经历的一系列眼跳的时间之和得到了飞行员“低头”和“抬头”所需的时间。我们发现，该时间不受风雨和夜间环境的影响，且10个飞行员“低头”和“抬头”分别所需的时间也大致相同，在本次试验中，飞行员“低头”所需时间大概是90ms，“抬头”所需时间大概是120ms。

另外，通过BeGaze分析软件，我们得到了飞行员在执行飞行任务期间的注视轨迹图。图2、图3和图4分别为正常、风雨和夜间情况下飞行员在飞机进近阶段某时刻的注视轨迹图。

通过对飞行员在飞机进近阶段一系列的注视轨迹图观察分析，我们发现在正常、风雨和夜间三种情况下，飞行员的注视点总是集中在以下目标物体上：舱内仪表、跑道中线、跑道边线和天际线。另外，相比正常和风雨情况，在夜间情况下飞行员会额外多关注一项目标物体的信息，那就是精密进近航道指示器。

通过对正常、风雨和夜间三种情况下注视轨迹图的详细对比分析，我们得到如下结论：风雨和夜间的条件对飞行员的舱内仪表认知没有太大影响，而在一定程度上影响了飞行员的舱外视觉认知。风雨条件下，由于能见度下降，飞行员对舱外视景中目标信息的提取变得困难，因此视觉认知时间变长;而在夜间情况下，跑道信息主要由跑道灯光系统来提供，与周围环境对比度大，更容易识别，因此视觉认知时间缩短。

我们记录了飞行员在飞机进近阶段三种情况下每次“抬头”之后注意力在舱外视景区域停留的时间，对三种情况下得到的数据序列进行处理，我们近似得到了飞行员在飞机进近阶段舱外视觉认知需要的时间，正常情况下飞行员注意力在舱外视景上每次停留的时间约为2075ms，风雨环境下这个时间延长到约2675ms，而夜间这个时间缩短到约1554ms。

2  飞行员进近阶段视觉认知模型的构建

在上述实验结果的基础上，我们又对飞行员进行了随机地调查采访，最终确定了进近阶段飞行员视觉认知模型的整体框架，如图5所示。

我们把飞行员简化成一个只存在“注视舱外视景状态”和“注视舱内仪表状态”的有限状态机，两种状态通过“低头”和“抬头”的动作来切换。在舱外视景认知模块中存在一个定时器，定时器的计时周期是根据眼动试验和飞行员的经验设定的阈值T，T是可变的，根据我们所做的眼动试验，正常情况下参数T取2075ms，风雨环境下T取2675ms，而夜间环境下T取1554ms。初始状态为注视舱外视景状态，定时器开始计时，定时器计时结束执行低头动作，切换到注视舱内仪表状态，舱内仪表认知完成后马上执行抬头动作，切换回注视舱外视景状态，定时器重新计时。

为了实现模型简单的自我学习能力，我们忽略“抬头”过程中飞机姿态的变化，通过舱内仪表认知模块向舱外视景认知模块进行反馈。飞行员的知识以规则的形式存储在知识库中，将飞行员视觉认知知识库划分为三部分：长时记忆库、短时记忆库和缓冲区[5]。从舱内仪表认知模块反馈回来的规则存入舱外视景认知模块知识库的缓冲区中，然后执行舱外视景认知操作，在认知过程中必定会调用舱外视景认知模块知识库中的某条规则，接下来把该规则与缓冲区中的规则对比，如果两规则相同，那么将该规则返回舱外视景认知模块相应的记忆库，并清空缓存区;如果两规则出现冲突，以缓冲区中的规则为准，对执行舱外视景认知得到的规则进行更新和优化，将更新后的规则存入短时记忆库中，清除原舱外视景认知模块知识库中的该条规则，清空清缓存区。每条存入短时记忆库中的规则会在存入的时刻得到一个相应的时间戳以及一个整数值m，如图6所示，m的初始值为1，记录该条规则被调用的次数。

通过基于眼动追踪技术的模拟飞行试验和对飞行员的调查采访，我们得到了飞行员通过视觉信息判断飞机姿态的一些方法，并进一步建立了飞行员的视觉认知知识库。舱外视景认知模块和舱内仪表认知模块通过图像处理的方法提取到视野中飞行员感兴趣的特征信息，例如：跑道、地平线、地平仪、高度表等信息，然后利用模糊数学的理念，根据已经获得的飞行员视觉认知知识库，建立飞行员的模糊认知规则库，最终得到了飞行员对于飞机当前姿态的视觉认知[6]。

3  模型验证

判断模型是否能产生与飞行员相同的视觉认知是一个很困难的过程，因为飞行员的各项反应时间与模型并不相同，我们需要判断模型是否与飞行员产生了相同特性的控制行为，因此我们采用动态时间规整（DTW）算法来对模型进行验证[7]，动态时间规整算法可以比较两组时间序列的相似性。我们安排了10名飞行员，分别在相同的初始参数下，与我们所搭建的飞行员视觉认知模型执行完全相同的进近任务，每隔50ms记录一个点，分别记录下进近过程中的各项飞行参数的时间序列，然后分别与视觉认知模型执行该进近任务得到的时间序列作比较，利用DTW算法得到其最小规整路径距离，最小规整路径距离如式（1）所示，从而验证10名飞行员是否与模型产生了具有相同特性的控制行为。

如表1所示，我们分别计算了10名飞行员与模型在滚转角、俯仰角、航向道偏差、下滑道偏差、高度和垂直速率这6项飞行参数的时间序列间的最小规整路径距离，我们发现，每一项参数的最小规整路径距离都很小，没有超出我们的容错范围，因此我们认为模型产生了与真实飞行员具有相同特性的控制行为，该视觉认知模型的真实性得到了验证。

4  结语

本文基于眼动追踪技术的模拟飞行试验结果，采用模糊认知的方式初步建立了飞行员进近阶段的视觉认知模型，建立了简单的自我学习机制，并利用DTW算法验证了模型的真实性。本文完成了飞行模拟环境视觉认知模型的初步研究，初步建立了简单的视觉认知模型，后续考虑通过对SOAR和ACT-R认知架构的理解与应用，对现有的视觉认知模型进行进一步的优化。

参考文献

[1] International Civil Aviation Organizat-ion. Manual for Safety Management Syst-em Doc9859 [Z].2007：2-6-2-10.

[2] 柳忠起，袁修干.基于模拟飞行任务下的眼动指标分析[J].中国安全科学学报，2006，16（2）：47-51.

[3] Salvucci，D.D.An integrated model of eyemovements and visual encoding [J].Cogn-itive Systems Research，2001（1）：201-220.

[4] Andreas Bulling， Jamie A. Ward， Hans G-ellersen and Gerhard Troster. Eye Movement Analysis for Activity Recognition Using Electrooculography [J].IEEE Transactions on Pattern Analysis and Machine Intelligence 2011，33（4）：741-753.

[5] Anderson Cognitive J.R.Retrieval of pr-opositional information from long term memory [J].Psychology，1974（5）：451-474.

[6] Lee，C.C.，Fuzzy Logic in Control Systems：Fuzzy Logic Controller Parts l，2. IEEE Transactions Systems， Man， Cybernetics，Vol. 20， No. 2， 1990，404-418.

[7] 萬春.基于DTW的语音识别应用系统研究与实现[J].集美大学学报：自然科学版，2002，7（2）：104-108.