视线追踪联合脑电的飞行员操纵意图检测方法

蒋光毅，王长元，刘洲洲

(1.西安航空学院 计算机学院 ,西安 710077;2.西安工业大学 计算机科学与工程学院,西安 710021)

随着航空技术发展,飞行器可靠性不断提高,机组乘员能够从5人减到2人。而美国航空航天局(National Aeronautics and Space Administration,NASA)提出的单人飞行员驾驶(Single pilot operation,SPO)模式,即保持原有2名机组乘员的安全性同时实现大型民航飞机的单人驾驶,缓解航空业中飞行员短缺压力[1-2]。文献[3]总结了实现SPO模式的不同方法,其中”以人为中心”是一个主要方向。目前的航空自动化系统依然脆弱[4],飞行员的行为状态是影响飞行的主要因素,单人飞行员显然会承受过大的负荷压力[5-6]。”以人为中心”思路强调通过研究飞行员任务认知、状态感知、操纵意图等各种人因状态,提高人机交互效率,以降低飞行员的工作负荷,从而保障飞行安全。采用脑电、眼动等多种方法实现对飞行员的飞行认知与操纵意图深入分析,是实现”虚拟飞行员助理”智能自主化系统的重要一环[7]。

相关研究表明,飞行员对于飞行状态信息的感知通道主要为视觉[8]。飞行员对飞行的主要操纵决策需要以视觉信息为基础。因此,结合眼动追踪技术,对飞行员进行视觉注视分析,是一种从视觉通道对飞行员进行操纵意图分析的有效方法[9]。视线追踪获取的是被测人员的注视落点,视线追踪检测设备采样率能够100 Hz以上,面对大量的实时数据,文献[10]在飞行员注视分析中引入感兴趣区域(Area of Interest,AOI)分析法。该方法将飞行座舱与视景按照存在的主要信息语义分为多个不同的区域,在研究过程中只讨论飞行员视线落在不同的区域的情况,简化了数据分析。

脑活动生物信号是由脑部神经活动产生的可被传感器检测到的生物信息。目前非侵入的可穿戴式脑活动检测方法有基于神经活动引起的血氧饱和度耦合信号的近红外脑活动成像技术和基于皮肤表面生物电信号的脑电图技术[11-12]。其中,脑电(Electroencephalogram,EEG)是通过在头部皮肤表面不同位置粘贴的多个电极获取的不同脑部区域神经活动产生的生物电信号实现对脑部活动的分析。而EEG脑电仪也是一种使用简单、可靠、轻便、安全、广泛应用的非侵入穿戴式脑电采集设备。

近年来,相关研究者对脑电数据的分析进行了详尽的研究。而传统脑电数据的分析是基于先验经验总结的数据特征计算方法和特征规律。例如脑活动研究中一般将脑电信号分为5种频率(Delta、Theta、Alpha、Beta、Gamma)进行特征分析[13-14]。而文献[15]基于不同频率脑电活跃程度分析实现了对失眠患者的相关疾病诊断。文献[16]提出一种新型滤波器组公共空间模式实现关键脑电特征的自动选择。

随着人工智能的发展,深度学习技术展现出的对于复杂特征的分析能力在脑电领域具有巨大的潜力[17-19]。基于深度学习的神经网络从大量的训练样本中自主学习神经活动信号特征,通过监督学习的方式实现对脑电数据良好的识别性能。在一些研究中,通过将EEG数据作为一种由多电极电压与时间序列构成的多维度数据,进行基于卷积神经网络(Convolutional Neural Network,CNN)的分类分析,获得了平均80%以上的准确率[20-22]。文献[23]对肢体动作的意图分析,文献[24]通过EEG进行运动想象检测研究,以及文献[25]采用神经网络方法进行运动想象的识别检测,文献[26]基于EEG脑电数据进行情绪情感的识别,也说明了EEG具备进行复杂意图层面的分析能力。

文中在贴近实际飞行的状态下进行飞行员脑电、视觉注视同步数据采集,受试人员自然连贯地完成飞行科目,将注意力集中于飞行科目的完成质量,保证了飞行实验中飞行员状态与实际飞行中的状态具有高度一致性,使采集的脑电数据贴近实际飞行中飞行员状态,能够获得可信度较高的视觉注视联合脑电的操纵意图数据样本。同时,设计的神经网络分类模型,利用转换编码器(Transformer Encoder)的注意力机制提高对多维度复杂脑电数据的特征搜索能力和模型分类效率,最终实现了平均92%的操纵意图分类准确率。

1 基于视觉注视、飞行操纵的飞行员操纵意图特征分析方法

1.1 视觉注视数据特征

实验平台将飞机座舱在主显示器上以固定视角显示,采用的红外非穿戴式眼动仪能够实时获取被试者在主显示器上的注视落点坐标。为了简化分析,AOI分析法,即对主显示器画面中图像按照信息类别进行区域划分,当注视驻留在感兴趣区域内,则认为飞行员获取了该区域内的主要感知信息。感兴趣区域分析法不用具体分析注视点如何通过注视区域内的文字指针细节获得信息。如图1所示,飞行中包含关键飞行信息的AOI区域则有:姿态仪、垂直速度表、高度表、空速表和磁航向表,这些AOI区域在模板中按照不同颜色编码进行划分。

ADI—姿态;RMI—电磁航向指示;ADF—自动侧向仪;SPD—空速表;ALT—气压高度表;VSI—垂直速度表

进行AOI注视分析时,会将视觉注视数据分割为不同时长的注视事件,其中注视进入某一个AOI区域到移出该AOI区域为一个注视事件。为了研究每个注视仪表的事件中飞行员获取仪表信息情况,将注视漂移速率和注视时间作为主要分析数据,一般研究认为当注视某仪表AOI区域时间足够长且注视漂移速率较小,则能说明飞行员从该仪表中读取了信息。

注视漂移速率是注视落点在屏幕上的漂移速度,单位为像素/秒。为了方便与其他类型数据融合,需要对注视漂移速率进行全局对比度归一化处理。设veye(t)是t时刻的注视漂移速率,由于眼动仪采样率为100 Hz,则每组数据为10 ms内的注视漂移平均速度。式(1)中,所有实验的注视漂移数据集合为Veye,获得t时刻注视漂移速率的标准化的数据Q(t)。

(1)

然后,将Veye带入式中获得整个实验的标准化数据Q,并求标准化数据Q的最大值和最小值。最终获得t时刻的注视漂移速率的全局对比度归一化数据。

(2)

每一个注视事件包含一组视觉注视漂移速率序列数据。为方便将注视漂移速率作为注视信息获取的判断依据,对每个注视事件中的注视漂移速率数据进行微分熵特征提取。式(3)首先对注视某个AOI区域的注视漂移全局对比度归一化序列数据计算平均功率密度PSD,其中fs是频率。由PSD计算注视漂移速率的微分熵DE。

(3)

DEeye=log2(PSDeye)。

(4)

根据微分熵的特性可知,注视漂移速率越低,平均功率密度越小,则微分熵值越小。当某一个注视事件的注视漂移速率微分熵特征值较小时,即便注视时间相比起来并不长,但也能说明飞行员凝视了仪表并有极高概率获取到了仪表信息。

1.2 飞行操纵数据特征

飞行器的主要操纵设备为操纵杆、脚舵和油门,其中一共有4个操纵自由度,并且每个自由度输出数据为轴数据。实验平台中,操纵轴数据也是一个100 Hz的时间序列数据。由于巡航飞行的特点,飞行员对操控杆的杆量的调整是基于对飞行态势的修正,因此巡航飞行段的飞行操纵数据对操纵意图有更明显的特征表现。

通过信号功率表达飞行操纵特征。式(5)对每个操纵轴的变化率进行特征计算,其中a、b为样本的起止时刻,Oper(t)为轴变化率,Oper2(t)则为信号功率。

(5)

能量特征体现在样本序列数据中,飞行员操纵摇杆的情况,在进行机动调整的时候,相关操纵轴数据会出现教大的能量变化特征。

1.3 操纵意图特征分析

如图2所示,对一个视觉注视事件的操纵意图分析是融合注视数据和操纵数据的特征进行判断,以解决单纯的视线注视数据在操纵意图分析不确定性的问题。当飞行员注视某个飞行仪表并进行相应的飞行操作,则能明确该视觉注视事件的操纵意图类别。针对基础飞行中4种操纵意图,分别为高度、空速、姿态、航向。

图2 基于注视事件的操纵意图分析

针对不同阅读类型的凝视时间的研究,见表1。人眼注视AOI区域超过200 ms就能说明已经读取AOI区域中的信息[27]。同时注视漂移速率微分熵特征值越低则注视越稳定,表示飞行员在实际读取仪表上的信息。如图3所示,将飞行实验中注视高度表AOI区域事件的注视微分熵特征进行排序,并观察凝视时间的变化趋势。通过对注视时间曲线平滑处理后可见,当注视漂移微分熵特征值较高时,凝视时间呈整体下降趋势。

表1 不同阅读类型的注视持续时间

图3 视觉注视微分熵特征

将注视漂移速率的微分熵特征值的阈值设为-5,注视时间阈值设为200 ms。即注视超过200 ms且注视速率微分熵特征值小于-5时,则说明飞行员在阅读仪表。最后,将操纵数据作为参考明确阅读仪表的视觉注视由相应的操纵意图驱动。以高度感知为例,如图4所示,飞行员注视高度表的注视漂移速率与俯仰轴操纵信号能量特征的统计关系,其中操纵信号能量特征分析窗口是对注视开始到之后2 s的操纵数据进行计算。同理空速与油门节流阀轴数据相关,姿态与操纵俯仰轴和横滚轴相关,航向与操纵杆横滚轴数据相关。

图4 高度俯仰的飞行操纵量的能量特征

整理飞行员关注高度、空速、姿态、航向四种状态感知的仪表注视和操纵数据。设置操纵意图的分类阈值见表2,即当飞行中飞行员注视某个仪表AOI区域时同时满足相应注视持续时间、注视微分熵特征和对应的操纵数据能量特征时,则能判定感注视行为的操纵意图类别。截取从注视开始1 s的脑电EEG数据作为训练样本。

表2 操纵意图阈值设置

2 融合脑电的Transformer-CNN操纵意图分析

2.1 脑电数据采集方法

如图5所示,使用Bitbrain的32导半干式电极脑电仪对受试者进行脑电信号采集,该脑电仪采样频率256 Hz。使用时,EEG脑电仪的电极湿润后贴在头皮表面。其中电极在头皮上的位置分布遵循美国临床神经生理学会制定的导联方案,即以10-10导联系统和10-20导联系统[28-29]作为互补为每个脑电电极分配具体位置。

图5 半湿电极32导脑电仪

脑电信号采集到后首先进行滤波处理,去除掉环境中的干扰信号。滤波处理后的脑电信号可以看作为每秒256帧的时间序列数据。如图6所示,额头区域的Fp1、Fpz、Fp2、AF3和AF4容易受到眨眼眼球运动神经信号干扰,分析时排除这四个电极。根据实际实验使用情况,选择性排除一些因佩戴效果不佳导致信号不稳定脑电电极数据。

图6 脑电检测区域

2.2 Transformer-CNN操纵意图分析模型

EEG脑电数据是一个多维度时间序列数据。设计了一个基于转换器(Transformer)的神经网络模型解决脑电数据分类问题。Transformer通过自注意力(Self-Attention)机制提高算法处理复杂数据分析与训练效率[30]。如图7所示,文中的网络模型由1个Transformer encoder融合CNN的网络模块和特征融合模块构成。

图7 基于Transformer的神经网络模型

1) EEG时空特征特征提取

(6)

为了扩展Self-Attention对不同位置数据的关注能力,Transformer采用多头注意力机制,即将输入数据的Q、K、V三个向量通过线性变换映射到不同的空间中,获得多组向量数据,并对每组数据分别进行Attention计算,并将结果拼接起来。

(7)

Transformer Encoder中,输入EEG数据由多头注意力处理的数据再进行退出计算(DropOut)、归一化处理后再进行卷积处理。其中卷积处理如式(8),(Cx,Cy)为邻接卷积层数,W为权值矩阵,fk为过滤器阶数,b为偏置。如图7所示,注意力处理后的数据和卷积处理后的数据分别于原输入序列数据进行叠加后输出进行特征融合。

(8)

输入数据经过Transformer Encoder和CNN网络层处理,并进行全局平均池化处理后获得的是与操纵意图分类相关度较大的256维度的特征数据。特征融合分类采用128节点的全连接层与DropOut组合方式。张量扁平化后的输出的数据为labell的概率值,l为分类数。

3 模拟飞行实验与结果分析

3.1 模拟飞行实验设计

如图8所示,在一种小型化的模拟飞行运动平台上开展试验,模拟平台由运动平台、显示器、手不离杆式(Hands on Throttle and Suck,HOTAS)摇杆、脚舵构成。其中采集设备包含非穿戴式眼动仪、32导穿戴式脑电帽。如图9所示,模拟机型采用C-101单发喷气式教练机。实验训练科目为五边飞行。

图8 模拟飞行平台

图9 C101模拟飞行机型

每次飞行实验,飞行学员会进行多次五边起落飞行练习。获取数据后,首先通过飞行数据对实验数据进行任务分段,提取巡航飞行阶段数据。

根据视觉注视姿态仪、高度表、垂直速度表、空速表、磁航向仪AOI区域注视事件,融合注视事件发生后2 s内的操纵数据,对飞行员高度、姿态、航向和空速操纵意图进行分析。提取操纵意图的事件时间数据。接着,将操纵意图的事件时间数据,截取注视事件开始时间后1 s的对应EEG脑电数据作为样本。将注视事件对应的高度意图、空速意图、姿态意图和航向意图作为脑电样本数据的标签。将视觉注视非飞行信息相关区域的注视事件切割对应的EEG样本作为非操纵意图样本。

3.2 构建神经网络模型与训练实验

建立基于Transformer-CNN的多维度脑电数据分类模型,使用飞行实验数据建立的数据集进行神经网络训练。如图10所示,经过200次(Epoches)训练后,训练准确率达到94%,损失降低到0.18。

图10 神经网络模型训练损失率与准确率 Fig.10 Loss rate and accuracy of neural network model training

将训练完成的神经网络模型对四位飞行学员数据进行测试,平均准确率为92%,见表3。长短期记忆(Long Short Term Memory,LSTM)神经网络方法对本文数据集的分类准确率为86%,可见基于Transformer的神经网络模型在分类性能上有显著提升。

表3 不同受试者与不同方法的对比

4 结 论

从贴近实际飞行的实验中获取视觉注视、操纵、脑电数据,通过视觉注视、操纵与飞行数据进入融合的方式实现脑电EEG意图样本的筛选与提取。这种方式保证了脑电数据中包含的意图信息是飞行员在应对实际飞行中所产生的。经过基于Transformer-CNN的神经网络训练实验,脑电操纵意图分类准确率能够达到92.74%,与LSTM算法相比有明显提高。

以基础飞行训练为实验科目,对操纵意图分析集中于对高度、空速、航向和姿态这些飞行基础飞行的检测。基于文中方法的原理流程,修改实验科目,可扩展到其他对象的操纵意图分析。适应不同飞行任务、不同驾驶环境下的飞行员操纵意图分析需求。为航空辅助智能中飞行员的状态监测研究与应用提供理论方法支持。