王凯
(中国民用航空中南地区空中交通管理局 广东省广州市 510000)
跑道安全一直是民航安全管理的重中之重,国际民航组织(International Civil Aviation Organization,ICAO)2006年发布的《防止跑道侵入手册》及中国民航局发布的《民用航空器事故症候》将跑道侵入明确定义为:在机场内任何航空器、车辆、人员错误的出现或存在指定用于航空器着陆或起飞的地面保护区情况[1,2]。目前,国内外学者在如何保障跑道安全上做出了许多研究。中国民用航空管理局也针对如何防止跑道侵入发布众多规范性文件[3-5]。分别从人、机、环、管多角度防止跑道侵入的发生。在国外,美国联邦航空管理局(Federal Aviation Administration,FAA)在1999年启动了国家跑道安全计划,主要是加强场面监视能力建设。先后建设了基于场面监视雷达、多点定位、ADS-B(Automatic Dependent Surveillance-Broadcast)等监视源的场面监视系统。为空中交通管制员提供场面监视能力。而欧洲航空安全组织(Eurocontrol)主要通过高级场面引导与控制系统(Advanced Surface Movement Guidance and Control Systems,A-SMGCS)为管制员提供相应的监视能力。美国和欧洲均通过提高场面的监视能力来避免跑道冲突的发生,但是,这种单一基于监视数据的告警模式,其告警时机一般较晚,即两架航空器到了非常接近的位置才提供告警,留给管制员处理的时间很少。近年来,以深度学习为代表的人工智能技术在语音识别(Automatic speech Recognition)、自然语言处理(Natural Language Processing)等领域得到巨大进步,使得基于语音识别技术防止跑道侵入的设想成为可能。本文提出了一种基于语音识别技术,通过对管制员与飞行员的实时通话进行语音识别,分析其指令意图,结合监视系统[6]提供的监视数据进行融合判断来防止跑道侵入的技术方案。当系统判断存在跑道侵入风险时,及时提醒管制员采取措施。相比基于单一监视数据的告警模式,基于语音和监视数据结合的告警模式其告警时机相对更加提前,留给管制员充足的时间进行调配,达到安全关口前移目的。
图1:系统架构图
图2:系统流程图
图3:机组复诵缺失
图4:进跑道指令冲突验证
图5:穿越指令冲突验证
图6:落地指令冲突验证
语音识别是一门综合性学科,涉及声学、语言学、信号处理、概率统计、信息论、模式识别和深度学习等学科。其发展主要分为三个阶段。第一阶段模式匹配阶段。它主要通过利用动态时间规整(Dynamic Time Warping DTW)[7,8]将不同长度的语音在时间轴上对齐,然后通过模板匹配算法达到语音识别的目的。该阶段在对单一词汇的识别应用上有很好的表现。第二阶段统计模型阶段。以GMM-HMM 为主,它主要通过利用对语音状态的转移概率和观察值概率进行建模达到语音识别的目的[9]。在一定时间内该方法一直是主流语音识别方法。识别率可达到80%左右。第三阶段深度学习阶段。以CNN-HMM 为主,它主要通过对深度置信网络[10]的“预训练”过程,得到神经网络权值的近似最优解,之后通过反向传播算法使整个网络得到训练优化,实现对语音进行识别。是目前主流的语音识别技术。本文采用的是基于卷积神经网络(Convolutional Neural Network,CNN)和隐形马尔科夫模型(Hidden Markov Model,HMM)组建的神经网络。由于航空语音相比自然语音在发音及语言上有一定的差异性,故模型采用广州白云塔台2020年第一季度中英文语音数据进行标注及训练。其中80%数据用于模型训练,20%数据进行模型测试。从而得到相应的语音识别引擎,通过词错误率(Word Error Rate,WER)进行评估,模型中、英文识别准确率均达到90%以上。其计算公式如(1):
其中Nref表示测试集所有的词汇量,Ndel表示识别结果相对于实际标注发生的删除错误的此数量,Nsub表示发生替换错误的词汇量,Nins表示发生插入错误的词汇量。
自然语言处理是计算机领域与人工智能领域的一个重要方向,其主要就是开发出能够理解人类语言的应用程序或服务。通常它的输入是真实文本信息,输出为对文本信息的深层的理解。最简单的应用就是通过对一段影评文本的学习,输出该文本是对电影的积极评论还是消极评论。本系统通过对语音识别引擎识别结果进行意图分析,针对意图进行了相关场景分类。分别划分为:航空器进跑道意图、起飞意图、落地意图、穿越跑道意图、航空器跑道外等待意图、航空器跑道外滑行等。通过对意图的分析辅助对跑道的冲突检测。
空管监视系统一般指通过监视设备,如:雷达、多点定位、ADS-B 等,将场面或空中的运动目标(航空器、车辆),通过应答机二次代码(SSR)或航班号等信息进行关联而达到对目标的监控。本系统需要接入机场场面的监视数据以及机场15 公里半径空中的监视数据。本系统采用广州白云机场场面监视系统输出的Cat011[11]格式,通过对该数据的解析,可以得到航空器、车辆的当前位置、高度、速度、动方向等信息。通过对监视数据的处理可以得知该航空器是否在一定时间内对跑道的占用情况,从而辅助跑道冲突检测目的。
本模块通过接收处理监视数据以及分析后的意图信息,在管制员发布跑道相关指令后,判断场面态势是否与该条指令有冲突。本系统研究的内容包括:进跑道意图与落地航空器运动状态的冲突、起飞意图与穿越跑道航空器运动状态的冲突、落地意图与穿越跑道或起飞的航空器运动状态的冲突、穿越意图与起飞或落地的航空器运动状态的冲突。
根据高内聚、低耦合的设计原则,系统各功能模块应相互独立,通过消息总线进行数据交互。外部数据源为语音记录仪输出的实时语音数据,通过3.5mm 同轴音频插头接入到语音采集服务器,然后将音频数据接入到语音识别引擎进行语音识别,将识别结果输出到消息总线供其他模块进行分析处理。自然语言处理通过读取消息总线的识别结果,通过对结果的意图分析,将结果分解为航空器呼号、指令意图、跑道号三大要素。并将其结果发送至消息总线供融合判断模块进行处理。监视数据处理模块主要用于接收和处理监视数据,解析监视数据中包含的位置、高度、速度等信息,并将相关信息送到融合判断模块。融合判断模块通过接收处理自然语言处理模块输出的语音意图信息以及监视数据处理模块输出的监视信息。结合相应的跑道冲突逻辑进行跑道冲突检测,当系统判断可能会造成跑道侵入事件发生时,及时将预警信息提供给前端显示,以提醒管制员及时采取措施,防止跑道侵入事件的发生。系统的整体架构如图1所示。
由于飞行员对管制员指令的复诵是否正确,与跑道侵入事件也密切相关。系统除了提供跑道侵入的检测以外,还会对飞行员复诵的内容进行检查。根据航班号、指令意图、跑道号三要素,系统针对上述要素的复诵超时、复诵要素不全、复诵不一致多项告警,从多角度验证了跑道是否安全。其系统的主要流程图如图2所示。
本系统已经完成相关设计开发工作,部署在广州白云塔台进行测试验证。根据测试结果统计,在有关跑道相关指令时,机组需要正确复诵指令意图、跑道号和呼号。目前有部分航空公司的飞行员并未遵守相关规定。如图3所示为管制员给航班发布了01 号跑道落地的指令,而飞行员的复诵内容只复诵和指令信息和航班号信息,未对跑道号进行复诵,不符合空中交通无线电通话用语规定[12]。
在跑道冲突探测方面,目前针对进跑道指令,若同跑道有即将落地的航班,则会造成跑道冲突,如图4所示。当管制员通过语音发布进跑道指令,系统会检查场面监视数据中是否相同跑道有即将要落地的航班,一定参数范围内,若存在,则进行提醒,若不存在,则该条语音指令是安全指令。同理还有起飞语音指令与穿越航班的冲突,图5所示、落地指令与起飞航班的冲突,图6所示。
本文基于防跑道侵入的需求,在语音识别深度学习的背景下,结合机场的监视数据,提出多角度跑道冲突检测的技术方案,并得以实现及验证。基于验证结果,此技术是可行的。该技术的应用可以弥补现有防跑道侵入技术的不足,提前跑道侵入的告警时间,能有效提高民航安全水平。
同时,为了提高告警的准确性,下一步研究的重点是:
(1)加大语音识别引擎的训练数据,进一步提升语音识别准确率。
(2)结合实际运行情况,对部分告警参数进行调优,使告警与实际运行情况保持一致。
(3)引入多源数据,例如融合塔台运行管理系统电子进程信息、智能图像视频信息,扩充告警类型。