基于PN和CNN-LSTM-ATT的航班延误预测

吴 涔,叶 宁,2,王 甦,季翔宇

(1.南京邮电大学 计算机学院、软件学院、网络空间安全学院,江苏 南京 210023;2.江苏省无线传感网高技术研究重点实验室,江苏 南京 210023)

0 引 言

随着国民经济和民航业的快速发展,航班延误产生的压力也是越来越大。航班延误不仅会影响旅客的出行计划,给旅客带来时间和经济损失,同时也增加了航空公司的运营成本,影响了机场和空管部门的正常运营。然而航班的延误通常是由多方面因素造成的,因此延误是难以完全避免的[1]。针对航班延误问题,国内外学者已展开大量研究,大多采用支持向量机、决策树、神经网络等传统的机器学习算法。为了提高机场地面业务的处理效率,Patrick等[2]提出一种多智能体计划方法重组机场地面业务管理,减少因各业务部门间信息共享延迟而造成的延误,但仅停留在理论层面,仍需要更多实际场景进行验证。杨珏[3]通过不同启发算法的遗传算法对保障服务无延误且调度成本最低的车辆路径模型进行求解,找到最佳车辆调度路径从而提高地面保障效率。Wu等[4]从机场、航空公司和航班三个方面更为全面地考虑影响航班延误的因素,为降低模型复杂度,使用主成分分析法进行降维,将历史数据作为先验知识输入到SVM模型,从而预测延误时间。Jiang等[5]提出了一种基于长短期记忆网络(Long Short-Term Memory,LSTM)的模型,分析了时间特征、航班属性、机场和城市天气情况等多维度因素,结合过去一段时间的延误情况,同时预测了航班延误率、平均延误时间等多个延误指标,该方法有助于提前发现航班延误趋势的变化,为机场调度提供决策。但上述研究均只采用了单一模型,很难挖掘不连续数据之间的潜在信息。因此,有研究[6-10]将CNN和LSTM模型融合进行预测和分类,但对于模型来说,每条数据的重要性是不一样的,出现延误情况的数据项含有更多的隐含信息,这种重要性差异是很难在CNN模型中体现的,使得模型难以正确评估样本的重要性。通过模仿人的注意力,Vaswani[11]提出了注意力机制(Attention Mechanism)的概念,使得神经网络模型能关注更加有效的信息。

大型机场地面保障环境复杂多变,对于外界因素的改变,人工和机器学习模型都难以及时响应。因此,为了提高预测准确率,对保障流程系统进行分析具有重要的现实意义。Petri Net对于具有异步、并发和冲突等关系的系统具有良好的建模能力,因此被广泛应用于工作流管理、故障诊断和电力系统等领域。Zhu[12]使用Petri Net描述机场停机坪的交通动态,利用着色时序Petri网对各运行区域进行动态建模,反映停机坪交通系统的控制和资源占用规则,提出了停机坪冲突控制机制。Davidrajuh等[13]提出了一种通过扩展聚类算法来自动检测关键元素的算法,将大规模离散事件构成的Petri Net模块化,降低了模型的复杂度,便于系统的进一步分析。Luo等[14]将排队论和Petri Net相结合来实现服务系统态势感知,该模型对通用服务系统具有重要意义,能够更加全面地描述一般服务系统,并从宏观上展现系统之间的联系。

因此,为了提升航班延误预测模型的灵活性和准确性,及时分析和应对外部条件变化,该文提出了一种将时序Petri Net与融合模型CNN-LSTM-ATT结合构建航班延误预测模型的研究方法,根据机场实际航班地面保障流程,构建航班保障流程Petri Net,通过矩阵推理对保障流程的关键路径进行计算,分析其中关键流程作业成为动态特征。然后,将航班信息、机场延误信息、机场天气信息以及关键流程信息输入到融合预测模型进行延误分类预测,通过国内大型机场实际数据对模型的有效性进行分析验证。

1 流程描述

1.1 航班过站保障流程

航班过站保障流程是指过站航空器从上轮挡开始到撤轮挡完成期间内做出的一系列的保障作业的集合,根据《航班安全运行保障标准》中的规定,不同机型具有不同的保障工作时长规定,该文主要研究当前大型机场中最常见的A320系列、B737系列等型号航空器。航班地面保障工作流程中包含了许多并联工作关系和串联工作关系,各项作业之间存在一定的约束关系。保障流程按照服务类型可以分为航空器服务、旅客服务以及货舱服务。

考虑到旅客体验以及安全问题,保障流程中的部分工作之间存在一定的先后关系和逻辑次序,例如,在客舱清洁、配餐食和加油工作完成后才能安排旅客登机工作,货舱卸舱完成后才可以安排货物装舱等,所以在工作流中一项作业的超时有可能会造成后继作业的延期开启。该文研究的保障作业流程如图1所示。

图1 航班保障作业流程

1.2 航班延误预测流程

机场地面环境复杂,航班在进行保障的过程中会受到很多外界因素的干扰,过站保障时长会随之产生波动,现有的神经网络预测具有较高的准确率,但缺乏对保障工作运作的实时分析,因此目前在很多大型机场中,为保障航班准时出发的保障作业时长调整往往在异常发生后才能进行。对于机场外部条件的变化,现有的预测模型是很难及时应对的。

经分析,航班在出现延误时,地面部分保障作业会出现超出规定时长的情况,为分析具体保障作业对整体航班过站时长的影响,因此研究设计首先参考机场实际航班保障作业流程图,抽象化建立地面保障流程Petri Net模型,计算历史平均保障时间来获取动态关键保障作业,将其作为动态特征与航班基本特征、场面延误信息以及外部天气信息进行数据预处理后输入到融合预测模型。模型使用航班宏观特征以及微观特征进行延误分类来解决预测模型缺乏灵活性的问题。

2 时序Petri Net建模与分析

2.1 Petri Net

Petri Net (PN)是一种适用于描述离散事件系统并发、冲突和死锁等动态行为的图形化的数学工具[15]。航班保障过程包含了一系列具有先后次序和逻辑次序的作业。PN由库所(Place)、变迁(Transition)和有向弧(Directed arcs)连接而成,库所表示作业状态,变迁表示作业变化过程,有向弧用来表示库所和变迁之间的依赖关系。

PN模型可表示为:PN=(P,T,F),其中,P={p1,p2,…,pm}是库所集合,每一个pi表示保障作业任务状态,T={t1,t2,…,tn}是变迁集合,每一个ti表示保障作业过程,且P∩T≠∅,P∪T≠∅,F⊆(P×T)∪(T×P)表示的是T和P之间的有向弧集合。

PN=(P,T,F)为最基本的网络结构,PN会通过托肯(Token)来反映流程进行到何种状态,托肯常常用来表示资源的数量。PN系统行为的本质是资源的流动,保障过程中流动的可以理解为不断改变工作状态标签的保障人员。保障过程中局部作业的延期会波及后续作业,从而导致航班延误。PN模型聚焦保障作业节点,以便于预测模型对保障流程内部作业的关注。例如,t1是关舱门廊桥撤离,t2是撤轮挡作业,两项作业具有严格的先后次序,只有前序变迁完成时托肯流入后续库所,托肯的流动是矩阵推理的基础。PN=(T,P,F,M)表示的是一个带有标识的Petri Net,M(P)可以用来表示库所中的托肯,因此,PN的标识可以通过m维正整数向量来表示,从而对流程进行分析计算。

2.2 航班保障流程关键特征提取

以国内某大型机场航空器地面运行保障全流程为例,其离港航班地面保障作业如表1所示。总共包含15项保障作业和1项虚拟作业,相关作业具有一定的串行或者并行的逻辑关系。

表1 保障作业与变迁

根据上述作业对应变迁以及作业之间的紧前后继关系,对1.1节的航班保障作业流程抽象构建离港航班地面保障作业Petri Net模型,如图2所示。

图2 地面保障作业Petri Net模型

为了获得该模型的关键路径,获取其中关键流程作业用于后续分析,需要计算获得PN中S不变量来对其进行分析,PN的关联矩阵可以用来表示其中的状态并用于描述状态转换。

定义1:设PN=(P,T,F,M0)为一个时序Petri Net模型,库所集合P={p1,p2,…,pm},变迁集合T={t1,t2,…,tn},该系统中(P,T,F)可以用n×m的矩阵表示,C=[cij]n×m,称C为该网络系统的关联矩阵。

根据定义1可知,关联矩阵C中一行元素个数对应的是系统中的变迁个数,每个元素用来表示托肯数的改变。

定义2:设PN=(P,T,F,M0)为一个时序Petri Net模型,当且仅当m维列向量Y满足以下条件:

(1)Cn×m·Ym×1=0;

(2)向量Y中的任一元素均为整数。则称Y是PN的S不变量。

C·Y=0

(1)

式中,C为模型的关联矩阵,Y为需要求解的S不变量,可以获得模型的所有S不变量,该文建立的PN模型通过矩阵推理可获得7个一维矩阵,如式(2)所示。

(2)

在求解获得的不变量中,数字‘1’代表该库所畅通,根据计算获得的7个S不变量,可以获得7条保障作业路径,因此求得的不变量如表2所示。

表2 S不变量及对应路径

根据航空公司给出的历史航班地面保障作业时间数据输入到PN模型,计算上述各路径的总作业时长,对比获得关键路径,计算获取关键路径中时间占比最大的作业和在出现延误情况下时间波动最大的作业,具体数据计算方法见4.1节。保障流程中的关键作业项会受到天气信息、航班流量和机位调整等因素出现改变,定期将历史数据输入模型中获取到的关键作业项会出现变化,动态变化的节点项成为动态微观特征,再融合其他常规特征项输入到融合预测模型。

3 基于CNN-LSTM-ATT的延误预测模型

由于航班过站期间场面复杂多变,受多种因素影响,单一预测模型不够稳定,容易忽略重要特征信息,该文融合多种模型,利用注意力机制赋予重要特征更多的权重,以此提高模型预测精度。

3.1 CNN特征提取

卷积神经网络(Convolutional Neural Networks,CNN)的主要功能是从数据中提取特征。CNN由卷积层、池化层和全连接层组成[16]。卷积层是提取特征的关键,通过卷积核对输入数据进行特征提取,卷积核数量增加会使得提取出的特征更为抽象,通过RELU激活函数加入非线性因素解决问题,该文采用最大池化层忽略一些不重要的信息加快计算速度以及防止过拟合。全连接层可以将池化层获得的数据扩展成一维向量,方便后续输出操作。但CNN再进行预测时很难学习到序列数据之间的关系,航班数据之间具有依赖关系,所以需要将CNN与RNN进行结合。

3.2 LSTM基本原理

LSTM是一种改进的循环神经网络,它解决了模型训练中梯度消失的问题并且能够学习序列信息的依赖关系[17],现如今LSTM由于其良好的学习性能,已经被应用于很多场景中。

LSTM的基本神经单元包含了遗忘门、输入门和输出门,门可以理解为对数据的一次处理。遗忘门主要是过滤对模型训练无用的干扰信息,根据上一时刻的输出ht-1和当前输入xt共同产生一个值来决定是否让上一时刻学到的信息通过该单元;输入门则会产生需要的新信息,使用sigmoid选出的信息和tanh来生成新的候选信息结合进行信息更新;最后输出门控制模型的输出,LSTM当前状态单元的输出是由前一时刻的数据和当前输入的数据共同生成的,具体计算公式如式(3)所示。

ft=σ(Wf[ht-1,xt]+bf)

it=σ(Wi[ht-1,xt]+bi)

Ot=σ(WO[ht-1,xt]+bO)

(3)

gt=tanh(Wg[ht-1,xt]+bg)

Ct=gt·it+ft·Ct-1

ht=Ot·tanh(Ct)

式中,ft、it、Ot分别代表遗忘门、输入门和输出门,Ct表示当前单元状态,ht表示隐层状态,W和b分别表示权重和偏移量,σ表示sigmoid激活函数。

在改进的LSTM中,模型训练过程中会根据设置的概率临时随机删除隐藏层中的神经元,来防止过拟合,未删除的神经元进行连接,输入信息前向传播,获得的损失值进行反向传播,在模型结束训练后更新未被删除的神经元的权值,临时删除的神经元也要重新恢复,重复这个过程直到数值收敛。

加入dropout的LSTM内部计算式如式(4)所示。

(4)

3.3 Attention机制

LSTM具有提取长序列时序特征的能力,但序列长度过长时,LSTM的性能会下降。对于航班延误预测,只有选取足够长的序列长度,才能包含更多对过站时长存在影响的因素。注意力机制用于计算每一个前序隐层输出{h1,h2,…,ht-1}与当前输出ht的相关性,从而构建当前时刻的输出ot。

注意力机制是一种模拟人脑注意力的资源配置机制。在某一时刻人的大脑会将注意力集中在需要关注的区域,减少甚至忽略对其他区域的关注,从而获取更多值得关注的细节,减少无用信息的影响并且放大了有用的信息。注意机制通过权重分配让模型对关键信息给予足够的关注,突出重要信息的影响,从而提高模型的准确性,注意机制的引入可以有效改善LSTM由于序列过长而造成的信息丢失问题。LSTM层的输出是注意力层的输入,可以采用概率分配权重的方式对权重矩阵进行计算,概率分布计算如式(5)所示。

vt=utanh(wht+b)

(5)

按照概率分布计算注意力权重αt以及输出结果οt,计算方法如式(6)和式(7)所示。

(6)

(7)

3.4 CNN-LSTM-ATT模型

关键路径提取的特征、航班信息、天气信息和延误信息实际上都是独立特征,该文使用词向量表示形式,将一个时刻的特征信息与标签值用向量形式表示,从而形成新的序列数据。根据数据量确认了滑动窗口的大小为20,步长为1来形成特征矩阵图,输入特征图按照时间进行排列。

将设计好的输入数据特征输入到融合预测模型,设计的融合预测模型流程如图3所示。

图3 CNN-LSTM-ATT网络结构

在模型的参数设置方面,CNN层卷积核个数为64,卷积核的长度为2。理论上,LSTM隐藏层越多,预测效果越好。但是,随着层数的增加,训练时间也会大大增加,所以文中LSTM设置为两层,第一层128个隐层通道,第二层64个隐层通道。注意力层对输出有更大的影响,注意力层参数通过学习特征权值和分配特征输入向量实现。

4 实验与分析

4.1 实验环境以及数据概述

为保证深度学习实验能够正常进行,实验设备配备AMD Ryzen 5 5600H with Radeon Graphics,操作系统为Windows 10,内存16 GB,实验使用的Keras的版本为2.0.8。

实验室用的数据集来源于国内某大型机场提供的2021年1月至5月航班过站数据,经初步筛选,该数据集总共有38 000条数据,其中包括了计划出发、上轮挡时间、清洁时长、加油时长和装舱时长等多项航班过站信息。实验中使用到的气象数据来源于国家气象科学数据中心提供的地面逐小时气象数据。

此次实验模型输入特征包括四大类,具体说明如下:

第一类是动态关键路径关键作业时长,根据3.2节关键路径的获取方法,以1～5月航班历史平均作业时间为例,各项地面平均作业时间如表3所示。

表3 各项作业地面历史平均用时

根据表3所给出的各项作业平均用时,计算各路径的总时长。根据计算可知,2021年上半年对航班过站时间影响最大的路径为Y3,平均路径总时长为49.36分钟,根据对该路径的分析将配餐时长以及旅客登机时长这两项作为该数据集的动态微观特征。

第二类是航班信息,主要包括航班号、航线、航班停机位、航班计划起飞日期、计划起飞时间、星期数、上轮挡时间、目的城市ID、值机人数和出港行李件数等20项特征。

第三类是机场延误信息,包括前一天延误架次、前一小时延误架次、前一小时平均延误时间共3项延误信息特征。

第四类是天气信息特征,主要包括机场的航班计划起飞时间的天气现象、可见度、风力、风向、温度、大气压和目的机场天气状况共7项特征。

根据不同特征的属性,需要对数据进行预处理,使其更适合作为模型的输入。首先,需要对缺失数据以及具有明显逻辑错误的数据进行清洗;其次,如果直接将无序离散数据输入到模型中会让模型训练结果出现较大的偏差,所以采用了将离散数据按出现的频次对其进行编码,连续数据按照min-max归一化将数据映射到[0,1];最后,按照3.4节中对数据输入格式的介绍,将数据转化成多个20×32的特征矩阵图。

4.2 分类标准

模型通过全连接层和softmax分类器来实现最后的分类输出,根据民航局新规中机场对延误的定义,航班实际离港时间与计划起飞时间之间的差值在15分钟以内,航班属于未延误,参考专家意见对于超出15分钟的再划分为不同的延误等级,因此,将延误时长(T)划分为五个等级,分别是T≤15、15240,分类器根据划分方式进行延误等级预测。

4.3 实验结果分析

实验首先比较的是CNN、LSTM、CNN-LSTM以及文中使用的融合模型CNN-LSTM-ATT在数据集上的分类效果。CNN-LSTM-ATT先使用CNN对特征之间的联系进行挖掘,再将寻找到关联的特征扩展成以为向量输入到LSTM中进行分类预测的操作,注意力机制对重要的信息给予更多的关注供模型学习。

CNN模型设置3次卷积操作,卷积核长度设置为2,两层最大池化层,参数设置为2,LSTM模型中LSTM层数为2,第一层包含128个隐层通道,第二层包含64个隐层通道,CNN-LSTM模型中层数以及参数设置按照文中提出的融合模型设置相同,实验中模型训练轮数设置为85次,每一次迭代批处理的样本量为100。实验中观察到,融合模型相较独立模型耗时稍长,一次训练差值在7 s左右,训练耗时相差不大。

图4展示了四个模型的损失值对比和准确率对比,融合模型损失值收敛性能较好,损失值经过训练降到0.1左右。融合模型准确率比单一模型准确率高,单一模型准确率为92%左右,各种融合模型的准确率均能达到96%以上,其中提出的融合模型CNN-LSTM-ATT准确率高达98.1%,相比单一模型提升了6百分点。CNN模型可以有效获取一条数据的关键特征,但难以发现时间序列之间的时序特征,场面上航班延误具有聚集性,机场运营数据按起飞时间排序后输入模型,CNN模型难以捕捉每条数据的前后信息。LSTM模型难以挖掘一条数据的内部相关性,数据内部的多项特征之间存在一定的联系,例如,天气现象和前一小时延误架次存在相关性。CNN-LSTM模型经过训练准确率可以达到96.2%,相比独立模型,分类效果得到了提升,但对于部分延误数据模型未能察觉其特殊性,模型没有给予延误数据特定的权重值进行标记,使得模型对这些数据难以做出准确的判断。

图4 模型损失值和准确率对比

为验证提出的PN模型获取的动态特征对模型分类预测准确率的提升,设置对比实验,评估该特征在模型训练中的作用,分别将加入动态特征的和未加入动态特征的特征数据输入到CNN-LSTM-ATT预测模型。图5所示为两种输入特征下的模型准确率,两组实验都进行了85次训练,未添加动态特征的数据集在该融合模中最终获得了93.9%的准确率,实验中该数据集在进行了50次训练时,准确率趋于平稳,随后准确率便没有明显提升,表明模型难以对存在延误的特殊信息进行进一步的学习。图6显示了两种输入数据在模型训练后输出的混淆矩阵,后三种是存在明显延误情况的航班,模型对两种输入特征中不存在明显延误现象的航班能够准确分类,动态特征的输入给延误航班提供了更大的学习特性,让模型能够更加准确地识别信息。

图5 不同输入特征的模型准确率

图6 不同输入特征的模型混淆矩阵

目前,对于保障作业时长优化,国内大型机场多采用人工统计和二八法对历史数据进行分析,从而调整作业时长来降低延误风险,但上述方法都存在滞后性和准确率低的问题。该文提出的方法通过国内某大型机场的真实数据集验证了其可行性,可将Petri Net模型纳入机场协同决策(Airport Collaborative Decision Making,ACDM)系统中,通过分析地面保障流程,依据历史数据自我学习,动态更新预测模型的输入特征,为航空公司了解航班保障情况、采取流程优化措施提供有效参考。

5 结束语

该文提出了一种基于融合神经网络的航班延误情况分类预测模型,根据机场真实航班保障流程建立时序Petri Net模型,获取保障流程关键作业,成为预测模型的微观动态特征。结合CNN、LSTM和注意力机制的优势,构建融合模型CNN-LSTM-ATT,该模型在实验数据集上获得了98.1%的准确率,比其他独立预测模型的准确率高,模型性能更好。航班保障流程作为一个动态流程,特征数据中加入关键作业时长特征项,对模型的分类准确率的提升是有很大作用的,让模型对重要延误信息有了更加准确的判断。在未来的工作中,可以继续考虑场面多航班资源竞争问题对保障时长的影响,模型方面可以进一步优化模型结构,缩短训练时长,提高模型分类准确率,对分类边缘数据做出更好的分类判断,并将模型应用到更多领域的流程分析工作中。