基于注意力机制优化EDM机场客流量预测①

李 航,邓颖红

（中国民航大学 经济与管理学院,天津 300300）

近年来,我国经济的高速增长促使着人们追求更高的生活品质,人们的航空出行需求迅速增长,给机场带来了不小的压力.机场的旅客吞吐量是民用机场的主要生产指标,旅客流量是机场对资源进行高效配置的依据,是机场进行决策的基本前提.因此,客流量的预测对机场的管理和建设有很大的参考意义.

传统的机场客流量预测多为基于线性假设的模型.如陈玉宝等[1]以首都机场为例采用组合预测方法对旅客吞吐量进行预测.俞佳立等[2]运用指数平滑法与灰色预测法两者的组合预测模型对管道货运量进行预测分析.刘夏等[3]基于三亚机场2008-2016年的月度客流量数据,运用ARMA模型、灰色预测模型、ARMA改进回归模型对客流预测及数据仿真.由于线性模型对机场流量预测的局限性（交通流量因自由流、阻塞、故障和恢复情况等频繁变化而具有非线性特征）,上述模型的性能和应用都受到限制.近年来学者们开发出各种机器学习与深度学习的模型应用于交通流预测.钟颖等[4]把极端样度上升（XGBoost）模型用于路段短时交通流的预测.周燎等[5]用期望最大化（EM）算法从交通流数据中学习出贝叶斯动态线性模型（DLM）的关键参数,对下一时刻的车流量进行预测.朱征宇等[6]建立了支持向量机与卡尔曼滤波组合模型,并将该模型应用于短时交通流量预测.衡红军等[7]用动态回归ARIMAX模型,对航站楼内短时段的值机旅客人数进行预测.Ma等[8]将递归神经用于交通速度预测的网络（RNN）.Polson和Sokolov[9]提出了一种深度学习架构来捕捉非线性时空效应.Huang等[10]提出了一个由深度信任网络（DBN）和一个多任务回归层组成的预测短期交通流的体系结构.

本文提出的是一种基于注意机制的编码-解码结构时序预测模型（Temporal Attention-based Encoder-Decoder model,TAED）,把基于注意机制的融合双向长短时记忆网络编码-解码模型应用到机场客流量预测.由于深度神经网络在长时间尺度的预测中存在着淹没前期输入信号的缺点,因此,在设计深度学习预测方法时引入注意力机制,使模型能够根据不同时期输入信号对于输出结果的贡献强度分配不同的关注度,从而使模型具备处理大时间尺度序列的能力.同时对于标准的编码解码模型对时间序列数据的特征提取能力弱的问题,引入了Bi-LSTM,使模型能够对数据特征进行充分学习,捕捉不同时间段的隐含特征.此外,时间序列数据的多步前向预测比单步预测困难,而序列-序列学习结构可以很好地解决这一问题.由于上述优势,TAED模型相对于经典LSTM模型能够更好的捕捉时间序列中的隐含特征,并且对于前期输入信号有更好的记忆力,因而具有更好的预测效果.

1 基于时间注意机制的编码解码模型

1.1 本文框架

本文提出的基于注意机制的多变量时间序列多步预测框架（如图1）.该框架由Bi-LSTM、LSTM和基于时间注意机制的上下文层3部分组成.Bi-LSTM用于学习任意长度的输入数据的隐藏表示,从时间序列中提取出深层的时间依赖特征,然后利用时间注意层构造潜在的空间变量（时间注意上下文向量）.LSTM解码器根据生成的潜在空间变量,对未来的时间序列值进行预测.图1给出了该框架的图解,该框架可以端到端对时间序列数据建模.

图1 TAED模型

1.2 编码解码结构

LSTM是一种处理具有时间序列特征数据的长期学习模型[11].典型的LSTM包括5个部分:it、ft、st、ot、ht,分别作为输入门、遗忘门、存储单元、输出门以及LSTM单元的隐藏状态.一个典型的LSTM单元块包括3个门和1个存储单元,基于这些部分使得其具有忘记或记忆信息的能力（决定信息是否传输到下一个单元格）.

式中,对于输入的时间序列值在t时间步时,LSTM单元计算一个隐藏状态ht和一个内存状态St,σ是激活函数,⊙是元素的乘法,这是输入时间序列值的编码.

但传统的LSTM有一个缺点,它只能学习时间序列数据的前一个上下文,不能学习同一序列数据的前向上下文.所以我们用Bi-LSTM作为编码器,可以同时处理两个不同方向的数据互连的隐藏层:单向进程使用从t=1到T的前向隐藏层; 另一个方向进程使用从t=T到1的后向隐藏层.这个经典的Bi-LSTM计算过程如下:

1.3 时间注意力机制

其中,式（21）表示解码器层的隐藏状态与编码器层的隐藏状态之间的软对齐计算.式（22）表示与输入时间序列帧在时间步上的重要性相对应的注意权重,用于预测在时间步上的输出值,该方法使用Softmax函数对长度向量进行归一化,作为输入时间序列上的注意掩码.式（23）表示为编码层每一个时间步分配相应的权重.式（24）表示模型解码后的输出值.模型通过式（25）进行训练.

2 实验仿真

2.1 数据集构造

数据源于中国民用航空华东地区管理局官网提供的真实生产运行数据,选取上海虹桥机场2013-2020年每月客流量数据应用本文算法进行分析,对其进行可视化,如图2.

图2 2013-2020年上海虹桥机场月客流量数据

一般来说,机场客流量的总体趋势受到地区经济发展和结构、人口因素及其构成、地面交通情况以及机场的布局和功能定位等多种因素的影响,此外更小时间维度上又受季节、天气、大型活动（如节假日）等的影响.观察图2可以发现,虹桥机场客流量总体上随着年份呈上升趋势,且每月的客流量随着季节的不同呈现出一定的周期性趋势,在冬季客流量偏低.

图3 样本构造示意图

将所构造的样本划分为训练集与测试集,样本详细描述见表1.

表1 数据集

2.2 实验与结果分析

为对模型进行评价,实验采用平均绝对百分比误差（MAPE）与均方根误差作为指标（RMSE）,其具体计算公式如下:

式中,Pt为模型的预测值、Rt为真实值.易知,上述两种指标值越小则说明模型性能越好,即预测值越接近真实值.

上述模型在3个数据集上进行实验,测试结果如图4（a）-图4（c）,误差指标见表2.

通过对图4（a）-图4（c）对比可知:由于数据集S1进行的是单步预测,因此模型均能够对机场客流量进行准确预测,虽然RNN相对于LSTM与TAED误差较大,但预测值与真实值基本保持在可容忍范围内.在数据集S2中,对于时间步的预测增加到3步,可以看出相对于数据集S1,3种模型的性能均有所下降,其中,TAED模型性能下降程度最小; 在数据集S3中,将时间步的预测增加到5步,RNN和LSTM一定程度上偏离真实值,而TAED模型仍能够保持较好的性能,这是由于该模型能够通过调整不同时刻输入值对输出值的贡献来进行预测.同时,根据表2对于残差的计算结果可以看出,TAED模型在3个数据集上的表现明显优于RNN和LSTM,且多步预测中效果更为明显,如在数据集S1和数据集S3上,TAED模型的平均标准误差分别比LSTM低了57.9%和78.4%.

表2 不同方法的残差计算结果

图4 数据集S1-S3在不同方法下的测试结果

3 结论

机场客流量预测对于机场调度安排,制定运行计划具有重要意义.由于机场客流量数据具有强时序特征,而传统方法如LSTM、RNN难以有效提取数据的时间依赖特征.本文提出一种基于注意力机制的编码解码模型,并对虹桥机场客流量数据进行仿真实验,结果表明:通过对编码解码模型引入注意力机制,使得模型能够对历史数据特征进行充分提取,从而在单步预测与多步预测上均表现出较高的精度.虹桥机场客流量主要受到地区经济发展等各类因素的综合影响,不同类型的机场客流量影响因素略有差异,主要包括贸易、人口、资源、环境等,但不同类型机场的历史数据特征是可以学习的,因此本文方法对于不同类型的机场客流量预测具有普适性.同时,本文未考虑影响机场客流量的相关因素,今后的工作中,可以通过引入准点率等相关因素,从更多维度对客流量进行预测.