基于MSCNN-LSTM编解码器的飞机辅助动力装置EGT预测模型*

白春垣,孙有朝

(南京航空航天大学民航学院，南京 211106)

0 引言

辅助动力装置(auxiliary power unit,APU)是飞机的一个重要功能子系统，位于飞机的尾端。从内部结构来看，APU和航空发动机类似，是一台小型燃气涡轮发动机。当飞机在地面时，APU可以向客舱和驾驶舱提供气源和电力，保障空调和灯光照明系统的正常运行，同时可以用于启动主发动机。当空中发生空中停车等紧急情况时，APU也可以二次点火重启发动机，保障飞行安全。因此，APU性能监控对提高APU的可靠性、保障飞行安全和提高航空公司经济效应方面有着重要的应用价值[1-2]。

排气温度(exhaust gas temperature,EGT)作为APU的重要监控参数，能够在一定程度上表征APU的健康状态，因此常用于APU的状态评估与故障预测等领域。LIU等[3]建立RBM优化ELM模型对EGT进行预测，并通过示例表明性能优于传统ELM；GUO等[4]利用递归特征消除方法对参数重要性进行排序，并采取状态空间和辅助粒子滤波构建APU性能退化模型，预测EGT到达红线的时间；唐敏杰[5]选取修正后的EGT和STA参数构建APU起动机监控模型，实现基于状态的维修策略；刘连胜等[6]提出了一种基于生成对抗网络的APU性能参数扩增方法生成10维的EGT参数，提高了剩余寿命预测的精度。但是上述研究往往只以EGT单一数据作为对象，忽视了其他参数对EGT的影响，且在预测过程中容易出现误差累积现象，因此本文提出了一种基于MSCNN-LSTM编码器-解码器模型的辅助动力装置EGT预测方法，能够更好地对EGT进行预测。

1 MSCNN-LSTM编解码器

1.1 编码器-解码器模型

循环神经网络(recurrent neural network,RNN)是一种用于处理序列数据的神经网络，能够将不同时刻的序列数据关联起来，因此经常用于时间序列预测中，但这种方法往往只能预测固定长度的输入和输出序列，而且会产生误差累积，使得预测精度逐渐下降。而编码器-解码器(encoder-decoder)模型能够在编码阶段将变长序列编码为固定长度状态向量，然后在解码阶段对状态向量进行解码并生成变长预测序列，有效地解决了误差累积问题[7-8]。本文依据卷积神经网络能够提取信号的深度特征和LSTM网络在时序数据长期依赖上的优势，提出了一种基于MSCNN-LSTM编解码器的APU排气温度预测模型，其中多尺度卷积神经网络作为编码器，LSTM网络作为解码器，结构如图1所示。

图1 MSCNN-LSTM编解码器结构图

在编码阶段，将每个时间步的输入序列Xt编码成隐藏层状态ht，所有时间步得到的隐藏层状态汇总组合成中间语义向量C，计算公式为：

ht=f(ht-1,Xt)

(1)

C=r(h1,h2,…,hn)

(2)

在解码阶段，将编码阶段中提取的中间语义向量C、前一时间步的隐藏层状态和前面时间步产生的输出Y1,Y2,…,Yt-1输入到解码器中生成当前时间步的预测值Yt，计算公式为：

(3)

1.2 MSCNN编码器

卷积神经网络是受到猫科视觉皮层的结构和功能的启发所构造的一类前馈神经网络，一个典型的卷积神经网络一般由卷积层、池化层、全连接层和输出层组成。

卷积层是卷积神经网络的核心，每一个卷积层有若干个滤波器(卷积核)，输入信号的局部区域通过这些滤波器进行卷积运算，然后应用激活函数进行非线性映射，生成相应的特征图，计算公式为:

(4)

本文以修正线性单元(rectified linear unit,ReLU)为激活函数，ReLU激活函数是一个分段线性函数，具有避免梯度消失、收敛速度快等优势，其公式为：

(5)

池化层又称为下采样层，将某一位置的输出替换为该位置相邻区域的统计量，从而既保留了主要特征又减少了下一层的参数和计算量。本文选用最大池化法作为池化层，计算公式为：

(6)

传统的卷积神经网络能够直接提取传感器信号中隐藏的深度特征，在此过程中选择合适的卷积核大小非常重要，大的卷积核能够提取信号整体变化趋势，小的卷积核能够反映信号的局部特征。但是使用单一大小的卷积核不能同时学习不同尺度的特征信息，可能会出现遗漏重要的局部特征的情况，导致预测精度下降[9-11]，因此本文利用多个不同尺度的卷积核进行卷积操作提取详细特征，提高网络性能，结构如图2所示。

图2 多尺度卷积神经网络编码器

编码器主要由输入模块、特征提取模块和信息融合模块组成，其中特征提取模块分为4个并行通道同时进行特征提取，每个通道中卷积核的大小分别为3×3、5×5、7×7和9×9，在完成卷积操作后输入到激活层，利用ReLU激活函数进行激活操作，然后输入到下一层卷积层中，每个通道的卷积核大小与上层卷积层完全相同，最后对激活结果进行池化操作，在信息融合模块中将4个通道输出的深度特征拼接起来得到中间语义向量C。为加速网络的训练过程，提高网络的稳定性，避免内部方差偏移，在卷积层的后面引入批标准化机制[12]，计算公式为：

(7)

(8)

1.3 LSTM解码器

长短时记忆网络(long short term memory,LSTM)是对一般RNN网络的改进，通过引入遗忘门、输入门和输出门三个门结构选择性遗忘或保留信息，加强了对长期数据的记忆能力，有效避免了梯度消失的现象。其结构[13]如图3所示。

图3 LSTM神经元

LSTM神经元的计算公式为：

ft=σ(Wf·[ht-1,Xt]+bf)

(9)

it=σ(Wi·[ht-1,Xt]+bi)

(10)

(11)

(12)

ot=σ(Wo·[ht-1,Xt]+bo)

(13)

ht=ot·tanh(Ct)

(14)

将LSTM网络作为模型的解码器部分，则式(3)变为:

Yt=g(Yt-1,st-1,C)

(15)

式中,Yt-1代表上个时间步的输出值；st-1代表的是上一时间步隐含层的状态值；C则表示MSCNN编码器提取的中间语义向量。

1.4 模型训练

本文使用均方误差(mean square error，MSE)作为模型的损失函数，其计算公式为：

(16)

在模型的训练过程中，本文使用Adam自适应矩估计算法对模型进行优化。Adam算法不同于传统的随机梯度下降方法，能够通过梯度的一阶和二阶矩估计自适应调整每个参数的学习率，非常适合解决大规模参数优化问题，是目前应用最广泛的优化器。

2 基于MSCNN-LSTM编解码器的APU排气温度预测方法

2.1 预测方法流程

本文所提出的基于MSCNN-LSTM编解码器的辅助动力装置EGT预测模型流程如图4所示，详细步骤如下：

步骤1：通过飞机通信寻址与报告系统(aircraft communications addressing and reporting system,ACARS)发送的APU报文采集APU监控参数原始数据。

步骤2：对原始数据进行预处理，剔除异常值，填补空缺值。

步骤3：利用随机森林法选择出与EGT高度相关的性能参数作为模型的输入构建数据集，并划分为训练集和测试集。

步骤4：初始化模型参数，利用训练集对模型进行训练，利用Adam算法更新参数使得损失函数达到最小。

步骤5：将测试集输入到训练好的模型中，得到EGT预测结果。

步骤6：计算性能评价指标评估模型的预测精度。

图4 EGT预测方法流程图

2.2 特征选择

随机森林(random forest)是一种基于决策树的集成学习算法，通过Bootstrap重抽样有放回地从原始样本集中抽取多个样本集，分别对这些样本集进行决策树建模，依据最小熵原则分裂属性，最后将构成随机森林。随机森林具有如下优点：(1)有良好的泛化能力，避免过拟合；(2)对噪声和异常值的容忍度较高；(3)能够计算各个特征变量的重要度。因此本文利用随机森林算法计算APU性能监测参数的重要度，筛选出APU排气温度预测所需的重要特征[14]。计算步骤如下：

步骤1：计算第i棵树的第t个节点的基尼指数。

(17)

式中，K表示第t个节点的类别数；ptk表示节点t中类别k所占比例。

步骤2：计算第t个节点在分裂后的基尼指数。

GIt=GIl+GIr

(18)

式中，GIl和GIr分别为节点t分裂成两个新节点后各自的基尼指数值。

步骤3：计算特征A在第t个节点的重要度。

(19)

步骤4：计算特征A在n棵树的总体重要性之和。

(20)

步骤5：将M个特征的重要度进行归一化处理得到最终的特征指数。

(21)

2.3 模型评估

在得到预测结果后，通过平均绝对误差(mean absolute error，MAE)和均方根误差(root mean square error,RMSE)作为性能评价指标来评估预测的精度。RMSE和MAE作为常用的评价指标，主要用于衡量预测值和真实值之间的差距。计算公式为：

(22)

(23)

3 实例分析

3.1 数据来源

本文选取某台APU真实在翼全寿命周期监测数据进行研究。该APU于2017年装机，2019年因排气温度高、性能衰退拆下，共采集874个循环的ACARS报文数据。报文中主要包括的APU状态监测参数如表1所示。

表1 APU性能监测参数

3.2 特征选择

在对原始数据完成预处理后，利用随机森林的特征重要性函数对上述APU性能监测参数进行重要度计算，得到的结果如图5所示，可以看出，“峰值排气温度下APU转速”的特征重要性最高，为0.162；而“引气流量”的特征重要性最低，仅为0.093。选取重要性排名前五的5个参数，即NPA、OTA、PT、LCIT和STA，作为预测模型的输入变量，EGT作为输出变量进行预测，其中前734个飞行循环的样本作为测试集，最后40个飞行循环的样本作为验证。

图5 特征重要性

3.3 实验结果与分析

使用Core(TM)i5-9750H，内存16 G，显卡GeForce GTX 1650计算机，选用Python作为编程语言，Jupyter Notebook作为软件平台，Tensorflow作为深度学习算法库。为验证本文提出方法的可行性，采用SVM、LSTM和本文提出模型3种模型进行对比实验。设置SVM的核函数为高斯径向基核函数，最优核函数参数γ和惩罚参数C通过交叉验证法确定；LSTM网络的层数为3层，隐藏层神经元个数为100，学习率为0.01，通过均方根反向传播(root mean square back propagation,RMSprop)优化方法优化模型参数。预测结果如图6所示，预测绝对误差如图7所示，三种模型的预测评价指标如表2所示。

(a) 基于SVM的EGT预测结果 (b) 基于LSTM的EGT预测结果

(c) 基于本文提出模型的EGT预测结果图6 三种模型EGT预测结果对比

图7 EGT预测绝对误差

表2 各模型预测评价指标

从图6和表2的结果可以看出，本文提出模型的所有误差指标均最小，代表模型的预测精度最高。其中本文提出模型的RMSE为3.87，相比SVM和LSTM误差减小了51.3%和21.2%。从图7中可以看出，本文提出模型的绝对误差分布相比其他两种模型更集中于零点附近，表明模型的预测精度更为稳定。

为验证模型的性能，对不同步长下上述三种模型的预测精度进行分析，同样采用MAE和RMSE作为评价指标，得到的结果如图8a和图8b所示。由图8可知，随着步长的增加，各模型的评价指标均有所增长，表明预测精度在逐渐降低，但本文提出模型的指标值增加量相对其他两种模型更小，表明模型的预测性能要优于SVM和LSTM。

(a) 不同步长下MAE值 (b) 不同步长下RMSE值图8 不同步长下各模型预测评价指标

4 结论

针对辅助动力装置EGT预测精度不高的问题，本文提出一种基于特征选择和MSCNN-LSTM编解码器的预测模型，利用随机森林算法对APU性能监测数据进行分析，筛选出对APU排气温度预测重要性较高的5个参数作为输入变量，将多尺度卷积神经网络和长短期记忆网路作为编码器和解码器实现APU排气温度的预测。实验对比了SVM、LSTM和本文提出模型的预测结果和评价指标，实验结果表明本文提出模型具有较高的预测精度，可以有效提升飞机APU故障预测的准确性。