基于工况聚类和残差自注意力的发动机剩余使用寿命预测

赵洪利 张奔 张青

摘 要：针对多工况的航空发动机剩余使用寿命（RUL）预测精度较低的问题，本文提出了一种基于工况聚类分析和残差自注意力的发动机剩余使用寿命预测方法。首先，通过聚类将不同的工况进行划分，并构建线性回归分析模型筛选出符合发动机性能变化的退化参数；其次，通过卷积神经网络，获取数据中隐含的发动机性能退化特征；再次，利用双向长短期记忆神经网络挖掘时序退化特性并对其进行记忆；最后，结合残差自注意力机制对退化特征分配不同的权重来实现发动机剩余使用寿命预测。在美国国家航空航天局（NASA）的 C-MAPSS多工况数据集上进行了消融试验，验证了该方法的有效性。结果表明，该方法评分和均方根误差均最优，可为发动机剩余使用寿命预测提供一定的参考。

关键词：多工况； 航空发动机； 剩余寿命预测； 聚类分析； 残差自注意力

中图分类号：V239 文献标识码：A DOI：10.19452/j.issn1007-5453.2023.04.004

基金项目： 中国民航大学试验技术创新基金项目（2021CXJJ90）；中央高校基本科研业务费中国民航大学专项（3122021049）

人工智能转型时期的飞行安全作为国家空中运输安全的重要组成部分，事关空中安全保障，也是国家发展经济的前提。在飞行安全保障体系中，航空发动机是保证航空运输安全的关键。剩余使用寿命（RUL）预测是发动机预测与健康管理（PHM）的一项重要技术[1]，预测算法的目标是在设备失效前获得其剩余使用寿命，从而实现理想的维修策略。科学可靠的RUL预测结果，可以为决策者提供有价值的参照信息，以采取适当的维护策略，避免发动机意外停机从而带来不可估量的严重后果。

RUL预测最常用的方法一般有两类：基于模型的方法和基于数据信息驱动的方法。建模的办法就是结合机械设备故障之后的物理原理，运用先验知识来建立正确的数学模型，并预估其剩余使用寿命[2-4]。由于不同设备具有完全不同的失效机理，并且很多情况下设备的失效原理难以准确获知，建立精确的模型十分困难，所以这种方法很难推广。目前使用比较普遍的是基于数据驱动的方法，其中，深度學习模型可以有效地处理复杂非线性系统问题，挖掘数据内在的映射关系，近年来成为寿命预测领域的热点。Li等[5]提出了一个由5层二维卷积层组成的深度卷积网络（DCNN）来预测发动机的RUL，通过深度的卷积框架实现多次非线性变换，以此来捕获更为高级的抽象特征；Mo等[6]提出了一个以Transformer编码器为主的预测模型，以捕获发动机时间序列中短期和长期的依赖关系，实现较为精准的RUL预测；Zhang等[7]提出了一种多目标深度置信网络（DBN）来实现发动机的RUL预测；李浩等[8]采用堆栈自编码器（SAE）提取压缩数据特征，双向长短期记忆神经网络（BLSTM）挖掘数据时序特性以实现RUL预测；Chen等[9]采用核主成分分析（KPCA）对数据进行非线性特征提取，使用门控循环单元（GRU）优化循环神经网络，解决梯度消失的问题，实现发动机RUL预测。

上述基于深度学习的航空发动机RUL预测的研究中，缺乏对多工况数据集的探讨。工况是指飞机运行过程（起飞、巡航和降落等）中所处的环境状况或者运行条件。飞机每天飞行都会经历不同的工况，这些变化的工况不仅使发动机系统的退化过程复杂化，而且降低了神经网络模型捕获退化特征的能力。另外，航空发动机的运行数据呈多元时间序列，而且具有时间相关性，其中不同的时序特征在同一时间维度上存在不同的退化程度，某个子序列的退化程度高于其余子序列，以往的基于深度学习的航空发动机RUL预测研究中没有考虑发动机不同数据的特征差异和退化程度。为此，本文建立了基于工况聚类分析和残差自注意力机制的发动机RUL预测模型（CNN-BLSTM-Att）。通过对多工况数据集的聚类分析，消除复杂工况的变化对数据分析的影响；在CNN-BLSTM的模型中引入残差自注意力机制，对重要的退化信息给予足够的关注，从而降低其他无关部分的影响，输出关键信息，达到更准确地预测航空发动机RUL的目的。

1 CNN-BLSTM-Att航空发动机RUL预测模型

1.1 CNN原理

卷积神经网络（CNN）用来获取序列信号的重要局部特性[10]。CNN的内核主要由两个部分构成，即卷积层和池化层。卷积层利用滑动的滤波器窗口对输入参数进行机器学习，然后利用共享的权值完成参数的更新，得到输入数据的特征映射。池化层一个最重要的目的是对卷积运算后得到的特征映射进行降维，从而减缓内存的计算压力。基本的CNN结构如图1所示。

1.2 BLSTM原理

长短期记忆神经网络（LSTM）是递归神经网络（RNN）的一个优化结果。通过使用不同的门控机制来控制数据的传递，可有效克服发动机退化数据训练过程中的梯度爆炸。双向长短期记忆神经网络（BLSTM）由两个输入相同但信息传输方向相反的LSTM组成[11]，分别为前向LSTM和后向LSTM。BLSTM结构图如图2所示。

1.3 残差自注意力机制原理

残差自注意力机制（Att）可为输入信息的各个特征赋予不同的权重，为更相关的部分输出更大的权重，从而减少其他不相关部分的影响 [12]。残差自注意力机制同样会将输入的数据转化为Q、K和V三个特征矩阵，分别代表信息、键和值，计算过程如图3所示。

1.4 深度混合模型構建

本文提出的CNN-BLSTM-Att模型如图4所示，主要由输入层、CNN层、BLSTM层、Att层和全连接层构成。发动机退化参数是模型的输入，利用在卷积层上的权值实现参数调整，得到退化数据的特征映射，再经过池化层进行降维处理；BLSTM层学习数据的时序退化信息；Att层对不同的退化信息分配不同的权值来强调重要信息，经全连接层输出预测结果，完成寿命预测。

1.5 预测流程

基于工况聚类和深度混合模型的发动机RUL预测流程如图5所示，具体操作步骤如下：（1） 首先，对CMAPSS[13]数据集进行预处理，包括发动机多工况数据的工况聚类分析、退化参数的筛选、退化数据的滤波、平滑处理和归一化处理。（2） 在进行数据预处理之后，将滑动时间窗处理的二维特征矩阵分组，分别构成深度混合模型的训练和测试的三维数据集，然后建立合适的健康阈值（剪辑响应）以及相应的RUL标签。通过以上操作，基于深度混合模型的输入与输出数据构建完成。（3） 建立基于工况聚类的CNN-BLSTM-Att深度混合模型。（4） 在训练阶段，使用Adam算法基于训练数据集来训练深度混合模型；训练数据集被随机分成几个小批量，并采用L2LOOS来约束损失函数中的权值；并在模型的计算过程中进行Dropout运算，用于防止深度混合模型训练过程中的过度拟合。（5） 在最终的测试模型阶段，使用训练好的深度混合模型，基于测试数据集来预测每台航空发动机的实时RUL，之后采用模型预测指标对其进行评估。

2 试验

2.1 数据集描述

本文使用的是美国国家航空航天局（NASA）公开的涡扇引擎退化监测数据集（C-MPASS）[13]，见表1。有4个子数据集，每个子类都有不同数量的工况条件和故障状态。

本试验选用多工况（6种工况条件）的FD002数据集，该数据集进一步分为训练子集和测试子集。每台发动机包含三个工作状况监测参数（飞行高度、马赫数与推力杆角度）和21个性能监测参数，性能监测参数见表2。

2.2 数据预处理

2.2.1 航空发动机多工况数据的聚类分析

在FD002数据集中存在6种工况，并且工况的变化发生在每台发动机运行阶段的任何时期，从而使得各个工况下的性能监测参数混杂在一起，随机选取10台发动机的全寿命周期内原始性能监测参数进行可视化显示，结果如图6所示。

图6选取了序号为2、3、4的传感器参数，其中横坐标代表完整的运行周期，纵坐标代表传感器参数的变化量，不同颜色代表不同发动机的退化数据。由图可见，在发动机运行周期内，由于工况的不断变化，数据集2中的传感器信号尽管变化幅度不尽相同，但是各个信号看起来十分相似，这些参数不能有效地显现出退化趋势，从而进一步增加了FD002数据集处理的复杂性。因此，为了能够在连续的发动机运行周期内有效显现出各个传感器参数的退化信息，本文通过K-means聚合方式，对FD002的训练数据和测试数据开展了数据分析，并通过欧式距离法计算每一数据与聚心之间的相似程度，将数据集以6种工况进行划分。其划分的6种工况直观分布如图7所示，6种工况的参数聚类划分结果见表3。表3中，H为飞行高度，Ma为飞行马赫数；TRA为推力杆角度。

随机选取10台发动机数据处理效果，如图8所示。由图可见，标准化处理后的数据消除了由不同工况穿插所造成的差异性，在连续的运行周期内，所选的三个发动机传感器参数显现出了比较明显的退化趋势。

2.2.2 退化参数筛选

21个性能监测参数的斜率大小如图9所示，其中传感器1和18的监测参数的模型斜率几乎没有变化，说明风扇进口温度、风扇转速命令值与多工况下的发动机退化过程最不相关，因此选取其余的19个性能监测参数作为CNNBLSTM-Att模型的输入项。

2.2.3 退化数据滤波、平滑和归一化处理

使用一维数字滤波器、局部加权回归对所选的参数进行滤波与平滑处理，清除原始噪声；归一化采用Minmax缩放，将原始数据映射到[0，1]区间。随机选取某台发动机的T24、T50、p30、T30和NC归一化数据进行可视化显示，如图10所示。

2.3 设置剪辑响应

在传统的RUL估计目标值分配方法中，RUL随时间线性减小。这个定义意味着系统的健康状态随时间线性下降。在实际应用中，组件或者系统的退化在开始使用时可以忽略不计，当组件或者系统接近RUL结束时，其衰退过程会加剧。为了更好地模拟发动机RUL的时变特性，采用分段线性模型更加符合其实际的退化过程[14]，并设置剪辑响应为125，如图11所示。该模型将最大RUL值限制为恒定值，在运行一定程度后开始线性退化。

2.4 模型性能评价标准

为了评价多工况深度混合模型预测RUL的性能和可靠度，评估标准采用均方根误差（RMSE）和评分函数（Score）。二者的定义分别如式（8）和式（9）所示

式中，T表示真實的RUL；P表示预测的RUL；N表示发动机数量。

2.5 模型训练

基于图4中的CNN-BLSTM-Att模型结构，对模型进行训练，主要步骤有：（1）对FD002数据集的训练集和测试集进行数据预处理，滑动时间窗口的大小设定为50，选取航空发动机的19个性能监测参数和每台发动机的工作循环数作为时间窗的特征值，组成50×20的特征矩阵；（2）该特征矩阵在卷积层中做一维卷积运算，卷积层设置100个卷积通道，卷积步长设置为1，卷积核的尺寸为48×20，进行抽象特征提取，经过最大池化层，对提取的发动机性能退化抽象特征进行降维处理；（3）通过BLSTM学习其时序特征，设置BLSTM的隐藏层层数为4层，单元数为99个；（4）使用残差自注意力机制，对输入的数据特征赋予不同的权重，通过全连接层进一步输出预测结果。其中，在最大池化层、双向长短期记忆神经网络和第一个全连接层后引入Dropout技术，且大小为0.3，可有效防止模型的过拟合现象。

针对多工况的航空涡扇发动机数据，本试验方法可以消除多工况所带来的影响，有效提取各个发动机传感器参数中的退化特征；将残差自注意力机制与深度学习相结合，捕捉航空发动机中不同部件之间的关键退化特征，最终得到航空发动机的RUL。每层的网络输出结果见表4。

2.6 试验结果分析

本文提出的模型（基于工况聚类分析的CNNBLSTM-Att）RMSE测试结果、模型训练损失（LOSS）与迭代次数的关系如图12所示。不同的颜色代表不同的模型性能指数，深灰色代表测试RMSE，红色代表训练LOSS；横坐标代表模型的优化迭代循环次数，纵坐标表示不同模型性能指数的变化量。由图可见，测试RMSE与训练LOSS的变化趋势基本一致，验证了本文模型在训练和测试过程中具有较好的鲁棒性，实现了模型训练与测试的一致性。随着迭代循环次数的增加，其测试RMSE和训练LOSS逐渐下降，当迭代循环次数达到370次时，测试RMSE和训练LOSS趋于平缓，输出了稳定的预测结果。

本文采用消融试验，基于FD002与FD004多工况数据集验证了采用工况聚类分析和残差自注意力机制方法的有效性。试验中主要对比了4种不同的模型：CNN-BLSTM网络（模型1）、CNN-BLSTM-Att网络（模型2）、基于工况聚类分析的CNN-BLSTM网络（模型3）和本文提出的模型（模型4）。试验结果见表5。

从消融试验的结果来看，在FD002和FD004的两组不同的数据集中，模型4的RMSE和Score值最低预测效果最好。为了更直观地分析不同模型的预测效果，将FD002数据集中4种模型的实际值与预测值之差的误差正态分布图进行可视化分析，如图13所示。

横坐标代表4种不同的模型结构，纵坐标代表实际值与预测值的误差区间，每个模型中的曲线表示误差的正态分布情况。由图可见，模型1的误差分布相比于其他三个模型最为分散，误差值主要聚集在（-40，40）的区间范围内，并且总体误差范围也最大，在（-70，110）的区间范围内，由此说明模型1的预测精度最低；模型4的误差区间相比于其他三个模型聚集最为集中，误差值主要聚集在（-10，10）的区间范围内，并且模型4的总体误差范围也相对较小，因此在4个不同的模型中其预测精度最高。

图14展示了模型4和模型2，双方均为同一模型结构的前提下，在FD002的数据中发动机RUL预测的对比结果，以此来验证采用工况聚类分析的有效性。为了便于观测和分析，将测试集中的发动机按真实RUL标签从大到小进行排序。横坐标代表FD002测试集中的259台发动机，纵坐标代表各发动机对应的RUL。黑色的线代表发动机真实的剩余使用寿命。由图14可知，基于工况聚类分析的模型预测的发动机RUL预测值与实际值更为接近，尤其是在RUL值较小的区域中，预测的准确性更高。这是因为考虑了发动机多工况下退化趋势不明显的问题，采用工况聚类分析减少了工况的变化对发动机RUL预测的影响；并且对于处理之后的数据，当发动机接近故障临近状态时，其故障特征会提高，因此更容易被网络层所捕获以便去学习发动机的退化特性，实现更好的预测效果。

为了深入评估本文模型的稳定性能，并验证采用残差自注意力机制的有效性，对模型4和模型3均进行工况聚类分析的前提下，在FD002测试集中对每台发动机RUL的实际值与预测值的误差进行可视化分析，如图15所示。图中横坐标表示测试集中的259台发动机，纵坐标表示发动机RUL真实值与模型预测值之差。当纵坐标大于0时，属于提前预测，提前预测可能会导致额外的发动机维护成本；当纵坐标小于0时，则属于滞后预测，滞后预测对于发动机运行有着巨大的安全隐患。因此，就发动机的退化状况来说，提前预测要优于滞后预测。CNN-BLSTM-Att模型相比于CNN-BLSTM模型有着相对较小的滞后预测和提前预测，这是因为在CNN-BLSTM模型中融入残差自注意力机制，将输入的数据分为Q，K，V三个特征矩阵，并在计算过程中引入残差连接来优化特征权重，通過缩放点积来计算各个内在数据之间的相似相关性，对发动机退化数据中的每个隐藏特征进行了区分，进一步输出重要信息，有效提高了发动机RUL的预测精度。因此，基于工况聚类分析的CNNBLSTM-Att模型的预测结果更加符合发动机的综合评估标准。

为了验证本文提出的方法在航空发动机RUL预测领域的性能，与其他文献在多工况数据上的预测结果进行比较。对比结果见表6，本文提出的方法在RMSE和Score评价指标上均优于其他方法，可以更有效地预测航空发动机RUL。

3 结束语

本文对多工况数据集的航空发动机RUL预测方法进行了深入研究，得到以下结论：

（1）对于多工况发动机数据不能在运行周期内显现出退化趋势的问题，可对工况进行聚类分析，依据聚类划分的结果进行Z-score标准化处理，消除由工况不断变化所带来的差异性。这样处理较好地减少了工况的变化对退化趋势分析的影响，实现了对退化特征的深度挖掘，可以更有效地提高深度学习模型在多种工况下预测RUL的稳定性。

（2）针对传统的深度学习模型，没有考虑发动机性能退化数据中各个特性具有不同重要程度的问题，可导入残差自注意力机制，给更重要的退化信息分配更大的输出权重，以学习关键的退化特性和时序特征，可有效提高发动机RUL预测的精度。

参考文献

[1]Lee J， Wu F， Zhao W， et al. Prognostics and health manage‐ment design for rotary machinery systems：Reviews， methodolo‐ gy and applications[J]. Mechanical Systems and Signal Pro‐cessing，2014，42（1-2）：314-334.

[2]Lei Y， Li N， Gontarz S， et al. A model-based method for remaining useful life prediction of machinery[J]. IEEE Transactions on Reliability，2016， 65（3）：1314-1326.

[3]葛怡.航空发动机几种典型故障建模仿真与预测[D].西安：西安理工大学，2020. Ge Yi.Modeling simulation and prediction of several typical faults of aero-engine [D]. Xi’an： Xi’an University of Technology，2020.（in Chinese）

[4]赵琳，王艺鹏，郝勇.在轨飞轮故障诊断混合框架设计[J].光学精密工程，2018，26（7）：1728-1740. Zhao Lin， Wang Yipeng， Hao Yong. Design of hybrid frame for in-orbit flywheel fault diagnosis [J]. Optics and Precision Engineering， 2018， 26（7）：1728-1740. （in Chinese）

[5]Li X， Ding Q， Sun J Q. Remaining useful life estimation in prognostics using deep convolution neural networks[J]. Reliability Engineering & System Safety， 2018， 172：1-11.

[6]Mo Y， Wu Q， Li X， et al. Remaining useful life estimation via transformer encoder enhanced by a gated convolutional unit[J]. Journal of Intelligent Manufacturing， 2021， 32（7） ：1997-2006.

[7]Zhang C， Lim P， Qin A K， et al. Multiobjective deep belief networks ensemble for remaining useful life estimation in prognostics[J]. IEEE Transactions on Neural Networks and Learning Systems， 2017， 28（10）：2306-2318.

[8]李浩，王卓健，李哲，等.基于堆棧自编码器和DeepAR的航空发动机剩余寿命预测[J].推进技术， 2022，43（11）：72-80. Li Hao， Wang Zhuojian， Li Zhe， et al. Residual life prediction of aero-engine based on stack autoencoder and DeepAR[J]. Propulsion Technology， 2022，43（11）：72-80.（in Chinese）

[9]Chen J， Jing H， Chang Y， et al. Gated recurrent unit based re‐current neural network for remaining useful life prediction of nonlinear deterioration process[J].Reliability Engineering Sys‐tem Safety， 2019， 185：372-382.

[10]施立瑞，王帅帅，肖昊.面向航空目标检测的神经网络加速器设计[J].航空科学技术，2022，33（5）：89-96. Shi Lirui， Wang Shuaishuai， Xiao Hao. Design of neural net‐work accelerator for aeronautical target detection [J]. Aeronau‐tical Science & Technology，2022，33（5）：89-96.（ in Chinese）

[11]Liu H， Liu Z Y， Jia W Q， et al. A novel deep learning-based encoder-decoder model for remaining useful life prediction [C]// Proceedings of the 2019 International Joint Conference on Neural Networks （IJCNN）， 2019： 1-8.

[12]郭毅博，李舜尧，陈艳华，等.基于时间序列的飞机燃油测量方法[J].航空科学技术，2022，33（5）：63-68. Guo Yibo， Li Shunyao， Chen Yanhua， et al. Aircraft fuel measurement method based on time series [J]. Aeronautical Science & Technology，2022，33（5）：63-68.（in Chinese）

[13]Saxena A， Kai G， Simon D， et al. Damage propagation modeling for aircraft engine run-to-failure simulation[C]// 2008 International Conference on Prognostics and Health Management. IEEE， 2008.

[14]Yu W， Kim I Y， Mechefske C. An improved similarity-based prognostic algorithm for RUL estimation using an RNN autoencoder scheme[J]. Reliability Engineering & System Safety， 2020， 199：106926.

[15]韩光洁，史国华，缑林峰，等.一种用于航空发动机RUL预测的推理网络模型[J].小型微型计算机系统，2022，43（6）：1217-1220. Han Guangjie， Shi Guohua， Gou Linfeng， et al. An inference network model for aero-engine RUL prediction [J]. Minimicrocomputer Systems，2022， 43（6）：1217-1220. （in Chinese）

Engine Remaining Useful Life Prediction Based on Operating Condition Clustering and Residual Self-attention

Zhao Hongli， Zhang Ben， Zhang Qing

Civil Aviation University of China， Tianjin 300300， China

Abstract： Aiming at the problem that the prediction accuracy of the remaining useful life of the aero-engine with multi condition is low， an engine Remain Useful Life（RUL） prediction method based on operating conditions clustering analysis and residual self-attention is proposed. Firstly， different operating conditions are divided by clustering， and a linear regression model is constructed to screen out the degradation parameters that are in line with the engine performance changes. Secondly， the engine performance degradation characteristics hidden in the data are obtained by convolutional neural network. Thirdly， bidirectional long short-term memory neural network is used to mine the temporal degradation characteristics and memorize them. Finally， the residual self-attention mechanism is used to assign different weights to the degradation features to predict the remaining life of the engine. The ablation experiments on NASA C-MAPSS multi condition datasets demonstrate the effectiveness of the proposed method. The results show that the method has the best score and root mean square error， which can provide a certain reference for the prediction of the remaining life of the aero-engine.

Key Words： multi condition； aero-engine； remaining useful life prediction ； clustering analysis； residual self-attention