基于特征重叠与集成学习的涡扇发动机剩余寿命预测

周先烨，陈里里，王 彪，白怀伟

（重庆交通大学 机电与车辆工程学院，重庆 400074）

现今民航客机主要采用涡扇发动机，虽然其推力大、效率高、燃油和噪音比较低，但具有迎风面积大和高速阻力升高等缺点。为确保使用安全与经济性、提高设备可靠性，需要进行涡扇发动机的剩余寿命提前预测，以便为各企业提供有效信息，减少损失、提高经济效益。

在国内外研究中，对设备进行健康管理以及寿命预测主要有2 种方式，根据设备运行机制建立物理分析模型和对设备运行的数据驱动方式进行预测。物理建模方式对专业人员要求较高，在设备RUL 方面带来一定的挑战，因此对设备数据分析建模预测应用较为广泛。文献[1]提出了一种基于机器学习模型采用Stacking 多模型融合，以绝缘栅双极型晶体管（IGBT）为对象进行寿命预测，融合了4 种机器学习算法模型，结果表明，多模型融合的机器学习模型对IGBT 寿命预测的均方误差平均降低了93%。文献[2]针对太阳能光伏发电对环境变化特点，提出一种基于堆叠集成学习方法的预测模型，选择在单个模型中具有卓越性能的极限梯度增强（XGBoost）与Stacking 集成学习比较，结果表明，Stacking的均方根误差比XGBoost 低1.84%。文献[3]基于堆叠集成的思想，构建了台风灾害下用户停电的预测模型，验证了Stacking 模型能很好地实现台风灾害下用户停电的预测。近几年使用深度学习对设备RUL预测也逐渐延伸，文献[4]对精密机床加工进行精度研究，根据主轴热伸长率提出一种机床主轴位移的关键温度点选择算法和热误差估计方法，对温度点进行聚类建立数据集，提出长短期记忆（LSTM）建模方法，建立主轴热误差与关键温度点变化的关系，结果表明，在不同温度变化下，所提LSTM 模型和关键温度点选择算法的最大均方根误差（RMSE）在0.6 μm以内，其深度学习预测方法具有更好的鲁棒性。

以涡扇发动机为研究对象的实验有很多，使用Stacking 集成学习和传统机器学习方法进行对比，或者双向长短时记忆神经网络（BiLSTM）与传统机器学习方法进行实验对比来体现出改进的优点，但是方式较为单一。本研究基于Stacking 集成算法模型与LSTM 改进的BiLSTM 进行对比验证，并与单一机器学习模型和LSTM 预测效果比较，在数据处理时不采用传统的特征选择与降维，而是使用GBDT与随机森林2 种算法模型特征重要性排序，再进行特征重叠选择取并集。经过Stacking 集成学习进行预测并采用随机搜索进行参数寻优，后与BiLSTM以及其他算法模型对比验证后，对设备RUL 进行预测分析结果，在发动机剩余寿命预测方面实现商用价值。

1 数据处理

1.1 数据描述

本文使用的数据集来自美国国家航天局（NASA）公开的涡扇发动机仿真数据集（C-MAPSS），模拟其不同工况下的退化过程，数据集由多个多元时间序列组成，但可认为是来自同一类型一系列引擎。数据包括26 列序列名，分别是引擎编号、循环周期时间序列、引擎操作设置1～3 号以及21 个传感器反馈数据1～21 号。研究主要目的是通过发动机故障问题累加达到设备系统故障这一段周期进行剩余周期寿命预测，从而提前获得设备故障信息进行早期维护与更换。

1.2 FP-GBDT-RF 特征选择

特征选择是为了过滤非关联、冗余和嘈杂的特征，降低学习难度和提高模型可解释性。通过寻找强相关和非冗余的特征子集，可以为机器学习和模式识别提供更稳定的结果，其主要方法有过滤法、包装法、嵌入法[5]。本研究基于嵌入法提出FP-GB DT-RF 进行特征提取，是基于GBDT 和随机森林（RF）算法进行特征选择，此方法相较于单一特征选择，能够加强因子重要性，首先2 种模型分别对特征进行重要性排序，并设定阈值K，对所选的K 个特征向量进行特征重叠取（FP）后输出，其原理如图1 所示。

图1 FP-GBDT-RF 原理图Fig.1 Schematic diagram of FP-GBDT-RF

2 算法优化

2.1 Stacking 集成算法

特征工程阶段对数据FP-GBDT-RF 特征选择后，利用循环控制采用十折交叉验证[6]法对平衡后的训练集进行划分以抑制过拟合现象，防止线性依赖。采用Stacking 模型融合，该算法为异质集成算法，分为基学习器和元学习器2 层，第一层基学习器模型M1 采用随机森林模型（RF），随机森林使用Bootstrap 采样，即有放回的包外估计保留验证集，内部多个不同决策树采用穷举法切分变量，在预测阶段，随机森林将内部多个决策树的预测结果取平均得到最终结果。M2 采用KNN，KNN 以线性关系作为基础，通过一种距离度量关系（通常为曼哈顿距离或欧几里得距离）寻找与待预测点相近的K 个点，取K 个点平均值进行回归预测，能对复杂数据低维处理；M3 采用XGBoost[7]进行模型融合，处理大数据速度快、效果好、内部提升决策树、鲁棒性强、在回归预测方面敏感度强。在得到每个模型的预测值后，通过基学习器预测输出至第二层元学习器模型GBDT 并进行训练。其模型原理如图2 所示。

图2 Stacking 处理框图Fig.2 Processing block diagram of Stacking

2.2 随机搜索寻优

在超参数优化方法中[8]，网格搜索作为暴力搜索，对每组数据都进行遍历同时参数优化，参数值连续并可能耦合状态，搜索时间长，算力大且耗时。随机搜索是在当样本数量非常大的时候，通过局部搜索范围也可以找到最优值或近似值，并试图接近最好的参数解耦，因此采用随机搜索对Stacking 参数进行寻优。

2.3 双向长短时记忆网络模型（BiLSTM）

在使用深度学习处理时间序列问题时，RNN 是序列模型，优缺点同时表现为状态依赖上一时刻输入，将上一时刻的输出作为当前时刻隐藏节点输入[9]，具有一定的顺向性与长期依赖。当时间序列数据量大且复杂时，隐藏节点储存消耗增多，权重循环矩阵连续相乘导致高次幂，面临梯度消失与梯度爆炸问题。为解决这一问题，改变RNN 结构体诞生出LSTM。LSTM 记忆单元替换RNN 隐藏层的神经元结构，引入了遗忘门、记忆门与神经元结构来减少梯度消失与爆炸问题，同时有效地解决了RNN 的长期依赖问题，另外可通过梯度剪切阈值防止梯度爆炸，结构如图3 所示，其中LSTM 公式如下：

图3 LSTM 结构图Fig.3 Structure diagram of LSTM

式中：ft、it、ξi、ct、ot、ht分别表示当前时刻的遗忘门、输入门、当前神经元状态、神经元、输出门以及隐藏单元。

BiLSTM 主要是由Forward 层在当前t 时刻通过神经元状态来对信息进行记忆与遗忘，输出时序前一时刻隐藏状态hfd，同理Backward 层对当前t 时刻进行操作输出后一时刻当前隐藏状态hb。前向传播层与后向传播层共同决定输出层，得到新的结果改变LSTM 的单向梯度决策问题，其t 时刻双向传播时隐藏状态为

BiLSTM 在当前时刻状态的模型结构如图4所示。yi为序列正向传播时上一个神经元的输出，yo为序列反向传播时上一个神经元的输出。

图4 BiLSTM 当前时刻状态Fig.4 Current time state of BiLSTM

3 实验过程与分析

3.1 实验流程

本研究主要使用Stacking 集成算法模型与BiLSTM模型进行对比试验，根据涡扇发动机模拟故障状态过程，C-MAPSS 共有4 个子数据集，选择其中的FD001 子数据集作为研究数据，本研究使用FD001 数据集Train_FD001 为训练集，Test_FD001为测试集，RUL_FD001 为最终预测值。其中包含100台发动机，共20360 个训练样本点和13095 个测试样本点。具体实现流程如下：

（1）对FD001 整体数据集进行清洗；

（2）分别使用GBDT 与随机森林（RF）进行特征重要性排序，设定阈值K，选出K=12 个特征，分别输出KGBDT和KRF；

（3）对两模型输出KGBDT和KRF进行特征重叠，将所取的并集部分进行输出（FP-GBDT-RF）；

（4）特征重叠后的输出进行十折交叉验证，再划分训练集和测试集，同时取评价指标平均值，输出结果；

（5）将结果输入Stacking 融合模型，其中M1 为RF，M2 为KNN，M3 为XGBoost，进行回归预测；

（6）Stacking 模型使用随机搜索进行超参数优化，重复步骤（4）进行回归预测；

（7）将步骤（3）结果输入BiLSTM、LSTM 神经网络模型、RF、KNN 和XBoost 模型回归预测；

（8）将机器学习模型（RF、KNN、XGBoost、Stacking）与深度学习模型（LSTM、BiLSTM）进行效果对比验证，通过评价指标进行结果分析。

3.2 评价指标

为印证融合分析Stacking 集成学习与BiLSTM神经网络模型对涡扇发动机剩余使用寿命预测效果，采用均方根误差（RMSE）和决定系数R2作为评价指标[10]，计算公式如下：

均方根误差：

决定系数：

式中：n 为样本数量；yi为样本数量i 的真实值；为样本数量i 的预测值。MAE 值相对于对波动敏感性误差弱于RMSE，因此选用RMSE 作为预测效果指标，RMSE 值越小，表示模型预测效果越接近数据真实值，具有较优的精确度。同时使用R2为拟合优度，其值为0 到1，值越大表示模型有更好的拟合性能。通过不同评价标准对Stacking 融合模型、机器学习（XGBoost、KNN、RF）、深度学习（LSTM、BiLSTM）十折交叉验证取均值进行预测效果验证，结果如表1所示。

表1 不同模型评价指标结果对比Tab.1 Comparison of evaluation index results of different models

由表可以看出，RF、KNN、XGBoost 机器学习模型通过特征堆叠后进行训练得到RMSE 精确度表现较好，在拟合优度方面都达到了0.94 左右，相比于深度学习的LSTM 与BiLSTM 2 种模型，经过特征堆叠再训练的RMSE 值未得到提升，同时R2拟合优度均未达到0.9，相比于Stacking 集成学习模型与其他5 种模型进行比较RMSE 值最低，比较接近真实值，误差较小，拟合优度R2为0.95，具有更好的拟合趋势。与同数据其他论文研究结果对比，本文通过特征重叠后使用Stacking 集成学习RMSE 值有明显的降低，R2拟合优度略优，另外在整体运行时间方面为30.46 s。从结果可以看出，Stacking 集成网络综合表现最好，也体现出特征堆叠的方法在有限的环境下适用于机器学习与集成学习，在深度学习以及其他应用中还须进一步验证。

对设备RUL 进一步未来预测，取FD001 前80个设备编号进行预测，使用机器学习（图5）和深度学习（图6）进行效果预测。如图5 所示，BiLSTM 与LSTM 预测效果与真实值分布情况具有一定的偏差。如图6 所示，整体的几种模型预测效果均表现良好，但集成学习的预测效果更接近设备RUL 最真实的分布情况，具有一定的代表性。

图5 BiLSTM 与LSTM 模型预测结果Fig.5 Prediction effects of BiLSTM and LSTM models

图6 单一模型与Stacking 模型预测结果Fig.6 Prediction effect of single model and Stacking

4 结语

为进一步准确预测设备剩余寿命，本文使用公开C-MAPSS 数据集，首次提出使用2 种单一的机器学习模型（GBDT 与RF）进行特征重要性排序，并设定特征阈值，再进行特征重叠取并集，使原数据更少更好地保留原有信息。后使用集成学习并进行随机搜索进行超参数优化，同时改进双向长短时记忆网络，与多个单一机器学习模型和LSTM 进行预测效果验证。结果证明，经过特征重叠后集成学习在各方面表现有明显优势，提升了模型性能的同时也保证模型稳定性，为各种设备进行准确寿命预测提供可靠性研究。