SSA-TCN 在涡扇发动机剩余使用寿命预测的应用

吴俊伟 陈保家 陈正坤 万 刚 田助新 刘 强

(1.三峡大学 水电机械设备设计与维护湖北省重点实验室, 湖北 宜昌 443002;2.长江三峡通航管理局,湖北 宜昌 443001;3.中国长江电力股份有限公司, 湖北 宜昌 443000)

故障预测与健康管理(prognostic and health management,PHM)技术集数据监测、分析挖掘、智能建模于一体,能够为机械设备提供健康状态评估、剩余使用寿命预测(remaining useful life,RUL)和指导性维护维修决策,其中对设备系统进行RUL 预测是PHM 的核心.涡扇发动机作为航空航天领域的核心部件,其结构复杂、运行工况恶劣,对其进行精确的RUL预测有利于保证航天器安全可靠地运行、节省维护成本、提升经济效益.

Lei等[1]将RUL 预测方法分为以下4类:基于物理模型的方法、基于统计模型的方法、基于人工智能的方法和混合模型方法.基于物理模型的方法,通过建立基于失效机理或性能退化准则的数学模型来描述设备的退化过程,最典型的应用是蠕变模型[2].此类方法依赖于专家知识经验,只有在充分掌握设备故障机理后才能建立较为精准的数学模型来反映机械系统或零部件的退化行为,因而此类方法的适用范围受限[3].基于统计模型的方法,通过概率方法将观测数据拟合成随机系数模型或随机过程模型,在一定程度上可以有效地描述退化过程的不确定性及其对RUL预测的影响.常用的统计学方法模型有自回归模型[4]、Gamma 过程模型[5]、Wiener 过程模型[6]、Markov模型[7]等.但是基于统计模型的方法往往需要较为理想的假设条件,且在非线性转换到线性过程中存在信息丢失的风险.相较于上述两种方法,基于人工智能的方法不依赖专家知识经验,不需要建立复杂的退化模型,利用数据驱动就能很好地学习到机械设备的退化规律,得到可靠的RUL 预测结果.李京峰等[8]利用长短时记忆网络(long short-term memory,LSTM)分别对涡扇发动机的单一传感器数据进行时间序列预测,然后将所有的结果按比例整合输入到深度信念网络(deep belief networks,DBN)中进行健康指标的预测,最终结合健康指标的预测曲线与设定的失效阈值得到涡扇发动机的RUL.Song等[9]通过相关向量机(relevant vector machine,RVM),对卫星的锂电池寿命进行了预测.混合模型方法,即通过对前3 种方法进行混合而形成的预测方法.Zhu等[10]提出了一种隐马尔科夫模型自适应故障发生时间检测与多层感知器特征分布差异修正相结合的迁移学习轴承寿命预测方法.Tian等[11]对设备当前和历史的数据进行威布尔失效函数拟合匹配,并将其作为神经网络的输入进行设备的剩余寿命预测.虽然通过混合模型能在不同类型方法中取长补短,但其实现过程复杂,因而在实际场景中应用较少.而传统的浅层模型的特征提取能力及模型的泛化能力均比较差,预测的精度有待提高.

深度学习作为近年来人工智能领域一种新的技术,具有优秀的深度特征提取能力,能很好地建立实测数据与退化趋势之间的映射关系[1].Wang等[12]将原始振动信号直接输入到具有残差结构的深度可分卷积网络(deep separable convolutional networks,DSCN)中获取敏感特征,并将其映射到机械设备的剩余寿命中.Wu等[13]通过深度长短时记忆网络(deep LSTM,DLSTM)融合多维传感器数据,进行涡扇发动机的RUL 预测,并给出预测误差范围.朱霖等[14]通过增加改进的残差块结构,并结合采用遗传算法的集成学习技术实现涡扇发动机的RUL预测.

由于LSTM 具有出色的记忆功能,在时间序列预测和RUL预测领域得到了广泛的研究与应用.然而,LSTM 的同一层参数不能共享,无法实现并行计算.随着网络单元数目和网络堆栈深度的增加,其网络的参数量会变得十分庞大,训练时占用的内存也更大,训练时间往往比普通RNN 更为漫长.时间卷积网络(temporal convolutional networks,TCN)[15]是专门为时间序列处理而设计出来的一种卷积神经网络.相较于LSTM,它同样具有时间记忆能力,并且已经在机器翻译、语音合成、时间序列预测等领域中验证了其优越的性能[15].考虑到C-MAPSS 数据集的序列特点,基于TCN 的RUL 预测是具有可行性的.而涡扇发动机的RUL 预测方法的可靠性已经得到了一定验证[16].因此,本文提出了一种基于麻雀搜索算法(SSA)[17]进行参数搜索的TCN 模型,用于涡扇发动机的RUL 预测.该方法一方面充分利用TCN结构中的卷积层参数共享、并行计算以及良好记忆能力的优势;另一方面利用SSA 更快的收敛速度、更好的鲁棒性与精度等特点,对TCN 进行参数寻优,能减少人工调节参数的工作量,得到性能稳定的TCN 结构,提高模型的预测精度,为涡扇发动机的维护策略提供可靠的依据.

1 TCN 基本原理

卷积神经网络(convolutional neural networks,CNN)[17]在图像分类中已取得了巨大成功.经典CNN由多个卷积层和池化层组成.TCN 是CNN 的一种特殊体系结构,只有卷积层没有池化层,通过卷积层构成深度神经网络以达到对输入序列历史信息的记忆功能.其主要结构特点包括膨胀卷积、残差连接.

1.1 膨胀卷积

膨胀卷积分为因果膨胀卷积(causal dilated convolution)与非因果膨胀卷积(non-causal dilated convolution)[18]两种卷积方式,其中因果膨胀卷积可以防止未来时间序列信息的泄漏[15],可实现实时预测;而采用非因果膨胀卷积则可使TCN 能利用过去到未来全部的输入进行预测,但不再适合实时应用.

膨胀卷积通过对TCN 每一层卷积核进行零填充,使得卷积核的感受也随着卷积层数的递增而呈指数级增大,因此能获得更多的局部信息,从而能保存更长的历史信息.此外,TCN 还可以将任意长度的序列作为输入并产生相同长度的输出序列,因此比RNN 更具有灵活性.但是值得注意的是,TCN 不是特定的网络结构,而是一系列体系结构,其网络结构如图1所示.

对于一维时间序列输入x∈Rn和一个卷积核f:{0,1,…,k-1}→R,序列元素上的膨胀卷积运算F被定义为

式中:d为膨胀因子;k为核大小;s-d·i为时间序列过去的方向.

1.2 残差连接

TCN 中含有残差网络(residual networks,res-Net)[19]结构,其残差块允许TCN 学习各层特征映射的残余误差,避免深度网络的梯度消失问题,使网络在深层结构中仍然保持稳定的性能[15].由于批规范化(batch normalization,BN)对于同处于一个批次中的数据长度要求是相同的,而TCN 输入的序列长度可能是动态变化的,因此BN 可能并不适用于TCN;而层规范化(layer normalization,LN)通过对指定层的所有神经元的输出进行规范化,解决了上述问题[20],同时满足了C-MAPSS 数据集的不同输入序列要求.图2表示本文TCN 结构体系中改进的残差块结构.

图2 改进的残差块结构

2 基于SSA-TCN 的涡扇发动机剩余使用寿命预测方法

本文采用改进的残差块构建深度TCN 结构体系,并结合麻雀搜索算法(SSA)对关键的网络参数进行优化.首先将预处理的时序数据作为TCN 的输入,然后将最后一层TCN 的输出直接与一个神经元数目为1的全连接层连接,以全连接层的输出直接作为RUL的预测结果.剩余使用寿命预测流程如图3所示,分为3个模块:数据处理,参数优化,RUL预测.

图3 基于SSA-TCN 剩余寿命预测的基本流程

2.1 数据预处理

2.1.1 时序数据归一化与维度转换

涡扇发动机的原始传感器数据存在量纲和数量级的差别,为了消除因这些差异而造成的数据不一致性,同时又不改变数据的原始分布,方便神经网络模型训练,提高RUL 预测的精度,本文采用最大最小归一化方式将原始数据范围限制在[0,1]之间.

目前,对不同长度的时间序列添加时间步的处理方式主要有两种:长度损失型[8-12],长度保持型.长度损失型即直接滑动采样,其窗口大小受限,对于发动机传感器数据来讲,窗口不能大于所有发动机的传感器数据中的最小长度.因而预测模型对历史信息的记忆能力也会相应地受限.长度保持型采用零填充的方式来消除滑动采样窗口对原始时间序列样本长度的消耗.其中填充的方式又可以分为前向填充与后向填充[14].由于前向填充的方式与TCN 中膨胀卷积对时序数据处理方式相似,因此,本文采用前向填充滑动采样进行数据维度转换.

2.1.2 分段退化RUL标签处理

为了提高最终的RUL 预测精度,降低发动机正常运行状态特征对退化状态特征的干扰,常常需要对RUL标签进行一定的处理.其中文献[12-14,21-22]均采用分段线退化的方法来处理RUL 标签,即当实际的剩余寿命Y大于某一个最大循环周期T时,认为发动机处于正常运行状态,其寿命始终为常数值T;当Y小于T时,此时开始发生退化,发动机寿命为原始实际值.

式中:Ylabel为分段处理后的RUL 标签.此外,T值的选取与发动机的退化状态密切相关.根据文献[23]的研究,T值通常在120～130个周期之间较为合适.

2.2 TCN 的参数搜索

用于涡扇发动机RUL 预测的TCN 模型的搜索参数及范围见表1,表中参数分别对应激活函数A、优化器O、残差块数目L(为了保证TCN 能学习到输入数据的时间依赖关系,同时便于训练,规定网络最小有3层,最大有7层,其范围对应着该层神经元数目的取值范围)、随机丢失率D、激活函数Leaky Re-LU 大于0时的的线性系数α值、卷积核大小K、卷积方式P(因果卷积为φ1,非因果卷积为φ2)、批处理大小B、初始学习率λ.

表1 TCN 待寻优参数及其范围

TCN 每一层残差块的膨胀率为2N-1,N为每一个TCN 网络个体中残差块所处的层数值.在训练过程中,从训练集中随机划分出20%的数据作为验证集,以增加模型的泛化性能.当验证集的预测效果连续30次没有提升时,则使个体网络的学习率衰减为原来的10%.设置训练时早期停止的可承受度为100,训练的最大次数为300,损失函数为均方误差(mean square error,MSE).TCN 参数寻优的具体步骤如下:

1)种群初始化:所有群智能优化算法的初始群数量为10;

2)适应度:所有群智能优化算法运行过程中的适应度为RUL预测值与标签值之间的MSE,其值越小表示适应度越好;

3)生产者位置更新:生产者发现开始进行搜索,发现食物(最优解)后带领种群朝着食物的区域移动;

4)竞争者位置更新:部分竞争者时刻监视生产者,并与之争夺食物;

5)种群位置整体更新:预警者发现危险,种群迅速朝着其他安全区域(潜在最优解)的方向移动.

6)终止条件:当算法完成50次迭代后,终止运算.

增设的对照方法为遗传算法(GA)[24]和粒子群优化算法(PSO)[25].其中GA 的选择算子采用确定式选择,即对每一代的个体按照适应度从大到小排序后,保留前50%,再从剩下的较差个体中选择10%,以防止算法早熟;交叉算子采用均匀交叉的方式,即被选择的父母亲个体的每个基因位置上的基因值都以相同的交叉概率进行交换,从而形成两个新个体;变异算子采用基本位变异,随机指定表1中的一个参数,在给定的参数值范围内进行变异,并设置变异率为0.1;PSO 按文献[25]中的经验选取的学习因子均为1.2,最小惯性权重为0.4,最大惯性权重为0.9.GA 和PSO 的其它实验条件设置与SSA 保持一致.

3 实例验证

在基于CUDA10.0和Tensorflow 2.0 GPU 版框架下,使用Python 3.7完成算法的构造;并在配置信息为Intel(R)Core(TM)i5-9300 H CPU@2.4 GHz,NVIDIA GeForce GTX 1660Ti GPU,16G RAM 的计算机上完成实验的计算.

3.1 数据集描述

验证数据集采用RUL 预测中广泛使用的商业模块化航空推进系统仿真(commercial modular aero-propulsion system simulation,C-MAPSS)数据集[26].该数据集由4个子数据集组成.这些子数据集分别在不同的运行工况和故障模式组合下进行仿真,采集了21个传感器和3 个操作条件设置的监测数据,以反映涡扇发动机从开始运行到发生故障直至失效的退化过程.数据集描述见表2,可知FD001 到FD004数据集兼顾不同的操作条件和故障模式,因此它们是很难预测的.故而,采用此数据集能对本文TCN 算法的性能进行很好的验证.

表2 C-MAPSS数据集介绍

在上述的24维数据中,FD001和FD003是单一的操作条件,故3 个固定操作条件设置的数据会对TCN 退化特征的提取造成较大的干扰.由于传感器1、5、6、10、16、18、19 的数据存在异常,因此,在FD001和FD003的RUL 预测中,仅用剩下的14个传感器的数据;在FD002和FD004的RUL 预测中,除了上述14个传感器数据,还使用3个操作条件设置的数据.

3.2 评价指标

采用评分函数(scoring functions,SF)[26]、均方根误差(root mean square error,RMSE)以及准确率(accuracy)[22]对TCN 的预测性能进行定量评价.

式中:是第i台发动机的RUL 预测值与RUL实际值之间的误差;Q为测试样本数;Acc是RUL 预测结果的Accuracy,表示在误差区间[-13,10]内的测试集发动机的得分情况;M为测试集发动机的总数目.

3.3 实验结果分析

TCN 参数搜索中使用的数据集为FD001 子数据集,时间步取36.SSA、GA 和PSO 的种群平均适应度和个体最佳适应度(MSE)的变化如图4所示.

图4 不同优化算法的适应度随进化代数的变化

从图4可以看出:PSO 的种群平均适应度波动大,稳定性差;GA 出现了微小波动;唯有SSA 在50次进化的过程中最为稳定.改进的SSA 最佳个体收敛值为128,PSO 的收敛值为133,GA 的收敛值为140,因此,改进的SSA 效果最佳,最终搜索得到最佳个体的参数具体见表3,再利用这些参数构建本文的TCN 模型结构.

表3 SSA搜索到的TCN 最佳参数

本文采用层规范化(layer normalization,LN)改进的TCN 分别与批规范化(batch normalization,BN)和文献[13]中采用权重规范化(weight normalization,WN)的TCN 进行比较.一般RUL 分段函数的最大循环周期是根据观测结果选择的,每个数据集的数值是不同的.参照文献[13],其它实验参数不变的条件下,FD001数据集取最大循环周期125.3种规范化方法在FD001数据集上分别运行10次,最终在测试集上的ERMS、SF和Acc的3个指标的均值和标准差见表4.

表4 不同规范化方式的TCN 模型在FD001测试集上预测性能的对比

从表4可以得出,本文采用LN 的TCN 模型在3个评价指标上均具有最优的性能.相较于采用BN 方式的TCN 模型,TCN 模型的ERMS和SF这两个误差型指标分别降低了29.06%和67.39%;准确率指标Acc提高了22.85%.相较于采用WN 方式的TCN模型,TCN 模型的ERMS和SF分别降低了30.06%和72.86%;准确率指标Acc提高了13.30%.因此,本文采用的层规范化方法能有效提高模型准确率.

为了更直观地表示3种规范化方式对TCN 模型训练过程的影响,BN、LN 和WN 这3种规范化方式的TCN 的训练过程如图5所示.

图5 不同规范化方式的TCN 模型的训练过程

3种TCN 模型在训练集上的损失函数值下降均比较稳定,其中BN 方式的TCN 收敛最早,在第135个epoch 就停止了训练;WN 方式下的TCN 在第208个epoch停止训练;LN 方式的TCN 是最晚停止训练的,但是模型在第100个epoch的时候最早到达了收敛值.在图5(b)中,相较于BN 和WN 方式的验证集损失函数的巨大波动,采用LN 的TCN 在验证集上的表现十分稳定,训练过程中验证集的损失函数稳定下降,并在epoch 为100 左右时就已经趋于收敛,而后在第150个epoch时进一步下降;同时,LN方式的验证集损失函数的收敛值也是3种方式中最小的.因此,上述训练过程进一步证明了本文采用的LN 方式能够提高TCN 模型在训练过程中的稳定性,并能够抑制过拟合情况的出现,从而提升TCN 模型的预测性能.

为了证明前向填充滑动采样方法和时间步的合适取值能有效降低RUL 预测的误差,在其他实验条件不变的前提下,探究了直接滑动采样和前向填充滑动采样针对不同时间步的预测效果,分别将两种采样方式在4个子数据集上进行实验对比.通过探究前向填充滑动取样的时间步问题,在10～38之间寻找最佳取值,发现时间步等于32时能达到局部最佳效果,故前向填充滑动采样4 个数据集的时间步均采用32.FD001数据集ERMS、SF和Acc带误差棒的折线图如图6所示.

图6 不同时间步取值的FD001测试集RUL预测结果评价

由于在直接滑动采样方式下除了FD003的最大时间步能够取到37,其他的FD001、FD002和FD004分别只能取到30、20和18.因此直接滑动采样选择FD003时间步为32,其余的FD001、FD002、FD004分别取其最大的时间步.所有实验均运行10次,并计算其评价指标的均值和标准差,最终对比的实验结果见表5.由表5可知,相比于直接滑动采样,前向填充滑动采样的时间步添加方式能够提升TCN 模型的RUL预测性能;并且在FD001～FD004这4个子数据集中的ERMS和SF两个误差型指标上分别降低了8.34%和20.96%;在Acc指标上平均提升幅度为7.07%.

表5 不同方法在FD001测试集上的RUL预测结果性能对比

本文方法与其它文献方法的对比结果见表6.

表6 本文提出的SSA-TCN 与其他文献的对比

本文的SSA-TCN 方法在4 个子数据集上表现突出,在4个子数据集共计12个评价指标中,其中8个指标效果最佳.而对比文献中,表现最好的GASEN-TCN,共2个指标效果最佳.因此,这足以证明本文SSA-TCN 方法的优秀性能.

本文方法在4个子数据集的12个指标中,均优于LSTM-DBN、DLSTM 和TCN 这3种方法.

在具有Acc指标结果的GASEN-TCN、TCN-HI这两种方法中,本文方法在FD001、FD003和FD004上拥有最高的准确率指标值,另外FD002的准确率指标10次的平均值为60.58%,位列第2.本文方法的准确率指标在FD001到FD004这4个子数据集上分别提升了9.36%、1.81%、18.03%和2.36%,4个数据集的Acc指标综合平均提升了7.89%.

综合对比6篇文献的方法,本文的SSA-TCN 在FD001到FD004的ERMS分别平均降低了20.13%、25.26%、16.32%和21.82%,4个数据集的ERMS指标综合平均降低20.89%;在FD001到FD004的SF分别平均降低了59.33%、79.95%、51.66% 和71.53%,4 个数据集的SF指标综合平均降低了65.62%.

为了更加直观地表达预测结果,以FD001 子数据集在T=125时的测试集预测结果为例,本文的方法比较准确地预测出了不同发动机的RUL 值,如图7所示.

为了进一步探究在预测过程中,每一台发动机的具体预测情况,本文分别对FD001～FD004等4个子数据集的发动机单独进行了研究.受限于文章篇幅,本文从每一个子数据集的测试集中分别获取一台发动机的RUL预测结果,如图8所示.

图8 单台发动机RUL预测结果

从图8可知,本文方法学习到了训练集的退化特征,不仅在相对应的测试集上精确预测出了最后一个点的RUL值,而且很好地预测出了单台发动机在不同周期点上对应的健康状态以及整个运行过程中对应的RUL值.因此证明了本文方法的有效性与适用性,能够为发动机的维护提供可靠的指导性策略.

4 结 论

本文提出了一种结合SSA 优化的改进TCN 剩余使用寿命预测模型.利用SSA 更快的收敛速度、更好的鲁棒性与精度等特点,对TCN 的参数进行优化,可以使得TCN 模型能针对特定的预测问题自适应选择模型参数,降低了人工调试参数的工作量,提高了模型的预测精度,实现了端到端的剩余使用寿命预测模式.通过在公开的C-MAPSS数据集上进行测试,并与最近的预测方法进行比较,得出如下结论:

1)提出的基于LN 改进的残差块结构,增强了TCN 模型在训练过程中的稳定性,有效提高了模型的RUL预测精度;

2)相比于直接滑动采样,本文采用的前向填充滑动采样的时间步添加方式能有效降低模型的RUL预测误差;

3)提出的SSA-TCN 模型在4个子测试集上的RUL预测评价指标ERMS和SF比其他方法分别平均降低了20.89%和65.62%,证明了本文方法的优越性能,能够为设备的安全维护提供可靠的指导;

4)虽然本文的TCN 模型已取得了一定的预测效果,但是对TCN 内部结构的探索还不够,未来将对TCN 内部结构的设计做出进一步的研究.