基于多尺度时间卷积网络的航空发动机寿命预测

罗舒杨, 周 奇, 黄旭丰, 吴金红

华中科技大学, 武汉 430074

0 引 言

发动机是现代工业中最重要的动力源之一,在航空、汽车、船舶和能源等领域有着广泛的应用[1].然而,长时间的运行和复杂的工作环境会导致发动机逐渐磨损并出现故障,特别是在严苛的工作条件下,如高温、高压、高湿度和高振动等情况下.一旦发动机出现故障,将会造成巨大的经济损失和人员伤亡[2-3].因此对发动机设备的故障预测和健康管理(PHM)具有重要研究意义.

剩余寿命预测(RUL)是PHM技术中一项重要的工作.发动机的剩余使用寿命RUL为发动机从当前运行时刻t到其运行到失效状态即出现故障时刻T度过的时间[4].发动机RUL的预测可以帮助维修人员更好地制定维修计划,以便及时进行必要的维护和更换部件,从而延长发动机的使用寿命,提高设备可靠性和安全性[5-6].

一般来说,现有的RUL预测方法大致可以分为2类,即基于模型的方法和基于数据驱动的方法[7].基于模型的方法需要根据具体对象广泛的先验知识构建相应的寿命预测模型.然而,随着装备结构复杂性的增加,建立系统对象的寿命预测模型对操作人员的经验知识要求也随之增加,这极大程度地限制了此类方法的广泛应用.基于数据驱动的方法采用机器学习或概率统计来揭示信号数据与RUL标签之间的潜在相关性和因果关系.由于不需要退化机制模型,因此易于应用于实际工业活动,已成为最流行的RUL预测方法.因此,本文采用的是基于数据驱动的方法来预测发动机RUL.

基于机器学习的发动机RUL预测方法是通过浅层次的机器学习模型自适应地构建发动机传感器数据和对应RUL标签之间的关联关系.王加昌等[8]构建了支持向量回归模型(SVR)和多层感知机(MLP)等多个基于机器学习方法的寿命预测模型,并评估了各个模型的优劣.然而基于机器学习的方法大多需要人工提取数据特征,这极大程度地提高了任务的复杂性.随着计算机科学的发展,深度学习方法能构建端到端的寿命预测模型,这能显著降低任务的复杂度,同时深度学习方法往往有着更好的特征提取能力.马占伟等[9]提出一种多尺度卷积神经网络MCNN,利用多尺度卷积核提取更全面的数据特征,提高模型在滚动轴承寿命预测任务上的能力.王智龙等[10]提出一种时间卷积网络与融合注意力机制的门控循环单元(TCN-AGRU)的滚动轴承剩余预测模型,探索一种新的轴承寿命预测方法.XU等[11]提出一种集成模型,利用深度学习和非平稳高斯过程回归来构建涡扇发动机寿命预测模型.ZHANG等[12]提出一种基于长短时记忆神经网络(LSTM)的寿命预测模型,利用长短时记忆神经网络处理时序信息的优势来提高模型预测精度.

尽管基于数据驱动的设备寿命预测方法已有大量的研究,但现有的发动机寿命预测方法仍然存在着一定的局限性.比如现有寿命预测模型多利用循环神经网络(RNN)或者其变体来提取数据中的时间信息[13-15],然而这类方法的退化特征提取能力较差,在复杂工况和多故障条件下的寿命预测精度仍然较低.此问题严重阻碍了该类模型在实际工业中的发展应用.

为了解决上述的问题,本文提出一种新的基于深度学习方法的寿命预测模型——多尺度时间卷积网络(MTCN).该模型利用时间卷积网络来提取数据中的时序信息;同时利用多尺度卷积模块的特性,提取复杂工况和复杂故障状态下的设备性能退化特征,从而提高模型在复杂工况下的寿命预测精度.最后,在C-MAPSS涡扇发动机数据集上验证所提出方法的有效性.

1 基本原理介绍

本节介绍了所提出多尺度时间卷积网络构建过程中的理论支撑,具体包括时间卷积神经网络和基于映射损失的信号选择方法.

1.1 时间卷积神经网络

时间卷积神经网络(TCN)由一维全卷积层组成,该全卷积层具有相同的输入和输出长度的因果卷积、扩展卷积和残差模块.TCN使用零填充来保持层与层之间的长度相同.网络中的因果卷积允许层之间形成因果关系,从而避免信息泄漏.同时,残差模块和扩展卷积控制了存储器的长度.它们保证模型具有长期记忆能力,避免梯度消失问题,进一步增强模型的预测能力[12].具体来说,TCN具有以下优点:首先,TCN继承卷积神经网络的感受野特征,具有灵活的感受野,可以根据不同的任务特征调整感受野的大小.感受野是指一个特定的神经元在输入空间上所关注的区域[16].其次,不同阶段参数的共享使模型避免了递归神经网络中的梯度消失问题,可以在不按特定顺序处理数据的情况下并行处理时态数据.最后,卷积核的共享允许更低的内存占用和更短的网络反馈循环,使模型更快地收敛.

(1)因果卷积

因果卷积具有单向结构,即只能感知具有严格时间约束的记忆历史信息,结构如图1所示.对于前一层在T时刻的值,因果卷积只依赖于T时刻的下一层及其历史值,即输出序列中的元素,只依赖于输入序列元素和历史元素.为了确保输入和输出具有相同的长度,模型使用零填充方法.零填充应用于输入数据序列的前端,以确保卷积层中的因果关系.在没有扩展的情况下,保持与输入相同长度所需的填充总量为(卷积核长度-1).

图1 因果卷积Fig.1 Causal convolution

(2)扩张卷积

传统卷积神经网络使用池化操作避免过拟合.但随着卷积层的加深,网络需要更多的参数,计算复杂度也随之增加.扩张卷积可以很好地解决这个问题.扩张卷积结构如图2所示.扩张卷积通过在标准卷积中添加扩张率来改变卷积核的大小,扩张率表示内核中的间隔数.与传统卷积网络相比,扩张卷积可以在相同的层数下获得更大的感受野.扩张卷积的数学可以表示为以下形式:

图2 扩张卷积Fig.2 Dilated convolution

(1)

其中,d表示扩张率,k表示卷积核尺寸,s-d·i表示历史时间方向.当d=1时,此时为标准卷积.通过改变d的值来控制感受野的范围.卷积神经网络中的感受野是指特征中的节点在输入数据上映射的区域的大小.扩大感受野可以提升模型长期记忆能力.感受野与卷积核的大小和卷积层的数量呈线性关系.

1.2 基于映射损失的信号选择方法

发动机的信号监测往往是由多个传感器共同完成的,然而并不是所有传感器都对发动机剩余寿命分析提供帮助.为了降低数据冗余,提高任务学习效率,本文借鉴文献[17]中的信号选择方法,保留数据中有价值的传感信号,剔除无用的传感信号.

该方法提出了损失边界值lossb来判断信号是否有助于后续发动机剩余寿命预测任务,其数学式可表示为以下形式:

(2)

当传感器信号不包含任何RUL信息时,该信号获得的每个训练样本不能通过其样本信息有效地映射相应的RUL标签值.这意味着任何模型都不能通过建立RUL与输入样本之间的实际映射关系来降低训练损失值.此时,模型的输出值有2种情况.一种是每个输出值都是随机值,另一种是所有输出值收敛于一个值,该值是训练样本真实标签分布得到的损失函数的局部或全局最优点.lossb是当训练样本中不包含任何与RUL相关的信息时,训练模型的最小损失值.因此,本文采用lossb作为判断信号数据是否包含有助于预测任务信息的阈值.

信号映射能力的强弱可表示如下:

(3)

其中,f是线性整流函数Relu,lossa表示训练十次的平均损失值,m表示信号映射相应RUL标签值的能力.

2 多尺度时间卷积网络模型

2.1 MTCN网络结构

本文提出一种基于多尺度时间卷积网络模型,该模型利用多尺度卷积模块取代传统TCN中的扩张卷积模块,增加卷积感受野,提高模型训练效率和特征提取能力.传统TCN中的扩张卷积模块通过更改扩张率,增加卷积核的间隔来提高卷积核的感受野,从而获得更多的信息.但在实际操作时扩张率参数的确定是一个难点.因此,考虑到多尺度卷积核能够在不同的尺度上对输入数据进行特征提取,再将不同尺度的信息进行融合输出.其综合考虑多尺度信息及多个感受野的信息.提高模型特征提取能力,在一定程度上降低了模型训练难度.图3展示了MTCN模型的基本框架.根据图中信息可以看出,MTCN由特征提取器和预测器2大模块组成.其中,特征提取器由3个子模块组成.每个子模块中包含3个卷积模块和一个卷积层.每个卷积模块的卷积核尺寸不同,3个卷积模块共同组成多尺度卷积模块.卷积层则是充当残差连接模块,旨在解决模型训练过程中的梯度消失或梯度爆炸问题.输入数据经过3个卷积模块,得到的结果经过通道拼接操作后与卷积层的结果相加得到输出结果.该结果作为下一个模块的输入.经过特征提取器处理后的结果将输入预测器,经全局平均池化层、线性层后得到发动机预测RUL值.MTCN网络的具体参数如表1所示.表中卷积层参数值分别代表输出通道数、卷积核尺寸和卷积核步长.MTCN网络中所有激活函数均使用ReLu.

表1 MTCN网络参数细节Tab.1 The details of parameters of the MTCN

图3 MTCN网络结构Fig.3 The structure of MTCN

2.2 MTCN网络流程

本文所提出的基于多尺度时间卷积神经网络的发动机剩余寿命预测方法流程如图4所示,主要包括数据预处理阶段、训练阶段和评估阶段.下面将具体介绍所提出方法的流程.

图4 MTCN流程图Fig.4 The flow chart of MTCN

(1)信号选择

为了降低发动机寿命预测的复杂度,根据上述信号选择方法,对存在多源传感器信号的数据进行处理,选择对发动机寿命预测分析有贡献的传感器数据,剔除无用的传感器数据,降低数据复杂度.信号选择的结果如图5所示.将m为0的传感器剔除,剩余传感器均认为与发动机性能退化有关.

图5 信号选择结果Fig.5 The results of signal selection

(2)数据标准化

为了加快梯度下降中最优解的求解速度,采用标准尺度归一化方法对样本的各个特征维进行归一化,该归一化方法原理可表示如下:

(4)

(3)划分数据集

C-MAPSS数据集包含训练数据和测试数据,分别归类做了(1)和(2)操作后训练数据和测试数据.

(4)设置RUL标签

C-MAPSS涡扇发动机数据集包含4个子数据集,分别为FD001、FD002、FD003和FD004.每个子数据集中的内容包括发动机编号、时间、工况和传感器数据等.其中time_in_cycles代表时间步,操作者每隔一个时间步收集一次所有传感器的数据.其中train_FD00X中的time_in_cycles代表该发动机从正常运行到停止工作的整个寿命.而test_00X中的time_in_cycle是随机停止在发动机某一状态(不一定是故障)的时间步.RUL预测的目的就是进行剩余的time_in_cycles的预测计算.对于C-MAPSS涡扇发动机数据集,本文将早期涡扇发动机的RUL标签阈值设置为常数.在大多数情况下,当剩余使用寿命值在115左右时,信号的滑动平均值开始快速变化,这表明此时发动机的健康状态开始发生变化,因此本文在试验中将其设置为115.如果发动机真实RUL值大于115,则将其RUL标签设置为115.

(5)模型训练

将训练集输入进基于Pytorch框架构建的MTCN模型进行训练,规范模型权重参数,并通过均方根误差MSE计算预测RUL值和真实RUL值之间的差异,再通过Adam优化器反向更新网络参数.

(6)模型评价

将测试数据输入训练好的MTCN模型中,并预测发动机RUL值,这些测试数据是未参与过MTCN模型训练的.通过评估测试数据的评价指标来判断模型的优劣.

3 试验验证

为了验证所提出多尺度时间卷积网络在发动机寿命预测问题上的有效性,本文在C-MAPSS数据集上进行大量的对比分析试验.首先利用2个发动机寿命预测常用评价指标(均方根误差和评分函数)对所提出方法和传统TCN进行对比分析,验证所提出的多尺度卷积模块的特征提取能力.然后分析不同时间窗长度对所提出方法的影响,从而得到效果最佳的模型参数.利用获得的最佳模型,预测4个设备整个运行过程寿命,对比真实寿命和预测值之间的差异来分析所提出方法的有效性.最后,将所提出方法和目前最先进的方法进行对比分析,验证所提出方法的先进性.本文所有的试验分析均在一台配置有一个Core (TM) i7-11700K CPU、一个8G显存的英伟达GeForce RTX 3070 GPU和一个32G RAM的计算机上进行,同时本文所有的程序均在Pytorch框架下执行.考虑到试验过程中存在的偶然误差,每个试验在相同条件下均重复10次.

3.1 试验数据集介绍

在本文中,主要采用NASA收集的商用模块化航空推进系统仿真(C-MAPSS)数据集来评估所提出的方法.C-MAPSS数据集包含4个不同的子数据集.如表2所示,FD001、FD002、FD003和FD004具有不同数量的工况和故障模式.F002和F004数据集运行工况和故障模式更为复杂,因此RUL比F001和F003数据集更难预测.在C-MAPSS数据集中的21个传感器中,存在部分传感器的数据无法表征发动机的退化过程.因此,本文利用上述“映射损失边界”方法去除这些传感器数据序列,并使用剩余的传感器的数据进行RUL预测.在实际情况下,涡扇发动机在早期的退化过程可以忽略不计,也就是说,发动机的RUL在早期应该保持不变.因此,本文将发动机开始退化前的RUL均设置为一个定值,即退化阈值.而涡扇发动机的线性退化发生在这个退化阈值之后.在本文中,将退化阈值设置为115.C-MAPSS数据集包含训练集和测试集.训练集包含完整的从运行到故障过程中每个时间步的数据.在测试集中,发动机在故障发生前随机停机,目的是预测最后一个时间步长的真实RUL.

表2 C-MAPSS数据集介绍Tab.2 The introduction of the C-MAPSS dataset

3.2 试验结果分析

(1)评价标准

为了提高模型评价的全面性,本文采用均方根误差R和评分函数S这2个指标.评分函数是一种非对称的评价指标,它会根据预测结果与真实值之间的差距来给出评分.如果预测结果小于真实值,则被视为“超前预测”,相应的分数更低.如果预测结果大于真实值,则被视为“滞后预测”,相应的会获得更高的分数.均方根误差是常用的预测任务性能指标,其定义如下:

(5)

评分函数用数学公式表示为

(6)

由式(6)可以看出,当预测的RUL值高于实际RUL值时,分数函数惩罚更严重.因此,分数函数偏向于选择预测早期故障的模型,而不是预测延迟故障的模型.

(2)MTCN与TCN结果对比分析

为了验证所提出的多尺度卷积模块的有效性,将所提出的多尺度时间卷积网络和传统时间卷积网络算法进行对比.除算法外,其他工作条件设置相同,其结果如表3所示.根据结果可以看出,所提出的方法在FD002子数据集和FD004子数据集上的2个性能评价指标均低于TCN,在FD001子数据集上的表现略低于TCN,而在FD003子数据集上的与TCN各有优劣.结果表明所提出的MTCN在FD002子数据集的均方根误差和评分函数、FD003的评分函数和FD004的均方根误差和评分函数指标上是优于传统TCN的,说明MTCN在处理工况复杂的问题时效果明显优于传统TCN.这是由于多尺度卷积模块具有更强大的特征提取能力,能在复杂的数据中提取出表征设备退化的特征.同时,对于工况较为简单的子数据集,所提出的MTCN与传统TCN效果相似.上述结果验证了所提出的多尺度卷积模块有效性.

表3 MTCN与TCN模型的性能比较结果Tab.3 Performance comparison results of MTCN and TCN

(3)时间窗长度对模型的影响

由于C-MAPSS数据集中包含多个传感器数据,不同长度的多元时间序列数据中包含的设备RUL信息又是不同的,因此在训练前选择合理的时间窗长度是必要的.为了验证时间窗长度对模型的影响,本文分别在C-MAPSS 4个子数据集上进行对比试验.将时间窗长度分别设置为10、20、30……70,并通过试验获得模型在测试集数据上的表现.所提出方法在不同时间窗长度条件下的性能结果如图6所示.根据结果可以看出,当时间窗长度设置为40的时候,MTCN在FD001和FD003子数据集上的R和S综合结果最佳.当时间窗长度设置为20时,MTCN在FD002子数据集上的R和S综合结果最佳.当时间窗长度设置为30时,MTCN在FD004子数据集上的表现最佳.结果表明,对于复杂工况和多故障的数据集,所提出方法更适合使用较小的时间窗长度,而对于较为容易的数据集,所提出方法在较大时间窗长度条件下性能更佳.

图6 不同时间窗长度下MTCN的性能Fig.6 Performance of MTCN with different time window lengths

(4)预测结果的详细分析

下面对预测结果进行更直观细致的分析.首先,分别从FD001、FD002、FD003和FD004数据集中随机选择一个发动机设备,并将预测的RUL值和实际的RUL值进行比较,最后通过可视化的方式呈现.图7中(a)～(d)分别为FD001设备编号24、FD002设备编号80、FD003设备编号99和FD004设备编号8的结果.从结果可以看出,FD001和FD003的RUL预测结果较好,FD002和FD004的预测结果波动性很大.这是由于FD002和FD004的工况和故障数量较为复杂,RUL预测难度较大.同样,MTCN的前期运行RUL预测误差要高于后期,这是由于后期数据退化特征明显,更容易拟合.因此随着运行时间增加,模型的RUL预测精度随之提高.尽管MTCN在FD002和FD004数据集上的预测结果存在波动,但RUL预测值均小于RUL真实值.这表明本文所提出方法在评分函数指标上表现较好,同时,在实际应用中,“超前预测”更容易避免安全事故的发生.

图7 C-MAPSS数据集部分设备RUL结果对比Fig.7 Comparison results of some devices in C-MAPSS dataset

(5)MTCN与现有方法对比分析

为了验证所提出MTCN方法的先进性,本文将MTCN与现有的文献中的方法进行对比分析.这些方法包括:时间卷积注意力网络(TCAN)[18]、长短时记忆神经网络(LSTM)[19]和有向无环图网络(DAG)[20].为了保证对比试验的可靠性,所有的方法测试数据相同,且运行条件一致.不同对比方法的预测结果如表4所示.根据结果可以分析得出MTCN在预测难度较大的FD002和FD004数据集上的表现效果显著高于其他对比方法,其R和S分别降低了17 343%、51.57%、4.33%和18.16%.结果表明,所提出方法能显著提高模型的特征提取能力,从而提升模型的预测能力,尤其是在复杂工况和复杂故障的条件下.

表4 MTCN与现有方法对比结果Tab.4 Performance comparison results of MTCN and other the state-of-the-art method

4 结 论

本文提出一种基于多尺度时间卷积网络的发动机RUL预测方法.在所提出的方法中,利用时间卷积网络的特点,分析信号中的时序信息,提取信号时间尺度上的退化特征.然后利用多尺度卷积网络的特点,增加网络的感受野,从而提取不同空间尺度上的退化特征.为了验证所提出方法的有效性和先进性,本文在C-MAPSS数据集上进行大量的分析试验,对模型参数进行探讨分析.同时还将提出的方法和现有的先进方法进行对比分析.结果表明,本文提出的多尺度时间卷积网络模型的退化特征提取能力更强,对复杂工况和复杂故障条件下的发动机RUL预测精度更高.不仅如此,MTCN模型的预测结果基本是“超前预测”,相较于“滞后预测”的模型,在工业实际应用中更容易避免安全事故的法伤,减少经济损失.

本文所提出的方法在简单工况条件下的效果并没有很大的提升,同时,多尺度卷积会导致模型参数增加,这无疑在一定程度上限制了MTCN的工业应用.未来将进一步研究轻量化所提出的方法,从而更适应实际工业应用.