基于TCN和残差自注意力的变工况下滚动轴承剩余寿命迁移预测

潘雪娇, 董绍江, 朱 朋, 周存芳, 宋 锴

(1. 重庆交通大学 交通运输学院, 重庆 400074; 2. 重庆交通大学 机电与车辆工程学院, 重庆 400074;3. 重庆大学 机械与运载工程学院, 重庆 400044; 4. 重庆长安汽车股份有限公司, 重庆 401120)

滚动轴承作为大型旋转机械设备关键零部件,长期运行在恶劣的工况下,会导致轴承的性能下降、可靠性降低,对其服役阶段开展健康状态监测及剩余寿命(remaining useful life,RUL)预测,制定相应维修策略,有助于提高机械设备的可靠性与安全性,具有重要的意义[1-2]。

目前,RUL预测方法主要分为基于物理模型的方法和基于数据驱动的方法[3]。采用物理模型的方法主要是基于对机械设备关键部件退化机理及结构特点的研究,建立对应的退化模型,但该方法建模难度大,专家知识要求高,实际工业环境中实施难度较大[4]。近年来,随着人工智能技术的快速发展,基于数据驱动的方法得到广泛的关注,较多学者将深度学习方法应用于滚动轴承的剩余寿命预测。王玉静等[5]利用卷积神经网络(convolutional neural network,CNN)来提取滚动轴承的频域深层特征,然后将深层特征输入到长短时记忆(long and short term memory,LSTM)神经网络中构建健康指标,有效地实现了RUL预测。陈保家等[6]将滚动轴承原始振动频域信号输入到堆栈降噪自动编码器中提取深度特征,然后输入到多头注意力的时间卷积网络(temporal convolutional neural network,TCN)中提取轴承退化特征,进行RUL预测。Wang等[7]针对采集到的振动信号含不同水平的噪声问题,提出了改进软阈值的注意力时间卷积网络,有效地实现了滚动轴承的RUL预测。但是,以上方法进行滚动轴承RUL预测的前提是假设在同种工况下含有大量的标签数据来用于网络预测模型的训练,然而,在实际工业环境中,机械设备常常工作于变工况的环境中,导致训练数据与测试数据特征分布存在差异[8],以上方法不能有效进行RUL预测。

迁移学习方法在解决因数据特征分布差异而导致网络模型泛化能力差的问题上显示出了优越性能[9]。迁移学习在故障诊断领域研究成果较多,但在RUL预测领域研究起步相对较晚,成果相对较少。王新刚等[10]采用CNN和LSTM作为特征提取器,并通过对抗的思想进行多种工况下的迁移剩余寿命预测。Zeng等[11]针对变工况下剩余寿命预测难题提出了一种在线迁移的新方法,模型的特征提取层采用CNN模型,领域特征分布差异度量同样也采用了对抗学习的策略。以上方法采用迁移学习技术实现了变工况下滚动轴承RUL预测,但CNN模型或LSTM模型在处理长时间序列的数据容易出现梯度爆炸或消失[12],影响迁移寿命退化特征的提取。此外,仅采用对抗训练的方式进行不同领域的差异度量,模型领域对齐能力有限。这些问题将会影响智能预测模型的迁移性能,进而影响RUL预测精度的提高。

针对以上问题,本文融合TCN网络优异的时间序列特征提能力及残差自注意力机制的局部相关特征聚焦特点,提出了基于联合最大均值差异(maximum mean discrepancy,MMD)及对抗学习的端到端的滚动轴承RUL迁移预测方法。试验结果证明了所提方法的有效性与优越性。

1 所提方法理论基础

1.1 迁移学习问题定义

1.2 最大均值差异(MMD)

作为迁移学习中重要组成方法之一,领域自适应起到了缩小不同领域之间数据特征分布差异的度量作用,以达到特征提取器学习领域间不变特征。领域自适应中较常用的度量准则为MMD,其平方定义如下

(1)

式中：H为再生核希尔伯特空间(reproducing kernel hilbert space,RKHS);φ：Xs,Xt→H及K(·,·)为高斯核函数。

(2)

式中,σ为核宽度。

1.3 领域对抗学习

在迁移学习中,领域对抗学习[14]作为另一种重要的领域自适应方法,主要受领域对抗网络(domain adversarial network,DAN)的启发。DAN主要通过提取源域与目标域的不变特征,达到迁移学习的目的,网络结构由三部分组成：特征提取器、分类器、域判别器。对抗学习利用域判别器和特征提取器对抗的方式实现领域对齐,使用高层特征训练域判别器以区分特定样本是来自源域还是目标域,而特征提取器旨在生成难以区分的域不变特征,分类器在源监督下基于高层特征进行训练以进行RUL预测。

2 基于TCN和残差自注意力的滚动轴承RUL迁移预测方法

2.1 时间卷积网络

受卷积网络结构能有效处理时序数据的启发,Bai等[15]提出了时间卷积网络(TCN)。空洞因果卷积被引入到TCN中来抑制时间序列信息从未来到过去的泄漏,其结构示意图如图1所示。此外,TCN网络和其他循环神经网络一样,网络输出长度与输入保持一致。对于一维序列输入x∈n和卷积核f：{0,…,k-1}→,序列元素s的空洞卷积运算F定义为如式(3)所示

(3)

式中：d为膨胀系数;k为卷积核尺寸;s-d·i为过去的方向。因此,膨胀相当于在每两个相邻的卷积核抽头之间引入一个固定步。由图1可知,当d=1时,空洞卷积层相当于普通卷积层;通常,在空洞因果卷积块中,不同层数的膨胀系数以d=2l的方式增加。

图1 空洞因果卷积结构示意图

TCN残差块是将空洞因果卷积及残差跨层连接方式相结合,如图2所示。这使得TCN可以在较少网络层数量的情况下获得较大的感受野,更利于处理具有长期历史依赖的时序数据。同时,跨层连接的方式可以抑制网络模型在加深的过程中出现梯度消失或爆炸问题的出现,能更好的学习滚动轴承寿命退化特征。

2.2 残差自注意力机制

自注意力机制可以在网络训练的过程中自动学习滚动轴承不同退化特征对RUL预测的贡献度,使网络模型更加关注对输出有很大贡献的特征。为了使模型更好地学习退化特征和RUL标签之间的映射,并在长时序列中捕获更重要的信息,残差自注意力机制(residual self-attention mechanism,RSA)被引入到本文搭建的网络结构中。如图3所示,该模块可以计算时序数据中每个元素之间的不同权重,并赋予贡献大的元素较大的权重。

图2 TCN残差块

图3 残差自注意力机制

自注意力机制的输入由三部分组成：查询矩阵Q,关键字矩阵K和数值矩阵V,输出是基于Q和K的相似性加权和。残差自注意力机制的定义为

RSAi=SAi+X

(4)

(5)

式中：Q,K和V分别为线性映射,定义为Q=WqX,K=WkX和V=WvX;X为输入向量;dk为投影尺寸。

2.3 所提出的滚动轴承RUL迁移预测网络结构

本文提出的变工况下端到端的滚动轴承RUL迁移预测网络结构如图4所示。主要包含迁移故障特征提取器、域自适应层、RUL预测器和域判别器四部分,其中域自适应层及RUL预测器共享相同网络结构。迁移故障特征提取器主要包含一维宽卷积层、TCN残差块、残差自注意力块、批归一化层及池化层;RUL预测器主要由全连接层组成,并采用MK-MMD度量不同领域在高层特征的数据分布差异;域判别器由全连接层组成,用于分类数据的领域,起到对抗学习的目的。

网络模型的预测流程为：首先,为抑制噪声干扰的影响,将不同工况下采集到滚动轴承寿命状态数据采用短时傅里叶变换转换成频域数据;其次,采用本文提出的迁移特征提取器对来自源域与目标域的寿命退化迁移特征进行提取,为起到加快网络训练收敛速度及特征降维的作用,在TCN残差块及残差自注意力块后均进行批归一化(batch normalization,BN)及池化操作;再次,领域自适应度量采用本文提出的联合MK-MMD及对抗学习的策略,匹配源域与目标域的分布差异;最后,进行变工况下滚动轴承的迁移RUL预测,并分析模型的性能。

图4 所提RUL预测方法网络结构图

2.4 优化目标函数

本文所提模型的优化目标函数包含RUL预测误差、源域和目标域数据集之间全连接层的MMD距离和领域分类误差三类。

第一个优化的目标函数是最小化源域数据集上的RUL预测误差,均方误差(mean square error, MSE)定义为RUL预测的损失函数

(6)

优化目标函数二为最小化MK-MMD损失项LMMD,采用式(1)对分类层前的两个全连接层的特征差异进行测量,详细理论计算见式(1)。

第三个优化目标函数为最大化源域与目标域的领域分类误差,以达到提取领域不变特征的效果,进一步对齐源域与目标域的分布差异。

(7)

式中：li为领域真实的标签,源域为1,目标域为0;e(xi)为网络预测的领域标签。

因此,总的优化目标函数为

Ltotal=Lrul+λLMMD-μLd

(8)

式中,λ和μ分别为非负超参数。

定义迁移特征提取层、RUL预测层和域判别器的参数分别为θf,θr和θd,总的优化目标函数可进一步表示为

Ltotal(θf,θr,θd)=Lrul(θf,θr)+λLMMD(θf)-
μLd(θf,θd)

(9)

参数θf,θr和θd优化如下

(10)

(11)

(12)

(13)

(14)

式中,δ为学习率。

3 试验验证

3.1 试验数据描述

为验证所提方法的有效性与优越性,采用IEEE PHM2012 Data Challenge加速寿命试验获得的变工况下滚动轴承全寿命数据集[16]进行试验分析,试验平台为PRONOSTIA。PRONOSTIA由三个主要部分组成：旋转部分、退化产生部分(在被测轴承上施加径向力)和信号采集部分。滚动轴承径向力由一个气动千斤顶组成的力执行器产生,调节不同的转速和施加不同的径向载荷进行试验可获得变工况试验数据,试验工况信息如表1所示,具体细节部分详见参考文献[16]。信号采集装置中加速度传感器采集振动信号的频率为25.6 kHz,采用间隔10 s,每个样本采样时间为0.1 s,即2 560个样本点,采样通道有水平和垂直两个通道。

所提迁移RUL预测方法为变工况下无监督迁移学习方法,结合PRONOSTIA不同工况下试验轴承信息,本文设置了4种跨工况剩余RUL迁移预测任务,如表2所示。

表1 试验工况参数表

表2 迁移预测任务

3.2 试验数据预处理

将不同时刻采集到的水平方向时域振动信号采用短时傅里叶变换生成频域信号,同时,为加快网络模型的训练收敛速度和减少不同特征之间的大小差异,将频域信号归一化到[0,1]的范围。RUL预测是一个回归问题,因此,可将轴承运行时间转换为模型的输入标签,利用剩余寿命百分比作为轴承的RUL标签,如式(15)所示

(15)

式中：xi为轴承当前运行时间;xmax和xmin分别为轴承最大运行时间和初始运行时间。yi值的大小表示轴承寿命状态退化的严重程度,当yi为0时,表示轴承退化到失效阈值处,故障严重程度到达极限,剩余寿命为0,完全失效。

3.3 性能评价指标

采用平均绝对误差(mean absolute error,MAE)、均方根误差[17](root mean squared error,RMSE)及评分函数(Score)对测试轴承的RUL预测进行定量的分析。公式如下

(16)

(17)

(18)

其中：

(19)

(20)

3.4 参数设置及对比试验说明

本文所提方法网络结构主要参数如表3所示。其中,在模型迁移特征提取器中不同层的后面均进行池化操作,以降低数据的维度,在TCN残差块5后进行尺寸为4的平均池化操作,其余均进行尺寸为2的最大池化操作,由于篇幅限制,在表中进行了省略。此外,为防止网络过拟合,表中Dropout均设置为0.1。

表3 所提方法的网络结构主要参数表

对比模型1为传统的CNN模型,模型搭建参照本文所提方法,将本文的迁移特征提取器中的不同层替换为卷积层,卷积核尺寸及其它设置均与本文保持一致;对比模型2为本文所提方法的网络结构SATCN,但是未进行迁移学习;对比模型3为采用CORAL度量[18]的迁移学习方法,网络主干结构与本文一致;对比模型4为仅采用单层MMD度量方法;对比模型5为MK-MMD度量方法,为本文所提方法的基础;对比模型6为仅采用对抗学习的迁移学习方法ADV,为本文所提方法的一部分。

3.5 不同RUL预测方法结果及分析

不同RUL预测方法在4种变工况任务上获得的预测结果如表4所示,其中“AVE”表示4种迁移任务下同一指标的平均预测精度结果。由表4可知,本文所提的残差自注意力TCN特征提取器提取轴承退化特征的能力优于传统CNN模型,故SATCN模型在4个变工况RUL预测任务上的得分Score、预测误差MAE和RMSE平均值均优于CNN模型,主要由于SATCN网络结合了TCN处理时间序列数据和残差自注意力聚焦贡献度大的退化特征的优点,退化特征提取能力更强,说明了本文所提迁移特征提取器的有效性;由于模型CNN及SATCN未进行迁移学习训练,在所有对比模型中,RUL预测结果的MAE和RMSE平均误差较大,性能较差,主要是变工况下寿命状态数据存在特征分布差异,仅采用一种工况训练获得的模型泛化能力较差,表明了变工况下迁移RUL预测的必要性;在所有迁移学习对比模型中,采用对抗学习进行域自适应度量的ADV模型获得相对较好的RUL预测精度,平均得分Score为0.315,MAE为0.133,RMSE为0.167,表明采用对抗学习的域自适应方法在处理滚动轴承RUL预测问题上,相对于MMD、MK-MMD及CORAL度量方法具有较好的性能;本文所提方法在迁移任务T1、T2及T4上均获得较小的MAE及RMSE值,预测精度最高,预测性能较好,同时,在4个迁移任务上,本文所提方法的指标均值最优,得分Score平均值为0.318、误差MAE为0.120及RMSE为0.150,主要由于本文结合MK-MMD及对抗学习提出的领域自适应方法能更为有效地对齐变工况下轴承寿命状态数据特征分布差异,进行迁移RUL预测。以上分析结果表明了本文所提方法在处理变工况下滚动轴承RUL预测问题的有效性与优越性。

表4 不同方法的RUL预测结果

为进一步分析本文所提方法的优越性,随机选择迁移任务T1进行RUL预测结果的可视化分析。图5为本文所提方法与SATCN方法的RUL预测结果图,图6为本文所提方法、迁移学习方法MK-MMD及ADV的RUL预测结果图。同时,为抑制图6中不同迁移学习方法预测结果的局部振荡现象,采用Savitzky-golay平滑滤波方法进行平滑处理,结果如图7所示。由图5可知,采用迁移学习方法后的RUL预测结果更靠近RUL真实值,预测结果精度及性能整体优于未进行迁移学习的模型,受变工况影响较少。由图6、图7可知,本文所提的迁移学习RUL预测方法获得的RUL预测结果相比于MK-MMD及ADV迁移学习方法更靠近RUL真实值,波动性相对较少。尽管本文所提方法在某些时刻下,预测曲线与真实RUL线段吻合度不是很高,存在一定的波动,出现该现象的原因可能是变工况下不同滚动轴承失效形式差别较大,导致关键阶段的数据缺乏,深度学习模型难以准确地学习表征。但预测曲线少量异常波动并不会影响整体预测的下降趋势。特别是在轴承剩余寿命即将为0,轴承接近完全失效时,预测曲线与真实RUL,吻合度较高。以上分析结果进一步说明了所提方法的有效性与优越性。

图5 T1迁移任务RUL预测结果(SATCN, Proposed)

图6 不同迁移方法RUL预测结果(T1)

图7 不同迁移方法RUL预测结果平滑处理(T1)

4 结 论

针对变工况环境下滚动轴承RUL预测难题,本文提出了一种基于时间卷积网络和残差自注意力机制的端到端的RUL迁移预测新方法,通过试验及分析,获得以下结论：

(1) 结合残差自注意力及时间卷积网络的特点提出的迁移特征提取器相对于传统CNN模型,迁移特征提取能力更强。

(2) 融合最大均值差异度量准则及对抗学习策略的新领域自适应方法能更好匹配变工况下滚动轴承寿命状态数据特征分布差异。

(3) 通过试验及其他RUL预测方法对比分析表明,所提方法RUL预测结果更接近真实RUL值,得分更高、预测误差更小,对于变工况下开展滚动轴承健康状态评估及RUL预测具有重要的参考价值。