基于改进ECANet-TCN和迁移学习的轴承剩余寿命预测

王 焱,丁 华,孙晓春,李 莉,刘泽平,楚寒驰

(1.太原理工大学 机械与运载工程学院,太原 030024;2.煤矿综采装备山西省重点实验室,太原 030024;3.太重煤机有限公司,太原 030024)

随着科技的发展,机械设备运行的工作环境越来越复杂,机械设备中的轴承长期处在复杂工况的条件下,轴承容易发生故障。轴承的剩余使用寿命(remaining useful life,RUL)预测对于工程制造极为重要[1]。对轴承准确的RUL预测可以在提高生产效率和设备的可维护性、保障性的同时,提高生产的安全性,避免机械设备损坏造成的人员伤亡和财产损失。

剩余使用寿命预测方法大致可以分为两类：基于 模型和数据驱动的方法[2]。近年来随着人工智能和深度学习的快速发展,基于数据驱动的轴承寿命预测方法逐渐成为主流[3]。张继冬等[4]进行轴承的寿命预测时将传统卷积神经网络中的全连接层全部更换为卷积层与池化层,以减少神经网络需训练的参数。刘文广等[5]使用长短时记忆模型对实际工程环境下的摇臂齿轮箱寿命进行了预测;Ding等[6]基于在线监测数据,构建自动编码器结合深度双向门控递归单元预测模型,对采煤机RUL进行预测;吴仁彪等[7]融合DenseNet(densely connected convolutional networks)和SENet(squeeze-and-excitation network)提出SE-DenseNet模型,对数据特征进行重标定。曾大懿等[8]通过并行多通道卷积长短时记忆网络进行RUL预测。陈佳鲜等[9]利用时间卷积网络(temporal convolutional network,TCN)挖掘退化趋势的内在时序特征,实现RUL预测。李亚平等[10]采用TCN对滚动轴承振动趋势进行预测,并且加入了注意力机制进行了滚动轴承RUL预测研究。上述方法和模型中对原始特征提取未能充分利用数据多维度上的特性,忽略了数据的时序特性,且模型只能对单一目标和单一工况进行预测。实际工程中一个机械设备就包含了多个不同种类的轴承、不同的工作状态,且获取的数据大都无法加入标签,这对实际工程中准确的对轴承进行剩余使用寿命预测带来了极大挑战。

为解决上述问题满足实际工程的需求,迁移学习方法得到了广泛的关注。相较于传统机器学习要求训练数据与测试数据作同分布假设,该方法可避免传统机器学习中对获得的数据重新标定标签所带来的人力、物力的耗费[11]。随着对迁移学习算法的不断研究,目前迁移学习领域已经获得了一些成果。赵婧等[12]利用残差注意力迁移学习方法,提高了滚动轴承的故障精准度。康守强等[13]利用半监督迁移成分分析方法,在滚动轴承变工况多状态下获得更高准确率。杨胜康等[14]通过多源深度迁移学习,提高了故障诊断的精度和泛化性。王新刚等[15]提出了一种基于迁移学习的寿命预测方法,以卷积神经网络和长短时记忆网络作为特征提取器,提高了不同工况下轴承RUL预测精度。刘飞等[16]将迁移学习和残差网络结合,用于对实际工程中的快速故障诊断。

本文提出了一种基于ECANet-TCN和迁移学习的轴承剩余寿命预测模型,通过有效通道注意力网络(efficient channel attention network,ECANet)和TCN相结合,更好的提取数据时序特征,提高基础模型的预测精度;利用预训练迁移学习的方法,找到数据直接的相似特征信息完成迁移学习,实现对不同设备,不同工况轴承准确RUL预测。在IEEE PHM Challenge 2012轴承全寿命数据集和XJTU-SY 滚动轴承加速寿命数据集上开展对比试验,验证了所提方法的有效性和普适性。

1 理论基础

1.1 ECANet网络

注意力机制在提取数据特征方面有着巨大的潜力。现有提取特征大都使用SENet,而SENet的降维会给通道注意力机制带来副作用,并且捕获通道之间的依存关系效率不高。ECANet是对SENet的改进,文献[17]对比了不同的注意力机制方法,ECANet以更低的模型复杂度获得了更好的性能。通过不降维的局部跨信道交互策略(ECA模块)和自适应选择一维卷积核大小的方法,实现对特征提取明显的性能增益。

图1 ECANet结构

ECANet首先使用全局平均池化来聚合输入特征U∈RW×H×C的各个通道空间信息。平均池化操作表达式为

(1)

然后利用卷积核大小为K的一维卷积对PGA(U)进行卷积计算,快速提取局部K个信息的特征关系。使用Sigmoid函数计算一维卷积输出的激活值,得到表示特征通道的局部关系和重要性的权重值ω∈R1×1×C。Sigmoid和ω的表达式为

(2)

ω=Sigmoid{C1Dk[PGA(U)]}

(3)

1.2 TCN网络

TCN[18]由Bai年在2018年提出,在最近几年被证明在序列数据上比长短期记忆网络和卷积神经网络等规范循环网络更精确、更简单、更清晰。TCN利用膨胀卷积来应对时序模型中常见的长距离依赖问题。

膨胀卷积相比传统卷积具有更大的感受野。膨胀卷积计算F的表达式为

(4)

式中：F(xs)为膨胀卷积计算过程中s时刻输入xs对的网络输出;k为卷积核大小;d为膨胀系数;s-di为与卷积核中元素对应的序列,i∈(0,1,…,k-1)。

以扩张系数d=1,2,4和卷积核大小k=3的膨胀因果卷积为例,TCN结构如图2所示。在卷积操作时,对输入数据采样按照一定间隔,并且采样率由d控制,d=1表示每点都采集,d=2表示在输入过程中对每2个点采样取第一个作为输入,层级越高,d的数值就越大。

图2 TCN结构图

1.3 迁移学习

迁移学习是采用已有知识对不同相关领域问题求解的机器学习方法[19]。通常将被迁移的领域定义为源域DS={Xs,P(Xs)};把待学习的领域定义为目标域DT={Xt,Q(Xt)}。源域DS和目标域DT组成了迁移学习中两个重要的域。源域任务Ts={Ys,f(·)},目标域任务TT={Yt,f(·)},迁移学习的目的是获取DS和TS中的信息来帮助DT中的预测函数f(·)的学习。

源域和目标域的相似程度是迁移学习成功的关键,不同工况不同设备的轴承振动信号虽然不同,但有着很高的相似度。迁移学习的基本过程中,源域数据通常是实验室获得的带标签全寿命轴承数据,目标域通常都是不带标签的轴承数据,其目的是为了更好的模拟实际工程获取的数据大都无法加入标签情况,目前迁移学习主要是针对同一试验台不同工况或不同试验台不同工况之间的迁移。

2 迁移学习预测模型

ECANet在挖掘数据深层次特征和重构数据特征方面表现出了强大的能力,且TCN网络可以更好的挖掘退化趋势内在的时序特征,训练特征与全寿命的对应关系,保证预测的准确性。两者结合成ECANet-TCN模型,可以更有效的提高数据特征分析和寿命预测的能力。

整体而言,本文所提的迁移学习轴承寿命预测模型是在ECANet-TCN模型基础上进行迁移学习。通过大量源域数据集对ECANet-TCN模型进行预训练,保证模型尽可能多的学习不同工况数据特征。利用迁移学习提取不同工况不同设备下振动信号的相似特征,减少源域和目标域之间的差异。在ECANet-TCN基础上结合迁移学习到的相似特征重新训练出迁移模型,用于目标域中的剩余寿命预测。具体内容如图3所示。

图3 基于ECANet-TCN的迁移学习预测方法示意图

2.1 TCN残差结构优化

TCN中残差连接是为了解决网络深度增加过程中可能引起的梯度消失和梯度爆炸问题。文献[20]比较了残差网络的5种结构,试验表明完全预激活后的结构在提高网络的泛化能力和防止过拟合方面优于其他方法。因此将因果卷积放在了批量标准化和激活函数之后,考虑了残差连接的完全预激活。

残差连接将模型的输入x加权融合到模型的输出F(x)中,得到最终的TCN输出o,其计算如式(4)所示,即

o=Activation[x+F(x)]

(5)

式中,Activation为激活函数。改进TCN选用Leaky ReLU为激活函数,给所有负值赋予一个非零斜率,以数学方式可以表示为

(6)

式中,ai为(1,+∞)区间内的固定参数。LeakyRelu在负区域具有小的正斜率,因此即使对于负输入值,它也可以进行反向传播,同时它还具备RuLe激活函数的优点。

2.2 TCN融合注意力机制

为了使TCN更好的利用过去信息,在TCN中融合了注意力机制,其计算公式如式(6)～式(8)所示

(7)

(8)

yr=softmax(w[yt;ct])

(9)

式中：w为可训练参数;softmax(·),LeakyRelu(·)均为激活函数;T为转置。

在对轴承进行寿命预测时,当前t时刻输出向量为yt,t时刻之前的t-1个TCN的输出向量为M=[y0,y1,…yt-2,yt-1],通过yt和M之间的关系得到注意力分数向量at,根据at得到向量ct,将ct和yt结合用于轴承的RUL预测。

2.3 超参数设定优化

由于ECANet和TCN需要对超参数进行设定,超参数的设定会影响预测结果的准确性,粒子群优化算法(particle swarm optimization,PSO)解决了超参数选择问题,这是一种类比生物有机体的集体运动的概率方法,POS通过优化适应度函数,得到最佳解并且简单容易实现没有许多参数的调节。ECANet-TCN中重要的超参数有ECANet卷积核长度、TCN过滤器数量、TCN卷积核长度和学习率,根据超参数的变化范围设置粒子群算法搜索空间上下界为[10,10,128,0.01],[1,1,2,0.000 1],种群数量为20,自动选择最优。由于Adam作为自适应优化算法能够动态地更新学习率,因此本文选择Adam优化器进行梯度优化。

2.4 基于ECANet-TCN的迁移学习剩余寿命预测流程

本文所提出的基于ECANet-TCN的迁移学习轴承剩余寿命预测流程图如图4所示。

图4 基于ECANet-TCN的迁移学习预测流程图

(1) 划分数据：获取某一机械设备不同工况下监测数据构建源域DS,划分训练集和验证集;相同机械设备或不同机械设备的不同工况下监测数据构建目标域DT,划分训练集和验证集。其中源域数据训练集是带RUL标签的,测试集是不带RUL标签的,目标域数据训练集和测试集都是不带RUL标签的。

(2) 批量标准化：对输入数据进行标准化处理,把数据映射到0～1内,保证数据的稳定性。

(3) 源域任务TS：使用ECANet-TCN对标准化的数据挖掘深层次特征,同时增强有用特征抑制无用特征;然后利用多层TCN和注意力机制融合挖掘数据深层时序特征,输出全连接层,将深层时序特征与RUL标签比较分析;最后使用大量源域有标签数据重复学习不同工况的数据特征,校准特征与RUL对应值,构建特征与RUL的映射关系,训练出ECANet-TCN预测模型,在源域测试集检验。

(4) 目标域任务TT：利用源域ECANet-TCN模型和目标域无标签数据集,分析源域数据和目标域数据的参数及特征、学习相似特征、最小化目标域和源域之间的分布差异;然后基于ECANet-TCN模型进行迁移训练,更新模型的参数,训练出迁移模型,在目标域测试集检验。

2.5 模型评价指标

为验证模型的有效性,采用平均绝对误差(mean absolute error,MAE)、均方根误差(root mean square error,RMSE )两个指标对预测效果进行评价,其公式如下

(10)

(11)

3 试验验证

为了验证所提方法的有效性,采用IEEE PHM 2012 Data Challenge轴承数据集[21]和XJTU-SY轴承数据集[22]对提出的基于ECANet-TCN的迁移学习轴承寿命预测进行试验验证。算法运行环境是Python3.7和keras2.3.1,试验所用配置为AMD 4800H处理器,NVIDIA 2060显卡,16 G内存。

3.1 数据来源

数据集A：IEEE PHM 2012数据集来源于PRONOSTIA试验台,该采集数据集的试验台如图5(a)所示。通过滚动轴承加速寿命退化试验,采集不同操作条件下滚动轴承从正常到故障的整个生命周期的振动加速度数据,当振动信号的振幅超过 20g的时候试验停止。图6显示了轴承内圈磨损、保持架断裂、外圈磨损及外圈裂损实物图。这些轴承失效模式在不同的运行条件下会导致不同的退化趋势。采集的振动信号分为水平和垂直两个方向,数据的采样频率为25.6 kHz,每10 s记录一次数据,采集的时长为0.1 s,每次采集的振动数据有2 560个。

(a) 数据集A试验台

(a) 内圈磨损

IEEE PHM 2012试验包含了3个不同工况,如表1所示。第一种工况,电机转速为1 800 r/min,负载为4 000 N;第二种工况,电机转速为1 650 r/min,负载为4 200 N;第三种工况,电机转速为1 500 r/min,负载为5 000 N;其中工况1、工况2包含7个不同轴承,工况3包含3个不同轴承。

表1 PHM2012数据描述

数据集B：XJTU-SY滚动轴承加速寿命试验数据集。该采集数据集的试验台如图5(b)所示,该平台通过对轴承进行加速退化试验,由液压加载系统产生径向力,交流电机的转速控制器来调节转速。采集的振动信号分为水平和垂直两个方向,试验中设置采样频率为25.6 kHz,采样间隔为1 min,每次采样时长为1.28 s。

XJTU-SY试验选用了2个不同工况,如表2所示。第一种工况,电机转速为2 100 r/min,负载为12 kN;第二种工况,电机转速为2 250 r/min,负载为11 kN;两个工况都各包含了5个不同轴承。

表2 XJTU-SY数据描述

3.2 ECANet-TCN模型验证

3.2.1 试验数据划分

试验中使用交叉验证法,数据划分为：①采用数据集A1下,轴承1～7轮流作为测试数据,其余6个轴承作为训练数据;②采用数据集A2下,轴承1～7轮流作为测试数据,其余6个轴承作为训练数据。以轴承A1_1为测试数据为例,A1_2～A1_7为训练数据。

本试验将水平和垂直信号叠加到输入模型进行训练,图7为工况A1下7个轴承水平和垂直全寿命振动信号。

3.2.2 实施细节

将训练集的振动信号及RUL标签输入模型进行训练,训练出最优ECANet-TCN模型,然后将测试集的振动信号输入训练好的ECANet-TCN模型即可得到当前RUL预测值。图8所示为轴承A1_3、轴承A1_4、轴承A1_7、轴承A2_4、轴承A2_6、轴承A2_7使用ECANet-TCN模型RUL预测图。图8中横坐标为时间(min),纵坐标为当前时间对应的剩余寿命占总寿命的比例(全寿命值为100,寿命结束为0)。

(a) A1_3

3.2.3 相关模型比较

为了说明所提出方法的有效性和优越性,对SENet和TCN结合模型SENet-TCN、TCN、改进TCN、以及所提方法进行对比试验,所有网络的超参数以及学习率均使用PSO寻找最优值,并且采用MAE和RMSE两个指标进行比较。图9所示为不同模型对轴承A1_1的RUL预测对比试验。表3为评价指标对比结果。

(a) SENet-TCN

所提评价指标误差对比其他3种模型降低41.0%～77.8%。基于不同对比目的对比结果如下：

将所提方法与SENet-TCN进行比较。以说明ECANet提取特征的有效性。对比预测图以及性能指标可以看出使用SENet-TCN预测结果测RUL曲线与真实RUL曲线拟合不好且各误差指标都很高,但ECANet-TCN模型在相同数据条件下,测RUL曲线与真实RUL曲线拟合效果好,各误差指标都比较低。可见SENet对轴承振动信号特征不敏感,降低了TCN的预测精度,相反ECANet可以更好的构建特征指标,提高RUL准确率。

将所提方法改进的TCN与未改进TCN进行对比,可以看出所提方法改进的TCN预测曲线与真实RUL曲线拟合效果更好且误差更低。证明改进TCN可以比TCN更好的利用过去信息,以提高其对时间序列的预测性能。

所提方法与改进TCN进行对比,是为了验证本文所提ECANet-TCN与TCN结合可以在改进TCN的基础上更好的提高RUL预测准确率,结果证明所提方法精度更高。

3.2.4 与相关作品的结果比较

在试验中,将轴承RUL预测结果与相同数据集试验的相关作品[23-24]进行比较,以进一步验证所提出方法的性能。评价指标对比结果如表3所示。

从表3可以看出,本文提出的方法相比作品提出的先进模型具有更低的百分比误差和绝对百分比误差。该结果证明了所提出的RUL预测方法的可用性和先进性。

3.3 同设备不同工况迁移模型验证

3.3.1 同设备不同工况迁移任务划分

验证同设备不同工况迁移模型试验时,为了模拟真实工程中机器运行工况不同,实际信号采集不全,且采集的信号无标签等问题,选用数据集A做试验数据集,设置两种迁移任务A1→A2和A1→A3,迁移任务设置如表4所示,以A1→A2为例,以A1表示源域数据集,A2表示目标域数据集。

表4 同设备不同工况迁移任务

3.3.2 相关迁移模型比较

为了说明所提迁移方法的有效性和优越性,采用所提迁移模型与TCN迁移模型进行不同工况对比试验。表5为各模型评价指标对比结果。图10为轴承A3_2使用ECANet-TCN迁移模型对轴承A3_2预测结果图。

表5 同设备不同工况迁移任务

对比表5可以看出单使用TCN迁移模型误差指标比较高,尤其是工况3条件下轴承的RUL结果不理想。相反从图10和表5可以看出使用ECANet-TCN迁移模型通过ECANet对数据进行特征重新标定,在无标签数据通条件下RUL预测生成的预测RUL曲线与真实RUL曲线拟合依然较好,评价指标误差结果表现优秀。

3.3.3 与有RUL标签模型比较

在试验中,为进一步验证所提迁移模型的可行性,将ECANet-TCN迁移模型RUL预测结果与ECANet-TCN、同数据集文献[24]进行比较,其中文献[24]训练数据有RUL标签,ECANet-TCN使用目标域有RUL标签训练。

通过ECANet-TCN迁移模型对比使用目标域有RUL标签条件下的ECANet-TCN模型RUL预测结果可以发现,使用目标域有RUL标签条件下的ECANet-TCN模型除轴承A2_1预测结果优于ECANet-TCN迁移模型外,其他预测结果误差大于ECANet-TCN迁移模型。这是因为单使用目标域数据训练模型样本数量不足导致模型训练不理想,而使用ECANet-TCN迁移模型预测误差指标较小,证明了在同设备不同工况下ECANet-TCN迁移模型可以有效提高轴承剩余寿命预测的准确性。

通过所提ECANet-TCN迁移模型对比有RUL标签同数据集文献[24]预测结果,除轴承2_1预测误差偏高于文献[24]预测结果外,其余轴承预测结果较好。文献[24]在对工况3条件下的预测性能指标误差较大,所提ECANet-TCN迁移模型对目标域工况2和工况3条件下的预测性能指标误差较小,可以满足实际需求。证明了所提ECANet-TCN迁移模型通过工况1为源数据对工况2和工况3同设备不同工况目标域任务依然可以取得优秀的预测结果。

因此,所提基于ECANet-TCN的迁移学习轴承剩余寿命预测方法在同设备不同工况目标域数据无RUL标签条件下轴承RUL预测结果展现出了强大的预测能力。

3.4 不同设备不同工况迁移模型验证

3.4.1 不同设备不同工况迁移任务划分

验证不同设备不同工况迁移模型试验时,选用数据集A做源域和转速更高负载更大的数据集B做目标域来进行试验模拟不同设备。设置单源域迁移任务和多源域迁移任务。单源域迁移任务为A1→B1和A1→B2,迁移任务设置如表6所示。多源域迁移任务为A1-A2-A3→B1和A1-A2-A3→B2,迁移任务设置如表7所示,A1-A2-A3→B1表示以A1,A2,A3为源域数据集,B1为目标域数据集。

表7 不同设备不同工况多源域迁移任务

3.4.2 相关迁移模型比较

为了验证所提迁移模型在不同设备不同工况情况下剩余寿命预测的有效性和优越性,采用所提迁移模型与TCN迁移模型进行单源域迁移、多源域迁移对比试验,同时加入了使用目标域有RUL标签训练的ECANet-TCN模型进行对比。表8为评价指标对比结果。图11所示为多源域迁移任务ECANet-TCN迁移模型对轴承B1_1、轴承B1_2、轴承B1_4、轴承B2_1、轴承B2_2、轴承B2_5的RUL预测图。

表8 不同设备不同工况迁移任务

(a) B1_1

基于不同对比目的对比结果如下：

ECANet-TCN迁移对比TCN迁移无论是单源域迁移任务还是多源域迁移任务预测结果性能指标误差都较小,可见ECANet-TCN迁移模型在不同设备不同工况情况下迁移性能优于TCN迁移模型。

多源域迁移任务中ECANet-TCN迁移和目标域有标签训练的ECANet-TCN对比可以发现多源域迁移任务中ECANet-TCN迁移模型的预测优势较为明显,而且预测曲线与真实RUL曲线拟合效果也比较相似。说明仅使用少量有标签数据训练出的预测模型,无法满足实际要求。在实际工程中如果设备获取的数据较少且无法加入标签,通过相似设备的数据进行多源域ECANet-TCN迁移可以达到很好的预测效果。

单源域迁移任务中的ECANet-TCN迁移结果和多源域迁移任务中的ECANet-TCN迁移结果对比中发现,单源域迁移各性能指标误差都大于多源域迁移,而且多源域迁移预测曲线与真实RUL曲线拟合效果较好。这样的结果符合实际情况,因为从各任务源域样本数量对比中,单源域迁移任务中源域的样本数低于多源域的样本数,且单源域只有一个工况样本。由此可见在不同设备和不同工况的迁移中需要源域数据有大量且不同工况的样本来训练模型才能达到准确的预测结果。

在面对不同设备不同工况,且目标域转速更大,负载更大的复杂情况下,ECANet-TCN迁移模型通过多源域迁移任务表现出了优秀的预测性能。因此,可认为本迁移模型适用于大多数不同类型的轴承剩余寿命预测。

4 结 论

针对轴承运行工况不同、有效数据少、数据无标签、预测准确度低等问题,提出了一种基于ECANet-TCN的迁移学习轴承剩余寿命预测方法。通过ECANet-TCN模型RUL预测试验和多种迁移任务RUL预测试验,得出了以下结论：

(1) 改进ECANet-TCN预测模型能够有效提高剩余使用寿命预测的准确性,且同数据条件下对比其他现有流行模型RUL预测误差最高降低77.8%。

(2) 在多种迁移任务试验中,面对复杂的试验环境ECANet-TCN迁移模型均表现出了强大的预测性能。通过ECANet-TCN迁移模型仅需部分有标签数据即可实现不同设备不同工况轴承的准确剩余寿命预测,相比传统方法大大的降低了数据重新标定标签所带来的人力、物力的耗费,具有较强的工程应用价值。