基于监督对比学习和混合注意力残差网络的隔膜泵单向阀故障诊断*

任洪兵,彭宇明,2*,黄海波,2

(1.西南交通大学 汽车与能源动力研究所,四川 成都 610036; 2.西南交通大学 先进驱动节能技术教育部工程研究中心,四川 成都 610036)

0 引 言

矿浆管道运输是一种新型固态物料运输方式,其能够克服地形、地势崎岖等因素引起的运输困难问题,还具有环保、稳定、经济等优点。

隔膜泵作为核心动力单元,常应用于矿物管道运输系统中,其能够在高压、高温及复杂激励等恶劣工况下完成矿浆介质输送任务[1]。

单向阀作为隔膜泵的重要组成部件之一,因其工作频率高且受到矿浆介质的持续冲击和磨蚀,导致其易成为隔膜泵系统中故障频率最高的部件。因此,开展单向阀故障的诊断研究对保障矿物管道运输系统持续、平稳的运行,避免企业安全事故的发生具有相当重要的意义[2]。

基于数据驱动的故障诊断研究可从历史数据中获取机械设备的故障状态信息,这是该领域的研究方向之一[3-4]。卷积神经网络因其出色的数据信息挖掘能力,成为很多故障诊断研究方法的首选[5]。

LI Gang等人[6]提出了一种基于AlexNet模型的钻井泵液端故障诊断研究方法,为了增加数据的可见性,降低噪声的干扰,该方法采用三维化灰度图像,随后利用AlexNet模型辨识了钻井泵液端的故障类型。冯泽仲等人[7]运用快速循环频谱(cyclic spectral coherence,CSCoh)运算生成了循环频谱相干图,以降低噪声对故障特征的干扰,随后运用深层卷积网络识别了隔膜泵单向阀故障。BIE Feng-feng等人[8]针对高速轴向柱塞泵的加速度振动信号,采用完全自适应噪声集合经验模态分解(complementary ensemble emp-irical mode decomposition with adaptive noise,CEEMDAN)进行了轴向柱塞泵的特征提取,并将所提特征用于训练一维卷积神经网络和长短时记忆网络(one-dimensional convolutional neural networks and long short-term memory, 1DCNN-LSTM)的混合模型模型,完成了轴向柱塞泵故障诊断研究。ZHANG Ying等人[9]融合了多传感器信息特征,并构建了用于往复式压缩机故障诊断的深度信念网络(deep belief network, DBN),该网络提高了故障诊断的精度。SHI Pei-ming等人[13]提出了一种基于注意力机制的特征增强网络,用于轧机轴承故障诊断研究。

上述文献中仅通过信号预处理来提取特征,虽可以降低噪声对故障特征的干扰,从而提升故障诊断效果;但是当不同故障的特征具有一定相似性时,故障诊断结果依旧不佳。

对比学习可以通过衡量数据之间的相似度,从而调节数据之间的距离,使得不同故障的分类边界更加明确。

KHOSLA P等人[10]将数据的标签信息扩展到自监督对比学习中,提出了一种全监督对比学习损失函数(supervised contrastive loss,SCL),相比交叉熵损失(cross entropy,CE),其能更好地将相同类别数据聚集。BELIZ G等人[11]提出了“CE+SCL”相结合的损失函数,可以通过SCL微调模型来改善CE损失引起的模型泛化性差和对噪声标签的鲁棒性差等问题。FLORIAN G等人[14]通过对比不同损失函数优化模型的过程,表明了SCL比CE能获得同等或更多的辨识表征。

综上所述,笔者针对单向阀受到噪声或其他激励干扰导致隔膜泵单向阀不同故障的特征具有一定相似性和分类边界不清晰,限制了故障诊断的识别精度问题,提出一种结合“SCL+CE”损失和HA-ResNet的隔膜泵单向阀故障诊断方法。

首先,该方法利用连续小波变换(continuous wavelet transform, CWT)提取单向阀振动数据的时频特性,生成时频图像;其次,将注意力机制(attention mechanism)[12]引入ResNet,用于提升模型的特征提取能力,并建立HA-ResNet模型;最后,在训练过程中先使用CE损失对HA-ResNet模型进行预训练,随后采用“SCL+CE”损失作为损失反馈微调HA-ResNet模型,以避免交叉熵损失的缺点,同时明确单向阀不同故障状态的分类边界,从而提升单向阀的故障诊断精度。

1 混合注意力残差神经网络

1.1 残差网络

随着相关各领域的快速发展,使用网络模型高精度地提取数据特征的能力成为一种需要,而模型的性能与网络深度呈正相关[15]。但是当网络层数增加到一定程度后,模型性能会随着网络层数的增加而衰退,主要表现在模型的训练过程发声梯度弥散或梯度爆炸而引起的网络退化问题。

HE Kai-ming等人[16]提出的残差神经网络(deep residual network,ResNet),其在卷积神经网络的不同层级之间引入恒等变换,有效缓解了网络退化问题和提升了模型的特征提取能力。

残差块输出为残差部分与直接映射相加组成,即:

xl+1=xl+F(xl,Wi)

(1)

式中:xl为直接映射部分;wi为残差映射的权重参数;F(·)为残差运算函数。

基础残差块结构[17]如图1所示。

图1 一种基本残差块

由式(1)可知,残差块的输入与输出维度统一且没有增加运算复杂度。由图1可知,残差模块中常包含卷积层、批归一化层和激活函数。

卷积层是ResNet的核心组成部分,卷积层通过不同尺寸大小的卷积核完成对数据特征的提取。卷积层的输出,由经卷积运算后的局部加权特征图与偏差相加组成,如下式所示:

(2)

批归一化层能够对网络输入进行批量标准化处理,其具有加速模型学习速度和缓解梯度弥散等优点。

批归一化层的输出,如下式所示:

(3)

卷积神经网络常需进行数据降维从而降低模型的计算复杂度和防止模型过拟合。池化层通过对输入数据降采样,以此来降低输入数据复杂度和提升输出特征维度。

池化层的输出,如下式所示:

(4)

1.2 注意力机制

卷积神经网络是利用局部感受野提取输入信息特征,但是卷积层的不同卷积核中的特征信息含量不同。传统卷积神经网络无法关注到每个卷积核的特征信息含量,而通道注意力机制可以自适应调整各个卷积核输出映射的输出权重,通过对模型中信息丰富的卷积核赋予较大权重与信息匮乏的卷积核赋予较小权重的方式,合理分配各通道之间的贡献[18]。卷积块注意力模块(convolutional block attention module,CBAM)[19]中提出了一种通道注意力模块。

CBAM模块注意力机制权重值,如下式所示:

Mc=σ(MLP(AvgPool(x)+MLP(MaxPool(x))))

(5)

式中:x为输入特征;MLP为多层感知机;Mc为通道权重系数;σ为Sigmoid激活函数。

CBAM结构如图2所示。

图2 CBAM模块

为了提升模型的收敛速度和性能,笔者将CBAM模块的MLP模块替换为卷积神经网络,提出卷积的CBAM (Convolutional CBAM,CCBAM)通道注意力机制模块。

CCBAM模块注意力机制权重值输出,如下式所示:

Mc(x)=σ(Conv(CBRC(GAP(x))+CBRC(GMP(x))))

(6)

式中:GAP,GMP为全局平均池化和全局最大池化;CBRC(·)为“卷积+批归一化+ReLU+卷积”一系列运算过程;Mc为通道权重系数;σ为SoftMax函数。

CCBAM结构如图3所示。

图3 CCBAM通道注意力机制模块

1.3 混合注意力残差神经网络

笔者将CCBAM通道注意力模块与残差模块相结合,提出一种混合通道注意力残差模块(hybird channel attention residual block, HA-ResBk),用于自适应调节各卷积通道的输出权重,提升模型整体性能和泛化能力。

HA-ResBk结构如图4所示。

图4 混合通道注意力机制残差模块

在特征学习过程中,混合注意力残差模块不仅可以自适应地突出微弱但关键的特征,同时通过恒等映射变换方式,可避免多次点积运算造成的有效信息被抑制的问题,减少有效信息的丢失,并使模型更易于学习优化;相较于基本残差模块,其具有更优越的学习能力。

HA-ResNet模型结合残差网络和通道注意力机制,通过关注模型通道特征的重要性,可以提升模型的学习能力。该模型主要由输入层、全局平均/最大池化、激活函数、基本残差块、批归一化、全连接层、分类器层和输出层组成。

在该结构中模型的注意力机制残差块1和2组成的模型模块共有3组,并依次相邻连接,形成模型的特征提取部分。

模型结构如图5所示。

图5 HA-ResNet模型框架

2 监督对比损失

目前,对比损失被广泛应用于自监督学习中。在经过降维后,相似数据样本的特征空间中相似样本依旧相似;原不相似数据样本在特征空间中依旧不相似。自监督对比学习目标在于学习正样本的不同表现特征,同时调整与负样本的距离,使用的距离度量通常是内积和样本向量特征之间的欧式距离。

若数据样本数量为N时,自监督对比损失[10]定义,如下式所示:

式中:zi为在SoftMax映射之前的归一化输出;τ为标量温度系数,τ>0;zj(i)为源于zi样本的数据增强样本;·为内积运算符。

对于每个正样本,具有1对正对和2N-2对负对数据组,即式(7)中分子共1项与分母一共2N-1项。

自监督对比损失虽可以较好地区分同源信号与非同源信号,但较难将同类型的非同源信号归为一类。监督对比损失将数据的标签信息引入自监督对比损失,将同类别样本识别为正样本,可以拉近来源于同一类别样本的距离。

若数据样本为{xi,yi},且样本数量为N,则监督对比损失[10]为:

(8)

式中:zi为在SoftMax映射之前的归一化输出;zj为zi样本的同类别样本;Nyi为标签为yi的样本数量;τ为标量温度系数;zk为zk样本的不同类别样本。

为了兼顾监督对比损失和交叉熵损失的优点,此处使用的损失函数为两者的加权和损失,即:

(9)

Lf=(1-λ)Lscl+λLce

(10)

3 基于SCL和HA-ResNet的故障诊断方法

由于环境噪声或其他的激励,导致隔膜泵单向阀的不同故障特征会出现一定的相似性,或故障特征被噪声干扰,导致干扰下的故障特征不明显,影响了隔膜泵单向阀故障诊断的精度[20-22]。

为解决上述问题,笔者提出了基于对比学习与混合注意力残差网络(SCL+HA-ResNet)的隔膜泵单向阀故障诊断模型。首先,该模型利用监督对比损失,自适应地调整单向阀不同故障类别的距离,从而降低由于不同故障的相似性对诊断精度的影响;其次,运用通道注意力机制提升模型对故障特征的提取能力,并在网络中引入残差网络,改善模型的性能和泛化性。

隔膜泵单向阀故障诊断方法流程图如图6所示。

图6 SCL+HA-ResNet故障诊断流程图

故障诊断的具体步骤如下所述:

步骤1。利用加速度传感器采集隔膜泵单向阀的各类状态下的振动信号。将各类信号按固定数量的数据样本点连续分段划分,然后将截取好的每段数据进行连续小波变换,生成样本集;

步骤2。分析单向阀不同状态信号特征,并通过随机取样,将样本集按一定比例划分为训练集和验证集。考虑到模型的训练与测试所需时间与样本信息量,将每个时域信号样本都进行小波变换,输出为大小为64×64的时频图;

步骤3。构建HA-ResNet模型,并且初始化模型超参数,包括但不限于学习率、迭代次数、卷积核尺寸等;构建监督对比损失和加权“监督对比+交叉熵”损失;

步骤4。使用训练样本对HA-ResNet模型进行预训练,利用反向传播(back propagation,BP)算法训练优化HA-ResNet模型,并且使用自适应矩估计(adaptive moment estimation,Adam)优化器来加速模型训练,此训练过程使用交叉熵损失;

步骤5。使用加权“监督对比+交叉熵”损失反馈微调预训练的HA-ResNet模型,直至模型收敛,得到特征空间与状态空间映射的网络模型;

步骤6。将测试样本输入训练完成的HA-ResNet模型中,输出分类结果并开展故障诊断分析。

4 工程实验与模型验证

4.1 实验设置与数据采集方案

笔者研究的对象为TZPM系列的三缸曲轴驱动活塞式隔膜泵,其每一组隔膜泵包含三组进、出料口。整个隔膜泵单向阀主要包含隔膜泵、单向阀、动力装置及其辅助设备等。

为了保证隔膜泵的正常运行,及时发现异常故障,在单向阀外壳体上(包括进出口两处单向阀,共6组)布置加速度传感器,利用数据采集系统获取单向阀运行数据,实时监控隔膜泵运行状态。

具体的加速度传感器布置位置和数据采集示意图如图7所示。

图7 加速度传感器布置位置及数据采集方案示意图

该实验中,隔膜泵冲程数为30次/min～31次/min,运行频率为0.5 Hz～0.517 Hz,数据采样频率为2.56 kHz。

实验采集数据所使用设备及其型号如表1所示。

表1 实验设备及其型号

4.2 实验数据来源与数据分析

由于矿浆对单向阀的磨损和冲蚀作用,在工作过程中,隔膜泵进、出口单向阀随着时间的流逝会出现磨损,而单向阀的健康状态与隔膜泵的安全息息相关。因此,单向阀的健康状态成为隔膜泵系统安全的关注焦点。

正常单向阀和故障单向阀的实物图如图8所示。

图8 隔膜泵单向阀实物图

图8(b)所示的故障单向阀呈完全失效(击穿)状态,但在其非严重破坏区域能看出划伤、磨损等轻微故障的特征。

该实验所用数据均采集于某企业的泵站[23-25]隔膜泵动力系统。隔膜泵单向阀的故障主要由单向阀被磨损导致的故障和阀体活动受限导致的故障组成。

单向阀状态的5种类型如表2所示。

表2 单向阀故障状态类型

在数据集准备过程中,笔者采用不重叠滑移方法,将收集到的5类单向阀状态振动信号截取4 096个数据点作为一个样本。

单向阀各状态时域振动信号如图9所示。

图9 单向阀不同状态下振动信号时域图

为了更好地提取数据信号特征,笔者运用连续小波变换(CWT)对各类健康状态信号进行时频域分析。

连续小波变换如下式所示:

(11)

式中:Z(t)为源时域信号;a为伸缩因子;ψ(·)为小波基函数,是满足一定条件的基本小波函数;τ为时间平移因子。

单向阀不同状态的时频图如图10所示。

图10 单向阀不同状态下的时频图

经时频变换后,笔者最终获得实验数据集共5×100个样本。然后,笔者按照7:3的比例,将其划分为训练集和测试集。

时频图样本如图11所示。

图11 单向阀不同状态下的时频样本

4.3 HA-ResNet模型构建

在完成对隔膜泵单向阀精确故障诊断之前,需先建立故障诊断模型。

HA-ResNet模型超参数设置如表3所示。

表3 HA-ResNet模型参数

笔者采用Adam算法作为模型训练优化算法,并且设置初始学习率为0.001。

在模型训练中,笔者使用交叉熵损失,预训练轮次设置为10;使用“SCL+CE”损失,Lf训练轮次设置为20;模型一共训练30个轮次,其他未提到的参数采用默认值。

此外,笔者通过深度学习框架为Pytorch(2.10),编程语言为Python(3.8)来构建所提模型和对比模型;在硬件配置方面,CPU为AMD Ryzen 5600X,GPU为Nvidia GeForce RTX 3070 TI。

4.4 实验结果与分析

为了说明融合监督对比学习与混合注意力残差网络的故障诊断方法(SCL+HA-ResNet)具有可行性和优越性,笔者将该方法与LeNet5、CWT+1DCNN、ResNet18和CSCoh+1DCNN进行对比;同时,以HA-ResNet_1(无注意力模块)和HA-ResNet_2(不使用监督损失函数)模型作为消融实验对比方法(对比算法的学习率和优化算法均与SCL+HA-ResNet一致,且对比算法均使用交叉熵损失函数)。

SCL+HA-ResNet方法和各对比算法的训练过程如图12所示。

图12 训练结果曲线图

由图12可以看出:相较于LeNet5和CWT+1DCNN,SCL+HA-ResNet的训练准确率提升超过了20%;相较于ResNet-18,虽然在训练准确度上提升幅度不大,但在模型的收敛时间和训练稳定性上具有较大的优势;相比于CSCoh+1DCNN,SCL+HA-ResNet在训练稳定性上更高。

SCL+HA-ResNet与HA-ResNet_2的训练曲线对比可知:“SCL+CE”损失相较于CE,其在训练过程中更加的平稳且收敛时间更短,这在一定程度上说明“SCL+CE”损失优于CE损失;将HA-ResNet_1与HA-ResNet_2的训练曲线对比可知,含有注意力机制模块的HA-ResNet_2在收敛速度和训练准确度上都具有一定的优势。

综上,由准确率曲线和Loss曲线可知:相比于其他对比算法,SCL+HA-ResNet在收敛迭代次数和训练准确率上都具有一定的优势。

为了避免随机因素的干扰,笔者重复进行10次实验。

SCL+HA-ResNet和其他对比算法在测试集上的结果如表4所示。

表4 10次实验故障诊断结果

由表4中可知:SCL+HA-ResNet在测试集上表现最好,其准确率达到了99.3%,并且10次测试实验准确率标准差最小,可以说明其稳定性较优;而CWT+1DCNN和LeNet5在测试集上表现较差,可能因模型训练迭代次数不足所导致;其次,通过消融对比实验可知,含有注意力机制的模型更加优秀,而通过SCL+HA-ResNet与HA-ResNet_2对比可知,“SCL+CE”损失对比CE损失的训练效果更好。

为了更加清晰地观察SCL+HA-ResNet故障诊断方法的准确率,笔者使用混淆矩阵表示单向阀各状态类别的精确度,得到数据特征的t-SNE可视化,如图13所示。

图13 SCL+HA-ResNet测试集的混淆矩阵

从图13可以看出:SCL+HA-ResNet在正常和划伤故障之间有1个样本被错误分类。此外,采用t-SNE算法可将模型提取的高维特征降维到二维平面,且可以图像化,直观体现特征的分布情况。

原始数据和SCL+HA-ResNet输出特征可视化图如图14所示。

图14 数据特征的t-SNE可视化

从图14中可看出:SCL+HA-ResNet对单向阀各状态数据集具有出色的数据特征提取能力;不同故障状态数据的分类边界清晰,且同一故障类别数据的内部聚集性较好。

5 结束语

在隔膜泵单向阀实际运行时,伴随着复杂的环境噪声干扰,单向阀不同故障会呈现一定的相似性,导致故障诊断存在性能受限的问题。为此,笔者提出了一种基于SCL+HA-ResNet的隔膜泵单向阀故障诊断方法,并利用工程实测的单向阀振动数据,对该方法的有效性进行了验证,同时将该方法与其他方法进行了对比,说明了该方法的优越性和稳定性。

研究结果表明:

1)HA-ResNet模型能够有效地提取故障特征,SCL能够有效地划分不同故障的分类边界,从而提升故障诊断的精度,减少模型的学习成本,并且该方法在工程实际测试集上的诊断精度可达到99.3%;

2)笔者将SCL+HA-ResNet模型的融合方法与LeNet5、CWT+1DCNN、ResNet-18、CSCoh+1DCNN、HA-ResNet-1和HA-ResNet-2等方法进行了对比,结果表明,该方法具有更优越的诊断精度和稳定性。

在单向阀的运行工况中,存在输送介质时变特性引起的随机干扰现象。因此,在后续的工作中,笔者将针对输送介质时变特性引起随机干扰,导致故障诊断困难的问题进行深入的研究。