基于Transformer和卷积神经网络的齿轮故障诊断方法*

闫绘宇,张 超*

(1.内蒙古科技大学 机械工程学院,内蒙古 包头 014017;2.内蒙古自治区机电系统智能诊断与控制重点实验室,内蒙古 包头 014010)

0 引 言

齿轮是机械设备系统的重要组成部分。它们在机械设备动力传输、运行速度控制、运行轨迹调节[1]方面发挥巨大作用。齿轮的传动效率高、承载能力好,已被广泛应用于各种不同的领域,如冶炼钢铁、风力发电、庄家收割、各种制造业、航天航空等[2]。如果对齿轮在运行过程中发生的故障没有及时发现并采取有效的诊断措施,可能会导致机器卡死、工厂停工,以及更严重的人身伤亡事故[3]。因此,必须采取有效的故障诊断措施,尽早发现问题的根源,从而降低系统故障的风险,提高工作效率,最大限度地减少事故的发生。

随着技术的发展,传统的故障诊断方法已经无法满足当今对复杂系统的需求,其只能从数据表象中抽取出外观、功能、行为等表象,而无法捕捉更深层次的信息[4]。深度学习技术在近些年发展迅猛,其凭借独特的优势,已经被广泛应用于各种不同的领域[5]。

万安平等人[6]针对传统方法提取特征过于繁琐的问题,采用卷积神经网络(convolutional neural network,CNN),自动对信号特征进行了提取。ZHANG Kai等人[7]提出了一种新的残差网络方法,其对原始信号进行了小波变换,以改善残差网络,并重点关注小波系数的突出特征。HU Hao等人[8]提出了一种基于深度信念网络的齿轮故障诊断方法,借此提取了齿轮的时域信号和频域信号,并确定了模型的最优参数,再将振动数据分为训练集和测试集,并输入到模型中,自动提取了振动信号的特征和识别故障。

然而,齿轮的运行环境复杂多变,有时要获取高质量的故障样本极为困难,导致实际的训练数据相对匮乏,这就使得深度学习在小样本条件下的应用存在一定的局限性。

元学习也可以使用在小样本识别中,其可以辅助数据学习元知识,并将其迁移到目标任务中。但其如何学习知识、积累知识,还处在起步阶段,尚有很大的研究空间。

目前,迁移学习(transfer learning,TL)技术的发展比较成熟。它可以将迁移在源域中的知识用在目标域的学习上[9]。其采用迁移学习方法,模型在源域利用充足的样本进行训练,在目标域用部分样本微调参数,从而开始新的任务。

张根保等人[10]使用了稀疏自动编码器,并采用柔性最大值函数回归,以提高模型的自适应能力,还采用迁移学习方法进行了故障诊断。王琦等人[11]利用最大均值差异衡量源域和目标域的特征分布,在小样本下,采用CNN和迁移学习方法进行了诊断故障。石静雯等人[12]将CNN、门控循环单元、注意力机制组合在一起,避免了人工经验的依赖,在小样本下,采用迁移学习方法进行了诊断故障。

由于上述方法网络模型结构简单、特征提取能力有限,导致其故障诊断精度不高。

针对上述问题,笔者提出一种小样本下的齿轮故障诊断方法。

首先,构建Transformer-CNN模型,将原始信号经高斯滤波平滑处理后再进行补丁序列化处理,作为模型的输入,模型自动提取信号的时间特性和空间特性等特征信息;最后,采用基于模型参数的迁移学习方法,在小样本下对齿轮的故障进行诊断。

1 理论基础

1.1 信号平滑处理

传感器采集的振动信号往往伴随着大量的噪声。为了减少噪声信号的干扰,需要对原始振动信号进行预处理,使振动曲线变得更加精确、稳定[13]。

高斯滤波对信号的平滑处理效果较好,而且可以极大程度地保留信号的主要特征,并能够抑制噪声信号的干扰,因此笔者使用高斯滤波技术对原始数据进行预处理[14]。常见的高斯滤波方法是离散化窗口滑窗卷积。

振动信号的原始数据如图1所示。

图1 原始振动信号

经高斯滤波处理后的振动信号如图2所示。

图2 平滑处理后的振动信号

由图2可以明显看出:高斯滤波处理后的振动信号更加平滑。因为高斯滤波去除了部分干扰数据,使得数据利用率更高,提高了齿轮故障诊断的精度。

1.2 Transformer基础知识

Transformer由注意力机制构成,并根据编码器和解码器控制数据的输入和输出。Transformer已经在自然语言处理和图像处理等领域得到了应用。Transformer模型因有特殊的网络结构,可以对样本进行并行化计算,提高了模型的计算效率。

Transformer编码器层的基础结构如图3所示。

图3 Transformer编码器层的基础结构

Transformer编码器从输入序列中提取数据的特征信息。Transformer编码器层可以分为两个部分:

1)多头自注意力机制(multi-head self-attention,MSA),其将同一个输入序列经过线性映射得到key、value和query,Transformer编码器层的输出作为下一个Transformer编码器层的输入,因此模型中的每一个位置的特征输出向量都能够关注到前一个编码器层输出序列的位置信息;

2)全连接前馈网络(fully-connected feed-forward network,FFN),其公式表示如下:

FFN(x)=max(0,xW1+b1)W2+b2

(1)

式中:W1,W2和b1,b2为FFN中训练的权重和偏置参数。

在FFN前后加入层归一化(layer normalization,LN)[15]。LN的作用是对中间层全部的神经元进行归一化操作,具体计算表达如下:

(2)

(3)

(4)

同时,LN能够减少训练时间,提高模型的运算速度。为了便于进行残差连接,Transformer编码器中所有子层的输出维度都是维度dmodel。

1.3 补丁序列化和嵌入操作

齿轮的振动数据大多由加速度传感器采集得到,其采集的数据大多是一维的,而Transformer编码器识别序列数据效果更好。因此,需要将一维数据处理成特殊的补丁序列[16]。一维的振动信号x=[x1,x2,…,xM]∈RM,可以被处理成大小始终不变的补丁序列,x可以是长度为M的时域信号或者频谱数据。

笔者采用可学习的线性映射生成补丁线性嵌入z∈RN×dmodel,其向量维度为dmodel,计算表达式如下[17-18]:

z=xpE

(5)

式中:E为线性投影,E∈RL×dmodel。

为了使补丁序列保持其严格的顺序,需要在补丁嵌入序列中插入位置信息。Transformer模型的位置编码公式如下:

PE(pos,2i)=sin(pos/10 0002i/dmodel)

(6)

PE(pos,2i+1)=cos(pos/10 0002i/dmodel)

(7)

式中:pos为位置信息;i为维度。

补丁嵌入序列z得到位置信息后,就可以作为Transformer的输入。位置嵌入能融合序列中的所有位置信息和嵌入信息,并将嵌入信息传递给后面的序列。

2 Transformer-CNN诊断流程

Transformer-CNN模型中的Transformer编码器,是两个结构相同的Transformer编码器层堆栈而成,其中,第i个Transformer编码器层的计算过程可表示下:

(8)

(9)

式中:zi为第i个编码器层输出,zi∈RN×dmodel;zi为通道数为N的多通道数据。

CNN拥有良好的特征提取能力,同时也能直接处理序列数据,所以用CNN处理富含故障特征信息的Transformer编码器输出序列。为了防止网络退化,在卷积之前加入一个残差块,残差块结构如图4所示。

图4 残差块

残差学习定义为:

y=F(x,{Wi})+x

(10)

式中:x为输入;y为输出;F为将要学习的残差映射;Wi为参数。

CNN的层数很重要,如果网络层数过多,易发生过拟合现象,由于计算量增大,延长了计算时间;如果网络层数较少,则易发生欠拟合现象。因此需选择不同数量的卷积层和池化层对模型进行实验,实验数据为东南大学齿轮箱数据集,测试集样本数为每种故障各100个样本。

实验结果如表1所示。

表1 不同数量的卷积层和池化层的实验结果

很明显,3个卷积层和3个池化层准确率最高,达到了99.4%。因此,CNN选择3个卷积层和3个池化层。其中,第3个池化层选择自适应最大池化,它可以统一输出数据的维度。

笔者在全连接层对数据进行碾平处理,并采用SoftMax对故障模式进行分类。

Transformer-CNN网络模型的具体细节信息如表2所示。

表2 Transformer-CNN模型参数

模型的整体架构如图5所示。

图5 Transformer-CNN模型的迁移学习过程

笔者提出的基于Transformer-CNN和迁移学习故障诊断方法的具体步骤如下:

1)将一维的振动信号采用高斯滤波进行预处理,并根据实验要求划分源域和目标域数据集;

2)将目标域数据集划分出测试样本和用来微调模型参数的训练样本;

3)根据Transformer和CNN搭建Transformer-CNN模型;

4)采用基于模型参数的迁移学习方法,先在源域对Transformer-CNN模型进行充分的预训练,冻结参数,

并迁移到目标域中,并对模型参数进行微调,最后用目标域数据验证模型性能。

3 实验验证

笔者根据基于模型参数的迁移学习方法,提出4种迁移实验方案,以验证Transformer-CNN模型在小样本下齿轮故障诊断的效果。

3.1 数据集描述

3.1.1 东南大学齿轮箱数据集

为了验证Transformer-CNN模型的有效性,笔者使用东南大学(Southeast University,SEU)的齿轮箱数据集和实验室采集的齿轮数据集进行实验验证。

东南大学齿轮箱数据集是用传动系统动力学模拟器(drivetrain dynamic simulator,DDS)采集到的齿轮振动信号。该传动系统动力学模拟器主要包括电机、电机控制器、行星齿轮箱、平行齿轮箱、制动器和制动控制器。该试验平台模拟了工业齿轮箱的运行状态,齿轮箱中的轴承和齿轮两大关键部件的多种类型故障由加速度传感器采集。齿轮的故障状态包括几类,即正常、缺损、断齿、齿根裂纹和齿面磨损。

东南大学传动系统模拟设备实物图如图6所示。

图6 东南大学传动系统模拟设备实物图

东南大学齿轮箱数据集时域图如图7所示。

图7 SEU齿轮箱数据集时域图

3.1.2 实验室采集的齿轮数据集

实验分两种工况,转速-负载配置分别为20 Hz-0 V和30 Hz-2 V。

实验室使用DDS实验平台采集齿轮的振动数据,主要包括电机中的电机控制器、齿轮箱、制动器和制动控制器。加速度传感器安装在二级行星齿轮箱上用于测量振动信号。

实验分两种工况,转速-负载配置分别为15 Hz-2.4 V和10 Hz-1.2 V。齿轮的故障状态包括正常、缺损、断齿、齿根裂纹和齿面磨损。

实验室设备实物图如图8所示。

图8 实验室设备实物图

实验室采集的齿轮数据集振动信号时域图如图9所示。

图9 实验室采集的齿轮数据集振动信号时域图

3.2 实验设置

为了控制Transformer-CNN模型的输入大小相同,训练集和测试集振动信号都取2 048个数据点。每段信号均由不完全重叠的滑动窗口获得。模型的补丁尺寸L设为20,维度设为200。

用源域预训练模型时,选用Adam优化器,学习速率设置为0.000 1,训练epoch数为200,批量大小为600。目标域测试模型时,依然采用学习速率为0.000 1的Adam优化器,训练epoch数减少到50,批量大小减少到100。

笔者设计4组迁移实验(每组实验运行10次以避免偶然性),具体如下:

模型在源域进行充分的预训练,源域中含有健康、断齿、缺齿、齿根裂纹、齿面磨损各2 000个样本。

目标域为5种状态的齿轮,对其随机选取200个样本,其中100个样本划分到训练集微调模型参数,100个样本划分到测试集,以检验模型的性能。

3.3 诊断结果及分析

4组迁移实验的各10次结果如图10所示。

图10 4组实验结果

从图10中可以看到:第1组实验的最低准确率为99%,第2组和第3组实验的最低准确率为99.2%,第4组实验的最低准确率为99.4%,4组实验的最高准确率都达到过100%。

为了进一步分析所提出的基于Transformer-CNN的迁移学习齿轮故障诊断方法在不同类型上的故障识别情况,笔者采用混淆矩阵对4组迁移学习中测试准确率最低的一次实验结果进行了展示,如图11所示。

图11 混淆矩阵结果

4组迁移学习的10次实验的平均准确率如图12所示。

图12 4组实验的平均准确率

由图12可知:最低的平均准确率为99.56%,可见4组迁移实验的准确率都相对较高。

由此可见,笔者提出的基于Transformer-CNN的迁移学习齿轮故障诊断方法,可以在不同工况下准确地诊断齿轮的故障。

3.4 模型对比

为了进一步验证该方法的可靠性,笔者将该文的网络模型与不带Transformer模型的卷积神经网络(convolutional neural networks with transfer learning,TCNN)、多尺度卷积神经网络(multi-scale convolutional neural networks,MSCNN)和二维卷积神经网络(two dimensional convolutional neural network,2D-CNN)方法以为源域、为目标域分别进行10次实验,并进行对比,结果如表3所示。

表3 实验结果对比

不带Transformer的模型结构较为简单,用CNN只能提取信号的部分特征信息,提取故障特征的能力相对较弱;Transformer模型具有更加复杂的网络结构,提取故障特征的能力相对较强,所以Transformer-CNN模型的准确率更高。

从实验数据上来看,该方法相较于其他结构的迁移学习模型准确率更高,故障诊断效果更出色。

4 结束语

针对采集的齿轮样本数据不够的问题,笔者提出了一种基于Transformer-CNN的迁移学习齿轮故障诊断方法。

首先,笔者采用高斯滤波对原始振动信号进行了预处理,以降低噪声信号的干扰;再将振动信号处理成带有位置信息的补丁序列,作为Transformer的输入信号,然后将含有故障特征信息的Transformer输出序列,输入到CNN中,继续提取特征信息;接着将实验室采集的齿轮数据集和东南大学齿轮箱数据集划分为源域和目标域,采用源域数据预训练模型,选择每种类型的齿轮各100个样本为目标域,以测试模型的准确率;最后进行了4组10次重复实验。

研究结果表明:

1)以SEU齿轮箱数据集为源域的故障诊断准确率均在90%以上,最高可达100%;以实验室采集的齿轮数据集为源域的故障诊断准确率均在92%以上,最高可达100%,说明基于Transformer-CNN的迁移学习方法能在小样本下高精度地诊断齿轮的故障;

2)模型的平均准确率在99%以上,而只含有CNN的其他模型的准确率未达到99%,说明基于Transformer-CNN方法的准确率更高,具有一定的优越性。

笔者选取了每种齿轮状态的100个样本,实际采取的样本数量不一定都是均衡的,也不一定会采集到那么多的数据。后续笔者将对不均衡样本的齿轮故障诊断进行研究,同时继续降低样本数量进行齿轮故障诊断研究。