基于信息融合与CNN的齿轮箱故障诊断方法

赵晓平， 魏旭全， 孙中波， 王荣发

(1.南京信息工程大学 计算机与软件学院，江苏 南京 210044；2.南京信息工程大学 数字取证教育部工程研究中心，江苏 南京 210044)

齿轮箱是机械传动系统中的重要组件，在航空航天、风电等领域发挥关键作用。因齿轮箱结构复杂，工作环境恶劣，其故障多发[1]。据美国国家可再生能源实验室对风电装备零部件失效导致的停机维护时间统计分析[2]，齿轮箱失效导致的发电量损失占比最大，而齿轮箱失效的原因主要为齿轮故障和轴承故障，这些故障发现不及时会造成巨大经济损失。因此，对齿轮箱故障诊断进行研究具有重要意义[3]。

传统的基于振动信号的齿轮箱故障诊断方法通常设定在固定工况下[4]，通过对平稳工况下的齿轮箱振动信号进行处理、特征提取以及模式识别，实现齿轮箱状态监测与故障诊断。然而，实际上不少齿轮箱的运行工况通常为变转速、变负载的变工况。例如，风力发电机组配备的风电增速齿轮箱、直升机用行星齿轮减速箱等都在变工况之下运行[5]。运行工况的变化引起故障数据在特征层的改变，增加特征提取的难度。因此急需建立适用于变工况条件下的齿轮箱故障诊断方法。

针对变工况故障诊断问题，研究者们提出的智能故障诊断模型，主要分为基于传统机器学习、基于深度学习和基于迁移学习3类。

在传统机器学习方面，部分学者结合支持向量机[6]、BP神经网络[7]、K近邻法[8]等进行研究。Moshrefzadeh[9]采用一种非线性滤波方法，即进行谱幅值调制(Spectral Amplitude Modulation，SAM)处理得到一系列的修正信号，通过计算修正信号峰值的乘法逆，得到振动信号的特征向量，再将特征向量输入到支持向量机和K近邻法中进行分类，在辛辛那提、都灵理工和FEMTO研究所轴承数据集的变工况实验中均取得较好的效果。Zhang等[10]提出改进的复合多尺度模糊熵(Refined Composite Multiscale Fuzzy Entropy，RCMFE)应用于轴承故障特征提取，具有简单、高效的特点，并将鲸鱼优化算法应用到支持向量机以识别滚动轴承故障类别，在机械故障预防技术学会和凯斯西楚轴承数据集的变工况实验里，都展现出优秀性能。张鑫等[11]使用窄带干扰消除技术以过滤干扰信号，然后对信号进行离散小波变换重构小波系数以得到小波分量，再提取分量的方差作为特征参数构成特征矩阵样本，将特征矩阵样本输入支持向量机进行诊断，在变工况齿轮箱混合故障实验中识别准确率达到100%。上述方法均依赖专家经验进行特征提取，需要大量的信号处理相关知识作为铺垫，且这些浅层机器学习模型很难提取出深层故障特征。

近年来，机械故障诊断步入大数据时代，深度学习被众多学者应用到齿轮或轴承的故障诊断中[12-13]。Li等[14]结合卷积神经网络(Convolutional Neural Network，CNN)和自编码器构建故障诊断模型，其提出4种损失函数以提取与工况无关且含有故障信息的特征，在变工况轴承实验中达到94.89%的平均准确率。Wang等[15]提出自适应归一化卷积神经网络用于变工况和数据不平衡的情况，采用Teager能量谱来避免大速度波动和可变负载的影响，并使用粒子群优化(Particle Swarm Optimization，PSO)策略对所设计模型的关键超参数进行优化，从而提高模型的整体性能，在变工况齿轮箱故障诊断实验中达到99.8%以上的诊断准确率。赵小强等[16]提出一种改进AlexNet的故障诊断方法，将时域信号按横向插样构建成二维特征图作为输入，并调整模型中局部归一化和池化的顺序，以充分提取故障数据中的信息，提升模型在变噪声和变负载实验中的识别能力。但这些深度学习方法网络结构复杂，对数据质量要求高，应用在实际工程场景容错率低。

此外还有学者将深度学习结合迁移学习针对变工况故障诊断作研究，Hasan等[17]提出基于声发射信号的声谱成像(Acoustic Spectral Imaging，ASI)结合迁移学习的故障诊断方案。ASI将加窗时域声发射信号的频谱分量振幅转换为声谱图，从而用图像表示声发射信号特征，然后使用CNN进行特征提取结合Fine-tune，在声发射轴承数据集上实现94.67%的平均准确率。Dong等[18]使用堆栈去噪自编码器作特征提取器，引入联合几何和统计对齐方法处理样本深层特征，用于减少源域和目标域之间几何上和统计量上的差异，从而提高不同工况下滚动轴承故障诊断的准确性。袁壮等[19]提出一种基于领域自适应的故障诊断模型，通过将不同工况的样本特征同步映射到一个深度隐藏层，消除工况波动引起的分布差异，生成工况不变特征，实现领域自适应。但基于迁移学习的方法，都需要拥有所有类别的目标域故障数据集才能达到比较好的效果。而在现实工程场景中，通常不能收集全部类别的故障数据，还存在类别不均衡的现象，而且迁移效果依赖于目标域和源域的相近程度和迁移策略的选择，因此难以应用。

以上方法均是基于单一信号开展的故障诊断研究，而单一信号容错能力不佳，且包含的故障信息有限。此外，一般的故障诊断方法只考虑单独的时域、频域或时频域信息，而时域、频域特征由于对非平稳信号不敏感、特征性能不稳定，时频域特征又受Heisenberg测不准原理影响对非平稳信号分析存在局限性[20]。

为解决单一来源故障特征在变工况下诊断准确性有限的问题，信息融合和卷积神经网络(Information Fusion and Convolutional Neural Network,IFCNN)从增大输入信息量角度改进CNN，将多传感器信息融合结合多域特征融合改进CNN。首先利用多传感器信息为诊断提供更为丰富的信息，再分别从频域和时频域提取特征，获取更全面的特征集合,并结合注意力机制自适应选择重要特征，最后进行故障诊断。实验表明，IFCNN在变工况下齿轮箱故障诊断中，与其他方法相比具有更高的诊断准确率。

1 CNN相关原理

CNN是一类包含卷积计算且拥有深度结构的前馈神经网络，具备强大的自动特征提取能力，是深度学习的代表算法之一。CNN的结构通常由多组卷积层和池化层堆叠构成。卷积层实现数据特征的提取，池化层对数据进行降维，再通过全连接层将提取的多个特征进行综合，实现分类，以上过程称为前馈运算。然后通过反向传播算法逐层向前反馈更新参数，并在参数更新后再次前馈，重复至模型收敛，实现网络的训练。

卷积层包含多个不同的卷积核，卷积核按照指定步长进行滑动卷积，提取输入数据的特征。卷积层的数学模型为

(1)

池化层用于压缩数据和参数的量，可以起到增强数据特征不变性的作用。池化层数学模型为

(2)

Dropout[18]层也经常被使用到CNN当中，它被用来解决网络模型过拟合问题，从而提升模型泛化能力。在网络训练时，Dropout会随机失活一部分神经元，使其置零，不参与本次优化迭代。当Dropout率设置为0.5时，即有50%的神经元被随机置零。随机失活起到降低神经元之间耦合和网络集成的作用。

2 IFCNN故障诊断模型

IFCNN模型包含多传感器信息融合模块、时频域特征提取模块、频域特征提取模块和多域特征融合模块，IFCNN模型结构如图1所示。

图1 IFCNN模型结构

2.1 多传感器信息融合

首先，对采集到的振动信号进行短时傅里叶变换(Short-Time Fourier Transform，STFT)得到其时频图。然后将同一时刻不同位置传感器的时频图在通道维度上进行拼接，以实现数据的融合，如式(3)所示。

G=[g1,g2,…,gi,…,gn],i=1,2,…,n

(3)

式中：gi为第i个传感器的振动信号进行STFT后得到的时频图；[*]为对输入数据g1～gn作通道上的拼接，从而得到多传感器融合后的数据G。gi和gi+1的拼接方式如图2所示，H和W分别为高度和宽度；C为通道数。

图2 拼接示意图

同时，对原始振动信号作快速傅里叶变换(Fast Fourier Transform，FFT)得到频域信号，然后将时频图在通道维度上进行拼接，如公式(4)所示。

R=[r1,r2,…,ri,…,rn],i=1,2,…n

(4)

式中：ri为第i个传感器的频域信号；[*]为对输入数据r1～rn作通道上的拼接，从而得到多传感器融合后的数据R。ri和ri+1的拼接亦如图2所示。

2.2 时频域特征提取模块

时频域特征提取模块以多传感器信息融合的时频图G作为输入数据。因CNN对相同工况下的数据有较好的特征提取能力，对不同工况(变转速)下的数据测试表现差。究其原因，CNN不能提取与工况无关的故障特征，为解决这一问题IFCNN在三层卷积后添加Dropout层，以Dropout层减轻CNN过拟合现象。同时，在Dropout层后连接含有32个神经元的全连接层，用以输出从时频图提取的特征P。

2.3 频域特征提取模块

频域特征提取模块以多传感器信息融合的频域信号R作为输入数据。为了从输入数据R中最大化地提取到特征信息，本文设计两层多尺度特征提取模块[21]，如图1频域特征提取模块中的虚线框所示。

因使用不同尺寸的卷积核会形成不同大小的感受野，小的感受野可以看到更多的细节，大的感受野可以看到更多数据整体的特征，所以在多尺度特征提取模块采用3*1和128*1的卷积核对输入的数据分别进行不同尺度的特征提取。不同卷积层感受野的迭代计算步骤为

(5)

式中：lk为第k层的感受野大小；fk为当前层的卷积核大小；si为第i层的步长；感受野初始值l0为1。

将多尺度特征提取模块得到的不同尺度特征在通道维度拼接，以输出提取到的特征信息，再经过一个卷积层进行特征提取。同样为了减轻CNN过拟合现象，在卷积层后添加Dropout层。随之连接含有32个神经元的全连接层，用以输出频域信号提取的特征O。

2.4 多域特征融合模块

多域特征融合模块以时频图的深层特征P和频域信号的深层特征O融合作为输入，以获得更全面的故障信息。目前部分研究人员在融合多网络输出、多域特征时，常采用串行连接方式，此方式明显忽略不同特征对故障诊断结果的贡献度。为此，IFCNN模型串行拼接频域和时频域特征向量的同时，引入注意力模块。注意力模块由Squeeze-and-Excitation[22]模块修改而来，因该模块在网络全连接层后实现，所以去除全局池化层。

IFCNN中的注意力模块是一种软注意力机制。其通过引入注意力权重s，使网络模型的注意力集中到对分类任务具有更大贡献的有效特征。IFCNN模型利用注意力模块的这一特性，以确定频域、时频域特征的重要程度。注意力模块结构如图3所示。

图3 注意力模块

图3的注意力模块以尺寸为E×1的特征作为输入，使用序号为②的支路进行激励(Excitation)操作产生注意力权重s，如式(6)所示。

s=σ(W2δ(W1z))

(6)

式中：z为输入的特征；W1与W2分别为两个全连接层的权重；激励过程中的第1个全连接层将输入特征数由E降为E/r，以减少参数；r为压缩比。δ(*)为ReLU函数，特征在经过ReLU函数作用后仅保留大于零的值，用以学习各个特征之间的非线性关系。第2个全连接层将特征通道数还原至E，以便与输入特征的数量保持一致，σ(*)为Sigmoid函数，通过Sigmoid函数得到权重s。

将权重s与原有特征z按位相乘得到有效故障特征v，如式(7)所示。

vc=zc×sc

(7)

式中：zc为融合层中第c个特征；sc为与之相对应的注意力权重；将zc与sc相乘得到第c个特征vc。对融合后的频域和时频域特征中的有效特征赋予高权重，以抑制无用特征，最后将处理后的特征向量送入softmax分类器。

3 模型训练与诊断流程

IFCNN诊断流程如图4所示，包括3个步骤：数据预处理、训练模型和模型诊断，具体如下。

图4 IFCNN故障诊断流程图

① 数据预处理。对采集得到的振动信号作FFT和STFT处理，分别得到频域信号和时频图。再对频域信号和时频图进行多传感器信息融合处理，得到所需的输入样本，将样本按工况划分成多个数据集。

② 模型训练。构建IFCNN，对网络参数进行初始化。将训练样本的频域信号和时频图同时输入到IFCNN中，对各层网络参数进行训练，最终得到训练好的模型。

③ 模型诊断。将测试样本输入到训练好的IFCNN模型对齿轮箱故障数据进行自适应特征提取和模式识别，输出诊断结果。

4 实验结果与分析

4.1 实验数据及预处理

为了验证IFCNN对齿轮箱故障诊断的有效性，以SpectraQuest公司生产的动力传动故障诊断试验台为研究对象进行实验。在试验台的齿轮箱的驱动电机侧和磁粉制动器侧两个位置安装加速度传感器，采样频率为20 kHz，采样时间为20 s。具体实验装置如图5所示。

实验中，通过更换齿轮箱内的故障齿轮和故障轴承共采集9种齿轮箱状态，分别是1种正常状态、3种轴承故障状态(内圈故障、外圈故障、滚子故障)和5种齿轮故障状态(缺齿、断齿、偏心、过度磨损、裂纹)，轴承故障部件和齿轮故障部件如图6所示。在实验采集过程中，会随机使用金属敲击工作台等方法产生人为噪声，以模拟实际生产环境。被污染的信号约占总信号的5%。

图5 实验装置

图6 轴承故障部件和齿轮故障部件

变工况通常指机器运行状态的转速不同或负载不同等状况，本文实验采用不同转速模拟不同工况。因此设置4种电动机转速(1700 r/min、1800 r/min、3400 r/min和3800 r/min)以采集9种齿轮箱状态的信号。每种转速下采集传感器1和传感器2获取的时域信号，得到9×2个信号文件，4种转速合计18×4个信号文件。单个信号文件包含409600个数据点，在确保单个样本中包含至少一个完整振动周期的情况下，为方便后续数据处理保留400000个数据点，按照每2000点为一段进行切分，最终得到200个样本。为提高特征提取过程中的收敛速度，对得到的样本进行最大最小归一化处理，归一化公式如式(8)所示。

(8)

对归一化后的时域信号作FFT，从而得到1000×1的频域信号，同时对归一化后的时域信号作STFT，得到32×32×3的时频图。将同一时刻不同传感器的频域信号和时频图分别在通道维度上进行拼接，得到1000×2的频域信号和32×32×6的时频图，将其视为一组样本，作为IFCNN的输入。

按转速将处理后的数据划分为A(1700 r/min)、B(1800 r/min)、C(3400 r/min)、D(3800 r/min)4个数据集。每个数据集包含9种状态，数据集划分如表1所示。

表1 数据集划分

4.2 实验参数设置

在模型训练阶段，Batch-size设置为128，采用Adam优化器，学习率设置为0.001。IFCNN模型使用的超参数如表2所示，模型中卷积层的步长均设置为2，卷积层使用的激活函数均为ReLU。实验评价标准以准确率(Accuracy，ACC)作为指标。

表2 IFCNN模型结构参数

4.3 实验过程与结果分析

4.3.1 变工况实验对比分析

为了验证IFCNN方法在变工况下的有效性，将其与ResNet18(Residual Neural Network 18)和薛阳等[23]所提出的MFCNN(Multimodal Fusion Convolutional Neural Network)进行实验对比分析。ResNet18采用频域信号输入，MFCNN采用时域和频域信号输入。

为减少不确定因素对实验结果的干扰，确保方法的可靠性，做12组实验，每组实验重复做10次，取均值，得到如图7和表3所示的结果。图7中横坐标代表该组实验使用的训练集和测试集。以A-B为例，A代表训练集，B代表测试集。从表3中可以看到，在列出的12组变工况实验中：ResNet18只有在A-B和B-A这两组实验中达到90%以上准确率，在训练集和测试集转速差异大的剩余10组实验中准确率在60%～90%之间；MFCNN在A-B实验中达到90.09%的准确率，在其他11组实验中准确率均低于90%；而IFCNN在12组实验中准确率均超越其他两种方法，只有在D-A情况下稍低，准确率为94.45%。综合分析得出，相较于其他两种方法，本文提出的IFCNN方法具有更高的准确率。

图7 不同方法变工况实验结果对比

表3 不同方法变工况实验结果对比

为进一步验证IFCNN模型的特征提取能力，采用t-SNE降维算法[24]将所提取特征按相似度投影到二维空间中进行分析。选择IFCNN、ResNet18、MFCNN这3个模型进行特征降维对比。以D-A情况为例，用数据集D进行模型训练，再将数据集A中样本作为模型输入，学习得到样本的特征。图8为对3个模型最后全连接层输出的特征进行t-SNE降维可视化的结果。

图8 不同模型的输出特征可视化

如图8(a)所示，ResNet18提取的不同类别的特征区分度较差，在图中黑色虚线圈处多个类别的特征分布错乱，说明ResNet18对故障特征提取不充分。图8(b)MFCNN输出特征的可视化结果显示，黑色虚线圈出部分标签样本界限不清晰，存在大范围的错分。图8(c)为IFCNN输出特征的可视化结果，可以看出，经过特征提取后，不同标签的样本在二维空间中分布很集中，只有极少部分被错分，如图8(c)黑色虚线标注。对比图8(a)、图8(b)和图8(c)可知，IFCNN模型所提取的特征在相同类别标签下聚合得更集中，可分性更好。

4.3.2 消融实验

为了验证多传感器信息融合能够更全面、更完整地表征机械设备的运行状态，将单传感器的数据以相同的方式输入IFCNN作为一种方法。因有2个传感器，即称为方法1和方法2，与IFCNN进行对比实验。同时为了验证多域特征融合的有效性，将只使用单域(频域、时频域)特征提取模块的IFCNN作为一种方法，即称为方法3和方法4，与IFCNN进行对比。上述对比方法的超参数与IFCNN保持一致。实验训练集采用数据集D，测试集采用数据集A、数据集B、数据集C，因D-A、D-B、D-C这3组实验较难分类。每组实验重复10次，取其均值，得到表4的结果。

表4 不同方法效果对比

表4所示的IFCNN方法、方法1、方法2的对比实验结果显示，IFCNN因采用多传感器信息融合，其平均准确率达到97.33%，而方法1和方法2的平均诊断准确率均在90%以下，从而说明IFCNN能够为机械故障诊断提供更全面更准确的信息。

表4中方法3频域输入的平均准确率为95.73%，方法4时频域输入的平均准确率为84.82%，而IFCNN方法的平均准确率(97.33%)均优于上述两种方法，这说明IFCNN使用多域特征融合可以有效收集多个角度的故障特征，提供更加全面的信息，再结合注意力机制赋予有效故障特征高权重，提升融合效果，从而提升故障诊断效果。

为了更直观地展示IFCNN方法在变工况故障诊断中与其他方法相比具有更好的故障诊断效果，以数据集D为训练集，数据集A为测试集，绘制以上5种方法对应的混淆矩阵，不同方法的混淆矩阵如图9所示。

图9的所有子图中，横坐标为样本的预测类别，纵坐标为样本的真实类别，横纵坐标交点数字为预测样本数目，测试样本每类200个。由图9(a)发现，多个类别正确预测数目接近200个，平均分类准确率为95.83%，由此可知IFCNN方法在D-A数据集上实现准确诊断；只有对外圈故障样本识别较差，正确预测数为150个，但仍优于对比的4种方法。而由图9(b)可以看出，方法1对外圈故障样本、缺齿样本预测正确数量少，分别为84个、92个。由图9(c)可以看出，方法2对正常样本、内圈故障样本、偏心样本正确预测数目较少，分别为144个、103个、136个。究其原因，在变工况下同类故障间的振动幅值、能量存在较大差异，单一传感器信息难以呈现深层故障特征。

由图9(d)和图9(e)可以看出，方法3正确预测外圈故障样本只有111个，而IFCNN识别出150个外圈故障样本。除此以外，方法4对正常样本、内圈故障样本、外圈故障样本和磨损样本存在大量错分，即在每类200个样本的情况下正确识别数量均在150个以下，准确率低，均在75%以下。

基于以上分析，IFCNN对所有故障类别的识别准确率均优于其他4种方法。从而表明针对变工况下的齿轮箱故障诊断问题，IFCNN可以有效融合多种信息，深度提取故障特征，实现故障类别的准确预测，证明IFCNN的有效性。

5 结束语

将多传感器信息融合结合多域特征融合改进CNN得到IFCNN模型，能够解决单一来源故障特征在变工况下诊断准确性有限的问题。实验结果表明：

① IFCNN利用多个传感器采集的信息对数据进行融合，能够获取更加全面的振动信息。结合CNN强大的非线性特征学习能力，可以有效提取深度故障特征，提升模型泛化能力。

② 在频域、时频域信息融合的基础上，结合注意力机制自动判断频域、时频域所提取特征对故障诊断结果的贡献度，有效利用各信号间的相关性与互补性，从而提升模型稳定性。

③ 使用齿轮箱数据集对IFCNN进行变工况实验验证，与ResNet18和MFCNN相比，多组实验结果表明IFCNN准确率更高，适用范围更广，为变工况条件下的齿轮箱故障诊断提供更好选项。