基于时频融合多级注意力机制的双通道CNN轴承故障诊断模型

文章编号1000-5269（2024）06-0070-08

DOI：10.15958/j.cnki.gdxbzrb.2024.06.11

关键词：故障诊断;时频融合;注意力机制;双通道卷积神经网络

中图分类号：TP183

文献标志码：A

摘要：为进一步提高轴承故障诊断准确率，提出了一种基于快速傅里叶变换（fast fourier transform，FFT）和变分模态分解（variational mode decomposition，VMD），并融合多级注意力机制的双通道卷积神经网络（convolutional neural networks， CNN）模型用于滚动轴承故障诊断。首先，将一维故障信号经过FFT和VMD处理后进行堆叠，作为双通道CNN的输入；其次，将预处理后的数据分别通过基于通道注意力和全局注意力的二维CNN提取重要特征；再次，利用交叉注意力机制将两个通道提取的特征进行融合；最后，经过全连接层和softmax分类器进行故障诊断。试验结果表明：采用该方法在美国凯斯西储大学10类轴承故障数据集的平均准确率达到100%，其诊断精度优于常见的故障预测模型和单通道模型，有利于促进轴承的智能故障诊断研究和实际应用。

滚动轴承作为旋转机械系统的关键零部件之一，在工业生产和应用中发挥着重要作用。滚动轴承的健康状况直接影响机械设备的安全可靠运行.[1].。 因此，及时、准确地诊断故障轴承对于保证安全生产、提高效率和消除隐患具有重要意义。

常见的轴承故障诊断方法先是利用传感器采集轴承振动信号后提取其信息特征。常用的特征提取方法有时域分析、频域分析和时频域分析。其中，时频分析方法能够同时结合时域和频域的信息，更准确描述非平稳信号的局部特性.[2].。常用的时频分析方法有：FFT.[3].和VMD.[4].。特征提取后需要从众多特征中选出代表性特征，然后对这些特征进行分类和学习，以实现故障诊断。随着机器学习理论的发展，研究人员利用随机森林.[5].和支持向量机.[6].等方法对原始信号的统计特征进行学习后实现故障的自动诊断，但此类方法因有限的非线性映射能力而影响故障诊断准确率.[7].。随着大数据和人工智能等技术的发展，以CNN为代表的深度学习.[8].方法在故障诊断领域得到了广泛应用.[9].。ZHAO等提出了一种基于多输入卷积神经网络的故障诊断方法，该方法使用三个不同尺寸的卷积核提取不同维度的特征，通过 softmax 分类器进行故障分类.[10].。陈宇航等利用FFT和CNN对轴承故障进行诊断，取得了较高的准确率.[11].。陈代俊等提出了一种基于VMD-CWT-CNN的滚动轴承故障诊断，能有效实现滚动轴承信号的特征提取以及损伤程度的精确诊断.[12].。尽管与传统方法相比，深度学习方法可以自动从振动信号中提取特征，诊断准确性得到了一定程度的提高，但无法自适应地选择特征以提高模型对重要特征的关注。如果模型提取的特征不具代表性，那么故障诊断的准确性就会受到影响.[13].。注意力机制作为深度学习的重要突破，能够通过相似性计算确定每个特征的重要性，并加强模型对关键特征的关注.[14].。吴静然等提出了一种基于注意力机制的旋转机械故障诊断方法.[15].。李俊等提出了一种基于多注意力机制的深层残差网络实现了滚动轴承故障诊断.[16].。

以上研究结果表明：时频融合CNN提取特征的方法在轴承故障诊断方面有着优良的效果，为了进一步提高故障诊断准确率，本文提出了一种时频融合多级注意力机制的双通道CNN轴承故障诊断模型。为了说明所提方法的有效性，在凯斯西储大学（Case Western Reserve University， CWRU）公共轴承数据集.[17].上进行了验证和分析。试验结果表明，本文所设计的模型提升了滚动轴承故障的特征表达和区分能力，比仅在时域或频域分析具有优秀的故障诊断性能和更高的准确率。

本文的主要贡献如下：

1）针对滚动轴承振动信号单一域分析故障信息有限的问题，设计了时频融合卷积神经网络的模型，联合提取和分析时域与频域两种模态特征，从而充分学习滚动轴承信号中反映故障状态的特征。

2）在卷积神经网络模块中嵌入了不同的注意力机制，使网络能够区分性地学习不同维度的关键故障特征，优化故障诊断模型的学习机制。

1基于时频融合多级注意力机制的双通道CNN诊断模型

本文提出的基于时频融合多级注意力机制的双通道CNN轴承故障诊断模型FFT-VMD-CNN-AM，其模型结构如图1所示。首先，对一维故障信号进行FFT和VMD完成数据预处理。其次，通过设计的双通道CNN分别提取轴承振动信号的局部特征和全局特征。在通道一中引入压缩与激发网络（squeeze-and-excitation network， SeNET），使模型能够自适应调整通道特征权重，聚焦轴承故障信号中与故障相关的重要通道。在通道二中引入全局注意力机制，提高模型对轴承故障信号中重要特征区域的感知能力。最后，使用交叉注意力将两个通道提取的特征进行融合以提高模型的性能和泛化能力，并将融合的特征送入多分类模块实现轴承故障的诊断。

1.1轴承数据集

本研究利用CWRU提供的公开轴承数据集作为研究对象。该数据集模拟了不同故障模式和工作条件下的轴承振动数据。具体试验轴承设备如图2所示。

驱动端故障数据来自轴承SKF6205、风扇端轴承SKF6203。试验轴承设备的工况条件包括：负载为0、1、2和3 hp，转速范围为1 720～1 797 r/min，振动数据采集频率为12 kHz和48 kHz。轴承故障采用电火花加工单点损伤，损伤直径分为三种：0.007、0.014和0.021 英寸。其中，轴承外圈的损伤点分别放置在3、6和12点钟三个不同位置。风扇端和驱动端的轴承座上方各放置一个加速度传感器来采集故障轴承的振动加速度信号。轴承状态共有10种，包括1种正常状态和9种故障状态。

本文选取采样频率为12 kHz、负载为0 hp、转速为1 797 r/min条件下驱动端轴承的10种状态数据。其中，第0类标签为正常轴承，第1类至第9类标签为故障轴承，具体试验样本数据如表1所示。从每种轴承状态中选取1 000个样本，每个样本包含1 024个数据点，并按照7.∶2.∶1的比例划分训练集、验证集和测试集。

F（w）=∫.∞.-∞."f（t）..e...iwt..d.t."（1）

式中：.f（t）表示故障信号，是一个关于时间t的函数；w为频率；F（w）是f（t）的傅立叶变换，为信号在频域中的表示，它描述了f（t）在各个频率w上的成分或强度；.e..iwt..表示旋转因子。对时域信号进行FFT的结果如图3所示。

1.2.2变分模态分解

VMD是一种自适应的信号处理技术，它将信号视为由不同“模态”或不同频率占优的子信号叠加而成。采用VMD对滚动轴承原始故障信号进行分解，可以消除噪声并获得平滑的信号。通过选取合理的子信号频率，可以使得信号特征值能够准确反映故障特征。

对时域信号进行VMD处理的表达式为

...min..{.u..k.}，{.w..k.}.∑.K.k=1.‖..tδ（t）+j.π.t.u..k.（t）..e...-j.w..k.t.‖.22

.s.t..∑.K.k=1.u..k.=f（t）（2）

式中：f（t）为输入信号；δ（t）为狄拉克函数；K表示分解的模态个数；{.u..k.}={.u..1.，.u..2.，.u..3.，…，.u..k.}表示分解后的第k个模态分量；{.w..k.}={.w..1.，.w..2.，.w..3.，…，.w..k.}表示分解后的第k个模态分量的中心频率。

引入惩罚因子α和拉格朗日乘数因子γ对上式求解，其表达式为

L（{.u..k.}，{.w..k.}，γ）=α∑.K.k=1.‖...t.δ（t）+j.π.t×

.u..k.（t）..e...-j.w..k.t.‖.2..2.+.‖f（t）-∑.K.k=1.u..k.（t）‖..2..2.+〈γ（t），f（t）-∑.K.k=1.u..k.（t）〉.（3）

式中，惩罚系数.α.越小，各模态分量的带宽越大，过大的带宽会使得某些分量包含其他分量言号。

以图3（a）中的原始信号为例进行 VMD 分解，观察不同.K值条件下的中心频率选定K值。发现当K为4时，中心频率出现相近模态，故模态数 K.选为4。对时域信号进行VMD分解得到的各模态分量如图4所示。

1.2.3特征合并

将FFT和VMD处理后的特征采用直接堆叠方式合并为最终预处理特征表示：原始信号经过FFT得到一个频域特征，经过VMD得到4个分量时域特征，将两者直接堆叠成一个5维特征。这种基于FFT和VMD的数据预处理方法可以提取轴承振动信号在不同频率范围上的故障特征，捕捉故障信号的时频特性，有助于改善轴承故障的检测和诊断效果，提高故障诊断的准确性和灵敏度。

1.3卷积神经网络

卷积神经网络由输入层、多个卷积层和池化层、全连接层和输出层组成。卷积层通过卷积核对输入特征图进行卷积操作，并通过激活函数得到输出特征图。池化层对特征图进行降采样，以减小特征图的尺寸。一个典型的CNN结构如图5所示。

CNN即2维CNN，其运算过程是在特征图上进行滑动窗口操作，对应位置相乘求和以生成输出特征图。与图像和视频等高维数据不同，滚动轴承数据只有一维，因此，需要对信号序列进行重排。本文将采样序列的长度设为1 024，可方便将1×1 024的一维信号序列重排为32×32的二维数据图，这样便可以将其输入二维CNN进行卷积和池化操作。当batch_size为32时，可将预处理后维度为[32， 5， 1 024]数据转换为[32， 5， 32， 32]再送入CNN网络。

本文中采用的两个CNN网络结构都由2个卷积层和1个池化层组成，其中，第一个通道CNN内卷积层的卷积核数量分别为16和64；第二个通道CNN内卷积层的卷积核数量分别为32和64。

1.4注意力机制

注意力机制能够从大量特征中挑选出对模型分类更为关键的特征，降低不重要特征的权重，从而减少计算量并提升模型性能。

1.4.1通道注意力机制

SENet是一种通道注意力机制，它通过分析和处理特征通道之间的关系，有选择地学习重要的特征信息，并动态调整卷积神经网络中不同特征通道之间的依赖性。这样，诊断模型能够自适应地调整各通道的重要性，抑制不相关的通道，从而有效提升模型的诊断分类和表示能力。SENet的基本结构如图6所示，主要由两个重要操作组成：squeeze操作和excitation操作。

squeeze操作通过对输入数据矩阵的全局平均池，将多维数据压缩为单一值，实现数据的维度压缩。excitation操作通过学习squeeze操作后输出，捕捉特征通道之间的非线性依赖关系，通过动态调整各通道的重要性权重，使得重要特征信息得到关注。

本文提出的模型将通道注意力机制 SENet嵌入到第一个通道的2维CNN卷积池化网络中，通过自适应地调整通道特征的权重，使模型能够自动学习到不同通道的重要性，提取轴承故障信号中与故障相关的重要特征。

1.4.2全局注意力机制

全局注意力机制（global attention mechanism， GAM）通过关注整个特征图而不是单个通道来计算每个通道的权重，从而提升神经网络对重要特征的关注度。GAM由通道注意力和空间注意力模块组成。对于给定的特征图，GAM首先将其压缩为一维向量，然后使用一个全连接层来学习每个通道的权重。这些权重随后被应用于特征矩阵上，以加权相应通道的每个特征。最终，加权的特征被级联在一起形成全局特征表示，并将该表示输入分类器进行分类。GAM模型结构如图7所示。

本文提出的模型将GAM嵌入到第二个通道的2维CNN卷积池化网络中，在整个特征图上引入GAM后，通过对所有位置的特征进行加权，使模型能够更有针对性地关注重要的特征区域， 提高了模型对轴承故障信号中关键细节的感知能力。

1.4.3交叉注意力机制

交叉注意力机制允许一个序列中的每个位置能够与另一个序列中的所有位置进行注意力计算。它的计算过程为：首先，将查询（Q）与所有的键（K）进行相似度计算；其次，对相似度矩阵应用softmax函数进行归一化，以得到注意力权重；最后，利用这些注意力权重对值（V）进行加权求和，得到最终的输出。交叉注意力机制的原理如图8所示。

将两个通道提取的全局空间特征和局部特征通过交叉注意力融合，在融合过程中，将第一个CNN通道提取的局部空间特征作为查询序列，第二个CNN通道提取的全局空间特征作为键值对序列。通过计算查询序列与键值对序列之间的注意力权重，可以对不同特征之间的关联程度进行建模。引入交叉注意力机制后，通过跨层的信息交互，使模型能够更好地融合不同层次的特征表示，更关注重要的特征，提高模型性能和泛化能力。

2试验及结果分析

2.1试验环境

本文中的所有模型均在以下配置的计算机上进行训练和测试：CPU为Core i5-10400F，内存为32 GB，显卡为GeForce RTX 3060 12GB，操作系统为Windows 10。所有模型使用Python 3.9和pytorch 2.3实现。

2.2试验结果及分析

将预处理后的训练集和验证集输入到FFT-VMD-CNN-AM模型中进行训练，使用较优模型对测试集进行故障诊断性能测试。其中，模型的超参数选择为：批量大小batchsize设置为32，迭代次数Epoch设置为50，激活函数选择sigmoid函数，优化算法选择Adam优化器，学习率为0.000 3，损失函数为交叉熵。模型训练过程如图9所示。

由图9可知，本文提出的模型在轴承故障诊断方面表现优异。在图9（a）中，精度曲线快速上升；在图9（b）中，损失曲线迅速下降。仅需少量迭代次数即可达到较高的精度和较低的损失值。

本文通过混淆矩阵对训练得到的较优模型进行评估，将测试集样本输入到模型得到预测标签，由混淆矩阵的横轴表示，纵轴表示测试集样本的真实标签，图10显示了1次试验的混淆矩阵结果。从图中可以看出，测试集中各种故障样本的分类准确率均达到了100%。这表明本文构建的模型能够准确诊断轴承的不同故障类型。

2.3模型对比

为了验证所提出模型的有效性，将该模型和其他几种常见的故障预测模型进行对比，包括典型的深度学习方法1DCNN、2DCNN、LSTM、Transformer，以及传统的机器学习方法支持向量机（support vector machines， SVM）和随机森林。本文对每种模型分别进行了10次试验，使用10次试验结果在所有数据集上分类准确率平均值用于分析，如图11所示，可以看出本文所提模型在所有数据集中都表现出了最佳的准确率。

2.4与单通道模型对比

为进一步验证本文提出的双通道模型所具备的优越性，将本文模型与4个单通道CNN模型FFT-CNN、VMD-CNN、FFT-CNN-SeNET和VMD-CNN-GAM进行对比验证，同样每个模型分别进行10次试验，并统计试验结果的平均准确率，最后得到的各个模型性能如表2所示。由表2可知，基于时频融合多级注意力机制的双通道CNN的模型平均准确率为100％，相比单通道深度学习模型有着更高的准确率和更出色的稳定性。由此可以证明，本文所提出的模型在轴承故障诊断方面具有一定的优越性。

3结论

为进一步提高轴承故障诊断的准确率，本文提出了一种基于时频融合多级注意力的双通道CNN轴承故障诊断模型。研究结果表明：

1）同时采用FFT和VMD两种方式可以在不同频率范围内提取轴承振动信号的故障特征，捕捉故障信号的时频特性，而且可以作为一种数据增强的方式对数据集进行扩充。

2）使用的双通道CNN模型，与相同参数的单通道CNN和其他深度学习方法相比，平均准确率都有一定的提升，而且具有更高的诊断精度和更好的泛化性、通用性。

本文提出的模型能够准确诊断滚动轴承故障，对于维护和确保机械设备的稳定运行具有一定的实用价值。然而，该方法仍存在一些不足之处：在训练算法模型时，耗时较长且计算资源占用较多，这些问题仍需优化。在未来的工作中，也进一步研究仅利用试验数据就能对实际损坏进行智能故障诊断的跨域方法，以进一步扩大该模型在工程领域的应用范围。

参考文献：

[1]邵海东，肖一鸣，颜深.仿真数据驱动的改进无监督域适应轴承故障诊断[J].机械工程学报， 2023，59（3）：76-85.

[2] 张政君，井陆阳，徐卫晓，等.基于时频图与双通道卷积神经网络的轴承故障识别模型[J].机电工程，2023， 40（12）：1889-1897.

[3] CEN S， KIM D O， LIM C G.A fused CNN-LSTM model using FFT with application to real-time power quality disturbances recognition[J]. Energy Science amp; Engineering，2023，11（7）：2267-2280.

[4] 闫霞，任鸿翔，高菲.基于VMD-VGG的滚动轴承故障诊断[J].轴承，2023（12）：79-85.

[5] 张钰，陈珺，王晓峰，等.随机森林在滚动轴承故障诊断中的应用[J].计算机工程与应用， 2018， 54（6）：100-104，114.

[6] 杨芬，赵文薪.基于贝叶斯优化SVM的轴承故障诊断[J].煤矿机械，2022，43（9）：178-180.

[7] PANDEY S K， JANGHEL R R. Recent deep learning techniques， challenges and its applications for medical healthcare system： a review[J]. Neural Processing Letters， 2019， 50：1907-1935.

[8] WANG H， LIU Z， PENG D， et al. Attention-guided joint learning CNN with noise robustness for bearing fault diagnosis and vibration signal denoising[J]. ISA Transactions， 2022， 128： 470-484.

[9] CHOUDHARY A， MIAN T， FATIMA S. Convolutional neural network based bearing fault diagnosis of rotating machine using thermal images[J]. Measurement，2021，176：109196.1-109196.7.

[10]ZHAO W， HUA C， WANG D， et al. Fault diagnosis of shaft misalignment and crack in rotor system based on MI-CNN[C]//Proceedings of the 13th International Conference on Damage Assessment of Structures. Singapore： Springer，2020.

[11]陈宇航，李正平，肖雷.基于FFT-1D-CNN的细纱机罗拉轴承故障诊断[J].棉纺织技术， 2023， 51（1）：16-21.

[12]陈代俊，陈里里，董绍江.基于VMD-CWT-CNN的滚动轴承故障诊断[J].机械强度， 2023， 45（6）：1280-1285.

[13]茅健，郭玉荣，赵嫚.基于注意力机制的滚动轴承故障诊断方法[J].计算机集成制造系统， 2023， 29（7）：2233-2244.

[14]KUVAEV A， KHUDOROZHKOV R. An attention-based CNN for ECG classification[J]. Advances in Intelligent Systems and Computing， 2019，943：671-677.

[15]吴静然，丁恩杰，崔冉，等.采用多尺度注意力机制的旋转机械故障诊断方法[J].西安交通大学学报，2020，54（2）：51-58.

[16]李俊，苏凯，张皓光，等.基于多注意力机制的端到端滚动轴承故障诊断方法[J].空军工程大学学报，2023，24（4）：28-34.

[17]GUO S， ZHANG B， YANG T， et al. Multitask convolutional neural network with information fusion for bearing fault diagnosis and localization[J].IEEE Transactions on Industrial Electronics， 2020， 67（9）：8005-8015.

（责任编辑：于慧梅）

Abstract：

To further improve the accuracy of bearing fault diagnosis， a dual-channel convolutional neural network （CNN） model incorporatingfast fourier transform （FFT）， variational mode decomposition （VMD）， and multi-level attention mechanisms is proposed for diagnosing rolling bearing faults. First， the one-dimensional fault signal is processed using FFT and VMD， and the resulting data is stacked as the input for the dual-channel CNN. Second， the preprocessed data is passed through a two-dimensional CNN based on channel attention and global attention to extract important features. Third， a cross-attention mechanism is employed to fuse the features extracted from the two channels. Finally， fault diagnosis is performed through a fully connected layer and a softmax classifier. Experimental results show that this method achieves an average accuracy of 100% on the 10-class bearing fault dataset from Case Western Reserve University. Its diagnostic accuracy is better than that of common fault prediction models and single-channel models， which is conducive to promoting the research and practical application of intelligent fault diagnosis of bearings.

Key words：

fault diagnosis; time-frequency fusion; attention mechanism; dual-channel convolutional neural network

收稿日期：.2024-05-28

基金项目：.福建省创新战略研究计划资助项目（2023R0034）

作者简介：.冯新（1983—），男，讲师，硕士，研究方向：数据挖掘，E-mail：181330176@qq.com.

*通讯作者：.杨雄，E-mail：83789047@qq.com.