优化深度残差网络及其在强噪声环境下滚动轴承故障诊断中的应用

雷春丽，夏奔锋，薛林林，焦孟萱，张护强

（1.兰州理工大学机电工程学院，甘肃 兰州 730050；2.兰州理工大学数字制造技术与应用省部共建教育部重点实验室，甘肃 兰州 730050）

引言

滚动轴承作为现代旋转机械的关键零部件之一，它的运行状态对整个机械设备的性能、可靠性和使用寿命都有重要影响［1］。滚动轴承的故障可能会导致整个机械系统的损坏，造成经济损失［2］。因此，滚动轴承故障的在线监测和实时诊断，对保持设备运转时的安全性和可靠性具有极其重要的意义。随着故障诊断技术的研究不断深入，学者们提出了多种通过人工提取原始信号特征的传统智能故障诊断方法［3-5］。这些方法虽然能够有效地诊断轴承故障，但需手动提取故障特征，在实际工况复杂多变时不利于故障特征的快速提取和健康状态的准确识别［6］，因此，需要研究出一种既能自动提取故障特征，又能快速精准识别故障类型的智能算法。

深度学习理论具有强大的自动特征提取能力，在图像识别［7］、语音识别［8］、自然语言处理［9］等领域获得到了广泛的应用。它克服了传统故障诊断方法适应能力弱的问题，已经成为故障智能诊断的主要手段。卷积神经网络（Convolutional Neural Network，CNN）是深度学习的代表算法之一，可直接提取原始信号的特征并进行故障诊断。Janssens 等［10］利用CNN 对齿轮箱中的轴承进行故障诊断，相比于常规算法，其故障诊断精度有了大幅度的提高。宫文峰等［11］对卷积神经网络超参数的选择和训练技巧进行了深度分析，提高了模型结构的通用性和可操作性。

传统的CNN 模型虽然在滚动轴承故障诊断中都有良好的表现，但在诊断精度上仍有提升的空间，为此，一系列改进的CNN 模型应运而生。Zhang等［12］提出了一种宽卷积核深度卷积神经网络（Deep Convolutional Neural Networks wtih Wide First-layer Kernel，WDCNN），利用第一个卷积层中的宽卷积核来提取特征，提高了滚动轴承故障诊断的识别准确率和抗噪性，但未考虑模型的诊断效率。Liang等［13］提出了一种并行卷积神经网络（Parallel Convolutional Neural Network，P-CNN），将一维信号转化为二维图像，并融合了时域特征和频域特征，在故障数据样本较少时获得了较高的识别准确率。Eren等［14］提出了一种新的卷积神经网络，利用自适应一维卷积神经网络（One Dimension Convolutional Neural Network，1D-CNN）分类器进行特征提取，实现了对滚动轴承的实时故障诊断。但上述文献均未考虑环境噪声对模型诊断效果的影响。Yu 等［15］利用多尺度注意映射残差神经网络（Residual Neural Network Framework with Multiscale Attention Mapping，ResNet-MA）提取振动信号中的退化特征，提高了模型的故障诊断性能，但该模型结构复杂，不利于故障的快速诊断。赵小强等［16］提出了一种带跳跃连接线和空洞卷积的残差网络，在变工况和高信噪比条件下取得了较高的识别准确率，但未考虑强噪声背景对诊断性能的影响。这些方法虽然有效地解决了传统CNN 诊断精度不足的问题，但仍然无法较好地降低噪声对模型的干扰，尤其是在强噪声环境下，模型的识别分类效果有待提高，同时模型也难以保证较高的计算效率。

基于上述分析，本文提出了一种优化深度残差网络（DS-ResNet）模型进行滚动轴承故障诊断。首先采用快速傅里叶变换将一维振动信号从时域转换为频域进行表示，再将其输入到DS-ResNet 模型中进行模型的预训练，最后通过在测试样本中添加高斯白噪声模拟实际工程的噪声环境，实现滚动轴承的故障诊断和故障分类，证明了所提方法在强噪声环境下的有效性。

1 优化深度残差网络

1.1 深度残差网络原理

He 等［17］提出了深度残差网络（Deep Residual Networks，ResNet），残差模块（Residual Building Block，RBB）是ResNet 的核心部分，传统残差模块的结构如图1 所示。主要由卷积层、BN 层和ReLU激活函数构成，并通过快捷跨跃实现信号的跨层传播，使训练过程中的底层误差可以通过快捷连接传递给上一层，通过残差学习的方式有效地解决了深度神经网络由于深度增加而导致整个网络性能下降的问题。

图1 中X表示残差模块的输入；F(X)表示残差映射函数；G(X)表示底层恒等映射函数；wl表示输入经过残差模块中第l个卷积层时获得的权重矩阵。

1.1.1 卷积层

卷积层是整个卷积神经网络中的核心组成部分，其主要作用是对输入数据进行特征提取。卷积操作运算公式如下所示［18］：

1.1.2 批量归一化层

批量归一化（Batch Normalization，BN）主要是为了解决内部协变量偏移问题而被提出的一种归一化方法。BN 的表达式为：

式中xi表示批量归一化操作的第i个输入值；yi表示批量归一化操作的第i个输出值；n表示分类任务中每个输入批次样本的数量；γ，β表示BN 层的放缩与偏置；ε表示保证数值稳定的常数项。

1.1.3 ReLU 激活函数

ReLU 函数是CNN 中最常见的激活函数，其主要作用是为网络模型提供非线性表达，可以防止网络发生梯度消失问题。其数学表达式为：

式中x表示激活函数的输入；f表示激活函数的输出。

1.2 深度可分离卷积

Chollet［19］提出了使用深度可分离卷积代替标准卷积运算来解决模型深度增加导致的诊断性能下降和计算时间过长的问题，在保证网络性能优良的同时，减少了可训练的权重参数，使模型更加轻量化。深度可分离卷积（Depthwise Separable Convolution，DSC）的结构如图2（a）所示，包括一个使用常规卷积核宽度的深度卷积层（Depthwise Convolution，DWC）和一个卷积核尺寸为1×1 的逐点卷积层（Pointwise Convolution，PWC）。

图2 深度可分离卷积示意图Fig.2 Schematic of DSC

深度卷积层不同于普通标准卷积，对输入的每个通道进行独立的卷积操作，卷积核个数等于通道数，其表达式为：

式中S表示输出特征；V表示宽为W、高为H的卷积核；X表示输入特征；m表示特征的第m通道；i，j表示输出特征在第m通道上的i，j坐标；w，h表示第m通道的卷积核权重元素坐标。

逐点卷积与标准卷积基本相同，主要作用是将输出特征在通道方向进行加权组合。一维深度可分离卷积的原理和具体操作如图2 所示，首先利用深度卷积分别提取每个通道的特征，再利用逐点卷积对通道输出特征进行整合，若输入特征尺寸宽度为Wn，通道数为M，卷积核宽度为W，卷积核数量为K，则深度可分离卷积的计算量为：

标准卷积可分为提取特征和合并特征两个操作，其操作如图3 所示，标准卷积的计算量为：

图3 标准卷积计算操作Fig.3 Calculation operation of standard convolution

由式（5）和（6）可得深度可分离卷积和标准卷积的计算量比值为：

式中 卷积核宽度W通常取3，5 和7，而卷积核数量K大于1，故式（7）的值小于1，即深度可分离卷积的计算量小于传统标准卷积。

1.3 优化残差模块

本文对传统残差模块进行了优化，优化残差模块（Optimized Residual Building Block，ORBB）如图4 所示。优化的核心部分主要有以下三点：

图4 优化残差模块Fig.4 Optimized residual building block

（1）将RBB 的第一个标准卷积层用DSC 代替，其中DWC 通过拆分通道维度的相关性降低了模型的复杂度，从而一定程度上提升了卷积核参数的使用效率；PWC 增强了网络的非线性表达能力，同时将多通道特征嵌入到单通道中并保留显著特征，提高了模型对淹没于噪声中非敏感特征的提取能力。

（2）在深度可分离卷积层后再增加一个逐点卷积层，进一步提取非敏感特征信息，增强了模型的抗干扰能力。

（3）在逐点卷积层后添加了一个BN 层，减少在噪声干扰下样本特征之间的分布差异，提高了模型的抗噪性和泛化性能。

1.4 优化深度残差网络模型

本文利用深度可分离卷积复杂度低和逐点卷积能增强网络非线性表达的优点对传统残差模块进行了优化，提出了一种优化深度残差网络滚动轴承故障诊断模型，如图5 所示。在模型的测试阶段，首先利用FFT 将被噪声信号干扰的振动信号从时域转化为频域进行表示，突出故障特征频率的成分；其次将频域信号样本输入到训练好的模型中，输入信号经过具有宽卷积核的标准卷积层和池化层，削弱噪声对提取有用特征信息的影响；然后信号进入两组ORBB 层和池化层，利用DWC 和PWC 提高对淹没于噪声中非敏感特征的提取能力，采用BN 层解决由于噪声干扰引起的内部协变量偏移问题，并通过深层标准卷积层和池化层进一步提取抽象特征信息；再经过Dropout 层提高模型对噪声的容忍度；最后经过全连接层和Softmax 分类器输出多种故障类别，实现滚动轴承的故障诊断。

2 实验数据集的构建

本文采用本实验室滚动轴承故障模拟实验台采集的数据来验证所提方法的有效性。在MFS 实验台上测试带有故障的滚动轴承，实验台实物如图6所示。三相交流电机与驱动轴通过联轴器相连，转轴两端各安装一个型号为ER-16K 的深沟球轴承，其中驱动端是带有故障的轴承，另一端是健康轴承，并在转轴中间安装了一个质量为5.1 kg 的转盘以施加50 N 的径向载荷。实验采用3 通道数据线连接信号采集器和加速度传感器，并通过USB 接口将信号传输到计算机，以此采集振动信号。本文采集了轴承转速分别为1200，1300 和1400 r/min 三种不同工况下的振动信号，信号采样频率为15.3 kHz，采样时间为8 s。

本文实验测试所用的轴承故障采用激光蚀刻技术加工而成，其中轴承故障位置为内圈故障、外圈故障和滚动体故障，如图7 所示。实验所用轴承内、外圈故障宽度和滚动体故障孔径分别为0.6，1.2 和1.8 mm，可分为轻度、中度和重度三种故障程度，故障深度均为0.25 mm，共计9 种故障类型。为充分保证每个数据样本故障信息的完整度，本文设置每个样本长度为2048 个采样点，并采用重叠采样的方式对数据进行随机分割。每类信号包含250 个样本，共计2250 个样本，并采用One-hot 编码［20］方式将9种不同故障类型的数据样本进行标签化，根据转速不同可制作成F1，F2 和F3 三种数据集，并按照4∶1的比例划分为训练集和测试集，具体滚动轴承故障的样本分布如表1 所示。

表1 滚动轴承故障样本分布Tab.1 Fault sample distribution of rolling bearing

图7 滚动轴承故障部位Fig.7 Failure location of rolling bearing

3 实验验证与分析

本文实验的软件环境为PyCharm2020.1.2 中的Keras框架，硬件环 境为Intel（R）Xeon（-R）Silver 4110 CPU @2.10 GHz，2.10 GHz 双处理器和NVIDIA Quadro P4000 显卡。

在实际工况中，采集到的振动信号往往会受到环境噪声的污染，导致信号中有用的故障信息被掩盖。对此，本文将通过在测试样本中添加不同信噪比（Signal to Noise Ratio，SNR）的高斯白噪声来模拟实际工作环境中不同强度的噪声。

3.1 模型参数的设置与选择

3.1.1 结构参数的设置

模型选取Adam 自适应优化器优化参数，设置Batch Size=10，epoch=30，深度可分离卷积层和传统卷积层均采用ReLU 激活函数，Dropout 的值为0.5，即每次训练随机选取50%的神经元失活，以防止网络结构过拟合，DS-ResNet 模型的结构参数设置如表2 所示。

表2 DS-ResNet 模型的结构参数Tab.2 The structural parameters of DS-ResNet

表2 中每个优化残差模块包含了一个深度可分离卷积层和一个单一逐点卷积层，如ORBB-1 中，［5，1，64］-［1，1，64］表示深度可分离卷积层中深度卷积的卷积核为5×1，逐点卷积的卷积核为1×1，通道数为64。其中标准卷积层和优化残差模块中的卷积步长均为1×1。

3.1.2 第一层卷积核宽度的选择

对于一维振动信号，第一层卷积核宽度对模型的故障诊断性能有着重要的影响［21］。因此，需要选择合适的卷积核宽度来保证DS-ResNet 模型的故障诊断性能。由于论文篇幅原因，本文对第一层卷积核宽度分别为4，32，64，112 和128 时模型的收敛情况进行分析。在数据集F3 的测试集中加入信噪比为-4 dB 的噪声信号情况下，不同卷积核宽度时模型的损失率变化如图8 所示。

图8 第一层卷积核宽度不同时模型的损失率Fig.8 Loss rate of the model with different width of the first layer convolution kernel

从图8 中可以看出，卷积核宽度为112 时损失率下降最快且初始值最低；卷积核宽度为4 时的损失率下降最慢且初始值最高；在经过15 轮计算之后模型开始收敛，从图中也可看出在收敛时卷积核宽度为112 时的损失率最低且最平稳，其他宽度时损失率均存在波动。不同卷积核宽度时模型的识别准确率如表3 所示，当卷积核宽度为4 时识别准确率仅为83.11%，当卷积核宽度为112 时识别准确率最高达到91.78%，当卷积核宽度为128 时识别准确率降低至91.11%。出现这种现象的主要原因是当卷积核宽度过小时，难以学习到足够的特征，且易受到高频噪声的干扰；而当卷积核宽度过大时，不利于提取信号的局部特征，导致模型识别准确率降低。因此本文选择第一层卷积核的宽度为112。

表3 第一层卷积核宽度对识别准确率的影响Tab.3 Influence of the width of the first layer convolution kernel on identification accuracy

3.1.3 学习率的选择

学习率决定了模型参数能否更新到最优值，学习率过大或过小都会影响模型的收敛速度，不利于故障类型的精确识别［22］。为了避免由于该问题导致无法训练得到最优诊断性能的模型，现研究学习率分别1×10-3，1×10-4，5×10-5和1×10-5时对模型收敛性的影响，设置第一层卷积核宽度为112，在数据集F3 的测试集中加入信噪比为-4 dB 噪声信号的情况下，使用不同学习率的模型损失率变化如图9 所示。

图9 学习率不同时模型的损失率Fig.9 Loss rate of model with different learning rate

从图9 中可以看出，学习率为1×10-4时损失率初始值最低且下降最快；学习率为1×10-5时损失率的初始值最高且下降最缓慢；模型经过15 轮计算之后，学习率为1×10-4和5×10-5时的模型已经完全收敛，且学习率为1×10-4时损失率更稳定；学习率为1×10-3时的损失率存在较大波动，学习率为1×10-5时损失率仍处于下降阶段，模型均尚未完全收敛。不同学习率时模型的识别准确率如表4 所示。当学习率为1×10-4时识别准确率达到91.78%，当学习率为1×10-5时识别准确率最低仅为84.44%。经过以上分析，本文设置学习率为1×10-4。

表4 学习率对识别准确率的影响Tab.4 Influence of learning rate on identification accuracy

3.2 实验结果分析与讨论

3.2.1 模型验证

为了验证本文所提出的DS-ResNet 模型的诊断性能，与5 种常用的深度学习故障诊断模型进行对比分析，其中A 表示本文所提模型，采用DS-ResNet的滚动轴承故障诊断方法；B 表示传统ResNet 模型，仅残差块结构与本文模型不同，为RBB 结构；C表示LeNet-5 模型，是一种主要由两组卷积层和池化层构成的轻量化浅层神经网络；D 表示VGG16 模型，是一种常见的深层神经网络；E 表示WDCNN 模型［13］，是一种宽卷积核深度卷积神经网络；F 表示MBDS-CNN 模型［22］，是一种多分支深度可分离卷积神经网络。以上所有深度学习模型的参数设置均与本文模型相同，并在卷积层之后均添加BN 层。

采用每轮次的训练时间来评估本文故障诊断模型的计算效率，实验在转速为1400 r/min，信噪比为-4 dB 的噪声信号环境下进行，所得结果均取10 次实验的平均值，结果如表5 所示。表中模型深度包含卷积层、池化层、BN 层、Dropout 层、全连接层和Softmax 层。由表5 可以看出本文模型的计算效率高于模型B，D，E 和F，比这4 种模型中深度最浅的模型E 快了0.29 s，比深度最深的模型F 快了1.01 s；相较于最典型的浅层神经网络模型C，本文模型虽然在计算效率上没有优势，但在信噪比为-4 dB 的强噪声环境下的识别准确率提高了10.49%。

表5 不同模型的故障诊断效果Tab.5 Fault diagnosis effects of different models

3.2.2 抗噪性能分析

为了验证本文所提DS-ResNet 模型的抗噪性，分别与5种常用的深度学习故障诊断模型（与3.2.1节相同）在转速为1400 r/min 的工况下进行对比分析，设置信噪比为-4～4 dB，实验所得结果均取10 次实验的平均值，实验结果如图10 所示。

图10 不同模型在噪声环境下的识别准确率Fig.10 Identification accuracy of different models in noisy environment

由图10 可知，在信噪比为-4～4 dB 的环境下，本文模型的故障识别准确率均为最高。尤其是在信噪比为-4 dB 的强噪声环境中，本文所提出的模型的故障识别准确率达到92.71%，模型B，C，D，E 和F 分别为90.67%，82.22%，80.27%，85.78% 和83.29%，模型A 比5 种对比模型的识别准确率分别高2.04%，10.49%，12.44%，6.93% 和9.42%；在信噪比为-2 dB 的噪声环境中，所有模型的故障识别准确率均高于90%，其中本文所提模型识别准确率为98.22%，比最高的ResNet 高0.58%，比最低的VGG16 高6.75%；当信噪比为4 dB 时，6 种模型的故障识别准确率均在99%以上，本文模型的识别准确率依然最高，达到100%。

为了进一步验证本文模型在受到强噪声干扰时的诊断性能，采用箱型图来说明不同模型识别结果的稳定性，实验在信噪比为-4 dB 和-2 dB 的噪声环境下进行，结果如图11 所示。所提出的DS-ResNet模型在强噪声环境下具有较好的识别效果，并且方差较小。除了在信噪比为-2 dB 时ResNet的识别准确率表现出较小方差，其他模型在强噪声环境下的识别结果都不够稳定。结果表明，与其他模型相比，本文所提模型能显著提高滚动轴承故障在受到强噪声干扰时识别效果的准确性和稳定性。

图11 不同模型在强噪声环境下的识别准确率箱型图Fig.11 Box diagram of identification accuracy of different models in strong noise environment

3.2.3 泛化性能分析

为验证DS-ResNet 模型在强噪声环境中变工况下识别轴承损伤程度的能力，设置了泛化性能实验，实验在信噪比为-4 dB 强噪声环境下进行。分别与5 种常用的深度学习故障诊断模型（与3.2.1 节相同）进行对比分析，选用三种不同转速下的故障数据即F1，F2 和F3 构建训练集和测试集，如F1→F2 表示数据集F1 用于模型训练，数据集F2 用于模型测试。所得结果均取10 次实验的平均值，实验结果如表6 所示。

表6 不同模型在变转速工况下的故障识别效果Tab.6 Fault identification effects of different models under variable speed conditions

从表6 可以看出，在信噪比为-4 dB 的情况下，本文所提出的DS-ResNet 模型在6 种变转速工况中的平均识别准确率为90.23%，是所有模型中故障识别效果最好的。模型B 是5 种常用模型中识别效果最佳的，其平均识别准确率为88.21%，但依然比本文模型低2.02%。对比分析模型A 和B 各实验工况的故障识别性能，在6 种工况下模型B 的识别准确率均不如模型A，由此可见，在深度残差网络中引入深度可分离卷积和逐点卷积，可有效改善模型的特征提取能力，从而增强了模型在强噪声环境下的变转速自适应能力。模型C 的平均识别准确率是所有模型中最低的，仅为69.17%，比模型A 低了21.06%。综上所述，在受到强噪声干扰同时转速改变的工况下，本文所提模型在滚动轴承故障识别中仍然保持了较好的泛化性能。

3.2.4 分类结果可视化

本节采用t-SNE（t-Distributed Stochastic Neighbor Embedding）非线性降维算法，分别对本文所提模型在数据集F3 的测试集中添加信噪比为-4～4 dB 噪声时的分类结果进行可视化，图12 展示了模型在不同强度噪声环境下故障类别的分布情况。

图12 不同信噪比环境下模型的预测样本分布Fig.12 Prediction sample distribution of the model in different SNR environments

从图12 中可以看出，随着信噪比的提高，模型的故障分类能力也随之增强。在信噪比为-4 dB时，大多数故障可以很好地聚类，只有标签3 和6 在聚类过程中有部分重叠，说明此时中度内圈故障和重度内圈故障容易混淆；在信噪比为2 dB 时，所有故障都得到了很好地聚类，模型可以很清晰地识别出所有故障类别，验证了本文模型在噪声环境下有较好的故障分类能力。

3.2.5 权重优化过程可视化

能否学习到合适的权重参数是深度神经网络的核心问题之一，为了理解深层网络模型中深层权重的优化过程，利用TensorBoard 可视化工具对模型的权重分布进行可视化分析，两个深度可分离卷积层和最后一个标准卷积层的权重分布随轮次的变化如图13 所示。

图13 模型权重优化过程的可视化Fig.13 Visualization of model weight optimization process

从图13 中可以看出，随着计算轮次的增加，权重不断更新，在第7 轮次模型开始收敛；第一个DSC层卷积核的权重密集分布范围最大，为-0.17～0.17，学到的特征最多；随着模型深度的增加，权重密集分布范围开始减小，第二个DSC 层卷积核的权重密集分布范围为-0.12～0.12，相比于第一个DSC 层的权重密集分布范围更小，学到的特征也随之减少；最后一个标准卷积层卷积核的权重密集分布范围为-0.10～0.10，学到的特征最少。由此可知，随着网络深度的增加，本文所提模型的权重分布范围在最后一个标准卷积层达到最小，此时模型收敛。

4 结论

（1）本文提出了基于DS-ResNet 的滚动轴承故障诊断模型，以模型的收敛性为评价指标，研究第一层卷积核宽度和学习率对所提模型诊断性能的影响规律，最后确定当第一层卷积核宽度为112、学习率为1×10-4时模型的诊断性能最佳。

（2）所提DS-ResNet 模型在信噪比为-4 dB 的强噪声环境下对各类轴承故障进行分类，识别准确率达到92.71%，模型每轮次训练时间仅为2.16 s，提高了滚动轴承故障的识别准确率和诊断效率。在转速改变的情况下，所提模型的平均识别准确率依然可达90.23%，提高了滚动轴承故障诊断的变转速自适应能力。与其他常用的深度学习故障诊断模型相比，DS-ResNet 模型在受到强噪声干扰和变转速工况下保持了较高的识别准确率，在强噪声环境下具有更好的抗干扰能力和泛化性能。

（3）采用t-SNE 算法对模型在不同强度噪声环境下的分类结果进行可视化分析，进一步验证了本文模型在噪声环境下有较好的故障分类能力；采用TensorBoard 可视化工具对模型的权重分布进行展示，有利于更深刻地理解模型权重的优化过程。