EDWNN和DW-SVM在轴承故障诊断中的应用

杜小磊，陈志刚，张楠，许旭

(1.北京建筑大学 机电与车辆工程学院，北京 100044；2.北京市建筑安全监测工程技术研究中心，北京 100044)

当今大数据时代，由于反映轴承运行工况的海量数据的积累，传统的基于“人工特征提取+模式识别”的轴承故障诊断方法[1-4]越来越不能满足现代自动化诊断的要求[5]。深度学习[6]能自动从原始数据中学习具有代表性的特征，很大程度上摆脱了对诊断人员信号处理与特征提取经验的依赖，并已应用于轴承故障诊断领域。文献[7]将3层深层降噪自编码器用于轴承故障诊断，并探究了输入维数、深层结构等因素对网络性能的影响；文献[8]采用深层稀疏自编码器直接学习轴承振动时域信号，省去了复杂的信号处理过程；文献[9]将轴承振动信号的包络线作为深层自编码器的输入，取得98%以上的识别准确率；然而，上述基于深层自编码器的研究所使用的Sigmoid激活函数难以建立轴承故障与振动信号之间的精确映射关系[10]，且所使用的Softmax分类器存在收敛速度慢、泛化能力低的问题[11]。

小波函数包含尺度因子和位移因子，位移因子使小波沿着信号的时间轴进行遍历性分析，尺度因子用于分析信号不同的频率，因此，将小波与深度学习模型相结合，将使深度模型具有更优的自动特征提取能力。目前，大多数基于深度学习的轴承故障诊断研究所使用的模型为单一深层模型，而由于轴承振动信号的复杂性，使用单一深层模型进行轴承故障诊断时存在网络结构单一、泛化能力低的问题[12]。

综上，建立一种基于集成深度小波神经网络(Ensemble Deep Wavelet Neural Network，EDWNN)和深度小波支持向量机(Deep Wavelet Support Vector Machine，DW-SVM)的滚动轴承故障诊断方法，将小波和深度模型相结合，采用不同的小波函数作为激活函数，设计出一系列具有不同特性的改进小波自编码器(Wavelet Auto-Encoder，WAE)构造相应的DWNN，实现对轴承振动数据的无监督特征学习，并将各DWNN顶层特征融合后输入DW-SVM分类器，从而实现精确的滚动轴承故障诊断。

1 深度小波神经网络特征提取

深层自编码器(Deep Auto-Encoder，DAE)[13]是一种无监督深度学习模型，由多个自编码器(Auto-Encoder，AE)构成，每个AE由输入层、隐含层和输出层组成，输入层维数等于输出层维数。AE的目的是最小化输入与输出之间的重构误差，使其逼近一个恒等函数，从而自动完成特征提取。WAE结合了小波函数的时频局部特性和AE自动特征提取的优点，使用小波函数代替AE的Sigmoid激活函数，具有比AE更好的特征提取和表示的性能。DWNN则由多个WAE堆叠构成，标准WAE和2隐层DWNN的结构如图1所示。

设WAE输入层有m个节点，隐含层有L个节点，输出层有m个节点，Wjk为隐含层小波节点j和输入层节点k的连接权值，aj和cj分别为隐含层小波节点j的尺度因子和平移因子。给定m维输入向量x=[x1，…，xm]T，隐层小波节点j的输出为

图1 WAE和DWNN结构

(1)

式中：φ为小波激活函数。以Morlet小波函数的实部为例，φ的表达式为

(2)

于是，小波节点j的输出改写为

(3)

输出层激活函数为Sigmoid函数，则输出层节点i的输出为

(5)

式中：Wij为隐层小波节点j与输出层节点i的连接权值。训练WAE就是不断地调整参数，最后找到一组最优的参数θWAE={Wij，Wjk，aj，cj}，使得输入和输出之间的重构误差最小化。DWNN堆叠多个WAE，采取逐层化训练方法，将上一层网络中隐含层的输出作为下一层网络的输入，并保证损失函数最小化，从而构成多层次的网络结构，直到整个DWNN完成训练，为了进一步优化所提取的特征，将带有标签的样本数据结合BP算法对DWNN网络进行微调。

原始的WAE抗噪能力弱，泛化能力弱，容易过拟合，因此，通过改进误差函数、加入降噪自编码机制、Dropout机制和收缩自编码机制对WAE进行改进。

1)改进误差函数。标准AE重构误差函数一般使用均方误差代价函数，对于轴承复杂振动信号的特征学习鲁棒性低，最大相关熵损失函数[14]能够较好地改进均方误差函数的缺陷，且对复杂非平稳背景噪声不敏感，具有与复杂信号特征相匹配的潜力，因此将其作为WAE的损失函数。设2个随机变量A=[a1，a2，…，aN]T，B=[b1，b2，…，bN]T之间的相关熵为

(6)

(7)

式中：σ为高斯核函数尺寸。

WAE重构误差函数可以通过最大化以下函数实现

(8)

式中：N为样本个数；xi为输入样本向量；yi为重构样本向量。

2)降噪自编码机制。将训练数据的某些维度数值随机设置为0，在训练时要求WAE仍然能够还原原始输入，从而使得网络能无监督地学习到更具鲁棒性的特征，显著降低网络的过拟合。

3)Dropout机制。在WAE训练过程中，将隐层神经元按一定概率P丢弃，以较低成本实现模型融合，且能明显降低过拟合的风险。

4)收缩自编码机制。收缩自编码器(Contractive Auto-Encoder，CAE)以AE的激活函数对于输入的雅克比矩阵的Frobenius Norm为惩罚项，使CAE学到的特征对输入的狭小变动具有鲁棒性。惩罚项为

(9)

则改进后的WAE的损失函数为

(10)

各参数的更新公式[15]为

(11)

式中：η为学习率；LWAE(k)为第k次迭代时WAE的重构误差。

为克服单一DWNN的局限性，提高泛化性能，采用多个DWNN的集成。不同的小波函数构成不同的DWNN网络，会表现出不同的特征和互补的学习行为。利用3种不同小波激活函数(表1)来构造不同的DWNN网络。

表1 3种激活函数的方程

2 深度小波支持向量机模式识别

Softmax分类器的收敛速度慢，泛化能力低；传统SVM分类器不能充分挖掘数据的内在特征信息[16]。深度支持向量机将深度学习模型应用于SVM，将训练后的上一层SVM核激活函数值输入到下一层SVM，两层间的特征提取框架结构如图2所示。

图2 两层间的特征提取结构图

从原始输入特征集中获得第1层的训练权重。设N个输入样本xi∈R，从训练样本可以得到p个支持向量s1，…，sp及其对应的Lagrange乘子系数α1，…，αp，以及对应的支持向量的标签y1，…，yp，则下一层的激活值为

h1(i)=αiyiK(si,x)，

(12)

式中：h1(i)为第1个隐层的第i个元素。h1的维数为p。输入层到第1隐层之间的权值训练完成，下一层的权值按照同样的方式逐层训练。最后一层的分类结果为

(13)

式中：si为第i个支持向量；l为最后一层支持向量的数量；o(x)为数据经隐层变化后的特征；b为分类偏差，只在最后一层使用；K为核函数。实际中，RBF核函数应用广泛，但RBF核函数不是正交基，不能任意逼近L2(R)空间中的曲线，导致RBF-SVM不能逼近L2(R)空间中的任意函数；由于Morlet小波函数可以通过伸缩和平移建立正交基，并在L2(R)空间中有任意逼近的能力，且满足SVM核函数的容许条件，因此，使用Morlet小波核函数，其表达式为

(14)

为将DW-SVM应用于多分类问题，采用基于决策树的多分类算法[17]。综上，滚动轴承故障诊断的流程如图3所示，主要步骤如下：

1)获取不同故障状态的轴承振动数据样本集并进行归一化操作，从样本集中随机选取70%作为训练样本，其余作为测试样本，再从训练样本中随机选取80%作为无标签样本，其余作为有标签样本。

2)采用不同的小波激活函数设计一系列性能不同的改进WAE，并进一步构造相应的DWNN。

3)第1阶段，使用无标签样本对DWNN网络进行无监督预训练；第2阶段，将各DWNN网络学习到的深层特征进行融合，即将DWNN顶层特征组成一维特征向量，输入到DW-SVM分类器中进行训练，无需任何人工特征提取，这一阶段使用带标签样本数据。

4)测试样本验证训练后模型的性能。

图3 滚动轴承故障诊断流程

3 试验验证

3.1 试验数据初步分析

为验证上述方法的有效性，以轴承故障模拟试验台为对象，采集不同故障类型、不同故障程度的7种轴承工况。试验台如图4所示，加速度传感器置于驱动端附近，在SKF 6205深沟球轴承的内、外圈和钢球上用电火花加工技术加工直径分别为0.18和0.36 mm的单点故障。采样频率为12 kHz，在1 800 r/min工况下采集轴承振动信号。训练DWNN需要大量训练样本，由于轴承的故障信息主要蕴含在不同故障状态产生的冲击中，因此，对训练数据进行有重叠样本分割[18]，从而实现数据扩充，这种分割方式即增加了训练样本数量，又可以使DWNN模型学习到更具鲁棒性的特征。最后得到每种工况下1 000个样本，每个样本由600个采样数据点组成。7种轴承工况描述见表2，滚动轴承的故障诊断实际上就是对故障编码进行识别的过程[19]，训练DW-SVM的过程为有监督训练，必须对每个样本设置编码，以判断样本是否识别正确。由于共设置7 种工况状态，故设置样本故障编码样式为7位数字组成。当输入某一种类型的振动数据时，输出结果中7位数字只有 1位数字赋值为1，其余数字赋值为0。

图4 轴承试验台

表2 7种轴承工况

为减少噪声干扰，将轴承原始信号归一化到[0,1]，7种工况轴承振动信号的时、频域波形如图5所示。由时域图可知，早期故障信号受噪声干扰严重，部分冲击淹没在噪声中，振动情况较为复杂，难以区分轴承故障类型及故障程度。由频域图可知，同种故障类型的频谱有一定的差异，但同种故障类型中不同程度的故障从频谱上很难区分。而且，由于传统特征提取方法的不确定性和复杂性，使得轴承早期轻微故障特征和复合故障特征难以提取，故障诊断难度很大。因此，有必要引入深度学习，进行逐层特征提取以建立各种故障状态与输入信号之间的精确映射关系。

图5 7种工况下轴承振动信号的时、频域图

3.2 试验结果与分析

为验证本文方法的优越性，采用人工神经网络(ANN)、支持向量机(SVM)、深度置信网络(DBN)、深度稀疏自动编码器(DSAE)和单一DWNN进行分析比较，其中ANN和SVM的输入为24个特征[20]，包括11个时域特征和13个频域特征。不同方法的参数设置及诊断结果见表3，5次试验的详细诊断结果如图6所示。

图6 不同方法的5次测试结果

从表3中可以看出，方法1(即EDWNN+DW-SVM)的平均测试正确率达到99.18%，标准差为0.099，与其他方法相比具有最高的测试准确率和最小的标准差。从图6可以看出，方法1每次测试的平均准确率分别为99.18%，99.16%，99.18%，99.18%和99.19%，均高于其他方法。在这几种方法中，方法1训练用时最多，耗时比其他单一深度模型多4倍，但几种方法的测试用时都不高，方法1仅0.089 s，具有较好的实用性。综合分析表明，方法1具有更高的分类正确率和稳定性，主要原因是：1)方法1将小波与深度学习相结合，通过多个非线性变换更有效地从轴承原始振动数据中提取特征，而ANN和SVM等传统方法的性能很大程度上依赖于人工特征提取，非常耗费时间；2)方法1充分利用了不同DWNN相互提供的互补信息，结合DW-SVM优异的分类性能，使得测试精度和稳定性均优于单一的深度模型。

表3 不同方法的诊断结果

方法1第1次测试结果的多分类混淆矩阵如图7所示，其全面记录了不同轴承故障状态下的识别结果，包括正确分类信息和错误分类信息。其中，纵坐标表示轴承状态的实际标签，横坐标表示预测标签，主对角线上的元素代表了各状态的识别精度。从图7可以看出，复合故障状态b的分类正确率相对较低，但也达到了98%以上。

图7 多分类混淆矩阵

为验证DW-SVM分类器对轴承故障识别的优越性，与Softmax，SVM，ANN和D-SVM几种分类器进行对比，结果见表4。表中分类正确率为5次试验的平均结果，由于DW-SVM分类器通过Morlet小波的伸缩和平移建立小波和D-SVM的正交基，能够刻画数据的细节，数据拟合率高，分类准确率高于其他分类器。

表4 不同分类器的诊断结果

为直观显示DWNN所提取的特征，以轴承外圈故障振动状态f为例，由于网络所提取的深层特征较抽象，因此只给出激活函数为Morlet小波的DWNN提取的第1隐层的特征(以序列方式)，如图8所示。从图中可以看出，DWNN所提取的第1隐层的特征从不同角度反映了原始信号，这些特征比较好地满足了Fisher判别准则[23]，更有利于最后的分类。

为深入了解DWNN的特征提取效果，通过t-SNE(t-Distributed Stochastic Neighbor Embedding)降维技术将测试集融合特征降为2维并进行可视化，如图9所示。从图中可以看出，各故障类别已基本分开，表明该模型具有更强的从非平稳振动信号逐层学习以获取具有代表性信息的能力。

图9 深层特征的2维可视化

在实际情况下，不同工况状态下的样本数据是不平衡的，正常状态的样本比例要大于故障状态的样本比例。因此，设置4组不同比例的不平衡数据以研究方法1在不平衡训练样本情况下的轴承故障分类性能。4组数据中，正常状态和各种故障状态下的测试样本数量均设置为200，正常状态和各故障状态下的训练样本数量比例分别设置为1 000∶1 000，1 000∶800，1 000∶600和1 000∶500，组1中的样本数据情况与3.1节相同，即正常状态和各故障状态下的训练样本数量均为1 000。

共进行5次试验并取平均结果，几种方法的分类正确率如图10所示。从图中可以看出：几种模型的平均故障分类正确率随着不平衡比例的增大整体上呈现下降趋势；但4组数据中，方法1的分类效果均优于其他几种方法；甚至当不平衡比例为1 000∶500时，方法1的平均分类正确率仍可达98.14%，在面对不同比例的不平衡样本时表现更加优异。

图10 不平衡数据下各方法的分类正确率

实际应用中，目标样本数量不充分会造成深度网络的泛化性能降低甚至失效。针对此问题，在原有DWNN基础上引入迀移学习策略，构建基于辅助训练集的DWNN模型，基本思想是将大量辅助样本集用于网络预训练过裎，将少量目标样本集用于网络微调过程，以此实现迁移目的。为验证在目标训练样本集不足情况下模型的性能，将美国凯斯西储大学(CWRU)实验室[24]采集的滚动轴承故障数据作为辅助训练数据，数据是采样频率为12 kHz、转速为1 772 r/min时驱动端轴承故障下的振动数据，包括表2中的7种状态，将3.1节试验中所测得的数据作为目标数据。每个信号仍然取600个时域采样点，其中辅助样本集的数量为对应的目标训练样本集的5倍，目标测试样本每种状态为100个，同时，使用标准DWNN模型(即仅用少量目标训练样本训练所得的模型)作为对比。2种模型诊断正确率随目标样本数目的变化如图11所示，从图中可以看出：随目标样本个数的增加，2种模型的诊断性能总体呈上升趋势，在目标训练样本较少的情况下，基于迁移学习的DWNN模型对目标测试样本的诊断效果要好于标准DWNN模型；当目标样数超过200时，2种模型性能相当。

图11 2种模型的对比结果

4 结论

提出一种基于EDWNN和DW-SVM的滚动轴承智能故障诊断方法，实现了高精度的轴承故障诊断，较其他方法具有较大优势：

1) 将深度学习与小波理论相结合，使深度网络具有更强大的自动提取特征的能力，避免了复杂的人工提取特征过程，又改进了WAE的误差函数，引入Dropout机制、降噪自编码机制和收缩自编码机制，对信号特征学习的鲁棒性大大增强，增强了网络泛化性能。

2) 将单一DWNN模型进行集成，充分利用了不同DWNN相互提供的互补信息，可以获得比单一深度模型更好的学习效果。

3) DW-SVM分类器结合了小波和D-SVM模型的优点，能够刻画数据的细节，对数据的拟合率高，分类精度也相对较高。

然而，关于深度学习滚动轴承故障诊断的研究文献所使用的数据对于深度学习来说仍然十分不足，且数据中轴承故障的类型较少，对新型故障类型难以判别，今后需不断收集相关数据，以进行更深入的研究。