长短时记忆网络在电机故障诊断中的应用研究

王惠中，贺珂珂，房理想

(1.兰州理工大学电气工程与信息工程学院，甘肃 兰州 730050；2.甘肃省工业过程先进控制重点试验室，甘肃 兰州 730050)

0 引言

滚动轴承作为电机常用零件之一。由于电机工作环境复杂，驱动的负载不同，导致故障率增加[1]。因此，诊断电机故障对机器正常工作有重要理论研究和实际意义[2]。

目前，传统的诊断方法有支持向量机(support vector machine,SVM)[3]、贝叶斯判别函数[4]、神经网络(neural network,NN)[5]等。这些方法已被应用于故障诊断，但是这些方法属于有监督浅层机器学习。处理复杂的分类问题时，其泛化能力受到一定的约束[6]，且传统分类器与数据的动态信息无关。文献[7]提出深度置信网络对风电机组主轴承进行诊断，但是需通过预训练和寻找最优参数，使得诊断准确率不高。文献[8]对反向传播 (back propagation，BP)神经网络和递归神经网络分别建立诊断模型，但是传统的递归神经网络仅保存网络最后的数据，无法学习长期依赖关系，并且在回馈信息的过程中出现梯度消失效应。

为了解决上述问题，本文考虑时间维度信息，提出了一种长短时记忆(long short-term memory,LSTM)网络的电机故障诊断方法。该方法不仅可以改善传统神经网络的不足，解决梯度消失等问题且学习网络状态长期依赖关系信息，而且不需要复杂的调试网络的超参数，默认记住数据信息。仿真结果验证了长短时记忆神经网络在电机故障诊断中的可行性。

1 LSTM神经网络原理与算法

1.1 循环神经网络

循环神经网络 (recurrent neural network，RNN)是针对时域序列数据提出的。RNN结构展开图如图1所示。

图1 RNN结构展开图

前向传播过程如式(1)～式(3)所示。RNN利用输入数据的时间信息，能够处理一个样本在同一时刻的序列数据[9]。在同一层内，单元间的连接形成一个有向循环。由于RNN特殊的结构，使神经元的前一时间点的输出结果直接作为下一个时间点的输入，再作用到自身，实现网络的输出，最终结果为该时刻的输入与历史所有时刻共同作用的结果，达到对时间序列建模的目的。相比之下，传统的神经网络在层间有连接、层中单元无连接，网络无法传输时间信息，因此，处理时间序列的性能较差。

st=Uxt+Wht-1

(1)

ht=f(Uxt+Wht-1)

(2)

ot=g(Wht)

(3)

式中：xt为输入；st为记忆；ot为输出；ht为隐藏状态；f为非线性转换函数；U为输入层到隐层的权重；W为隐层到隐层的权重；V为隐层到输出层的权重。

然而，随着网络结构的加深，易出现梯度消失等问题。采用随机梯度下降法(stochastic gradient descent,SGD)训练RNN是困难的，因此需要通过其结构的变种来缓解。

1.2 LSTM神经网络原理

为了解决梯度消失问题，在RNN中引入长短时记忆块，记忆长时间或短时间情况下的值。长短时记忆神经网络是深度学习领域的递归神经网络，主要用来克服RNN神经网络在训练上的难题和梯度消失等问题[10]。LSTM网络得到了广泛应用[11-13]。LSTM神经网络是RNN的变种结构，RNN的隐层单元由输入门、输出门、忘记门和记忆单元结构组成。 长短时记忆神经网络结构如图2所示。

图2 长短时记忆神经网络结构图

LSTM神经网络由控制门来控制信息的状态，此时网络能较长时间地保存传递信息。

在输入门的作用是在忘记门之前的状态后，从当前的输入补充最新的记忆，如式(4)所示。

i(t)=fg[Wxi(t)x(t)+Whi(t-1)h(t-1)bi]

(4)

忘记门控制程度从前一时间转移的信息，忘记没有用的信息，如式(5)所示。

f(t)=f(g[Wxf(t)x(t)+Whf(t-1)h(t-1)+bf]

(5)

新的记忆单元的状态信息由两部分组成。一部分是遗忘门的输出结果与前一时刻的记忆块状态c(t-1)乘积，它决定忘记之前要遗忘的信息；另一部分是输入门的输出结果i与tanh层乘积生成一个新的候选数值信息。两部分的和作为新的记忆单元的状态信息，如式(6)所示。

ct(t)=ftct-1+ittanh[Wxcx(t)+Whcx(t-1)+bc]

(6)

输出门的作用是决定是否通过当前记忆状态输出结果ot，经过tanh层乘以sigmoid的输出，输出需要的结果，如式(7)～式(8)所示。

ot(t)=fg[Wxo(t)x(t)+Who(t-1)h(t-1)+bo]

(7)

h(t)=otgtanh[c(t)]

(8)

式中：fg为sigmoid激活函数；Wxi、Wxf、Wxo和Wxc为输入门到输入门、遗忘门、输出门和记忆单元的权重矩阵；Whi、Whf、Who和Whc分别为隐层单元到输入门、遗忘门、输出门和记忆单元的权重矩阵。

2 Softmax多分类器原理

Softmax多分类器对于给定的输入x，通过假设函数来估计每一个类别j的概率值p(y=j|x)。因此，概率值根据假设函数输出维的向量表示，其中向量和为1。

假设函数hθ(x)形式为：

(9)

在训练过程中，Softmax的代价函数J(θ)如式(10)所示。

(10)

式中：1{·}为一个指示函数，即当式中大括号的值为真时，函数值为1，否则为0。

本文设计了一个由LSTM神经网络和Softmax多分类器组成的诊断模型。LSTM神经网络可以从原始故障数据中提取具有时间信息的特征，Softmax层借助LSTM提取的深层特征执行多分类任务。LSTM神经网络诊断模型结构如图3所示。在输入故障数据后，该模型在LSTM网络中进行特征学习，最后一层是Softmax层。该层接收处理过的特征数据，计算每个类别的可能性并进行分类。

图3 LSTM神经网络诊断结构图

3 电机故障诊断方法的实现

LSTM神经网络与Softmax多分类器构成故障诊断模型。Softmax多分类器为网络的训练提供类别信息，改善了特征的优化提取。故障诊断流程如图4所示。

图4 故障诊断流程图

①采集电机的正常信号与故障信号。在采样频率为48 kHz的条件下，利用振动传感器测得的6205-2RS JEM SKF轴承振动值正常，内圈、外圈和滚珠的振动数据信号，通过sklearn中的train_test_split按照一定比例对数据集进行随机划分，分为训练集和测试集。

②故障数据特征提取。将采集的振动信号进行归一化后，利用LSTM神经网络直接进行故障特征提取。

③设置网结构和超参数。通过设置LSTM神经网络层数和超参数，如学习率、步长、迭代次数和神经元个数等，得到最佳网络结构。

④故障分类。根据步骤②提取的深层特征，利用最后的Softmax层进行故障分类，识别故障。

4 试验验证与性能分析

为了验证该方法在电机故障诊断中的可行性与有效性，本文采用Case Western Reserve University轴承试验中心网站的数据[13]。本文选取的具体试验数据为电动机频率为1 492 W，转速为1 730 r/min，采样频率为48 kHz等条件下的振动数据。分别在内圈、滚珠和外圈6点钟方向处引入直径为0.355 6 mm的故障。

表1 样本数据集

随机在每个状态中选择一组数据点，进行时域分析。不同类型故障的时域波形图如图5所示。

从图5可以看出，在正常状态下，电机轴承的工作状态与其他三种的振动波形有很大差别。当电机轴承失效时，其振动信号有一定的冲击特征。

通过时域信号数据输入LSTM神经网络提取故障特征，再利用Softmax多分类器进行故障分类。诊断准确率对比如表2所示。

图5 不同类型故障的时域波形图

故障类型LSTM-SoftmaxSSAE-SoftmaxBPNN正常10010088内圈968989外圈988788滚珠1008986

从表2可以看出，LSTM神经网络根据连接的隐层单元从数据中自动提取时间信息，可以更好地捕获故障特征，从而有利于分类。堆栈稀疏自编码器(stacked sparse autoencoder,SSAE)对原始数据直接提取故障特征并分类，其准确率不高。除此之外，传统BP神经网络易出现局部极小等问题，准确率也相对较低。10次重复试验准确性如表3所示。

表3 10次重复试验准确性

从表3可以得出,经过10次重复试验后，得到所运用的方法平均准确率达到98.3%。仿真结果证明了将所提的LSTM与Softmax结合应用于电机故障诊断的可行性和有效性。

5 结束语

LSTM神经网络在提取时间序列的特征方面表现良好，因此，可以有效提取故障数据特征，本文将LSTM和Softmax多分类器结合，搭建故障诊断模型并进行分类，实现了电机轴承3种常见故障的准确诊断，得到了最终诊断结果。LSTM神经网络可以克服长期以来传统神经网络面临的梯度消失等问题，与堆栈稀疏自编码器分类和BP网络结果对比发现，所提方法具有更高的分类准确率。