基于CNN-BiLSTM 的液压系统故障诊断

刘付琪，张 达，宋建华，王海东

（1.青岛科技大学自动化与电子工程学院，山东 青岛 266061；2.海军航空大学青岛校区六系，山东 青岛 266041）

0 引 言

柱塞泵和节流阀是液压系统的重要组成部分，当柱塞泵和节流阀发生故障时，传感器采集到的压力、流量等信号非线性变化比较明显。同时由于受其他零部件运行以及外界振动等状况的干扰，对于传感器采集到的信号进行特征提取变得十分复杂［1-2］。及时准确地实现柱塞泵和节流阀的故障状态诊断对于保障液压系统的安全稳定运行具有十分重要的意义。

深度学习具备强大的学习能力，能够从原始传感器数据中提取高级特征，在图像识别、文本分类等领域取得了很高的成就［3-4］。为了实现对表层数据的内部特征进行提取，提高诊断的准确度，深度学习被引入到液压系统故障诊断领域。国外对此研究起步较早，Irfan等［5］使用卷积神经网络实现了水泵轴承的故障诊断，该方法可以直接从振动传感器采集的振动信号中提取特征进行分类，实验结果表明该方法具有较高的准确度。Kumar 等［6］采用卷积神经网络对离心泵中的缺陷进行分析，并且引入一种新的基于熵的发散函数对卷积神经网络（CNN）进行优化，实现了对离心泵的故障诊断。Ravikumar 等［7］使用主题深度强化学习的长短时记忆网络（MDRL-LSTM）对内燃机变速箱中不同严重程度的多独立和共存的故障进行识别，具有很高的实用价值。Cabrera 等［8］采用长短时记忆网络（LSTM）实现了往复式压缩机的故障诊断，并用贝叶斯方法对超参数进行优化，实验结果表明该方法可靠有效。在国内，虽然对液压系统故障诊断的研究相对稍晚，但是仍然取得了相当一部分有实用价值的成就。Li 等［9］使用卷积神经网络对工业风机和离心泵进行故障诊断，并对卷积核进行自适应选取，在诊断精度方面得到了提高。冯东洋等［10］提出了一种双路特征融合卷积神经网络与粒子群优化支持向量机的方法对采集的压力信号进行处理，并且在特征层进行特征信息融合处理，最后送到PSO-SVM 进行起落架系统的故障诊断，实验结果表明该方法具有更高的诊断精度。Tang 等［11］建立具有批量归一化策略的卷积神经网络用于液压柱塞泵的故障诊断并利用贝叶斯算法自动调整超参数，实验结果表明该方法能够准确、稳定地完成故障状态的分类任务。孟秋静等［12］采用长短时记忆网络对液压管路的振动信号进行时序信息分析，在抗噪性能以及诊断精度方面取得了明显的进步。魏晓良等［13］采取长短时记忆网络与一维卷积神经网络（1D-CNN）相结合的方法对柱塞泵的空化程度进行诊断，实验结果表明该方法具有很高的鲁棒性。Wang 等［14］采用长短时记忆网络从时序数据中学习特征，实现了小型压水反应堆的故障诊断。

为了解决传统CNN 网络难以获取长期依赖关系的问题以及LSTM 网络只能提取时序数据正向特征的问题，提高对柱塞泵和节流阀不同故障状态诊断的精确度，本文提出一种CNN-BiLSTM 混合神经网络模型，利用CNN 从输入信号中提取稳健的局部特征，然后采用BiLSTM 对序列上的时间信息特征进行正、反向提取，得到包含升序（正向）故障信息特征和降序（反向）故障信息特征的综合特征表示，具有更强的非线性表达能力［15］，并且在数据级对多个传感器采集到的数据进行融合处理［16］实现更准确的诊断。以液压系统中的柱塞泵和节流阀为例，对来自不同传感器的信号归一化处理后在数据级融合处理，利用CNN层和BiLSTM层分别学习融合信号中所包含的故障特征后进行故障诊断，得到的CNN-BILSTM 网络可以有效地诊断柱塞泵和节流阀运行过程中不同的故障状态并且诊断效果最佳。本文所提出的算法具有以下创新点：

1）在数据级对多个传感器采集到的数据进行融合处理，更充分地利用不同传感器在时间和空间上的冗余信息，增强网络模型的诊断准确性。

2）利用CNN 具有稀疏连接和权值共享的特性，提高网络模型对柱塞泵和节流阀数据的学习能力，充分利用数据中所包含的特征信息。

3）采用BiLSTM对时序数据信息进行正向处理的基础上，结合反向处理得到更为可靠的特征表达，进而实现更高的诊断准确度。

1 基于CNN和BiLSTM 的诊断模型

1.1 卷积神经网络简介

卷积神经网络是一种典型的前馈神经网络，通常包含5个组成模块，分别是：输入层、卷积层、池化层、全连接层和输出层。一维卷积神经网络的示意图如图1所示。

图1 一维卷积神经网络示意图

卷积层是卷积神经网络的最核心的部分，通常包含多个卷积核。在卷积层中，卷积核与输入数据进行卷积运算，以完成特征提取［17］，从而使卷积神经网络拥有稀疏连接和权值共享的特性，进而使网络的复杂度降低，具体的卷积层运算公式为：

池化过程对于卷积层提取的特征进行降维压缩，进而加快运算速度，本文使用最大池化方法。最大池化方法对特征的某个区域求取最大值，其模型用函数表示为：

全连接层［18］位于CNN 网络的末端，经过卷积层的特征提取与池化层的降维后，在全连接层将学到的特征表示映射到样本的标记空间。全连接层将特征进行高度提纯，将输出值交给Softmax层进行分类。

1.2 BiLSTM 神经网络简介

长短时记忆网络是在循环神经网络（Recurrent neural Network，RNN）基础上的改进，LSTM 新增了一个“遗忘机制”，每次循环会通过一次权重判断过去数据的参数影响，解决了梯度爆炸的问题，使得整个网络模型的运行时间变得更短、准确性变得更高［19-20］。

LSTM 网络拥有遗忘门、输入门和输出门3 种门结构，来控制和保护单元状态，如图2所示。

图2 LSTM网络结构图

图2 的σ 表示sigmoid 激活函数，输出范围是0～1，有助于更新或者遗忘信息；tanh用于调节数值大小的函数，输出范围是-1～1，有助于调节神经网络的输出，其余变量的含义见下文公式说明。

遗忘门的功能是决定应丢弃或者保留何种信息，完成对记忆内容的筛选，遗忘门的输出为：

其中，Wxf为输入和遗忘门之间权重矩阵；Whf为历史输出和遗忘门之间权重矩阵；bf为遗忘门偏置项；xt为当前输入状态；ht-1为前一时刻输出状态；ft为遗忘门输出。

输入门用来更新单元状态，输入门输出和候选单元状态为：

其中，it为输入门输出为候选单元状态；Wxi为输入和输入门之间权重矩阵；Whi为历史输出和输入门之间权重矩阵；Wxc为输入和单元状态之间权重矩阵；Whc为历史输出和单元状态之间权重矩阵；bi为输入门偏置项；bc为单元状态偏置项。

当前的单元状态由2 个部分相加得到，一部分是由遗忘向量和前一层的单元状态相乘决定的信息保留，另一部分是由输入门和当前候选状态相乘决定的信息更新。单元状态为：

输出门用于确定下一个隐藏状态，输出门和单元输出为：

其中，Wxo为输入和输出门之间权重矩阵；Who为历史输出和输出门之间权重矩阵；bo为输出门偏置项；ot为输出门输出；ht为单元输出。

在对柱塞泵和节流阀的不同故障状态诊断中，对传感器采集到的时序数据的正反2 个方向的规律进行综合考虑，可以使得模型的诊断精度更高。基于这个原理，构建了BiLSTM 网络，它的结构模型分为2 个独立的LSTM 网络，输入的时序数据分别以正向和反向输入至2 个LSTM 网络进行特征提取，并将提取后的特征按照相应的权重进行线性融合作为最终的特征表达［21-22］，相关流程如图3所示。

图3 BiLSTM结构图

1.3 多传感器信息融合

由于液压系统结构复杂，采用单一的传感器数据进行不同工况的诊断无法满足实际工作的需求，甚至误诊的概率也较高。多传感器信息融合［23］是将各种不同性能的传感器在时间与空间上的冗余信息根据特定的准则进行优化组合，针对不同工况的诊断产生相同的解释。相比较单一传感器进行不同工况的诊断，多传感器信息融合［24］可充分利用不同信息之间的关联性，完成更优的融合决策，在性能方面更加优越。

数据级融合是直接对相匹配的传感器数据进行融合。该层次融合的优点是将传感器采集到的数据直接进行融合，失真比较小，能最大程度地保留信号中所包含的故障信息。

本文将来自压力传感器、流量传感器和电机功率传感器的数据归一化处理后直接进行数据级融合，通过CNN-BiLSTM 网络逐层处理不同传感器的冗余数据信息，逐渐将初始的低层特征表示转化为最终的高层特征表示，实现数据级的融合。在数据级的融合过程中，不同传感器采集到的信息被有效利用，避免了信息的流失。

1.4 CNN-BiLSTM 模型构建

本文所提出的CNN-BiLSTM 模型诊断具体流程［25］如下：

1）对传感器采集到的数据进行归一化处理，得到无量纲的输入数据进行数据级融合处理。

2）将处理好的训练集输入到CNN-BiLSTM 网络进行模型训练，当模型训练次数达到给定值或者模型收敛后，停止训练并且保存已训练完成的模型。

3）诊断过程中，测试集的数据调用步骤2 中保存的网络模型进行诊断，最终输出诊断结果。

在CNN-BiLSTM 模型中，整体可划分为输入层、CNN 网络、BiLSTM 网络和输出层［26］。CNN 网络种依次是2 个卷积层、1 个池化层和1 个Flatten 层，用来提取信号的故障特征并进行降维，保留有效的特征信息。BiLSTM 网络包含2 个BiLSTM 层和1 个全连接层，用来学习信号中的正反向时间规律。具体模型如图4所示。

图4 CNN-BiLSTM 模型结构图

2 实验验证

本文采用加利福尼亚大学（University of California，Irvine）欧文分校机器学习与智能系统中心（Machine Learning Repository）的液压系统数据集［27］进行验证，数据集通过搭建液压实验台实验采集，该实验台由一个主工作回路（见图5）和一个二次冷却过滤回路（见图6）通过油箱连接组成。系统以60 s 为周期进行重复恒定负载循环，并对传感器采集的信号进行记录，包括压力（PS1～PS6）、流量（FS1、FS2）、温度（TS1～TS5）、电机功率（EPS1）和振动（VS1），同时定量改变4 个液压部件（冷却器、节流阀、柱塞泵和蓄能器）的状态，具体故障状态设置如表1和表2所示。

表1 液压元件与故障状态设置

表2 液压元件与故障类型设置

图6 实验台2次冷却过滤回路工作结构图

选择压力传感器PS1、PS2、PS3（采样频率100 Hz）采集的压力信号、流量传感器FS1（采样频率10 Hz）采集的流量信号和电机功率传感器EPS1（采样频率100 Hz）采集的电机功率信号进行分析，采集到的信号如图7所示。

图7 液压系统中不同传感器采集信号图

图8 训练集与损失函数曲线

3 实验结果与分析

3.1 柱塞泵实验验证与分析

选用压力传感器PS1（采样频率100 Hz）采集的压力信号、流量传感器FS1（采样频率10 Hz）采集的流量信号和电机功率传感器EPS1（采样频率100 Hz）采集的电机功率信号等多传感器信息对柱塞泵内泄漏的3 种程度（正常、轻微内泄漏、严重内泄漏）进行识别，柱塞泵的样本数据属性如表3所示。训练集中识别准确率最高达到96.3%，在迭代约600次后可以达到。

表3 柱塞泵样本数据属性

在对柱塞泵内泄漏进行诊断时，其他元件的运行状态也会影响到柱塞泵的状态，例如柱塞泵轻微内泄漏时，节流阀会发生开关特性退化、冷却器会发生冷却能力下降、蓄能器会发生气体泄漏等变化。

3.1.1 模型参数

在CNN-BiLSTM 模型中，整体可划分为输入层、CNN 网络、BiLSTM 网络和输出层［28］。输入信号为PS1、FS1 和EPS1 共计3 个传感器采集的信号经过归一化后连接而成，输入信号的宽度是12600。CNN 网络中依次是2 个卷积层、1 个池化层和1 个Flatten 层。卷积层的作用是对输入层的数据提取特征，其中：第一层卷积采用16 个16×1 的卷积核，步长为1；第二层卷积采用采用32 个32×1 的卷积核，步长为1；2 个卷积层的激活函数均采用ReLU 激活函数，填充方式均选择same。池化层和Flatten 层是对卷积层提取的特征进行降维和扁平化：池化层选择最大池化方式，池化核的大小为4×1。BiLSTM 网络包含2个BiLSTM 层和1 个全连接层，2 个BiLSTM 层的神经元数量均为32。由于采用了数据级信息融合，因此只用2 层BiLSTM 便取得了较好的效果。Softmax 层的输出神经元数量为3，如表2中“故障类型”列所示，对应柱塞泵内泄漏的3种不同程度。

3.1.2 不同传感器信号对诊断结果的影响

柱塞泵发生内泄漏时，采用不同传感器采集到的信号中所包含的故障特征会对诊断精度产生影响，诊断结果如表4所示。

表4 不同传感器信号对诊断精度影响表

为了更加直观地分析柱塞泵内泄漏不同程度在模型的每一层中的分类效果，用t-SNE（t-distributed Stochastic Neighbor Embedding）技术对PS1、FS1、EPS1融合信号输入模型中各个层的输出信号进行降维可视化分析，如图9所示。

图9 PS1、FS1、EPS1融合信号输入模型中各层可视化

从图9 可以看出，从最初PS1、FS1、EPS1 这3 个传感器融合信号无法区分柱塞泵内泄漏的不同程度。随着网络不同层不断的提取特征，模型可以不断地学习柱塞泵内泄漏不同程度的故障特征，这些特征的可分性逐渐增强。最终输出信号呈现最佳的聚类效果，有明显的可分性，这表示本文所提出的CNN-BiLSTM 模型可以对柱塞泵内泄漏的不同程度实现准确的分类。

从表4 中可以看出，对于柱塞泵内泄漏不同程度的故障诊断，采用3 个传感器融合后的信号诊断效果最好，准确率明显高于采用单传感器信号进行故障诊断并且损失值最小。这表明采用多传感器信号融合的方式进行故障诊断对于提高模型的性能更加有利，验证了本文所提出的多传感器信号在数据级进行融合处理的可行性。

在所构建的CNN-BiLSTM 模型对3 个传感器融合后信号的训练过程中，训练集训练过程中正确率和损失值与迭代次数的变化如图8 所示，在模型训练800次时终止。

从图8 可以看出，随着迭代次数的不断增加，训练集的正确率不断上升，而损失函数值则不断下降，最终趋于稳态，这表示所使用的模型性能逐渐变强。

为了分析本文所提出模型的有效性，利用CNNBiLSTM 网络的各层输出计算3 种状态（正常、轻微内泄漏、严重内泄漏）样本对应的Fisher 值，以此验证本文所提出的模型对3 种状态可分性的提升。单类样本的Fisher值表示为：

其中，n表示样本的总数量，mi（k）表示样本x（i）第i类样本的均值在k维上的取值，m（k）表示所有样本的均值在k维上的取值。

具体结果如图10所示。

图10 柱塞泵内泄漏不同程度在CNN-BiLSTM 网络每一层的Fisher值

从图10 可以看出，随着网络不同层不断地进行特征提取，Fisher 值逐渐增大，这表示正常状态、轻微内泄漏状态、严重内泄漏状态的类间距离逐渐增大，类内距离逐渐变小，可分性逐渐增强。柱塞泵严重内泄漏样本的Fisher值从输入层的9.1提高到了Softmax层的31.82，提高了3.5倍，相应地，正常和轻微内泄漏样本Fisher 值也分别从0.61 和1.2 提高到了1.85 和4.82，这表示严重内泄漏样本的可分性优于其他2 类样本。测试集的混淆矩阵如图11所示。

图11 测试集混淆矩阵

从图11 可以看出，有7 个正常状态被诊断为轻微内泄漏状态；3 个轻微内泄漏状态被诊断为正常状态；严重内泄漏状态均诊断正常，总的识别准确率为96.3%。结果表示本文所提出的CNN-BiLSTM模型对柱塞泵内泄漏的不同程度可以进行有效的识别。

3.1.3 CNN-BiLSTM 网络和其它网络效果比较

为了进一步验证所提出CNN-BiLSTM 模型对柱塞泵内泄漏不同程度的故障诊断性能，在利用PS1、FS1、EPS1 总共3 个传感器融合后的信号的基础上，将1.4 节所提到的网络结构中的BiLSTM 层用CNN层进行替换，并运用t-SNE 技术对Softmax 层进行降维可视化分析，结果如图12（a）所示。将1.4节所提到的网络结构中的BiLSTM层用LSTM层进行替换，并运用t-SNE 技术对Softmax 层进行降维可视化分析，结果如图12（b）所示。并运用PSO-SVM 网络、GA-DBN网络分别对PS1、FS1、EPS1 总共3 个传感器融合后的信号进行处理，并运用t-SNE 技术对Softmax 层进行降维可视化分析，结果如图12（c）和图12（d）所示。

图12 不同神经网络对柱塞泵内泄漏不同程度故障诊断Softmax层降维可视化

从图12可以明显地看出，与图9（g）作比较，采用纯CNN 网络、CNN-LSTM 网络、PSO-SVM 网络、GADBN 网络对于柱塞泵内泄漏不同状态的诊断效果不如本文所提出的CNN-BiLSTM 网络，采用纯CNN 网络的识别准确率为84.7%，采用CNN-LSTM 网络的识别准确率为90.24%，采用PSO-SVM 网络的识别准确率为81.09%，采用GA-DBN 网络的识别准确率为83.15%，而采用CNN-BiLSTM 网络识别准确率高达96.3%。因为加入BiLSTM 层可以学习传感器所采集的信号中包含的时间序列信息并且综合考虑时间序列信息的正反向规律，提高了诊断精度。

3.2 节流阀实验验证与分析

选择压力传感器PS1、PS2、PS3（采样频率100 Hz）采集的压力信号等多传感器信息对节流阀开关特性退化的4 种程度（接近完全失效、重度滞后、较小滞后、最佳切换状态）进行识别，节流阀的样本数据属性如表5所示。

表5 节流阀样本数据属性

在对节流阀开关特性退化进行诊断时，节流阀的运行状态会受到其他元件的运行状态的影响，例如节流阀接近完全失效时，柱塞泵会发生内泄漏、冷却器会发生冷却能力下降、蓄能器会发生气体泄漏等变化。

3.2.1 模型参数

本文所搭建的CNN-BiLSTM 模型流程与上文柱塞泵内泄漏不同程度的诊断流程相同，输入信号为PS1、PS2 和PS3 共计3 个传感器采集的信号经过归一化后连接而成，输入信号的宽度是18000，模型参数一致。Softmax层的输出神经元数量为4个，如表2中“故障标签”列所示，对应节流阀开关特性退化的4种程度。

3.2.2 不同传感器信号对诊断结果的影响

节流阀开关特性退化时，采用不同传感器采集到的信号中所包含的故障特征会对诊断精度产生影响，诊断结果如表6所示。

表6 不同传感器信号对诊断精度影响表

从表6可以看出，对于节流阀开关特性退化不同程度的故障诊断，采用3个传感器融合后的信号进行故障诊断，可以实现准确率最高并且损失值最小。再次验证了多传感器信号融合的方式进行故障诊断对于提高模型的性能更加有利，验证了本文所提出的多传感器信号在数据级进行融合处理具有良好的故障诊断能力。

在所构建的CNN-BiLSTM 模型的训练过程中，训练集训练过程中正确率和损失值与迭代次数的变化如图13所示，在模型训练800次时终止。

图13 训练集与损失函数曲线

从图13可以看出，在不断的迭代过程中，训练集的准确率不断提高，而损失函数值则不断降低，最终趋于稳态，这表明所使用的模型性能逐渐变强。训练集中识别准确率最高达到94.28%，在迭代约550次后可以达到。

为了更加直观地分析节流阀开关特性退化的不同程度在模型的每一层中的分类效果，用t-SNE 技术对PS1、PS2、PS3 融合信号输入模型中各个层的输出信号进行降维可视化分析，如图14所示。

图14 PS1、FS1、EPS1融合信号输入模型中各层可视化

从图14可以看出，最初PS1、PS2、PS3这3个传感器融合信号无法对节流阀开关特性退化的不同程度进行区分。随着网络不同层不断的提取特征，模型对节流阀开关特性退化的故障特征进一步学习，可以看到特征的聚类效果明显变好，最终输出信号有明显的分界线。这再次验证本文所提出的CNN-BiLSTM 模型的有效性，可以对节流阀开关特性退化的不同程度实现准确的分类。

为了分析本文所提出模型的有效性，利用CNNBiLSTM 网络的各层输出计算4 种状态（接近完全失效、重度滞后、较小滞后、最佳切换状态）样本对应的Fisher 值，以此验证本文所提出的模型对3 种状态可分性的提升，计算公式如式（9）～式（11）所示，具体结果如图15所示。

图15 节流阀开关特性退化不同程度在CNN-BiLSTM 网络每一层的Fisher值

从图15可以看出，Fisher值随着网络不同层进行特征提取而逐渐增大，这表明节流阀接近完全失效状态、重度滞后状态、较小滞后状态和最佳切换状态的类间距离逐渐增大，类内距离逐渐变小，可分性逐渐增强。节流阀最佳切换状态样本的Fisher值从输入层的1.35提高到了Softmax层的7.33，提高了5.43倍，相应地，接近完全失效、重度滞后和较小滞后样本Fisher值也分别从0.99、1.07 和0.79 提高到了6.4、4.55 和2.65，这表明对于最佳切换状态样本的可分性优于其他3类样本。

测试集的混淆矩阵如图16 所示。从图中可以看出，有2 个节流阀接近完全失效状态被诊断为节流阀重度滞后状态；3 个节流阀重度滞后状态被诊断为节流阀接近完全失效状态；3 个节流阀较小滞后状态被诊断为节流阀重度滞后状态、8 个节流阀较小滞后状态被诊断为节流阀最近切换状态；节流阀最佳切换状态均诊断正常，测试集总的诊断率为94.28%。

图16 测试集混淆矩阵

3.2.3 CNN-BiLSTM 网络和其它网络效果比较

在融合PS1、PS2和PS3总共3个传感器信号的基础上，将1.4 节所提到的网络结构中的BiLSTM 层用CNN层进行替换，并对Softmax层运用t-SNE技术进行降维可视化分析，结果如图17（a）所示；将1.4节所提到的网络结构中的BiLSTM层用LSTM层进行替换，并运用t-SNE技术对Softmax层进行降维可视化分析，结果如图17（b）所示；运用PSO-SVM网络、GA-DBN网络分别对PS1、PS2和PS3总共3个传感器融合后的信号进行处理，运用t-SNE技术对Softmax层进行降维可视化分析，结果如图17（c）和图17（d）所示。进一步验证本文所提出CNN-BiLSTM 模型的故障诊断性能。

图17 不同神经网络对节流阀开关特性退化不同程度的故障诊断Softmax层降维可视化

从图17 可以明显地看出，与图14（g）作比较，采用本文所提出的CNN-BiLSTM 网络对于节流阀开关特性退化的不同程度的可分性明显高于采用纯CNN网络和CNN-LSTM 网络。采用纯CNN 网络的识别准确率为82.07%，采用CNN-BiLSTM 络的识别准确率为87.32%，采用PSO-SVM 网络的识别准确率为80.53%，采用GA-DBN 网络的识别准确率为85.52%，而采用CNN-BiLSTM 网络识别准确率高达94.28%。这是因为传感器所采集的信号中包含的时序信息以及时序信息中所包含的正反向规律可以被BiLSTM层有效的学习，使得诊断精度得到提高。

4 结束语

为了准确识别液压系统中柱塞泵和节流阀的故障状态，本文提出了一种基于CNN-BiLSTM 网络的故障诊断模型，实验结果表明：将CNN 和BiLSTM 网络结合用于液压系统不同故障状态的识别，解决了传统CNN 网络难以获取长期依赖关系的问题；并且对数据正反向特征进行综合考虑，实现了柱塞泵和节流阀故障状态的有效诊断；采用数据级多传感器信息融合，充分利用传感器数据中包含的故障信息，与只利用单传感器信息相比，多传感器的融合信息能够获得更高的诊断精度。本文研究为液压系统的智能化故障诊断提供了一种合理有效的方法。