门循环单元预测模型在故障诊断中的应用

王华秋，李 鑫

（1.重庆理工大学 两江人工智能学院，重庆 401135；2.重庆理工大学 计算机科学与工程学院，重庆 400054）

我国烟草行业的卷烟生产离不开空调系统，为保证其工艺生产环境，温湿度环境控制的优劣直接影响着卷烟所用原料烟叶的单箱消耗。但动力车间动力设备长期处于恶劣工作条件，其工况复杂多变，且大部分设备投运寿命周期长，设备老化现状不容乐观，设备故障发生的概率增加，存在影响生产工厂连续性的因素［1］。现有的设备维护策略往往依靠故障维修、定期检修与停产大检修相结合的方式［2］。麻省理工大学通过在设备中安装传感器收集数据并分析［3］，由美国Ardell公司开发出了Fuzzy Master故障诊断系统。Venkata subramanian等［4］引入神经网络技术，用于诊断设备故障，随后，Sharky等［5-6］研究出一种基于多神经网络的专家系统，该系统用于检测设备的故障，工作原理是通过检测设备压力变化，从而确定设备的故障。

文献［7］通过分析参数与故障间关系，形成故障与空调设备各参数映射表，判断出空压机压力、温湿度等参数异常与空调设备故障存在一定关联。因此提前预测参数是否会有异常趋势将给诊断决策提供帮助。文献［8］以机器学习算法构建预测模型并对空调设备各参数进行预测，但卷烟车间数据较为复杂且数据量相对较小，实际应用部署中需要更轻量级模型。与此同时，多项异常数据共同导致的故障也难以通过单一异常信息判断。为解决以上问题，本文研发了一种智能故障诊断系统，提出以改进GRU（improvement gate recurrent unit，I-GRU）算法建模，用于卷烟车间空调系统各设备数据预测及异常监控，再利用关联规则挖掘出各数据间的内在关系，并通过产生式推理得出具体故障信息，最后与知识库中存放的专家知识和以往案例进行匹配，诊断出动力设备出现何种故障，并由用户界面展示给用户。

1 时间序列预测模型研究

把一个变量按照其取值的先后顺序排列起来，就构成了一个时间序列［13］。比如，按照时间的先后顺序将车间温湿度、出气口温度等空调系统观测量分别排列起来，就可以构成若干个时间序列。通过时间序列分析，发掘变量随着时间变化所表现出来的规律性，并对其未来变化进行预测，为相关变量的预测提供科学依据。

1.1 门循环单元（GRU）预测模型

对于非线性系统时间序列模型，采取一般线性预测模型是无法满足预测精度的，卷烟厂的空调系统每天都会产生大量的数据，较早数据对后续预测的影响也不容忽视，对于这种长期依赖问题，出现了循环神经网络RNN和LSTM［14］，在LSTM的基础上通过精简它的结构［15］，门循环单元（GRU）网络应运而生。隐藏层神经单元结构如图1所示。

图1 隐藏层神经单元结构示意图

输入xt（t=1，2，3，4，…，n）通过式（1）和式（2），计算得出St和输出值yt分别为：

式（1）（2）中：w为权重系数矩阵；b为偏置向量；f为激活函数。

RNN是一类以序列数据为输入，在序列演进方向进行递归且所有节点按链式连接的递归神经网络。但单一的模型经过长时间的训练便会出现梯度消失、爆炸的问题。LSTM通过在RNN基础上引入输入、输出、遗忘门解决了这一问题，但因为模型结构的增加，训练量也将大幅度增大，从而必须进行大规模的训练模型才能收敛。为了解决这一问题，对其结构进行精简，通过减少门的数量，去除细胞状态c，提出了含有更新门、重置门结构的GRU模型。

经过不断优化改进，GRU网络模型如图2所示，其相关参数可由式（3）～式（7）计算得到。

图2 GRU网络结构示意图

1.2 网络训练

GRU的训练基于时间反向传播算法（BPTT），GRU的输入包含：当前状态输入xt、上一时刻隐藏层状态值ht-1；GRU的输出包含：当前状态输出值yt、当前隐藏层状态ht。对GRU模型的训练中，首先通过式（3）～式（7）计算出输出值，再与实际理论数据进行误差计算，进而利用反向传播算法更新模型参数，使误差收敛至无限小。

1.3 对GRU的改进

LSTM和GRU有效地解决了长距离梯度消失和爆炸问题，在许多时间序列任务中，其效果较之RNN有明显的提升，但其结构也随之变得复杂，这也使得模型想要达到收敛必须通过大量的训练。为避免上述问题，提出了改进的I-GRU模型，通过对GRU模型的重置门、更新门共同点进行分析，改进了模型的更新门，利用重置门的改动来替代更新门，并通过简单求和得到数据输出，这使得I-GRU模型较GRU模型在结构上有了一定的优化。如式（9）所示，更新门Z由重置门取值rt经权重wz变换再通过sigmoid函数变换为0～1范围数值来充当门控信号。这一改动使隐藏状态ht的取值不再保持恒定，如式（11）所示，隐藏状态ht由重置门对上一时刻ht-1的选择和新更新门对候选隐藏状态~h选择记忆部分加和构成，信息量的减少让模型训练更容易进行，能很大程度提高训练效率。

在小训练集上的收敛效果取得了不错的结果，这使得我们的改进模型非常适合处理卷烟厂各设备数据的预测问题。

经过优化调整，I-GRU神经单元展开结构如图3所示，其相关参数表示为：

图3 I-GRU神经单元展开结构示意图

1.4 LSTM、GRU和I-GRU复杂度对比

LSTM、GRU和I-GRU预测模型对时间序列数据的预测都取得了不错的成绩。将分析它们各自的模型参数复杂度和矩阵变换的次数。权重矩阵的个数是判断模型的一大标准，GRU的更新门Z可以同时进行遗忘和选择记忆，而LSTM则要多个门控才能实现，如式（6）所示，1-Z可以理解为遗忘门，（1-Z）* ht-1表示忘记上一刻隐藏状态ht-1中不重要记忆，Z* ~h表示对当前节点信息~h进行选择性记忆，两者相加得到当前隐藏状态ht的信息。可以看出遗忘Z和选择（1-Z）是联动的，因此ht会保持一种恒定状态。I-GRU模型对更新门Z进行了调整，如式（9）所示。隐藏状态ht的构成也有所变化，如式（11）所示，ht-1* rt表示对上一刻信息由重置门rt来筛选，与新更新门对候选状态~h选择加和构成，rt与zt不再互补，因此隐藏状态ht不再保持恒定，信息量有所减小。从参数复杂度和矩阵变换次数来看，表1分别列举了3种模型的矩阵及变化次数，I-GRU复杂度、变换次数明显低于另外2种，从而训练起来也将更快收敛。经实验验证，I-GRU模型非常适合卷烟车间这类数据稀缺环境，体现了新模型的意义。

表1 LSTM、GRU和I-GRU的权重矩阵和矩阵变换复杂度

1.5 预测模型性能比较

1.5.1 预测模型

对LSTM、GRU、I-GRU 3种预测模型进行了预测性能评价。

1.5.2 试验数据及试验设备

试验数据主要来自某卷烟厂动力设备车间2019年3月至5月的生产运行数据。

试验环境：64位Windows10系统，内存12G，主频2.50 GHz，Intel（R）Core（TM）i7 CPU处理器，测试软件Matlab 2016b。

1.5.3 预测模型性能

由于预测模型比较多，各个预测模型的优劣性无法严格区分，因此我们将3种预测模型集中在一起比较，对某卷烟厂动力设备车间2019年3月到5月的正常生产运行数据进行处理，处理结果如图4～图6所示，得到一个总的误差性能指标，各个预测模型之间仅仅比较总体误差性能指标，就可以判断该模型的预测性能。各个预测模型的总体误差性能指标如表2所示。

图4 LSTM预测趋势

图5 GRU预测趋势

图6 I-GRU预测趋势

表2 总体误差指标

1.6 残差分析

本次实验中，通过与卷烟厂动力车间专业工程师的充分交流，获取了各项设备指标与故障的相关度，剔除掉弱相关指标，选取强相关性参数（见表3）作为输入数据进行实验。

表3 所选运行参数相关性系数

试验选取强相关性的空调系统空压机排气压力作为训练目标，构建I-GRU模型进行训练。数据选取2019年6月到7月的空压机设备数据，将其中数据按照6∶2∶2比例按时间顺序划分为训练集、测试集、验证集。网络训练开始前，首先对模型的参数进行初始化，再不断的优化到最佳。采用基于梯度随机优化的Adam算法，对不同的参数计算出其学习率，相对其他优化算法较为优秀。模型最优化后，利用训练集（2019年6月1日到18日）进行训练直到模型收敛，再利用测试集数据（2019年6月19日到6月24日）与模型预测值进行残差计算，有：

为确定BP、SVM、GRU和I-GRU预测效果，对几种经典模型进行预测和残差对比，如图7、图8所示。

图7 模型预测结果对比

图8 模型预测残差特性对比

由图7、图8可知，在处理空压机数据时，I-GRU模型明显效果更佳，预测残差也更接近于0，因此本次使用I-GRU作为预测模型优选。

1.7 故障阈值划分与异常检测

在预测过程中，希望预测的误差尽量在零线附近小幅度波动，但是不能在一段时间内一直高于零线或低于零线，出现这种情况，就说明出现残差了。出现残差的原因有2个：一个是预测模型失效了，另一个原因则是观测对象出现了故障。利用I-GRU网络通过10 000条数据预测后续5 000条数据，观察预测数据趋势图，通过结合设置为3σ标准的故障阈值，判断出异常点并将异常点信息（如空压机压力过大等）显示在用户界面上，为后续的案例匹配提供支持。这也正是本次智能故障诊断的研究重点。本文1.6节中证明了IGRU预测模型的优秀效果，因此可以将模型的预测误差看作正态分布进行偏移，使用3σ作为阈值的标准。

σ在正态分布中表示标准差，μ表示均值，数值分布在（μ-3σ，μ+3σ）中的概率为0.997 3，意味着模型预测数据中99.73%的数据属于正常数据，较为符合真实情况。因此将故障阈值设为3σ。

阈值可由式（14）计算得出，即

式中：rt为预测的残差值，取绝对值；Vthreshold为故障阈值；n为测试数量。

按设定阈值3σ计算得出故障阈值如表4所示。

表4 故障阈值确定

根据上述实验，可以根据预测出的数据趋势，结合计算出的故障阈值提早获取到可能出现的故障信息，再根据获取到的信息匹配案例实现智能故障诊断系统。实验结果如表5所示。

表5 模型收敛速度

根据实验表明，对于同一故障现象，I-GRU相比LSTM、GRU能更早发现达到警戒线的工况信息，并且I-GRU模型收敛更快，更加适合这些动力设备的故障诊断。

1.8 关联规则

本文1.7节通过I-GRU模型预测数据及阈值划分得到了空调系统各设备单一的异常数据，但部分空调设备故障并不能只靠单一设备异常信息判断，要根据多个设备异常信息诊断，因此挖掘空调系统各设备数据间关系十分重要。数据挖掘是以某种方式分析设备中所产生的数据，从中发现一些潜在有用的信息，即数据挖掘又可以称作知识发现。而机器学习算法则是这种“某种方式”。关联规则就是发现数据背后存在的某种规则或者联系。设备数据间关联规则如表6所示。

表6 设备数据间关联规则

1.9 产生式推理

经过关联规则挖掘出空调系统各设备信息间关系后，将各项异常信息通过产生式知识表示方法进行推理，运用正向的产生式推理，推导出新的更符合人的认知习惯的诊断结论。正向产生式推理如表7所示。

2 基于案例相似度的动力设备故障诊断

2.1 基于案例的故障诊断流程

故障诊断的流程如图9所示。首先，根据本文1.8节推理出的故障现象描述，对故障描述和案例库中的案例故障描述进行精确的中文切分，去掉无意义的停用词，准确地提取案例文本特征；然后，计算故障描述与所有案例的相关程度；最后，返回诊断结果，生成诊断过程并对故障零件进行标注，生成简易的维修方案。

表7 正向产生式推理

图9 诊断流程框图

2.2 基于案例相似度的故障诊断

诊断对象。根据观测数据，建立空压机系统故障字典，以便用于模糊推理。

试验数据。试验数据主要来自某卷烟厂动力设备车间2019年3月至5月的生产运行数据。

试验设备。试验环境：64位Windows10系统，内存12G，Intel（R）Core（TM）i7 CPU处理器，开发平台Visual Studio 2017。

试验与分析。基于案例相似度的故障诊断性能评价试验用于评价不同案例诊断模型在相同数据集上的诊断性能。试验结果是对100个随机产生的故障样例的结果取平均值得到的。空压机的故障诊断如图10所示。

图10 空压机设备故障诊断

3 结论

针对某卷烟车间空调系统各项数据异常故障的预测与监控，提出了一种基于改进门循环单元预测的智能故障诊断系统。改进模型以GRU重置门替代更新门，隐藏层状态信息数量不再恒定，在GRU基础上使参数大量减少便于训练。经过各种对照实验，我们选取了最适合卷烟车间空调系统数据预测的I-GRU模型。预测环节设置3σ准则阈值判断异常点并通过关联规则挖掘出各项异常数据间关系，运用产生式推理出故障设备信息，最后对卷烟厂专家所提供的故障信息进行性能测试。通过试验发现，改进门循环单元预测模型有更高的精准度且对异常信息反应更快，对于故障诊断效率有所提升。本文的研究结果可以较好地辅助维修人员快速检修动力设备，从而提高工作效率，有实用价值。