基于一维卷积神经网络深度学习的工业过程故障检测

李 元，冯成成

(沈阳化工大学信息工程学院，辽宁沈阳 110142)

随着工业过程的快速发展，化工过程的安全性越来越深得人们重视。在化工过程中，故障检测成为一个异常重要且必不可少的步骤。用于故障检测的技术和方法主要分为三大类，即基于定量数学模型的方法、基于知识的方法以及基于数据驱动的方法。基于数据驱动的故障检测方法又可以进一步分为基于定性和基于定量的方法。基于定量的方法又可以分为统计类方法和非统计类方法。统计类方法一般是指多变量统计过程监测方法，如主元分析(Principal Components A-nalysis，PCA)、偏最小二乘(Partial Least Squares Re-gression，PLS)、判别式分析(Fisher Linear Discriminant Analysis，FDA)、正则相关分析(Canonical Correlation Analysis，CCA)、因子分析(Factor Analysis，FA)以及独立成分分析(Independent Component Analysis，ICA)等等［1-6］。定量的方法又可以分为统计类方法和非统计类方法，其中非统计类方法包括各种信号处理方法(如频谱分析)、神经网络方法以及支持向量机方法等。

人工智能方法主要是指那些以人工神经网络为代表的机器学习的算法［7］，现代信息技术的快速发展使人工神经网络(Artificial Neural Network，ANN)算法得到了广泛应用，如信号处理、模式识别、机器控制、专家系统等多个领域都使用到了人工神经网络。神经网络的优势之一就是能够充分逼近非线性关系，可以用来处理工业过程中的非线性问题［8］。人工神经网络中的一个典型算法就是BP神经网络，BP神经网络本身就是一种输入到输出的非线性映射，其网络结构简单，前向传递获得输出误差，反向传递更新参数，一步步迭代更新使误差降到最小，提高了误差精度［9］，而且BP神经网络编程简单，可操作性较强。因此，BP神经网络的应用就更加广泛了。文献［10］研究了基于BP神经网络的故障诊断算法，研究发现BP神经网络算法在学习过程中有可能会出现瘫痪现象，从而导致学习时间变长，这一现象的出现主要是因为算法使用的学习速率是一个固定的数值；并且算法非常容易陷入局部收敛而使算法的学习时间变长，这一缺点主要是因为算法采用的是最速下降法来实现的，而且BP神经网络的检测性能较差，测试识别率低。针对BP神经网络的这些问题，本文对卷积神经网络(Convolutional Neural Network，CNN)进行了研究，并且和BP神经网络的检测结果进行对比。

卷积神经网络也是智能故障诊断算法中的一种，由特征提取、特征选择和故障分类三个部分组成［9］。第一个真正意义上的卷积神经网络是在1989年由Le-Cun提出的，直至2012年AlexNet的出现使得卷积神经网络得到了快速发展，广泛应用在图像识别、语音分离、视频分类、人脸识别等领域，并且取得了很好的效果。卷积神经网络是典型的深度学习方法，随着深度学习在各个领域的应用研究，卷积神经网络在故障诊断中的研究也逐渐展开［11-13］。卷积神经网络最大的优势在于它不需要人工选取，可以从原始数据中自动学习特征，通过训练调整优化卷积核的参数，进而实现数据的分类识别［14］。卷积神经网络在处理数据中的优点是共享卷积核，对高维数据的处理没有压力；不需要手动选取特征，训练好权重就可以自动获取特征。还有一个最突出的优点就是分类效果好。卷积层通过卷积核对输入信号的卷积操作进行特征提取，采样层(池化层)会对卷积层提取出的特征图进行降采样，采样方法有均值采样、最大值采样、均方采样等，在语音识别任务中一般采用最大值采样(Max Pooling)，即使用待池化区域的最大值作为该区域池化后的点［15］，在化工过程故障检测中，池化层也采用最大值采样。卷积神经网络克服了BP神经网络参数过多、极易陷入局部最小值的问题，在一定程度上加快了程序运行速度，提高了故障检测率。

1 基于一维卷积神经网络的故障检测

1.1 基本原理

卷积神经网络是一种有监督的训练方式，它和BP神经网络一样，都是一种输入到输出的非线性映射，能够很好地处理非线性问题。卷积神经网络以BP神经网络为基础，只不过与BP神经网络的不同之处是卷积神经网络的隐含层是由多个卷积层和池化层组成的，除此之外还包含一个全连接层，全连接层可以将之前得到的局部观察结果进行整合连接，进而在输出层得出分类结果或后验概率［16-20］。将一维卷积神经网络用于故障诊断时输出结果为概率，然后经过统计与计算得到卷积神经网络模型对样本数据的训练识别率和测试识别率。卷积神经网络的主要特点是具有自学习能力以及对特征进行抽象转换进行高层表示的能力，通过对输入的数据进行自动特征提取，把提取到的特征用于分类识别。

1.2 基本结构

卷积神经网络结构有输入层、卷积层、池化层、全连接层、输出层。其基本结构如图1所示［21-22］。

图1 一维卷积神经网络原理图

①卷积层：使用卷积核对输入信号的局部区域进行卷积运算，并产生相应的特征。该层最重要的特点就是权值共享，这样就大大减少了卷积层的网络参数，有效避免了过拟合现象的发生。具体的卷积运算公式为

式中，kli(j')为第l层的第i个卷积核的第j'个权值；xl(rj)为第l层中第j个被卷积的局部区域；W为卷积核宽度。激活函数采用relu函数，它可以很好地克服梯度弥散现象。

②池化层：主要作用是减少神经网络的参数，采用最大值池化可以获得与位置无关的特征。

③全连接层：将从池化层提取出来的特征进行分类。该层的正向传播为

式中，Wlij为第l层第i个神经元与第l+1层第j个神经元之间的权值；zlj+1为第l+1层第j个神经元的输出值；blj为第l层所有神经元对第l+1层第j个神经元的偏置值。

当第l+1层是隐含层时，激活函数是relu函数；若是输出层时，激活函数是softmax函数。

全连接层的传播过程与BP神经网络的传播过程相同。此处不再做详细介绍。

④输出层：输出层采用softmax激活函数将输入的神经元转化为和为1的概率。

1.3 检测步骤

一维卷积神经网络是一种能够处理非线性数据的网络结构算法，基于一维卷积神经网络进行故障检测的流程图如图2所示，具体步骤如下。

①收集生产过程中的正常数据和故障数据，利用正常数据和故障数据生成训练集和测试集，训练集和测试集中的正常数据标签为0，故障数据标签为1。

图2 检测步骤流程图

②确定网络参数和神经元个数以及卷积层和池化层的层数，构建好一维卷积神经网络模型。

③利用带有标签的训练集样本数据训练一维卷积神经网络，统计概率结果，观察一维卷积神经网络模型的训练效果。

④将带有标签的测试数据集输入已经训练好的神经网络，统计概率结果及一维卷积神经网络的测试识别率。

⑤概率小于0.5的数据标签记为0，视为正常数据；概率大于0.5的记为1，视为故障数据。统计正常数据和故障数据的个数，计算测试识别率。

2 仿真实验

2.1 TE数据

本文中的所有数据均来源于TE过程，本小节将对TE过程做简单的介绍。田纳西-伊斯曼过程工艺流程图如图3所示。

图3 田纳西-伊斯曼过程工艺流程图

TE过程共有21个故障，这21个故障都是预先设定好的，其中包括16个已知故障(故障1～故障15、故障21)和5个未知故障(故障16～故障20)。这21个故障分为4种类型：阶跃变化、随机变化、慢偏移和阀门粘住，如表1所示。

2.2 数据采集

以TE过程为背景，训练集采用已经做好标签的980个样本，11个主要的操纵变量来训练网络模型，前500个样本是正常样本(标签为0)，后480个样本是故障样本(标签为1)。测试集采用已经标签好的960个样本，11个主要的操纵变量，前160个样本是正常样本(标签为0)，从第161个样本开始引入故障(标签为1)。

采用的一维卷积神经网络包含一个卷积层、一个池化层、一个全连接层以及一个softmax输出层，12个1*5的卷积核，激活函数选用relu函数，因为relu函数不仅可以提高收敛速度还可以有效避免过拟合问题。输入层大小为1*11，池化层大小为1*2，选用softmax函数。同样是采用梯度下降法和链式求导法更新权值和偏置，学习率设置为0.01，动量因子设置为0.9。训练40次，并统计出一维卷积神经网络的测试识别率。卷积神经网络输出的是概率，默认概率小于0.5的标签为“0”，即为正常数据；概率大于0.5的标签为“1”，即为故障数据。

表1 故障类型

2.3 仿真结果

利用已经训练好的BP神经网络模型和一维卷积神经网络模型分别对TE过程中的21个故障进行了检测，应用BP神经网络算法和一维卷积神经网络算法对已经做好标签的样本进行故障检测。首先将已经做好标签的训练样本输入到一维卷积神经网络的模型中训练该网络，该网络训练好之后再输入已经做好标签的测试样本，最后得到了一维卷积神经网络对21个样本的测试识别率以及一维卷积神经网络对测试样本检测的准确率仿真图。下面是对仿真结果中几个对比比较明显的仿真对比图进行的分析。

图4为故障1的准确率仿真对比图。从图4中可看出：当迭代次数为3时，准确率均趋于最高值，但是图4(a)中在第3次迭代到第40次迭代时训练准确率和测试准确率均在最高值之间来回波动，而且测试识别率已经波动到99%以下；图4(b)中虽然训练准确率围绕最高值来回波动，但波动幅度较小，而且测试准确率在第3次迭代之后趋于最高值并且很稳定，一直维持在99%以上。由此可见，一维卷积神经网络的模型优于BP神经网络模型，因此采用一维卷积神经网络进行故障检测可以很好地提高故障检测率。

图4 故障1的准确率仿真对比图

图5 为故障14的准确率仿真对比图。其中，图5(a)中训练准确率曲线在第3次迭代之后达到最高值并一直维持在96%以上，图5(b)中训练准确率在迭代3次逐渐趋于最高值并且曲线一直处于上升状态。图5(a)的测试准确率曲线在迭代3次之后开始趋于最高值，但测试准确率较低，在60%左右波动，准确率最高值仅为67.5%，测试之后统计结果与真实结果之间会有一定的误差；图5(b)在第5次迭代之后测试准确率曲线才开始呈上升趋势，在第25次迭代时达到最高值并且一直在最高值82%左右微小波动。与图5(a)相比，图5(b)的训练准确率和测试准确率均高于图5(a)，这充分表明了一维卷积神经网络的模型在故障检测方面的效果要优于BP神经网络模型，而且一维卷积神经网络模型运行速度快，准确率高且稳定，测试识别率的可信度高于BP神经网络。

其他几个故障的准确率仿真图也是如此，都可以充分说明一维卷积神经网络可以用于故障检测，准确率高且测试识别率也高，此处不再逐个分析。

图5 故障14的准确率仿真对比图

利用BP神经网络和一维卷积神经网络对TE过程进行了故障检测，统计出了BP神经网络模型和一维卷积神经网络模型的训练识别率和测试识别率如表2所示。

表2 识别率统计 单位：%

表2中分别统计出了BP神经网络和一维卷积神经网络对故障1、故障4、故障13、故障14、故障15、故障16、故障19、故障20的训练识别率和测试识别率。从训练识别率上进行分析，由表2可看出BP神经网络和卷积神经网络对故障1、故障4、故障13、故障14的训练识别率均位于95%以上，对故障15、故障16、故障19、故障20的训练识别率较低，从训练识别率上看BP神经网络和一维卷积神经网络的差异较小，说明两者的训练模型的效果是相似的；从测试识别率上进行分析，由表2中统计结果可看出BP神经网络对故障1和故障19的检测效果还挺好，测试识别率已经达到了80%～90%，但是BP神经网络对其他几个故障类型进行检测时，其测试识别率在50%左右波动，BP神经网络对故障15和故障20的故障检测效果不太理想。一维卷积神经网络对故障1、故障4、故障13、故障14、故障19以及故障20的测试识别率均达到了90%以上，能够有效检测出微小故障。微小故障就是在设备正常运转期间出现的不易被检测出的小故障，之所以称之为微小故障就是因为该类故障的幅值较小，已经微小到人们很难将此类故障从包含噪声的数据中检测出来［23］。TE过程中的故障15就属于微小故障，从表2可以看出BP神经网络对故障15的测试识别率仅为16.67%，而一维卷积神经网络对故障15的测试识别率高达78.12%，由此可见，一维卷积神经网络可以比BP神经网络更有效地检测出微小故障。一维卷积神经网络在BP神经网络的基础上加快了程序运行速度，克服了BP神经网络极易陷入局部最小值的问题，在一定程度上提高了测试识别率。

3 结束语

本文将深度学习中的卷积神经网络以及卷积神经网络的基础BP神经网络应用到了工业过程的故障检测中。通过构建一维卷积神经网络的网络结构，用两种模型对TE过程进行故障检测，分别统计出了BP神经网络和一维卷积神经网络对故障的测试识别率，并对BP神经网络和一维卷积神经网络对故障的测试识别率进行了对比分析，从而得出了卷积神经网络的检测效果优于BP神经网络的结论。由统计数据中BP神经网络和一维卷积神经网络对故障20的测试识别率对比可看出，BP神经网络对故障20的识别率为19.69%，而一维卷积神经网络对故障20的测试识别率达到了98.62%，由此可看出卷积神经网络对微小故障的检测效果也比较好。卷积神经网络在本质上就是一种输入到输出的非线性映射，它本身就能够自动学习大量的输入与输出之间的关系，可以不断地优化卷积神经网络的结构，进一步的提高故障检测率。