基于Elman神经网络的化工过程软测量建模方法

Soft Sensing Modeling Method Based on Elman Neural Network for Chemical Process

桑桦李军(兰州交通大学自动化与电气工程学院，甘肃兰州　730070)



基于Elman神经网络的化工过程软测量建模方法

Expanded Kalman filter algorithmChemical processes

国家自然科学基金资助项目(编号:51467008)。

修改稿收到日期:2015－06－02。

第一作者桑桦(1991－)，男，现为兰州交通大学自动化与电气工程学院在读硕士研究生;主要从事软测量建模、计算智能方面的研究。

0　引言

在化工生产过程中，许多重要的质量变量难以实时测量。软测量技术通过构建某种数学模型，描述可测、易测的辅助变量与难以直接测量的待测主导变量间的函数关系。根据最优准则，软测量技术能够实现对待测变量的测量或估计［1－2］。

近年来，人工神经网络(artificial neural network，ANN)、支持向量机(support vector machine，SVM)等方法被广泛地应用于软测量建模［1－6］。文献［1］提出了基于多层感知器神经网络的软测量建模方法，并将其应用于脱丁烷塔的软测量建模;文献［2］提出了一种基于SVR的软测量建模方法，并把它用于乙烯裂解产物收率的测量中。关于软测量建模的研究大部分都采用静态结构。Elman神经网络是一种递归神经网络(recurrent neural network，RNN)，能够将隐层状态变量反馈到输入端，反馈中包含时间延时，因此具有动态记忆特性，可以有效提高模型的估计精度。传统的RNN训练算法，如沿着时间反向传播(back－propagation through time，BPTT)算法［7］、实时递归(real－time recurrent learning，RTRL)算法［8］，遵循误差梯度最小化的准则，存在收敛速度慢、易陷入局部最优等问题。扩展卡尔曼滤波［8－10］(expanded Kalman filter，EKF)作为卡尔曼算法的一种非线性扩展形式，属于最优状态估计算法，用于训练神经网络，可以提高收敛速度，满足软测量建模实时性的需求。

1　理论基础

1.1 Elman神经网络

Elman网络是1990年由Elman提出的一种RNN［7］。它是在基本前馈多层感知器结构的基础上，增加一个反馈层，作为一步延时算子，使其具备动态记忆特性;能直接反映动态过程系统的特性，可用于构建具有时空特性动态软测量模型。Elman神经网络的拓扑结构如图1所示。

Elman网络主要由四部分组成，分别为输入层U、隐含层X、承接层C及输出层Y。输入层、隐含层、输出层的连接类似于前馈式神经网络，输入层单元起信号传输作用，输出层单元起线性加权作用，隐含层单元的传递函数可选择线性或者非线性函数，承接层用来记忆隐含层单元前一时刻的输出值并返回给网络的输入。设外部输入U (t)=［(μ1(t)，…，μj(t)，…，μm(t)］，承接层输入X(t)=［x1(t)，…，xj(t)，…，xt(t)］，输入层至隐含层、隐含层与承接层及隐含层至输出层的连接权值矩阵分别为: WRI、WRC及WOR，则网络隐含层的输入x～(t)和输出x(t)可以表示为:

输出层的输入y～(t)和输出y(t)可表示为:

式中: f1(·)和f2(·)为神经元之间的传递函数，通常用Sigmoid函数。

图1　Elman神经网络拓扑结构图Fig.1 Topological structure of Elman neural network

与其他RNN一样，Elman神经网络的训练算法主要有基于梯度下降的BPTT算法和RTRL算法。

1.2 BPTT算法

BPTT算法是由前馈神经网络训练中经常使用的反向传播算法(back propagation，BP)发展而来。传统的BP算法只能应用于没有动态特性的前馈神经网络，不适用于训练Elman神经网络。BPTT算法把输出误差梯度储存于每一个时间步，将网络沿着时间展开，使动态网络转化为静态网络。

对于时间层之前的层，对输出层和隐含层神经元有:

设学习率为α，则权值的修正形式可表示为:

BPTT算法是一种离线算法，其存在的主要问题是收敛速度慢、容易陷入局部最小，需要耗费较长的时间才能得到满意的效果。

1.3 RTRL算法

RTRL算法是1989年由Williams和Zipser提出的一种前向梯度下降算法，它能够在每次迭代时直接计算每个节点的误差梯度，并且能够获得每一个时间步的精确误差梯度解。网络的训练目的是通过调整权值使均方误差和最小，输出层至隐含层连接权值的修正形式可表示为:

式中: d(t)=［d1(t)，…，dn(t)］为网络输出的期望值;α为学习率。

隐含层至输入层连接权值的修正可表示为:

同样的方法，隐含层至承接层连接权值的修正可表示为:

式中:当h =1时，δkhrjon=1;否则δkhrjon=0。

RTRL算法可以得到误差梯度的精确解，但是与BPTT算法一样，同样存在收敛速度较慢和容易陷入局部最优的缺陷;而且，RTRL算法计算复杂度较高，比较适用于小型网络。

1.4 EKF算法

EKF学习算法是适用于非线性系统的一种状态估计技术，在神经网络建模中的应用十分广泛。其基本思路是把网络的连接权值作为Kalman滤波器的待估状态，把网络的输出作为Kalman滤波器的观察输出，这样就可以把神经网络的训练问题转化为非线性滤波问题，改善了用简单的梯度下降算法训练RNN时所产生的收敛速度慢、容易陷入局部最优等问题。EKF的网络训练过程可简单表示为:

式中: W为状态矩阵，可由长度为nw的网络权值向量(包括WRI、WRC和WOR)表示; H为nw×ny的雅克比矩阵，通常采用BPTT算法或RTRL算法对其进行求解; P为nw×nw的误差协方差矩阵，它包含了对应于每一组网络权值的误差协方差; K为nw×nw的Kalman增益矩阵，可以根据期望输出向量和实际输出向量的差值来更新权值矩阵W; N为ny×ny的测量噪声矩阵，与BPTT或RTRL算法中的学习率相似，用来控制网络的训练速度，ny为输出单元的个数; Q为nw×nw的过程噪声协方差矩阵，nw为网络权值的个数。非零的过程噪声可以提高滤波器的收敛速率。

对于强非线性系统，EKF算法进行状态估计时可以很快地实现对真值的逼近，而且能够避免BPTT算法和RTRL算法容易陷入局部最小的缺点，因此更适用于化工过程软测量建模。

2　仿真实验

为了验证本文所用方法的有效性，进行了2个仿真实验，具体包括脱丁烷塔塔底的戊烷油组分中丁烷组分含量的估计和SRU中H2S和SO2气体浓度的预测。模型性能的评价指标如下。

(1)均方误差。

式中: yd(i)和y(i)分别为不同时刻的实测值和估计

式中: cov(.)为协方差矩阵。

相关系数表示两个变量之间的紧密程度，R越大表明变量之间的线性相关程度越高。

2.1脱丁烷塔底软测量建模

脱丁烷塔是炼油厂炼油过程中脱硫和石脑油分离装置的必要组成部分，其目的主要是降低脱丁烷塔底部丁烷的浓度。由于丁烷浓度是在异戊烷塔顶产物储存处进行监测，利用在线测量仪表监测丁烷浓度，需要的周期较长，因此建立动态软测量模型［11－12］，对丁烷浓度进行实时监测是十分必要的。

该过程共有2 394组数据，7个辅助变量和1个主导变量，采样周期为12 min。本文选取数据的前50%作为训练样本，后50%作为测试样本，采用式(22)所示的具有外部输入的非线性自回归模型结构(nonlinear auto regressive with exogenous inputs，NARX)［1］:值; T0为起始时刻; T为终止时刻。

(2)相关系数。

式中: y(k)为丁烷在k时刻的浓度; f为Elman神经网络。

在该过程中，采用隐层神经元个数为6的Elman神经网络，网络的权值和初始状态分别在(－0.5，0.5)和(0.0，1.0)之间随机给定。采用BPTT和RTRL算法，学习率取0.5，对主导变量进行估计，然后用EKF对BPTT和RTRL两种算法进行改进。令其状态误差协方差矩阵P的对角元素值为P1，非对角元素值为P2，测量噪声协方差矩阵和输出噪声协方差矩阵对角元素值分别为R和Q，采用交叉验证法，当P1= 10 000、P2=1 000、R =100、Q =0.001时可得到较好的实验结果。

图2和图3分别给出了基于EKF－BPTT和EKF－RTRL算法对C4组分进行预测时，在测试集上模型的预测值与实际值的对比图;表1给出了基于不同算法估计C4浓度时，测试集上的相关系数以及均方误差的性能指标比较。由表1可知，采用EKF算法对网络进行训练，提高了网络的预测精度。同时，本文还与相关文献的结果进行了比较。文献［3］在与本文完全相同的条件下，选取数据的前50%作为训练样本，后50%作为测试样本，采用式(22)所示的NARX模型，利用16－12－1的多层感知器(multilayer perceptron，MLP)方法，得到相关系数为0.985。文献［14］运用贝叶斯网络建立软测量模型，获得值为0.995的相关系数。经对比可知，本文采用的方法均优于文献［2］和［3］中所使用的方法。

图2　EKF－BPTT对丁烷浓度预测图Fig.2 C4prediction using EKF－BPTT

图3　EKF－RTRL对丁烷浓度预测图Fig.3 C4prediction using EKF－RTRL

表1　在测试集上C4组分预测性能评价指标对比结果Tab.1 Contrast results of performance evaluation indexes of C4in test set

2.2 SRU软测量建模

硫回收装置(sulfur recovery unit，SRU)是炼油厂不可或缺的一个装置，其主要作用是在把酸性气体流排放到空气之前，移除其中的环境污染物，如SO2、H2S，最终将硫元素作为一种副产品被SRU回收。由于测量浓度的仪表容易受到酸性气体的腐蚀，当仪表进行维护时，可以用软传感器暂时替代。

根据专家经验，选取5个辅助变量作为SRU模型的输入，2个主导变量(分别是H2S和SO2的浓度)作为输出，采样周期为1 min。考虑到SRU是一个MIMO非线性动态模型，本文采用式(23)和式(24)所示的非线性滑动平均(nonlinear moving average，NMA )结构［1］:

式中: y1(k)为H2S在k时刻的浓度输出; y2(k)为SO2在k时刻的浓度输出; f1及f2为Elman神经网络。

该化工过程共收集了10 081组数据，本文选取其中的前4/5作为训练样本，其余的作为测试样本，采用隐层神经元个数为8的Elman神经网络，网络的权值和初始状态分别在(－0.5，0.5)和(0.0，1.0)之间随机给定。采用BPTT和RTRL算法，学习率取0.5，对主导变量进行估计，然后用EKF对BPTT和RTRL两种算法进行改进，令其状态误差协方差矩阵P的对角元素值为P1，非对角元素值为P2，测量噪声协方差矩阵和输出噪声协方差矩阵对角元素值分别为R和Q，通过交叉验证，当P1=10 000、P2=1 000、R =100、Q = 0.001时可得到较好的实验结果。

表2和表3分别给出了基于不同算法估计H2S和SO2的浓度时，测试集上的相关系数以及均方误差的性能指标比较。由表2和表3可以看出，对具有强非线性的SRU化工过程，EKF算法使Elman神经网络的预测精度得到明显提高。同时，本文还对相关文献的结果进行了比较。文献［3］中，分别基于MLP、RBF神经网络、自适应神经模糊系统和非线性最小二乘4种方法，对H2S和SO2的浓度进行估计，在数据集中分别随机选取1 000组数据作为训练样本和测试样本，非线性最小二乘的预测精度最高，其H2S的预测指标MSE为8×10－4，相关系数为0.848;对SO2的预测指标MSE为4×10－4，相关系数为0.905。经对比可知，本文采用的方法均优于文献［2］和［3］中所使用的方法。

表2　在测试集上H2S性能评价指标对比结果Tab.2 Contrast results of performance evaluation indexes of H2S in test set

表3　在测试集上SO2性能评价指标对比结果Tab.3 Contrast results of performance indexes of SO2in test set

3　结束语

软测量建模构成的“软传感器”具有较强的适用性，可与硬件传感器同时工作，当系统参数发生变化时能够被重置，而且能够克服硬件传感器的延时问题，为需要监控的过程主导变量提供了一种廉价、快速的实时估计手段，有效提高了控制系统的性能。本文对传统RNN的训练算法进行了说明，并引入了EKF算法，用于化工过程软测量建模。与传统训练算法以及相关文献的研究成果进行比较，实验结果表明基于EKF算法的Elman神经网络收敛速度快，收敛精度高，而且具有较好的鲁棒性，是一种有效的软测量建模方法。

参考文献

［1］Fortuna L，Graziani S，Xibilia M G.Soft sensors for product quality monitoring in debutanizer distillation columns［J］.Control Engineering Practice，2005，13(4): 499－508.

［2］吴文元，熊智华，吕宁.支持向量回归在乙烯裂解产物收率软测量中的应用［J］.化工学报，2010，61(8):2046－2050.

［3］Fortuna L，Graziani S，Rizzo A，et al.Soft sensors for monitoring and control of industrial processes［M］.Berlin: Springer，2007.

［4］Kadlec P，Grbi R，Gabrys B.Review of adaptation mechanisms for data－driven soft sensors［J］.Computers＆Chemical Engineering，2011，35(1): 1－24.

［5］Graziani S，Napoli G，Xibilia M G.Soft sensor design for a sulfur recovery unit using a clustering based approach［C］/ / InstrumentationandMeasurementTechnologyConference Proceedings，IEEE，2008: 1162－1167.

［6］曹鹏飞，罗雄麟.化工过程软测量建模方法研究进展［J］.化工学报，2013，64(3):788－800.

［7］Mazumdar J，Harley R G.Recurrent neural networks trained with backpropagation through time algorithm to estimate nonlinear load harmonic currents［J］.Industrial Electronics，IEEE Transactions on，2008，55(9): 3484－3491.

［8］Erňansky M，Makula M，Beňuková L.Organization of the state space of a simple recurrent network before and after training on recursive linguistic structures［J］.Neural Networks，2007，20(2): 236－244.

［9］陈巍.递归神经网络的卡尔曼滤波及分层学习算法［J］.华南理工大学学报:自然科学版，1998，26(4): 44－48.

［10］仲卫进，艾芊.扩展卡尔曼滤波在动态负荷参数辨识中应用［J］.电力自动化设备，2007，27(2): 47－50.

［11］Souza F，Araújo R.Online mixture of univariate linear regression models for adaptive soft sensors［J］.IEEE Transactions on Industrial Informatics，2013，10(2):937－945.

［12］Naha A，Deb A K.Soft－sensor approach for measuring pulverised coal flow［J］.Science，Measurement＆Technology，IET，2014，8(4):220－227.

［13］唐志杰，唐朝晖，朱红求.一种基于多模型融合软测量建模方法［J］.化工学报，2011，62(8): 2248－2252.

［14］李雅芹，周开武，杨慧中.基于贝叶斯网络的软测量建模方法［J］.计算机与应用化学，2010(10):25.

Soft Sensing Modeling Method Based on Elman Neural Network for Chemical Process

桑桦李军
(兰州交通大学自动化与电气工程学院，甘肃兰州730070)

摘要:针对软测量建模问题，提出了一种基于Elman神经网络的软测量建模方法。将该方法应用于脱丁烷塔底部丁烷组分含量以及硫回收装置尾气中SO2和H2S含量的软测量建模，分别采用BPTT算法、RTRL算法和EKF算法对Elman网络进行训练。在同等条件下，通过与传统的梯度下降算法以及其他软测量建模方法对比表明，EKF算法能够获得较好的离线估计结果，具有较好的鲁棒性和较快的收敛速度。

关键词:Elman神经网络软测量时间反向传播(BPTT)算法实时递归(RTRL)算法扩展卡尔曼滤波(EKF)算法化工过程

Abstract:For soft sensing modeling，the method based on Elman neural network is proposed，and applied in soft sensing modeling for butane component content of the bottom of the debutanizer，and the contents of SO2and H2S in tail gas of sulfur recovery unit; and the Elman neural network is trained by using BPTT algorithm，RTRL algorithm and EKF algorithm respectively.Comparison with other soft sensing modeling methods and traditional gradient descent algorithm，better off line estimation result，robustness and faster convergence speed are obtained by EKF algorithm.

Keywords:Elman neural networkSoft sensingBack－propagation through time algorithmReal－time recurrent learning algorithm

中图分类号:TH－39; TP274

文献标志码:A

DOI:10.16086/j.cnki.issn1000－0380.201603017