基于DBN-ELM的聚丙烯熔融指数的软测量

王宇红，狄克松，张姗，尚超，黄德先



基于DBN-ELM的聚丙烯熔融指数的软测量

王宇红1，狄克松1，张姗1，尚超2，黄德先2

（1中国石油大学（华东）信息与控制工程学院，山东青岛 266580；2清华大学自动化系，北京 100084）

针对聚丙烯熔融指数软测量中预测精度不高的缺点，将基于深度置信网络-极限学习机（DBN-ELM）的软测量方法应用到熔融指数的软测量中。与传统深度置信网络（DBN）不同的是，该方法将极限学习机（ELM）算法运用到深度置信网络的训练中。首先用深度置信网络对原始数据进行数值分析来提取特征，然后将提取的特征输入到极限学习机中进行训练，得到软测量模型。实验验证表明，与支持向量机和单纯的深度置信网络模型相比，该方法具有更高的测量精度。

深度置信网络；算法；极限学习机；数值分析；特征提取；实验验证

引 言

熔融指数是聚丙烯生产过程中一个重要的质量指标，决定了产品的不同牌号。目前，聚丙烯生产过程中控制产品质量的一个主要困难就是没有对应的在线分析仪表。聚丙烯熔融指数只能通过人工采样、离线化验分析得到，并且化验周期一般为2～4 h，时间滞后比较大，难以满足生产质量实时控制的要求，从而导致生产过程的熔融指数总是处于波动之中，特别是在产品牌号切换过程中会产生大量的不合格产品，带来很大的经济损失[1-3]。因此，如果能够建立实时反映聚丙烯熔融指数的软测量模型，对实现聚丙烯生产过程的平稳操作、提高产品质量以及聚丙烯最优牌号切换均具有重要的意义[4]。

目前已经有很多学者开展了该领域的研究。文献[5]提出一种基于支持向量机的软测量模型。文献[6]首次提出将深度学习用于软测量的建模。文献[7]提出将DBN-ELM用于球磨机料位的软测量建模，并取得好的效果。文献[8]基于生产过程的质量平衡和能量平衡建立聚丙烯熔融指数的预测模型。文献[9]针对聚丙烯装置熔融指数软测量中的非线性以及多工况切换问题，提出一种基于卡尔曼滤波-正交最小二乘(Kalman-OLS )的非线性自适应软测量方法。文献[10]针对聚丙烯生产过程的非线性，提出了一种基于KPCA和组合神经网络的软测量方法。文献[11-12]提出一种模糊技术与人工神经网络或支持向量机的组合模型。文献[13-14]提出一种混合群智能算法与RBFNN或SVM的组合模型。在聚丙烯的软测量方面尽管取得了很多的研究成果，但是目前研究工作仍然存在着模型复杂或预测精度不高等不足。

最近神经网络研究成果表明，深度置信网络（deep belief network, DBN）作为一种深层神经网络，具有良好的特征学习能力，通过对低层特征的组合形成更加抽象的高层表示，使分类或预测更容易[15]。另外，DBN在时间序列的预测方面也有成功的应用[16]。在DBN的训练过程中，首先通过无监督贪婪训练每一层RBM，将训练后的RBM组合构建DBN，然后采用传统的全局优化算法对整个网络进行微调，使网络达到最优。然而基于梯度的全局优化算法会陷入局部最优，并不能很好地训练深层神经网络，并且这样的全局微调需要大量的训练时间。因此，将极限学习机算法运用到DBN的训练过程中，对DBN进行改进来改善DBN的性能，提高模型的预测准确率。

综上所述，本文将DBN与ELM相结合用于聚丙烯熔融指数的软测量。实验结果表明，相比传统软测量方法，该方法具有更高的预测精度，为聚丙烯熔融指数软测量的研究和应用提供了新的方法。

1 深度置信网络

深度置信网络（DBN）作为一种多层网络，近来受到广泛的关注[17]。对于多层神经网络来说，单纯地采用梯度下降训练很难达到较好的效果，深度置信网络采用深度学习算法很好地解决了该问题。深度学习算法由两个阶段组成，即无监督的预训练阶段和有监督的反向传播阶段。在无监督的预训练阶段，DBN首先被预训练作为有监督阶段的初始权重；在有监督的反向传播阶段，对整个网络进行调优。

DBN可看作通过叠加若干层受限玻尔兹曼机（restricted Boltzmann machine, RBM）分级建立而成，如图1所示。每一层可以看作一个单独的RBM。RBM是一种两层神经网络，由一层代表输入的可见层和一层代表隐变量的隐层组成，并且隐变量作为下一个RBM的输入。DBN采用一种贪婪的逐层训练方法。在图1中，RBM1首先被训练，并且RBM1的隐层作为RBM2的输入，然后RBM2被训练，RBM3也以同样的方式训练。在每一个RBM的训练过程中，隐变量作为特征被从输入数据中提取出来。

相比于传统的软测量建模方法，深度置信网络一个很大的优势就是快速采样的过程数据可以被充分利用。在工业过程中，过程变量的采样速率比质量变量的采样速率要大得多，如图2所示。结果，质量样本的数目要远远小于过程样本的数目。传统软测量建模方法只利用了和质量变量相同数目的过程样本，那些没有被利用的过程样本仍然包含丰富的信息。在深度学习的过程中，那些没有被利用的过程变量可以用于非监督的预训练来提取隐变量，有利于促进监督阶段的反向传播。利用的数据越多，挖掘的信息也就越多，建立的模型也就越准确。因此，采用了深度学习算法的深度置信网络非常适合用于建立软测量模型。

2 受限玻尔兹曼机RBM

2.1 RBM的基本模型

RBM可视为一个无向图模型，RBM中的可见单元和隐单元可以为任意指数族单元，如sotfmax单元、高斯单元等[17]。为了方便起见，假设所有可见单元和隐单元均为二值变量。

假设一个RBM有个可见单元和个隐单元，和分别代表可见单元和隐单元的状态。作为一个系统，当给定状态（,）时，所具有的能量可表示为[18]

(,)=-T-T-T(1)

其中，为可见层的偏置，为隐层的偏置，为可见层和隐层的连接权重。

当参数={,,}确定以后，系统的联合概率分布可表示为

其中，()为归一化因子。

对于一个实际问题，主要关心的是输入数据的分布(|),也称为对数似然函数，即

为了确定该分布，需要计算()，需计算2+m次，计算量比较大，因此()比较难计算。

但是由RBM的特殊结构可知，同层节点之间的状态是相互独立的。当给定可见节点的状态时，第个隐层节点的激活概率为

由于RBM的对称结构，求得隐层节点后，可见节点的激活概率为

2.2 基于对比散度的RBM训练算法

对数似然函数关于参数的梯度为

设表示输入数据，代表隐层向量，代表可见层向量，代表学习速率，代表RBM的权重矩阵，代表输入层偏置向量，代表输出层偏置向量。

（1）随机初始化模型参数，并设定迭代次数Step。

（2）将原始数据赋给可见层向量。

（3）根据下面两个公式计算0、1、1的状态值，即隐层和可见层的激活概率为

（4）用式（9）对参数进行更新

（5）若≥Step，则训练结束，否则-1将赋给。并转到步骤（3），重新训练。

3 极限学习机ELM

极限学习机是一种适用于单隐层神经网络的快速学习算法。当输入权重和偏置随机初始化以后，输出权重也就确定了。

设一个单隐层神经网络有个样本（,t），,。假设一个单隐层神经网络有个隐层节点，则此网络可表示为

式中，()为激活函数；=[,1,,2,…,,n]T为输入权重；为输出权重；为第个隐单元的偏置。

训练单隐层神经网络的目的是使输出误差最小，即

也就是存在特殊的、、，使

式（12）可以表示为

=

其中，为隐层节点的输出；为输出权重；为期望输出。

当采用ELM算法时，输入权重和隐层偏置被随机确定后，隐层的输出矩阵也就确定。此时单隐层神经网络的训练问题变为一个线性系统=，输出权重即为

式中，+为矩阵的Moore-Penrose广义逆。同时，求得的解是最小且唯一。

4 基于DBN的ELM算法

设一个DBN含有层隐层，通过贪婪的训练方式得到-1个RBM，从输入层，隐层1，…，隐层-1。而第-1个隐层到第层隐层以及第层隐层到输出层的权重和偏置则是由ELM算法确定[20]，改进的深度置信网络结构如图3所示。

式中，为第-1层隐藏层到第层隐藏层的权重，为第-1层隐藏层到第层隐藏层的偏置，为第层隐藏层到输出层的输出权重。对于整个网络结构来说，目标是最小化输出误差，可表示为

并且存在，使

此问题可转化为=。

其中，为DBN第-1层到第层的输出

随机初始化第-1层隐藏层到第层隐藏层的权重和偏置，则可以得到隐藏层唯一的输出矩阵。将深度置信网络的训练问题转化成求解线性系统=。同时输出权重可被确定为

式中，+为矩阵的Moore-Penrose广义逆。Huang等[21]已经证明求得的解最小且唯一。

5 应用分析

从现场聚丙烯装置采集工业数据获得软测量所需要的辅助变量，同时从化验车间获取熔融指数的化验值,经过一系列数据预处理后，最后获得444组数据，将这些数据分为两部分，280组数据用于建立软测量模型，剩余164组数据用于模型验证。

本文分别采用SVM、DBN、DBN-ELM的方法建立聚丙烯熔融指数的软测量模型，比较不同方法所建立模型的预测效果，其中，DBN和DBN-ELM的网络结构参数通过交叉验证的方式确定。

3种建模方法所建立模型的预测结果列于表1以及图4～图6。

表1 3种软测量建模方法预测结果的对比

从表中可以看出，与SVM方法相比，基于DBN所建立的软测量模型在测试误差方面，提高并不是很明显，但是将DBN与ELM结合后，所建立的基于DBN-ELM的软测量模型，测试误差降低了15%。与SVM相比，虽然在训练误差方面，准确度有所下降，但是在测试误差方面，准确度有了明显的提高。从软测量的意义上来说，测试误差更为重要，有时为了保证较低的测试误差，有意将训练误差调得高一些，使模型的预测性能更好。因此，总的来说，基于DBN-ELM的软测量方法具有更高的预测精度，要优于SVM和单独的DBN。

6 结 论

针对聚丙烯熔融指数难以在线测量的特点以及传统软测量方法所存在的预测精度不足，将DBN-ELM应用在聚丙烯熔融指数的软测量上。研究结果表明，基于DBN-ELM所建立的软测量模型具有更高的预测精度，有利于过程质量的监控和先进控制的实施，在聚丙烯生产过程中具有广阔的应用前景。

[1] YI H S, AND J H K, HAN C,. Plantwide optimal grade transition for an industrial high-density polyethylene plant[J]. Industrial & Engineering Chemistry Research, 2003, 42(1): 91-98.

[2] AND F T, BIEGLER L T, SALDÍVARGUERRA E. Optimal grade transitions in the high-impact polystyrene polymerization process[J]. Industrial & Engineering Chemistry Research, 2006, 45(18): 6175-6189.

[3] SHARMIN R, SUNDARARAJ U, SHAH S,. Inferential sensors for estimation of polymer quality parameters: industrial application of a PLS-based soft sensor for a LDPE plant[J]. Chemical Engineering Science, 2006, 61(19): 6372-6384.

[4] WEI Y J, JIANG Y H, YAN F,Three-stage decomposition modeling for quality of gas-phase polyethylene process based on adaptive hinging hyperplanes and impulse response template[J]Ind. Eng. Chem. Res., 2013, 52(16): 5747-5756.

[5] 马勇,黄德先,金以慧.基于支持向量机的软测量建模方法[J].信息与控制, 2004, 33(4): 417-421. MA Y, HUANG D X, JIN Y H. Soft-sensor modeling method based on support vector machine[J]. Information and Control, 2004, 33(4): 417-421.

[6] SHANG C, YANG F, HUANG D,. Data-driven soft sensor development based on deep learning technique[J]. Journal of Process Control, 2014, 24(3): 223-233.

[7] 康岩,卢慕超,阎高伟.基于DBN-ELM的球磨机料位软测量方法研究[J].仪表技术与传感器,2015, (4): 73-75. KANG Y, LU M C, YAN G W. Soft sensor for ball mill fill level based on DBN-ELM model[J]. Instrument Technique and Sensor, 2015, (4): 73-75.

[8] 王平,田华阁,田学民. Spheripol-Ⅱ双环管聚丙烯装置动态建模[J].计算机与应用化学,2008, 25(7): 827-831. WANG P, TIAN H G, TIAN X M. Dynamic modeling of Spheripol-Ⅱ propylene polymerization in dual-loop reactor [J]. Computers and Applied Chemistry, 2008, 25(7): 827-831.

[9] 田华阁,田学民,邓晓刚.基于Kalman-OLS的聚丙烯熔融指数软测量[J].控制工程,2010, (S1): 83-86. TIAN H G, TIAN X M, DENG X G. Polypropylene melt index soft sensor based on Kalman-Orthogonal least squares[J]. Control Engineering of China, 2010, (S1): 83-86.

[10] 潘泽林,夏陆岳,周猛飞,等. KPCA-SNNs的聚丙烯熔融指数软测量[J].计算机与应用化学,2014, 31(2): 203-206. PAN Z L, XIA L Y, ZHOU M F,. Soft sensor of polypropylene melt index based on KPCA-SNNs[J]. Computers and Applied Chemistry, 2014, 31(2): 203-206.

[11] LIU X, ZHAO C. Melt index prediction based on fuzzy neural networks and PSO algorithm with online correction strategy- s[J]. AIChE Journal, 2012, 58(4): 1194-1202.

[12] ZHANG M, LIU X.A soft sensor based on adaptive fuzzy neural network and support vector regression for industrial melt index prediction[J]. Chemometrics and Intelligent Laboratory Systems, 2013, 126(15): 83-90.

[13] LI J, LIU X, JIANG H,. Melt index prediction by adaptively aggregated RBF neural networks trained with novel ACO algorithm [J]. Journal of Applied Polymer Science, 2012, 125 (2): 829-1656.

[14] 蒋华琴,刘兴高.免疫 PSO_WLSSVM最优聚丙烯熔融指数预报[J]. 化工学报,2012, 63(3): 866-872. JIANG H Q, LIU X G. Optimal melt index prediction based on ICPSO_WLSSVM algorithm for industrial propylene polymerization[J]. CIESC Journal, 2012, 63(3): 866-872.

[15] HINTON G E, SALAKHUTDINOV R R. Reducing the dimensionality of data with neural networks[J]. Science, 2006, 313(5786): 504-507.

[16] LANGKVIST M, KARLSSON L, LOUTFI A.A review of unsupervised feature learning and deep learning for time series modeling[J]. Pattern Recognition Letters, 2014, 42(1): 11-24.

[17] HINTON G E, OSINDERO S, TEH Y W. A fast learning algorithm for deep belief nets[J].Neural Computation, 2006, 18(7): 1 527-1554.

[18] 张春霞,姬楠楠,王冠伟.受限波尔兹曼机[J]. 工程数学学报,2015, (2): 159-173. ZHANG C X, JI N N, WANG G W. Restricted Boltzmann machines[J]. Chinese Journal of Engineering Mathematics, 2015, (2): 159-173.

[19] HUANG G B, ZHOU H, DING X,. Extreme learning maching for regression and multiclass classification[J]. IEEE, Transactions on System, Man, and Cybernetics, 2012, 42(2): 513-529.

[20] 赵志勇,李元香,喻飞,等.基于极限学习的深度学习算法[J]. 计算机工程与设计, 2015, (4): 1022-1026. ZHAO Z Y, LI Y X, YU F,. Improved deep learning algorithm based on extreme learning machine[J]. Computer Engineering and Design, 2015, (4): 1022-1026.

[21] HUANG G B, ZHOU H, DING X,. Extreme learning machine for regression and multiclass classification.[J]. IEEE Transactions on Systems Man & Cybernetics Part B Cybernetics A Publication of the IEEE Systems Man & Cybernetics Society, 2012, 42(42): 513-529.

Melt index prediction of polypropylene based on DBN-ELM

WANG Yuhong1, DI Kesong1, ZHANG Shan1, SHANG Chao2, HUANG Dexian2

(1College of Information and Control Engineering, China University of Petroleum, Qingdao 266580, Shandong, China; 2Department of Automation, Tsinghua University, Beijing 100084, China)

To solve the issue of low accuracy of the traditional soft sensor methods of polypropylene melt index, an approach based on deep belief network and extreme learning machine（DBN-ELM）was used to the melt index prediction of polypropylene. Traditional deep belief network (DBN) applied the deep learning to the learning process of the deep neural networks. Different from traditional deep belief network, this approach applied the extreme learning machine algorithm (ELM) to the learning process of DBN to improve the DBN model. Firstly, deep belief network was employed to extract effective features from vibration data by numerical analysis. Then, the effective features were put into the extreme learning machine to proceed model training to obtain the soft sensor model. The experimental validation showed that the method was more accuracy than the traditional method.

deep belief network; algorithm; extreme learning machine; numerical analysis; feature extraction; experimental validation

date: 2016-09-12.

Prof. WANG Yuhong, Y.H.Wang@upc.edu.cn

10.11949/j.issn.0438-1157.20161280

TP 273

A

0438—1157（2016）12—5163—06

山东省自然科学基金项目（2013ZRE28089）。

supported by the Natural Science Foundation of Shandong Province (2013ZRE28089).

2016-09-12收到初稿，2016-09-22收到修改稿。

联系人及第一作者：王宇红（1970—），男，博士，教授。