局部特征关系下的数据回归及软测量建模

张 勤,苗爱敏,李 鹏

(1.云南电网有限责任公司丽江供电局，云南 丽江 674100；2.云南大学信息学院，云南 昆明 650504)

局部特征关系下的数据回归及软测量建模

张 勤1,苗爱敏2,李 鹏2

(1.云南电网有限责任公司丽江供电局，云南 丽江 674100；2.云南大学信息学院，云南 昆明 650504)

针对复杂工业过程中存在的数据非线性的问题，对基于数据局部特征的回归模型构建和软测量建模方法进行研究。基于邻域保持嵌入(NPE)算法思想，利用数据间局部关系特征，建立多目标的回归优化函数，提出了基于局部的数据回归(LDR)算法。该方法基于数据的局部关系和邻域特征，在保留输入数据和输出数据局部特征的同时，获取数据间的最大相关关系。通过数据低维潜变量获取数据的回归关系，并建立软测量预测模型。将模型应用于工业案例中，预估产品的质量和难以在线测量的关键变量。脱丁烷塔的案例研究证明了所提出的方法在变量预测方面的有效性。与基于全局特征的软测量模型的对比分析结果表明，所提出的LDR在获取非线性数据相关性和增强数据预测精度方面具有显著的改善效果。

工业过程； 邻域保持嵌入； 数据回归算法； 流形学习； 软测量； 数据建模； 局部特征； 质量预测

0 引言

在复杂工业过程中，需要对工业流程中的被控变量尤其是质量参数进行及时采集和监控，但由于技术困难、环境条件限制和变量测量时间延迟等问题，部分过程变量很难实现直接在线测量。为了实现实时监控，可靠的传感器测量和数据收集至关重要。因此，开发了基于间接测量的软测量技术，并广泛应用于质量预测和变量估计中[1-8]。其中，基于数据驱动的软测量建模方法得到了较大规模的应用。该方法通过工业过程数据挖掘过程信息，利用机器学习、统计分析等方法建立输入变量和输出变量间的回归关系[6-8]。

本文基于邻域保持嵌入(neighborhood preserving embedding，NPE)算法，提出了新的基于数据驱动的回归模型。通过系统过程样本和质量样本间的局部相关关系，构建数据的软测量模型，实现某些原本难以测量的样本质量变量的在线测量。

1 邻域保持嵌入算法

NPE算法根据局部线性的思想，利用其邻域样本的数据样本点构造重构权系数；降维后，通过保持该权值实现对样本空间结构的保留。该重构权重表征了原始变量空间中隐藏的流形信息，反映了局部邻域的几何性质[9-10]。

给定n个训练数据点集X(x1,x2，…,xn)∈RD，首先使用K-近邻法(K-nearest neighbors,K-NN)确定每个样本点xi由近到远的近邻点。通过最小化重构误差，构造重构权系数矩阵，重构系数矩阵W通过最小化式(1)求得：

(1)

式中:Wij为重构权重系数，当xj不在xi的邻域时，Wij为零。NPE算法的目标是寻找一组投影向量A(a1,a2,…,ad)，使得降维后数据T与原始空间数据具有相似的局部结构。在NPE算法中，该投影目标转化为最小化的问题[10]：

(2)

式中：约束条件为TTT=aTXXTa=1。

NPE算法的最小化投影向量重构误差的目标最终转换为求解式(3)中的广义特征值的问题[10]。

XMXTa=λXXTa

(3)

由于XMXT和XXT都是半正定矩阵，故求解式(3)可获取原始数据的低维投影矩阵。

NPE算法本质上是降维算法，其目标是在降维的同时获得测量数据的每一个细节结构信息，使得高维数据空间中位置较近的点投影到低维空间后，位置关系依然较近。局部关系对于数据整体特征融合具有重要的作用，在有效挖掘相邻点之间局部特征几何结构的同时，通过邻域数据之间的重叠，获取非线性数据全局结构的变化关系。

但NPE是一种无监督的算法，在实现数据降维时不使用任何的先验标签信息。为了有效地利用数据全面的类别特征，展示输入数据和输出数据的映射特征和相关关系，本文利用数据的局部类别标签特征，改进现有的NPE算法，提出针对基于局部的数据回归(local based data regression,LDR)算法，通过建立可测量变量和预测变量的相关模型，实现对预测变量的估计。

2 基于数据局部特征的回归模型

2.1 基本算法

软测量建模方法是选取一组易测量且与预测变量密切相关的过程变量作为输入，以预测变量作为输出，建立数学模型，对输出进行估计[11-12]。本回归算法的建模目标是在保留数据局部关系的同时，最大化输入、输出数据的相关关系。

首先，收集正常工况的输入、输出数据组成建模训练样本集，对输入数据和输出数据实施NPE运算，实现数据降维并保留局部结构特征。

针对样本个数为n的D维的过程数据X，基于投影矩阵A(a1,a2，…,aD)∈RD×d和线性变换Ti=XiA，获取X的低维投影T(T1,T2，…，Tn)∈Rd(i=1,2,…,n,d≤D),其降维目标为：

(4)

式中：M=(I-W)T(I-W)，W为通过式(1)的计算方法获取的输入数据权重矩阵。式(4)的最优值通过式(3)求取。

假设输出数据矩阵为Yi∈Rm(i=1,2,…,m),m为样本维数。为了保留输出数据的局部相关关系，构建目标函数：

(5)

式中：M′=(I-W′)T(I-W′);Ui=YiP,P(P1,P2,…,Pm)为输出数据的投影向量。

上述NPE算法的实现无监督过程，且其低维空间投影在最大程度保留原始空间局部关系信息的同时，实现了数据降维。

数据的局部结构特征反映了非线性数据重要、真实的分布情况，基于该部分信息构建的数据相关关系，也将会更好地反映原始过程数据的相关关系。基于此，利用输入、输出数据的投影向量构建回归模型。T和U分别为原始测量数据和质量数据在低维方向的投影，因为投影数据中已经包含了X和Y的大部分信息，因此LDR的基本思想是分别利用它们代替原始输入、输出变量。基于线性回归方程U=TB+E，该回归关系通过求解式(6)获取目标函数：

(6)

式中:E为残差矩阵。回归的目的是要找到一个最佳的回归矩阵B，使式(6)的重构误差最小化。式(6)的最优值求解可以转化为其对B的偏导为0，则可以得到B的方程式为：

B=(TTT)-1TU

(7)

整合式(5)的目标函数，加入投影约束条件，式(6)的目标函数可以改进为：

min(‖U-TB‖2+UTM′U)
s.t.UTU=PTYTYP=1

(8)

将式(7)代入式(8)，则式(8)可以转换为：min(‖U-TB‖2+UTM′U)=‖U-T(TTT)-1×TU‖2+UTM′U=[(I-T(TTT)-1T)U]T× (I-T(TTT)-1T)U+UTM′U=UTTU+UTM′U

(9)

式中：L=[I-T(TTT)-1T]T[I-T(TTT)-1T]。

利用拉格朗日乘子法包含约束来求解以上优化问题，原问题转化为求解投影矩阵P(P1,P2,…,Pm)，建立如下的目标函数：

J(P)LDR=UT(T+M′)U+λ(UTU-1)=PTY(L+M)YP+λ(PTYTYP-1)

(10)

式(10)中，最优化问题的求解要求其对P的偏导为0，即：

(11)

等价于：

YT(L+M)YP=λYTYP

(12)

因此，式(10)的优化目标可以通过求解式(12)的特征值分解问题得到。

通过求解式(4)获取低维投影矩阵T，并求解式(12)中d个特征值λ1,λ2,…,λd(λ1≥λ2≥…≥λd)所对应的特征向量，构成数据投影矩阵P(P1,P2,…,Pm)。其中，d为降维维度。

基于式(4)中局部保持的优化目标，获取输入数据的投影矩阵及其低维投影。基于式(8)的双目标优化函数，在保留局部特征的同时使得输入、输出特征的相关性最大，以获取输出数据的转换矩阵及其低维投影。

2.2 算法分析

数据回归分析的目的是构建输入变量和输出变量之间的关系模型，因此，模型构建的数据变量非常重要。为了获取较高的回归精度，应用于预测输出的输入特征必须能够反映原始数据特征，并且与输出数据保持较强的相关性。基于LDR的回归方法旨在保留局部邻域结构特征，使得相邻的数据映射到低维空间后，能够保持该邻域的几何特征，以更好地获取高维的数据信息[13-14]。相较于流行的基于全局特征的回归技术，如主成分回归(principal component regression,PCR)，LDR可能会使得邻近的数据映射到遥远的距离，造成数据局部和全局的几何结构扭曲[15]，使模型构建不准确。针对测试数据，数据的投影也会偏离正确的数据模型的方向，最终影响预测结果。

在工业过程中，复杂系统通常由不同性能的器件组成，从相同的子系统中收集的过程变量更容易表现出数据的局部相似性。在这种情况下，复杂工业过程可以通过连接数据的局部结构来得到更好的表达。不同于传统的建模方法，流形学习基于局部特征的特征提取策略，可以使目标变量估计的精确度更高。

3 软测量建模

3.1 基于LDR的软测量建模

LDR模型实现的过程如下。收集正常操作条件下的输入变量X(x1,x2,…,xn)∈RD×n及其相应的输出变量Y(y1,y2,…,yn)∈Rm×n。针对训练数据，其输入数据的低维映射T和变换矩阵A基于式(4)获得。基于式(12)获取输出数据Y的低维投影U以及转移矩阵P。根据T和U之间的回归优化方程(7)，得到回归模型参数B。

对于给定的新数据xnew∈RD，其预测输出ynew=f(xnew)应根据训练数据模型和输入数据获取。首先，基于Tnew=xnewA，获得xnew的低维投影。接着，根据式(7)的B值及关系式unew=TnewB，得到unew。进一步利用unew=YiP，最小化公式J(P)=‖unew-YiP‖2，参考式(6)的优化目标求解，得到输出ynew和P的关系为ynew=(PPT)-1Pu。基于此，软测量预测输出ynew可描述为:

ynew=(PPT)-1Punew=(PPT)-1PTnewB= (PPT)-1PXnewAB

(13)

式(13)中，在建模阶段分别通过式(12)和式(7)获取矩阵P和B,并通过求解式(4)的目标函数获取A。

为了评估算法变量预测能力，使用了两种广泛使用的评价标准。第一种是均方根误差(root mean square error,RMSE)标准[16-17]：

(14)

另一种标准是软测量的预测输出值与实际输出的决定系数R2[18]：

(15)

3.2 参数设置

在LDR中，近邻数k和数据降维维度d应提前设定。针对该问题，学者提出了多种处理方法[15,19-24]。首先，邻域允许将整个数据分成若干个局部空间，若k很小，邻近的数据点不足以反映局部的数据属性，无法保证邻域数据的重叠。相反，k越大，则在邻域内包含的不相关的数据信息越多，违反局部线性假设。参照文献[23]，重建误差ε=∑i(xi-∑jWijxj)2最小时所对应的k值为最优。投影维度d应该符合数据结构维度值。参照文献[15]和文献[24]，d的值根据训练数据的特征值估计得出。

4 案例研究

通过脱丁烷塔的工业实例，评估本文提出的方法及其在软测量建模的预测性能。为了测试LDR的优越性，同时构造基于PCR和核主成分回归(kernel principal component regression,KPCR)的软测量模型，基于RMSE和R2准则进行性能比较研究。

脱丁烷塔被认为是脱硫石脑油分馏装置的重要组成部分。在脱丁烷塔试验中，丙烷和丁烷从汽流油中逐渐分馏[25-26]。充分分馏之后，脱丁烷塔的目的是最大限度地稳定塔顶汽油含量，同时尽量减少在脱丁烷塔底部的丁烷含量。

工业过程传感器为在线测量过程变量和监测产品质量提供了便利。在脱丁烷塔底部的丁烷，其浓度可以通过间接测量得到。根据文献[26]，以最高温度、顶压、回流、进程时间、第六塔板温度、底部温度和井底压力等7个相关变量作为软测量的输入变量，以丁烷浓度为输出变量。

在本试验中，首先采集1 200个过程样本作为模型训练数据。此外，为了测试3个软测量模型的预测性能，采集1 200个样本作为测试数据。

k值由1变化到20时，对应的重建误差值关系图如图1所示。

图1 近邻数与重建误差值关系图

在基于LDR、PCR和KPCR这三种方法的软测量模型中，近邻数k、降维维度d以及KPCR算法中使用的核参数需要提前确定。根据文献[23]，当重构误差最小时，其对应的近邻数k为其最优值。

图1中，从k=8开始，重构误差值逐渐趋近于0。为了减少算法的计算复杂度，本试验中k被设置为8。

降维维度d根据式(3)中NPE算法的特征值进行估计[15,27]。建立NPE特征值与降维维度的关系如图2所示。

图2 NPE特征值与降维维度关系图

图2中：在d≤4时特征值均较小，且其值变化较小；当d>4时，特征值开始显著增加，表明数据的本征维数是4。因此，数据维数d被设置为4。在KPCR模型中，选取高斯核函数k(x,y)=exp(-‖x-y‖2/σ)，取σ=5d[28]。

表1给出了三种软测量模型方法的预测结果，分别列出了其对应的RMSE和R2。

表1 预测结果比较

由对比结果可以明显看出，LDR的质量预测性能具有相当大的优势，其均方根误差值较低，同时相关系数较高，表明新提出的回归算法具有较高的预测精度，实际过程测量值和本文算法模型预测值之间的吻合程度较高。相比于该扩展模型，线性模型PCR具有较好的性能，这表明通过该扩展方法并不总能有效改进算法的非线性预测性能。这是因为该方法没有考虑到非线性数据的细节结构关系，无法探索复杂数据的内在相关性。

三种算法在脱丁烷塔工艺中的预测结果如图3所示。由图3可以看出，所有方法都能够捕获数据稳定状态的特征。但当处理操作从批次补料模式切换到分批补料模式，即过程数据模式发生改变时，数据的波动对预测值的影响较大，则预测误差越来越大。这种过渡过程一般很难被跟踪，但是，基于LDR模型的预测与实际输出的轨迹比较吻合，预测方法能够跟踪数据变化的轨迹，而其他两种方法预测值和实际测量有显著的偏移。

图3 三种算法在脱丁烷塔工艺中的预测结果

图3的比较结果表明，LDR 对数据变化比较敏感，可以很好地对非线性数据进行预测。无论是线性方法还是其内核扩展，基于局部的LDR方法能获得比PCR和KPCR等基于全局的方法更好的预测结果。可以推断出，通过数据之间的局部关系，基于LDR的方法可以从过程数据和回归模型中提取更多的内在信息，并获得更高的可靠性。

通过比较脱丁烷塔过程和发酵过程的结果可知，通过LDR获得的预测结果符合实际测量结果，可以预测非线性过程的质量变量。

5 结束语

本文将传统的NPE算法模型扩展到回归模型LDR，并将其应用于软测量建模。LDR方法在捕捉输入过程数据和输出过程数据局部特征的同时，根据数据局部特征间的非线性关系，构建输入特征变量与输出数据的回归关系。其目的是获得更为准确的非线性数据结构。

将本文所提出的回归方法应用到实际工业过程中。与传统的基于全局的软测量模型相比，LDR在捕捉非线性过程变化特征方面具有更强大的功能，其预测结果与真实值更加接近，具有较低的预测误差和较高的相关系数。通过该案例，验证了新提出算法在变量预测方面具有较高的可靠性和稳定性。

[1] GONZAGA J C B,MELEIROL A C,KIANG C ,et al.ANN based soft-sensor for real-time process monitoring and control of an industrial polymerization process[J].Computers & Chemical Engineering，2009,33(1)：43-49.

[2] DUFOUR P,BHARTIYA S,DHURJATI P S,et al.Neural network-based software sensor:Training set design and application to a continuous pulp digester [J].Control Engineering Practice,2005,13(2):135-143.

[3] ZHANG M,LIU X.A soft sensor based on adaptive fuzzy neural network and support vector regression for industrial melt index prediction [J].Chemometrics and Intelligent Laboratory Systems，2013(126):83-90.

[4] CHEN K,JI J,WANG H,et al.Adaptive local kernel-based learning for soft sensor modeling of nonlinear processes [J].Chemical Engineering Research and Design,2011,89(10):2117-2124.[5] 蔡宏斌,苏成利.PCA-LSSVM方法的控制系统性能评估[J].自动化仪表,2014,35(1):10-14.

[6] FUJIWARA K,KANO M,HASEBE S,et al.Soft-sensor development using correlation-based just-in-time modeling[J].American Institute of Chemical Engineer Journal，2009，55(7)：1754-1765.[7] ROGINA A,IKO I,MOHLER I.Soft sensor for continuous product quality estimation (in crude distillation unit)[J].Chemical Engineering Research and Design,2011,89(10):2070-2077.

[8] KADLEC P,GABRYS B,STRANDT S.Data-driven soft sensors in the process industry [J].Computers & Chemical Engineering,2009,33(4):795-814.

[9] ROWEIS S T,SAULK K.Nonlinear dimensionality reduction by locally linear embedding[J].Science，2000，290(22):2323-2326.[10]HE X,CAI D,YAN S,et al.Neighborhood preserving embedding[C]//Tenth IEEE International Conference on Computer Vision，2005：1208-1213.

[11]BROSILOW C，TONG M.Inferential control of processes：Part II.The structure and dynamics of inferential control systems[J].Aiche Journal，1978，24(3)：492-500.

[12]DONG D,MCAVOV T J,CHANG L J.Emission monitoring using multivariate soft sensors[C]//Proceedings of the 1995 American Control Conference,1995:458 - 460.

[13]MIAO A,GE Z,SONG Z,et al.Time neighborhood preserving embedding model and its application for fault detection[J].Industrial & Engineering Chemistry Research,2013,52(38):13717-13729.

[14]ZHANG M,GE Z,SONG Z,et al.Global-local structure analysis model and its application for fault detection and identification[J].Industrial & Engineering Chemistry Research,2011,50(11):6837-6848.

[15]SAUL L K,ROWEIS S T.Think globally,fit locally:unsupervised learning of low dimensional manifolds[J].The Journal of Machine Learning Research,2003,4(2):119-155.

[16]GE Z,SONG Z.A comparative study of just-in-time-learning based methods for online soft sensor modeling[J].Chemometrics and Intelligent Laboratory Systems,2010,104(2):306-317.

[17]XIE L,ZENG J,GAO C.Novel just-in-time learning-based soft sensor utilizing non-Gaussian information [J].IEEE Transactions on Control Systems Technology,2014,22(1):360-368.

[18]WANG G,OU Z,LIU D,et al.Face recognition using neighborhood preserving discriminant embedding[J].Journal of Dalian University of Technology,2008,48(3):14-15.

[19]ZHANG Z,WANG J,ZHA H.Adaptive manifold learning [J].IEEE Transactions on Pattern Analysis and Machine Intelligence,2012,34(2):253-265.

[20]SHAO C,WAN C.Selection of the neighborhood size for manifold learning based on Bayesian information criterion[J].Journal of Computational Information Systems,2012,8(7):3043-3050.

[21]FARAHMAND A M,SZEPESVARI C,AUDIBERT J Y.Manifold-adaptive dimension estimation[C]//Proceedings of the 24th International Conference on Machine Learning,2007:265-272.

[22]LIOU J W,LIOU C Y.Neighborhood selection and eigenvalues for embedding data complex in low dimension [M].Heidelberg:Springer Berlin Heidelberg,2012:413-422.

[23]KOUROPTEVA O,OKUN O,PIETIKAINEN M.Selection of the optimal parameter value for the locally linear embedding algorithm[J].Scandinavian Conference on Image Analysis,2002,3540(10):359-363.

[24]SHAO J,RONG G.Nonlinear process monitoring based on maximum variance unfolding projections[J].Expert Systems with Applications，2009，36(8)：11332-11340.

[25]FORTUNA L,GRAZIANI S,XIBILIA M G.Soft sensors for product quality monitoring in debutanizer distillation columns[J].Control Engineering Practice,2005,13(4):499-508.

[26]YUAN X,GE Z,SONG Z.Locally weighted kernel principal component regression model for soft sensing of nonlinear time-variant processes [J].Industrial & Engineering Chemistry Research，2014，53(35)：13736-13749.

[27]POLITO M,PERONA P.Grouping and dimensionality reduction by locally linear embedding[J].Advances in Neural Information Processing Systems，2001，14：1255-1262.

[28]CHOI S W,LEE C,LEE J M,et al.Fault detection and identification of nonlinear processes based on kernel PCA[J].Chemometrics and Intelligent Laboratory Systems,2005,75(1):55-67.

Data Regression and Soft Sensing Modeling Based on Local Feature Relation

ZHANG Qin1,MIAO Aimin2,LI Peng2

(1．Lijiang Power Supply Bureau,Yunnan Power Grid Co.,Ltd.,Lijiang 674100,China;2.School of Information,Yunnan University,Kunming 650504,China)

To solve the problem of data nonlinearity in complex industrial processes,the method of constructing regression model and soft sensing modelling based on local feature of data are researched.Based on the concept of neighbourhood preserving embedding (NPE) algorithm,the multi-object regression optimization function is established by using the local relational feature,and the local based data regression(LDR) algorithm is proposed.Based on the local relation and neighbourhood feature of data,the method makes the input data and output data keep the local features and obtains the maximum correlational relation of data.Through data low-dimensional latent variables,the regression relation of data nature is obtained,and the soft sensing prediction model is established.The model is applied in industrial case for predicting the quality of product and some of the critical variables that are difficult to measure on the production line.The research on the case of debutanizer column proves the effectiveness of the method proposed for variable prediction.Comparing with the soft sensing model based on global feature,the result shows that LDR can achieve significant improvement on prediction accuracy and getting data correlation for the nonlinear processes.

Industrial process; Neighbourhood preserving embedding; Data regression algorithm; Manifold learning; Soft sensing; Data modelling； Local feature； Quality prediction

国家自然科学基金资助项目(61540070)、云南省教育厅科学研究基金资助项目(2015Y019)、云南省科技计划应用基础研究基金资助项目(2014FB112)

张勤(1983—)，男，学士，工程师，主要从事电力系统在线过程监控、软测量建模方向的研究。E-mail：NoliheadYY@163.com。 苗爱敏(通信作者)，女，博士，副教授，主要从事输电系统安全诊断与预警、输电电缆故障检测、软测量建模、数据挖掘与人工智能等方向的研究。E-mail:miaoaimin@ynu.edu.cn。

TH165;TP277

A

10.16086/j.cnki.issn1000-0380.201706002

修改稿收到日期:2017-02-05