基于DAE的加热炉温度软测量预处理方法

崔岚?郑怀宇

摘 要：在轧钢生产环节中，加热炉温度测量尤为重要，它决定最终钢材性能和质量，并且温度控制的实时性直接影响到整个系统的安全性能、单位产量、系统能耗量等关键问题。以钢坯出口温度的软测量技术为研究背景，采用软测量技术对现场生产数据和环境进行分析，形成了一种有效的数据预处理方法。

关键词：加热炉；软测量；预处理；DAE；神经网络

PRETREATMENT METHOD OF SOFT SENSOR FOR HEATING FURNACE TEMPERATURE BASED ON DAE

Cui Lan Zheng Huaiyu

（Benxi Iron and Steel （Group） Co.，Ltd. Benxi 117000， China）

Abstract：In the process of steel rolling production， the temperature measurement of heating furnace is very important. It determines the final steel performance and quality， and real-time temperature control affects the security of the whole system， unit output， system energy consumption and other key issues. Based on the research of soft-sensing technology of billet outlet temperature， this paper uses soft-sensing technology to analyze the field production data and environment， and forms an effective data preprocessing method.

Key words： heating furnace；soft sensing；pretreatment； DAE；neural network

1 软测量技术

软测量技术的基本思想就是函数拟合。选择一组与待测变量密切相关、且容易测量的辅助变量，通过神经网络或SVM（Support Vector Machine）等方法建立模型，并最终实现对待测变量的预测。软测量模型的结构图如图1所示。

其中，y是待测变量，y*是预测过程中随机采集的样本数据，一般样本数据采样间隔比较大。 d1和d2分别是不可测扰动和可测扰动，u是控制输入， x为辅助变量数据集。影响软测量效果的因素主要有：辅助变量，数据预处理，软测量模型的建立，软测量模型的在线校正。软测量模型的建立是核心，但数据预处理对模型的训练影响很大。

2 数据的归一化处理

辅助变量的选择是影响预测质量的关键，且变量必须满足获取方便、与被测变量存在一定变化关系等关键条件[1，2]。通过对加热炉生产过程工艺的分析，选择了14个与钢坯出口温度相关的辅助变量，包括：8个温度测量点、3个燃气流量测量点、3个空气流量测量点。14个变量的描述如表1所示。

由于上述各辅助变量之间存在量纲和数量级等因素的差异，而神经网络的激活函数一般只对-1到1之间的数据敏感。本文归一化处理的方式是将所有变量归一化到（0，1）之间，以方便神经网络的数据处理。归一化是一种简化计算的方式，即将有量纲的表达式经过变换，简化为无量纲的表达式，并最终成为标量。公式（1）为本文选择并使用的一种线性归一化方法：

（ymax-ymin）×（x-xmin）

y= ——————————                            （1）

（xmax-xmin）+ymin

其中，x是归一化之前的数据，y是归一化之后的数据。xmin、xmax分别对应处理前数据的最大值和最小值，而ymin、ymax则分别对应处理后数据的最大值和最小值，换言之两者间接表示我们希望处理后得到的数据范围。一般来讲，我们设置ymin=0，ymax=1。

3 基于DAE的软测量预处理

由于现场环境十分恶劣，同时各辅助变量的传感器受环境影响或者长时间工作而老化、损坏等问题的存在，导致测量数据并不准确，从而影响模型的预测效果。这些问题均可以理解为辅助变量中存在噪声，使用降噪自编码机（Denosing Autoencoder，DAE）对辅助变量做进一步的预处理，可以起到数据降维的作用，并有效地增强模型的稳定性，提高数据的利用率。

DAE是在鲁棒性得到改进的AE（Autoencoder），在逼近多变量非线性和复杂函数方面具有良好的性能。DAE可以学会消除噪声，并可以在输入数据增加一些噪声后恢复原始输入数据。DAE根据虚拟的标准添加噪声，预期一个好的特征来表示将捕捉的稳定结构，以依赖性和规律性的形式呈现其观察到的输入分布特征，其结构如图2所示[3-6]。当输入数据存在高维度冗余，DAE通过腐败过程迫使每个输入的比例元素随机置零来实现降维，而被置零的数据可以看成是传感器失效导致数据无法测得结果。

DAE由输入数据x、腐化数据x%、中间特征表示y和重构数据z组成。DAE的结构可以概括为编码器fθ和解码器gθ' 。DAE学习从输入到表示的编码器函数和从表示到输入的解码器函数。

DAE是一个典型的无监督学习模型，具有d维输入x∈[0，1]和 维特征表示y∈[0，1]。输入通过确定性映射编码函数映射到隐藏表示：

y=fθ（x%）=S（Wx%+b）                             （2）

其中，S是sigmoid函数，W是一个d'×d的权值矩阵，b是一个偏置向量。

然后将y映射回输入空间，z∈[0，1]d是x的重建向量，其解码函数如下：

z=gθ（y）=s（W'y+b'）                                 （3）

其中，W'是一个d'×d的权值矩阵，b'是对应的偏置向量，W'可以理解为矩阵W的转置矩阵，即：

W'=WT                                                              （4）

在训练过程中，每个输入样本x（i）被映射到一个中间表示y（i），然后映射到一个重构的z（i） 。如果x是连续值向量，则重建的损失函数可以是传统的平方误差。

L（x，z）=||x-z||2                                               （5）

参数的优化是通过最小化平均重建误差实现的，具体公式如下：

1

θ*，θ'*= arg min—ΣL（x（i），z（1））=

n

1

arg min—ΣL（x（i），gθ（fθ（x%（i））））

n

（6）

全部14个辅助变量作为DAE的输入数据x，去噪之后得到一组新的输入数据y。数据的腐化是随机将部分输入数据置零（删除），而重构函数L（x，z）保证了去噪之后的辅助变量y仍然保持原始数据的相关性，能够满足建立软测量模型的要求，从而保证了预测模型的准确性。基于DAE的软测量预处理方法既考虑到了时间成本问题，对训练样本进行了降维，减少了运算负荷，也提高了辅助变量选择时候得容错率，其中软测量模型的在线校正保证了后期运行的可靠性。

4 DAE的工程应用

实际生产中，选择的辅助变量都是可以通过廉价快捷的方式迅速采集到的，并且这些数据都与主导变量之间存在紧密的关系。一般来讲，我们可以采集到大量的辅助变量，但是使用传统的，如BP神经网络等监督式模型，往往无法充分利用这些辅助变量。针对这一思想，本文提出了DAE-LSTM框架。

LSTM算法全称为Long short-term memory，最早是由 Sepp Hochreiter和Jürgen Schmidhuber于1997年提出，是一种特定形式的循环神经网络。由于DAE的输入和输出是相等的，因此利用这一特性可以建立一个三层堆叠式框架，实现无监督训练。堆叠DAE网络模型在无监督训练阶段得到的网络参数将作为LSTM神经网络的参数。该神经网络框架的主要思想是利用DAE的无监督模式自主的挖掘辅助变量之间存在的关系，然后将参数输入到LSTM神经网络内部，利用LSTM神经网络和标签数据对整个网络框架进行微调，最终得到完整的预测模型。其中，DAE的堆叠无监督训练模型如图3所示。

从上图可以看出，输入和重建结果在理论上是相等的。针对这一特性，该模型可以实现无监督训练，其中训练完成的参数W1、W2、W3将以转置的形式转换到LSTM神经网络（图中 表示隐含层）。

该软测量模型的整体框架结构如图4所示。图中，Xu表示无标签数据，（XL，Y）表示有标签数据，Y表示钢坯出口温度。在预训练阶段，（XL，XL）将同时输入到堆叠DAE框架中作为与训练数据。当网络训练完成，三层网络的参数 W1、W2、W3将以转置的形式转换到LSTM神经网络，在LSTM神经网络上利用带标签数据 进行微调。

5 试验分析

本文将基于DAE-LSTM神经网络的软测量模型与未使用DAE算法进行预处理的LSTM神经网络软测量模型的预测结果进行对比。通过对比两种方法，预测钢坯出口温度结果的均方根误差（RMSE）、误差平方和（SSE）、最大正误差（MPE）以及最大负误差（MNE），对比指标公式如下表所示。为了验证本文提出的基于去噪自编码机的LSTM神经网络软测量模型的先进性，本文选择了两组数据进行验证，其中一组数据用于训练，另一组数据用于测试。

首先，使用这两组数据集在原始LSTM神经网络建立的软测量模型上进行测试。具体细节如表2所示。

从以下两张图中可以看出，图5是在训练数据集上对钢坯出口温度进行预测得到的仿真图，图6是其对应的误差曲线。从图5上的曲线可以看出，由于标签数据的存在，导致训练数据可以按照标签数据的指引拟合出原始数据曲线的形状，但是这是一种过拟合的表现，这一现象从图6后端曲线可以很明显的看出来。

由于过拟合现象的存在，导致系统可以很好的拟合训练数据的标签数据。由于过分的拟合导致所建立的预测模型丧失了泛化能力，其主要表现是所建立的模型无法适应训练数据以外的数据。从图7和图8可以看出，预测模型完全无法得到与测试数据相吻合的轨迹，即使其基本的走势都无法拟合。从图8还可以看出，使用原始LSTM神经网络建立的软测量模型无法在测试数据集上起到效果，其预测得到的温度数据完全是杂乱无章的。而出现这种现象的主要原因是在采集数据的时候存在一些噪声干扰以及过拟合。

表3是使用原始LSTM神经网络建立的软测量模型在训练数据集和测试数据集上的结果对比。很明显在测试数据集上，由于过拟合和噪声的存在，导致最大正误差和最大负误差都非常大，这些误差的存在使系统无法满足实际工程的需求。

图9和图10是使用基于去噪自编码机的DAE-LSTM神经网络建立的软测量模型在训练数据集上的结果。从图9可以看出，DAE-LSTM神经网络模型并没有严格按照标签数据的走势进行拟合，仅仅是针对其特别突出的特征点进行拟合。由于DAE算法自行引入了噪声，使得算法拥有一定的鲁棒性，同时不会产生过拟合现象。更重要的一点是：由于DAE存在天然的降维特性，使得算法在运行时间效率上又得到了有效的提高。从表3和表4可以看出，模型训练的时间和预测数据的时间都明显降低，这是因为在训练数据和测试数据的时候，DAE算法将部分数据腐化置零，所以DAE算法直接起到了降维的效果。

从图11和图12可以看出，由于引入了DAE算法，使得所训练出来的模型鲁棒性很强，同时没有出现过拟合现象。从图11可以看出，DAE-LSTM模型可以拟合原始标签数据中比较突出的特征点以及部分关键特征点，而且忽略了标签数据中的微小特征点，使得模型不至于出现过拟合，从而使模型具有很强的泛化能力。从图12可以看出，在测试数据集上预测结果的误差范围在-10到10之间，这种精度完全满足实际的工程需求，而且模型的运行速度也得到了明显的提升。

为验证DAE-LSTM较LSTM的优越性，分别将两种算法的程序嵌入加热炉PLC控制系统，并最终通过WinCC显示加热炉钢坯出口的预测温度，实际温度的预测结果基本与仿真一致。

6 总 结

为了说明改进的LSTM网络模型（DAE-LSTM）的优势，为了保证比较强的说服力，本文选择了两组数据，一组作为测试数据集，另一组作为训练数据集。本文将LSTM神经网络模型和DAE-LSTM神经网络模型分别在相同的训练数据集上进行训练，同时在相同的测试数据集上进行测试，仿真结果和实际工程应用表明本文所提出的方法是有效的。此外，DAE-LSTM神经网络模型所需要的系统时间也远远小于LSTM神经网络模型。从而证明了该模型的可用性、及时性、准确性。

参考文献

[1] 柳小桐. BP神经网络输入层数据归一化研究[J]. 机械工程与自动化， 2010（3）：122-123.

[2] 吴云鼎， 解保生， 丁仲鹃. 实时定量PCR的数据归一化方法[J]. 昆明医科大学学报， 2013， 34（3）：160-164.

[3] 袁静， 章毓晋. 融合梯度差信息的稀疏去噪自编码网络在异常行为检测中的应用[J]. 自动化学报， 2017， 43（4）：604-610.

[4] 孙文珺， 邵思羽， 严如强. 基于稀疏自动编码深度神经网络的感应电动机故障诊断[J]. 机械工程学报， 2016， 52（9）：65-71.

[5] Su L， Shi J， Zhang P， et al. Detecting multiple changes from multi-temporal images by using stacked denosing autoencoder based change vector analysis[C]. International Joint Conference on Neural Networks. IEEE， 2016：1269-1276.

[6] Geras K J， Sutton C. Scheduled denoising autoencoders[J]. Eprint Arxiv， 2014.