LSTM-RNN在连铸下渣预测系统中的应用

李福进，刘尚瑜，史 涛

（华北理工大学电气工程学院，河北 唐山 063210）

1 引言

连铸是钢铁工业生产过程中的重要环节，其中钢包下渣检测是连铸生产的重要技术之一。它对保证钢水纯净度，防止过量下渣、提高钢水收得率等至关重要。但由于钢包下渣过程中环境及操作流程等因素的影响，导致钢包下渣的突变信号在整个频率段上很难分辨[1]。本研究将为设计和构造连铸钢包下渣智能预测系统提供新的思路和方法。

2 连铸下渣智能预测系统的建立

2.1 连铸下渣智能预测系统的实现原理

现有的主要下渣检测技术为电磁检测和振动检测，它们都需要对钢包浇注系统结构进行改造，或额外添加检测设备才能进行下渣检测[2-3]。而随着神经网络的发展，智能控制技术为解决连铸钢包下渣预测系统提供了一种有效途径。2010年，曾提出利用RBF神经网络模型控制钢包精炼炉的研究[4]。2011年，文献[5]提出过利用BP神经网络具有的并行信息处理以及自学习能力对钢包下渣进行预测的方法。但在较长的时间周期下，BP神经网络模型的预测效果并不理想。考虑到钢包下渣过程是一个动态的时间序列，提出一种具有自主学习和时间序列记忆效应的LSTM网络进行改进。

由钢水的作用力引起保护浇注承支结构振动，分析钢流作用力的变化与钢包中钢水重量变化、长水口的阀门开度、铸坯截面的面积以及拉速与振动数学模型的关系[6]。将采集的信号传至上位机，通过LSTM智能预测系统对下渣时刻进行预测。

2.2 LSTM神经网络模型

LSTM（长短时记忆神经网络）是由文献[7]提出的，递归神经网络RNN变体的一种。自2014年以来，LSTM已经成为深度学习框架中非常热点的研究模型，得到大量的关注和研究[8]。在标准的RNN中一般只有一个非常简单的节点，LSTM继承了RNN模型大部分特性的同时，解决了梯度反传过程由于逐步缩减而产生的梯度消失问题。具体到实际应用中，LSTM十分适合用于处理与时间序列高度相关的问题[9-11]。

图中框内代表一个具有窥视孔连接的LSTM隐藏层单元，如图1所示。图中输入门、遗忘门和输出门3个控制门的输出分别连接到一个乘法元件上，从而控制信息流的输入、输出以及细胞单元的状态。xt为一个输入节点，可对应一个特征参数，特征参数由连铸的中控设备采集到的浇注流数、大包重量以及中间包重量等信号，经由数据预处理提取得出。ht为一个输出节点，可对应一个输出状态，输出状态显示当前钢渣含量，可分为无渣和混渣两种。

图1 具有窥视孔连接的LSTM单元Fig.1 LSTM Unit with Peephole Connection

存储单元的运行原理用以下公式表示：

式中：Ct—t时刻记忆细胞的计算方法；ht—t时间点LSTM单元的所有输出；W—系数组成的矩阵，包含输入和循环连接的权重；b—偏置向量。式（1）～式（3）分别为三个门控信号，式（4）为输入模块，式（5）为存储器单元，式（6）为隐藏单元的激活公式。

2.3 算法描述

由于数据中存在异常值会影响建模精度，为降低异常值影响，提出一种局部加权回归和LSTM结合的算法，该算法为异常值分配的权值很低。使用的算法如下：

算法1：提出的方法

参数初始化：反馈延迟δfd，隐藏层单元δh，学习率ɑ，学习率下降周期δdp，训练函数δtf，，隐藏层中的神经元δhn，训练百分比δtr，验证百分比δvd，框架结构参数Sp

输出：参数确定的模型

2.4 评价指标

将训练数据与验证步骤中的实际值进行比较，这里使用平均绝对误差（MAE）、均方根误差（RMSE）和相关系数值（R值）作为比较预测效果的三个评价指标。其中R值代表实际值和预测值之间的相关性，范围介于（0～1）之间。R值越大，预测效果越好。指标的计算公式，如式（7）～式（9）所示。

式中：x—实际值；y—预测值；—x的平均值；—y的平均值；n—样本数量。

3 实验分析

实验的主要流程，如图2所示。通过对某钢厂实际采集的数据进行分析，采用一种结合LOWESS的LSTM模型进行下渣预测训练。实验主要由三个部分组成，即数据特征提取、模型参数设置、数据训练以及测试对比验证。

图2 钢包下渣预测训练流程Fig.2 Ladle Slag Prediction Training Process

3.1 数据采集及特征提取

数据采集使用DAM-3000分布式模块对某钢厂的实际钢包连铸过程进行连续的信号采集。采集的信号包括大包重量、中间包重量、拉速、温度等。使用所采集到的连续一周的信号数据，进行训练测试。由于实际浇注过程中会产生的信号波动，选取出具有代表性特征的样本。将数据分为两个部分，200个时间点的数据作为一个训练样本，延后时间的200个数据用于验证。在训练模型之前为避免因原始数据中包含的异常波动对结果造成影响，使用Robust-LOWESS对原始数据进行过滤处理。再将处理后的特征变量输入ARIMA、RNN、LSTM-RNN三个深度学习模型中以进行训练。

3.2 参数设置

钢包下渣预测的基本模型使用ARIMA（p，d，q）模型，将其中的预测模型的时序数据滞后数p设置为1，d差分的阶数d设为2，q移动平均模型的阶数q设为1。RNN模型选择非线性自回归模型（NAR）。目前并没有可以得到最优模型的具体公式和方法，因此需要遵循经验调整模型参数。在NAR框架中，测试了所给出的参数调整，如表1所示。

表1 用于开发RNN预测模型的参数Tab.1 Parameters to Develop RNN Prediction Model

使用同样的一组参数调整方案来构建LSTM模型，如表2所示。其中，求解器选择Adam Optimizer和SGDM，两者的准确度很大程度上取决于数据集的规模，最优选择标准只能由给定的数据集而确定。

表2 用于开发LSTM预测模型的参数Tab.2 Parameters to Develop LSTM Prediction Model

将每种调参方案的结果与实际值进行比较，在式（7）～式（9）中定义的指标下进行评估。对每个模型的各种参数值进行多次测试，确定出RNN模型的参数最优值为反馈延迟3，隐藏层2，神经元数量18，训练函数使用贝叶斯正则化。LSTM-RNN模型的参数最优值为隐藏层单元250，初始学习率0.0032，学习率下降周期为25，求解函数为SGDM。这些参数使模型的MAE、RMSE值达到最小，R值达到最大。

3.3 实验结果和讨论

大包和中间包的平均重量速率变化的原始时间序列图，如图3所示。使用Robust-LOWESS对数据进行过滤后，得到平滑的时间序列曲线，如图4所示。所有模型均选用200个时间点的数据进行训练，而延后的30个步长的数据则用于验证。经过数据预处理后的LSTM-RNN模型的回归图以及R值，如图5所示。其中虚线代表最佳拟合，实线代表预测值与实际值间的实际拟合。通过3种模型的评价指标对比，如表3所示。结果显示LSTM模型在钢包下渣预测方面有显著改善。MAE和RMSE值表明使用预处理数据开发的LSTM-RNN模型的误差最小。基于预处理数据开发的LSTM-RNN模型的MAE值为0.049，与现有的基准模型相比显示出3.2%的改善。同样，RMSE显示出约6%的改善。六个模型的结果也在R值方面进行比较：R值越高，实际值和预测值之间的相关性越高。基于预处理数据的LSTM-RNN模型具有0.97的最高R值。这表明实际值和预测值之间存在很强的相关性，预测的准确度很高。

图3 原始重量变化率Fig.3 Original Weight Change Rate

图4 应用平滑功能后的重量变化率Fig.4 Weight Change Rate After Applying Smoothing Function

图5 预测模型的回归图及R值Fig.5 Predictive Model Regression Graph and R Value

表3 预测模型的指标比较Tab.3 Comparison of Indicators for Predictive Models

4 结论

在这一项目实验中，采用了局部加权回归作为平滑函数，结合LSTM模型的方法来预测钢包下渣，实验证明在做预测训练之前对原始数据进行平滑处理有助于提高准确度。实验使用MATLAB作为仿真工具，使用RMSE、MAE和相关系数R值作为评价指标。研究结果表明，与现有的预测方法相比，精确度有了显著提高，为下渣预测的研究提供了新的思路，也为深度学习在工业上的应用提供了参考价值。