层级时序记忆算法的连铸下渣预报方法研究

史 涛，陈 炫，任红格

（华北理工大学电气工程学院，河北 唐山 063210）

1 引言

为了提高铸坯质量，增加连铸生产的成批次数，必须避免炉渣进入中间包。近年来，很多学者对钢包下渣检测方法做了大量研究，文献[1]提出了采用小波分析理论对传感器采集的振动信号进行特征提取，并结合人工神经网络的方法对下渣振动信号进行分析处理，实现对钢水状态的自动检测。但是由于浇注周围环境恶劣，振动信号易受环境因素影响，使得检测精度和工作稳定性降低。文献[2]设计了一种基于视频图像的连铸大包下渣检测系统，实现对连铸大包下渣过程的实时在线监控。文献[3]设计了基于红外测温原理的下渣检测系统，控制钢包中钢渣的含量，较好的满足了钢水炉外精炼的要求。尽管上述方法在实际生产中得到了成功的应用，但传统电磁检测系统寿命短、系统改造和维护费用较高使其推广受到很大限制，振动检测易受周围环境影响，识别精度和稳定性不高，而红外线检测存在时间滞后缺陷，在大量钢渣下落后才能检测出钢渣，导致部分钢渣进入中间包。目前，连铸下渣检测通常采用计算机控制，对传感器采集到的物理信号进行预处理，并通过相应的算法识别出钢液浇注状态。主要对传感器采集的时序数据进行预处理，并进行在线时间序列预测，挖掘出序列变化特征[4-6]。

针对传统下渣检测精度，解决时间滞后等问题，提出基于HTM算法的连铸下渣预报方法。使连铸机在不改造结构的条件下，对现有的连铸生产参数进行在线无监督学习，对输入序列进行预测和残差分析，实现下渣预报。

2 基于HTM连铸下渣预报

2.1 HTM网络原理

层级时序记忆（Hierarchical Temporal Memory，HTM）是一种以模拟新大脑皮层的结构与算法特性为目标的机器学习技术。用逼真的神经元模型连续在线无监督学习时间序列［7］，可以快速适应数据中不断变化的时序数据，并且已被证明可以很好地用于许多实际问题，包括离散和连续序列预测，异常检测，以及序列识别和分类［8-9］。

HTM算法流程，如图1所示。空间池化（Space Pooling，SP）将输入（底部）以连续在线方式将输入转换成稀疏分布表征（Sparse Distributed Representation，SDR）［10］。SP是由N个SP列组成，每个列包含M个神经元。每个SP列是由输入空间子集的突触连接（灰色正方形，潜在连接）形成。HTM时间记忆进程（temporal memory，TM）负责序列学习和预测，通过前一时刻活跃神经元之间形成的连接以及远端突触的连通值，在SDR基础上转换成一种新的SDR，从而对下一时刻输入序列进行预测。突触连通性根据Hebbian规则进行调整：对于每个SP列，活跃输入（黑色线）将得到加强，而非活跃输入（虚线）将受到惩罚。

图1 HTM模型示意图Fig.1 HTM Model Diagram

2.2 HTM算法

HTM-SP是对神经元近端树突段进行建模，SP输出表示响应前馈输入的激活的微型列。SP中第i列的潜在输入连接集初始化为：

式中：xj—第j个输入神经元的位置—输入空间超立方体中第i列潜在神经元位置中心；γ—空间超立方体的边长；p—输入空间超立方体中潜在连接的输入比例；Zij—（0～1）之间的均匀分布随机数；Ι—指示函数。

为了创建与输入模式的关联，使用一种称为重叠的匹配算法计算每个生成空间的前馈输入，计算重叠量为：

式中：bi—每个SP列正向促进因子；zj—二进制变量，表示第j个输入神经元的激活状态；wij—第j个输入到第i列神经元的连接突触，当突触连通值大于连通阈值时wij值为1，反之为0。

相邻的SP列通过局部抑制机制相互抑制。我们将SP第i列的邻域定义为：

式中：‖yi-yj‖—SP第i列和第j列之间的欧氏距离；ϕ—抑制半径控制参数。

每个SP列的活跃状态计算如下：

式中：s—目标激活密度（稀疏性）；Z—百分位函数；θstim—近端树突激活阈值。

前馈树突连通值学习规则计算公式如下：

式中：p+—连通值增强因子；p-—连通值惩罚因子；Lt-1—t-1时刻SP列的激活状态；◦—矩阵点乘。

HTM-TM是对神经元远端树突段进行建模，根据远端突触的层内横向连接激活不同细胞来学习SDR的转换，并对输入进行预测。该神经元预测状态计算公式为：

式中：At—网络在t时刻处于激活状态的神经元；Wij—第j个细胞柱的第i个细胞突触的连接状态，当突触连通值超过阈值时，该突触就是连通的，赋予其权值1，反之权值为0；θ—树突分支被激活的阈值。

处于预测状态的神经元，与其他接受相同前馈输入的神经元相比，具有更快的激活速度。每个神经元的活跃状态计算如下：

远端树突连通值学习规则与近端类似使用Hebbian的规则学习的。如果细胞去极化后变得活跃，会加强引起去极化的树突分支连通性。若活跃列中没有神经元处于预测状态，选择活跃度最高的树突分支进行强化。

2.3 HTM预测残差

在钢包的浇注过程中，没有钢渣出现时，连铸生产参数在其相邻周期内满足其物理意义上的相关性。一旦出现下渣，时序数据在其相邻时间的相关性将被破坏，预测残差变化趋势发生改变。通过分析残差变化，可以预报出下渣概率。

HTM算法以SDR形式对序列进行预测，预测值为二阶矩阵Pt，实际值的SDR矩阵为At，Pt-1表示对At的预测，预测残差可以表示为：

其中，At与预测完全匹配，则Rt为0；反之，残差Rt将为1。

预测残差代表了对当前输入流可预测性的瞬时度量，由于数据中存在异常波动，直接对预测残差进行判断会导致许多误报，通过识别短期平均残差会提高下渣预报的准确率。短期平均残差为：

式中：U′—短期滑动窗口。

2.4 下渣概率评估

将残差值的分布作为一个间接度量，来评估当前状态下渣的可能性，根据HTM模型预测历史来定义当前状态下渣概率。该分布建模为滚动正态分布，设定一个宽度为U的滑动窗口，其中样本均值μt和方差从预先确定的残差值不断更新如下：

并应用正态分布的分布函数评估当前时刻的下渣概率。将下渣概率定义为：

设定一个阈值δ，当下渣概率到达一定阈值时，发出下渣报警信息。

2.5 算法实现

（1）使用HTM模型预报连铸下渣的算法流程如下：

（2）初始化网络参数和潜在的突触连接值；

（3）将输入数据以二进制形式输入SP进行SDR编码得到观测值的SDR矩阵At；

（4）通过HTM-TM对At进行预测得出预测SDR矩阵Pt；

（5）计算序列预测残差Rt；

由定理1可知，当给定interval 和τ时，持续增大变换空间并不能一直降低入侵成功概率.因此，在单脆弱性变换情况下，为了获得最佳动态防御效果，同时降低防御成本和部署复杂度，NDD的最优变换空间大小应设置为

（6）根据残差值分布特性计算下渣概率Et；

（7）判断Et是否满足下渣报警阈值；

（8）滑动窗口向前移动，跳转至步骤3进行下一个观测值预测。

（9）重复执行2步～8步直到时间结束。

3 实验分析

实验平台为主频2.30GHz、内存8GB的Windows10下的tensorflow2.0、接口为python 3.7.0的开发环境。

3.1 实验数据与参数设定

实验数据采用人造数据和真实数据。人造序：

真实数据选取某钢场1号连铸机在正常浇注状态下的监测数据，选取大包重量变化率Vd（t/s）、中间包重量变化率Vz（t/s）作为输入变量。共采集了45炉数据，由于下渣情况发生在浇注末期，我们分别取停止浇注前20min的数据作为实验数据，其时间序列长度为54416，采样周期为1s。HTM网络模型参数设定，如表1所示。

表1 HTM模型参数Tab.1 HTM Model Parameters

3.2 仿真过程分析

图2 HTM与LSTM预测残差对比Fig.2 Comparison of Predictive Residues Between HTM and LSTM

顶端为样本序列Si的值，中间为HTM算法在600个步长下预测残差变化，最下面的图表示LSTM算法对序列迭代50次后的预测残差。从图中可以看出，序列变化前LSTM模型的残差低于HTM模型。HTM开始时未学习到数据变化模式，准确性较差，随着对序列的学习，残差开始降低。序列在波动频率发生变化后，HTM残差升高到峰值后开始降低，而LSTM的残差升高后，在一定范围内波动。由此可以确定，对波动较大的数据集进行实时预测时，能够快速适应新模式，HTM具有较好的预测实时性。基于HTM算法对两个真实序列Vd和Vz进行测试，实验中预设U=600，U′=20，δ=0.5。选取一段渣前后10分钟的残差变化过程进行分析结果，如图3所示。

图3 连铸下渣预报Fig.3 Slag Prediction in Continuous Casting

Vd的残差分析，可以看到的Et在时间8：40超出阈值（阴影部分），下渣的概率达到最大，如图3（a）所示。可以看到Vz的Et在4：43和8：46两次超出阈值并且满足下渣报警条件，如图3（b）所示。。为了避免误报需要结合Vd的预报的下渣概率，当Vd和Vd的预测残差都满足报警条件时进行下渣报警。

3.3 下渣预报结果分析

通过HTM预测模型，可以得出较好的预测结果，实现对连铸下渣的预报。为验证算法的效果，对选取的45炉真实数据作为测试样本对网络模型进行了测试，测试结果，如表2所示。

表2 HTM模型的预报结果对比Tab.2 Comparison of Forecast Results of HTM Model

由表2看出，通过调整在短期滑动窗口U′，可以改变预报模型对下渣预报的敏感性，U′=20时，模型的预报率都达到了100%，没有出现漏报现象。对单一变量Vd、Vz的预报结果分析，报出率均可达到100%，但都有误报现象发生，两个变量相结合进行分析的结果只有1次误报警，对下渣特征的预报准确度有了较大提高。

利用连铸机预报的现有数据，对大包重量变化率和中间包重量变化率进行同时预测，仅采用单一变量预测可能会丢失数据之间潜在的相关性，并且可能因为单个变量异常或者一些噪声数据影响识别精度。与实际监测到下渣时间相比，HTM预报方法可以有效识别出下渣时间，具有较高的预报精度。

4 结束

在现有试验数据的基础上，提出了一种基于HTM算法的连铸下渣预报方法。实际案例分析结果验证了所建立的HTM网络模型进行下渣预报的有效性和预报精度，与铸造过程中实际记录的下渣状况相吻合，能够在下渣早期提供有效的预警。在未来研究中还应该考虑将HTM与其他机器学习方法相结合，更精确的预测下渣时间还需要进一步研究。