长短期记忆神经网络模型改进及其在循环冷却水管道腐蚀预测的应用

贾彤华， 范 磊， 程光旭， 胡海军， 陈之腾， 王 璐

（1.西安交通大学， 陕西 西安 710000； 2.中国石油集团石油管工程技术研究院， 陕西 西安 710000）

在工业循环冷却水系统中， 敞开式循环冷却水系统是常用形式。除了腐蚀介质外，水在冷却塔中与空气进行对流换热降温的过程中会从空气引入较多的杂质，使循环冷却水的水质逐渐变差，容易导致管道和设备产生腐蚀和结垢现象， 影响管道、设备的寿命和安全生产。

炼油循环冷却水系统的管道腐蚀是一个复杂的涉及物理、化学和生物等多门学科的过程，腐蚀机理复杂［1］。 管道腐蚀影响因素众多，各影响因素之间又会相互影响，如循环水pH 值、Cl-含量、异养细菌种类、水的硬度、磷含量、悬浮物种类及含量、含量等都会影响炼油企业冷却水装置的腐蚀。因此，腐蚀是炼油企业最具挑战性的问题之一。 国内外学者对于循环冷却水系统的管道腐蚀预测开展了大量研究，取得了一些成果。如基于某一特定水质参数进行腐蚀倾向的判断、 多水质参数分析以及腐蚀模型预测［2］，基于水量和水质数据信息建立循环冷却水系统腐蚀预测。 曹生现等［3］利用灰色关联分析法筛选与热交换器腐蚀关联度大的影响因素， 建立小波神经网络模型预测热交换器的污垢热阻和腐蚀速率。 董超等［4］通过核主成分分析和最小二乘支持向量机建立了腐蚀预测模型， 利用混沌粒子群优化算法寻找模型最优参数，具有较高的预测精度和训练速度。 马天璐［5］利用BP 神经网络建立循环冷却水的水质预测模型，采用遗传算法对神经网络的权值和阈值进行优化，代替BP 神经网络的随机初始化权值方法。 这些方法在解决腐蚀的不确定性和非线性特征方面都存在一定的局限性， 均未考虑循环水水质历史数据对腐蚀发生的影响。

目前工业上主要采用挂片法对炼油循环冷却水系统管道的腐蚀速率进行测量， 存在较大的滞后性和不确定性。 针对炼油循环冷却水系统管道腐蚀的高度复杂性、不确定性和非线性特征，文中利用长短期记忆（LSTM）神经网络［6］具有记忆特性、顾及时间依赖的特点，采用按时序采集的循环水质历史数据对LSTM 神经网络模型 （以下简称LSTM 模型）进行改进，使其更适用于受多变量影响的时序预测问题， 探究炼油循环冷却水系统管道腐蚀和循环水水质历史数据之间的关系， 并通过与传统LSTM 模型、BP 神经网络模型的对比分析，验证改进LSTM 模型的精度。

1 LSTM 神经网络

LSTM 神经网络是基于循环神经网络（RNN）的一种深度学习神经网络。 RNN 的每个循环单元当前时间步的状态由该时间步的输出和上一个时间步的状态决定，t 时刻的RNN 网络结构见图1。图1 中R 表示1 个RNN 神经元， 在神经元内部，对于给定序列x=x1，x2，…，xn，通过式（1）和式（2）可以计算得到1 个隐藏层序列h=h1，h2，…，hn和1 个输出序列y=y1，y2，…，yn。

图1 t 时刻RNN 网络结构

式中，Wxh为输入层到隐藏层的权重系数矩阵，Whh为隐藏层的权重系数矩阵，Why为隐藏层到输出层的权重系数矩阵；bh为隐藏层的偏置向量，by为输出层的偏置向量；σ 为sigmoid 激活函数；下标t 表示t 时刻。

LSTM 在RNN 的基础上增加了遗忘门、输入门和输出门等门控单元， 同时根据历史时刻和当前时刻的信息决定是否更新当前时间步的单元状态， 很好地解决了RNN 在长序列数据训练过程中的梯度消失和梯度爆炸问题［7］。 t 时刻的LSTM 神经网络结构见图2，图2 中L 表示一个LSTM 网络神经元，其隐藏层结构见图3［8］。

图2 t 时刻LSTM 神经网络结构

图3 t 时刻LSTM 神经元隐藏层结构

LSTM 神经网络包含有3 个门控单元，分别是输入门It、 遗忘门Ft和输出门Ot， 门输入均为当前时间步xt和上一时间步的隐藏状态ht-1， 通过式（3）～式（5）计算得到It、遗忘门Ft、输出门Ot的值。

式（3）～式（5）中，Wxi、Whi、Wxf、Whf、Wxo、Who分别 为 门 控 单 元 对 应 的 权 重 参 数，bi、bf、bo分 别 为门控单元对应的偏置向量。

当前时间步候选记忆细胞状态～ct的计算与上述3 个门控单元类似， 但是选择双曲正切函数tanh 作为激活函数，可以得到：

式中，Wxc、Whc为权重参数，bc为偏置参数。

输入门、遗忘门和输出门共同控制LSTM 神经网络中信息的流动， 当前时间步记忆细胞的计算组合了上一步记忆细胞和当前时间步候选记忆细胞的信息，由遗忘门和输入门来控制信息的流动：

式中，ct为当前时间步记忆细胞状态，ct-1为上一时间步记忆细胞状态。

按照式（7），遗忘门控制上一时间步的记忆细胞的信息是否传递到当前时间步， 而输入门的作用则是控制当前时间步的输入通过候选记忆细胞流入当前时间步的记忆细胞， 如果遗忘门一直近似1 且输入门一直近似0， 过去的记忆细胞将一直保存并传递到当前的时间步。 这个设计可以解决RNN 中出现的梯度衰减或者梯度消失问题，可以记忆不定时间长度的数值， 在复杂序列特征学习方面具有优势， 适合处理炼油循环冷却水系统中水质这类影响因素较复杂、 时间间隔和延迟较长的时间序列数据［9］。

t 时刻隐藏状态ht的计算， 是通过输出门来控制记忆细胞到隐藏状态的信息流动：

得到隐藏状态ht后，与对应的权重参数相乘并加上偏置项得到当前时间步的输出yt：

式中， Why为当前时间步对应的权重参数矩阵，by为对应的偏置项。

2 LSTM 模型改进

在进行炼油循环冷却水系统的管道腐蚀预测时， 要考虑对循环冷却水管道腐蚀有影响的多种因素。利用传统LSTM 模型对多变量时序型数据进行预测时存在一些问题，①LSTM 神经网络主要通过结合数据的历史信息来关注数据的时间依赖特性，对数据的多变量特点描述能力不足，即可以很好地提取多变量时序数据的纵向特征， 但数据横向特征的提取能力不足。②采用LSTM 模型训练数据时， 往往要根据人为试算或专业经验来估计较优的超参数，效率较低且有时精度不高。

为有效解决上述多变量的时序预测问题，对传统LSTM 模型进行了改进，①在LSTM 神经网络前添加2 层全连接层， 通过全连接层对训练数据进行初步多变量特征提取，再输入LSTM 模型中训练提取训练数据的时序依赖特征。 ②采用网络搜索寻优方法，指定LSTM 模型初始学习率和时序分隔长度变化范围， 在超参数变化范围内进行多次训练，选择LSTM 神经网络预测结果最优的超参数。

3 改进LSTM 模型腐蚀预测步骤

3.1 算法选择

采用反向误差传递方法对LSTM 模型进行训练， 即通过计算预测值和真实值之间的误差并反向传播调整权重参数来使预测值和真实值之间的误差缩小，重复迭代训练模型，找到最优的权重参数。 反向误差传递过程的优化算法主要有随机梯度下降法（SGD）［10］、 自适应梯度算法（Adagrad）［11］、RMSProp 算法［12］以及自适应动量梯度下降算法（Adam）［13］。 通过对比各优化算法的优化效果，最终决定采用整体表现最优的Adam 算法进行循环冷却水系统管道腐蚀预测。

3.2 预测步骤

3.2.1 原始数据预处理

文中采用的训练数据来源于兰州某石化公司水质巡检数据实验室分析结果。 首先采用正态分布的3σ 原则筛选原始数据中的异常值， 并将其替换为均值， 然后采用三次样条插值的方法对现场采集中出现的部分缺失数据进行填充。

3.2.2 数据归一化处理

由于水质参数种类多，各参数单位、量纲和数量级都不相同，因此采用min-max 归一化方法处理数据，将数据投影到［0，1］内。

3.2.3 数据光滑处理

实际工程数据分布的噪声较多， 为了使预测结果更加准确，降低模型训练难度，采用SG 滤波法［14］对窗口内的数据进行加权滤波，在滤波的同时能够有效保留原始数据的变化信息， 对数据进行平滑处理。

3.2.4 主成分分析

主成分分析是最常用的一种数据降维方法，主要目标是在减少需要分析的指标的同时， 尽量减少原指标包含信息的丢失， 以达到对所搜集数据全面分析的目的。 基本方法是将原有的指标数据重新组合生成新的指标数据。 为了尽可能减少数据降维压缩过程中的信息丢失， 应使新数据的方差尽可能大。数据的方差越大，数据间的差异越大，保留描述原指标数据信息的能力就越强。

3.2.5 划分训练集和测试集训练

将经过以上步骤处理的数据按照7∶3 的比例划分训练集和测试集， 定义损失函数为均方误差MSE， 通过反向误差传递算法和Adam 优化算法更新网络权重参数。 损失函数均方误差MSELoss计算公式如下：

式中，N 为样本个数，yi为真实值，为预测值。

3.2.6 网络搜索法优选超参数

对于LSTM 模型，需要人工设定超参数，如学习率和时间序列分割步长。 分析时先指定超参数范围，在范围内划分网格，对网格中格点分别进行遍历寻找， 将预测误差最小的超参数组合作为最佳参数［15］。 采用改进LSTM 模型进行循环冷却水管道腐蚀预测的过程见图4。

图4 改进LSTM 模型预测循环冷却水管道腐蚀过程

4 循环冷却水水质巡检数据及腐蚀预测方法

目前， 对炼油循环冷却水系统管道腐蚀速率的预测模型缺乏理论基础， 炼油企业一般通过监测总铁（Fe3+/Fe2+）含量来制定腐蚀设防值。 根据《中国石化炼油工艺防腐蚀操作细则》，Fe3+/Fe2+作为塔顶冷凝水的技术指标时， 其质量浓度应控制在不超过3 mg/L。按照Q/SH 0628.2—2014《水务管理技术要求 第2 部分：循环水》［16］的水质指标要求，Fe3+/Fe2+的质量浓度不超过1 mg/L，Fe3+/Fe2+的含量按照GB/T 9739—2006 《化学试剂 铁测定通用方法》［17］中规定的1，10- 菲啰啉分光光度法测定。 与文献［18］中提出的腐蚀速率、腐蚀电位、设备减薄等检测方法相比，腐蚀产物的Fe3+/Fe2+含量易于检测， 因此可以通过预测炼油循环冷却水中腐蚀产物的Fe3+/Fe2+含量来评估循环冷却水管道腐蚀状况。

选取兰州某石化公司现场真实水质参数巡检数据，经过异常值检测替换、缺失值插补和平滑处理后，按照7∶3 的比例划分训练集和测试集。 循环冷却水水质参数部分巡检数据见表1。

先采用min-max 归一化方法对表1 中数据进行处理。通过数学变换把性质、量纲都不同的参数转化为可以综合比较的相对数。 把Fe3+/Fe2+质量浓度值作为模型输出参数， 对其余参数进行主成分分析，设置阈值为保留原始数据信息的99%，即提取累计贡献率大于99%的特征指标。 然后构建多变量时间序列数据集， 将原始数据集转化为有监督学习问题， 使其能够实现通过前一个时刻（t-1）的水质数据预测当前时刻（t）的水质参数。

表1 循环冷却水水质参数部分巡检数据

将选定时间段内的特征和总铁含量数据都作为特征， 将要预测的当前时刻的总铁含量数据作为标签。 模型评价指标为均方根误差RMSE 和决定系数R2。 RMSE 可以衡量预测值和真实值的距离，R2越接近于1， 表示模型拟合趋势的效果越好，模型的预测能力越强。 RMSE 和R2的计算公式分别为：

5 循环冷却水管道腐蚀预测结果及对比

5.1 预测结果

利用改进LSTM 模型预测的循环冷却水中总铁质量浓度与真实值对比见图5。 从图5 可以看出，总铁质量浓度的预测值与真实值基本一致。按式 （11）、 式 （12） 计 算， 改 进LSTM 模 型 的RMSE=0.026、R2=0.949。

图5 改进LSTM 模型循环冷却水系统管道腐蚀预测结果与真实值对比

绝对误差即预测值和真实值的差值， 相对误差即测量的绝对误差与真实值之比的百分数。 改进LSTM 模型腐蚀预测绝对误差和相对误差见图6。 由图6 可以看出， 改进LSTM 模型循环冷却水系统管道腐蚀预测值的最大绝对误差为0.067，最大相对误差为-25.5%， 说明改进LSTM 模型用于循环冷却水系统管道腐蚀预测的精度较高。 将此模型的最优参数设置为，序列分割尺度为3 d，初始学习率为2×10-3。

图6 改进LSTM 模型循环冷却水系统管道腐蚀预测结果误差

5.2 对比讨论

为了进一步验证腐蚀预测效果， 将添加网格搜索法寻优的改进LSTM 模型、传统LSTM 模型和BP 神经网络模型的预测效果进行对比分析。 BP神经网络模型设置2 个隐藏层， 每个隐藏层单元数为100 个，同样适用MSELoss损失函数，采用与LSTM 模型相同的训练集和测试集。 采用不同模型得到的循环冷却水系统管道腐蚀预测相对误差对比曲线见图7。

图7 不同模型的循环冷却水系统管道腐蚀预测相对误差

添加平均绝对误差（MAE）作为评价指标，对比分析不同模型对循环冷却水系统管道的腐蚀预测效果，各项评价指标对比见表2。

表2 不同模型的循环冷却水系统管道腐蚀预测评价指标

分析图7 和表2 可以看出， 改进LSTM 模型的预测相对误差整体比传统LSTM 模型和BP 神经网络模型的小，从RMSE 和R2 评估的总体预测效果来看， 虽然传统LSTM 模型的预测效果优于BP 神经网络模型， 但个别点的传统LSTM 模型预测值波动较大，严重偏离真实值。 而改进LSTM 模型是在传统LSTM 网络结构前加入2 层全连接层， 相当于BP 神经网络和LSTM 神经网络的结合，对于传统LSTM 模型预测值严重偏离的点，改进LSTM 模型也能得到较好的预测结果。 因此，改进LSTM 模型对于循环冷却水系统的管道腐蚀预测效果优于传统LSTM 模型和BP 神经网络模型。在拟合数据方面， 由于改进LSTM 模型增加了2层全连接层， 且模型神经元当前时间步的输出受到过去时间步状态的影响， 因此既能很好地提取数据多因素影响的特征， 又能较好地拟合具有多变量影响特征的时序数据， 预测结果符合数据趋势。 而单一BP 神经网络模型和单一传统LSTM 模型不具有此特征， 因此这2 种模型的预测结果对于腐蚀数据趋势拟合效果不如改进LSTM 模型。

6 结语

炼油循环冷却水系统的管道腐蚀机理复杂，影响因素多。 根据LSTM 模型能够学习提取时间序列数据的长期依赖关系的特性， 基于某石化企业按时间采样的水质参数巡检数据，对传统LSTM模型网络结构进行改进。 采用改进LSTM 模型对循环冷却水管道腐蚀进行预测，并与传统BP 神经网络模型预测效果加以对比，结果表明改进LSTM模型的预测精度和泛化能力均高于传统LSTM 模型和BP 神经网络模型。若预测的总铁含量超过相关标准规定的边界值， 则可以提醒企业及时对水质做出适当调整，以避免管道腐蚀。

在目前研究的基础上， 今后可以从循环冷却水系统管道腐蚀的不确定性方面入手， 探究循环冷却水系统的空间特征， 实现数据驱动的腐蚀位点预测， 推进企业数字化和智能化生产的进一步发展。 改进LSTM 模型对石油化工领域研究数据驱动的模型和方法提供了参考，具有借鉴意义。