基于新型联合循环神经网络(RNN)模型的出水总氮预测

夏文泽，冯 骁，王 喆,*，钱志明，刘 杰，许雪乔

(1. 北京华展汇元信息技术有限公司，北京 100044；2.北京首创股份有限公司技术中心，北京 100044)

随着工业与经济的迅速发展，水资源短缺与经济发展之间产生了突出的矛盾，而水环境污染使得这一矛盾更加突出，因此，提高污水处理质量日益重要[1-4]。此外，日益严格的环境管理标准和政策以及污染物总量削减等约束性指标实施，大量现有污水处理厂出水水质指标难以达到要求，其中，出水总氮(TN)是污水厂排放标准中的核心指标之一[5-7]。如果能够提前预知污水厂出水TN的浓度，污水厂便可以提前做出响应，降低出水TN的浓度，达到最新国家标准的要求。因此，如何准确地预测出水TN吸引了大量学者开展研究[8-10]。

在智能模型法中，循环神经网络RNN因具有记忆功能(可以从历史输入数据中提取信息)在污水厂出水水质预测中得到广泛应用[25-26]。污水处理过程是一个复杂的强耦合系统，最终出水水质不仅与入水水质的历史变化相关，还与中间各个处理过程的历史变化相关。普通RNN网络没有充分考虑这些耦合性，无法充分地从历史数据中提取关键信息，造成出水水质预测精度偏低。本文提出了一种联合RNN神经网络，该联合RNN神经网络是基于传统RNN网络的改进型网络，其由一系列并排的单RNN网络构成，每个RNN网络的输出不仅与本网络的当前和历史输入相关，还与相邻RNN网络的历史输入相关，解决了普通RNN神经网络无法充分地从历史数据中提取关键信息的问题，并通过与常规RNN神经网络的对比试验，证明所提出的算法提高了出水TN的预测精度。

1 理论

1.1 预测模型

本文所提出的预测模型框架如图1所示，该模型包括训练过程和应用过程，在训练过程中，水厂的历史数据首先经过数据清洗，剔除不合规的数据，并做数据补偿，然后通过剩余数据训练联合RNN神经网络，联合RNN神经网络中的每个单独的RNN网络分别对应污水处理全流程中的一个位置。网络的训练过程分为两步，首先断开不同RNN网络的连接，单独训练每一个RNN网络，然后恢复不同RNN网络的连接，联合训练所有RNN网络。在应用过程中，实际采集的水厂数据首先经过数据清洗，剔除不合规的数据，然后将剩余数据送入早已训练好的联合RNN神经网络，得到最终预测结果。

图1 预测模型框架Fig.1 Diagram of Prediction Model

1.2 数据清洗

数据清洗是水质预测过程中重要的组成步骤，数据从传感器底层上传服务器过程中会累加各种噪声，而这些噪声会对后续数据分析产生干扰，为提高数据预测的准确性，需要对原始数据进行数据清洗。本文针对原始数据集的奇异值噪声和结构型噪声进行了清洗，分别采用了拉依达数据清洗算法[27]与盒式数据清洗算法[28]。在数据清洗以后，很多数据会被剔除，为保证数据的连贯性，被剔除的数据点由左右两个点的均值代替。

拉依达数据清洗算法假设待检测数据只含有随机误差，通过数据的标准差得到一个区间范围，如果数据超出这个范围，则认为该数据属于奇异值，需要将该奇异数据予以剔除。具体如式(1)。

(1)

σ——数据x集合的标准偏差。

盒式数据清洗算法是根据数据集中位数搭建的清洗模型，通过数据集求得其下四分位数Q1、中位数Q2、和上四分位数Q3，根据这些数值可以计算出数据模型的上下限值，最终确定数据清洗范围，将超出该范围的数值予以剔除。具体如式(2)～式(4)。

IQR=Q3-Q1

(2)

上限=Q3+1.5×IQR

(3)

下限=Q1-1.5×IQR

(4)

其中：IQR——四分位距离。

1.3 普通RNN神经网络

普通神经网络满足输入和输出的一一对应性，也就是一个输入对应着一个输出，不同的输入相互之间没有关联。RNN神经网络不同于普通的神经网络，它具有一种特殊的网络结构，是根据“人的认知是基于过往的经验和记忆”而提出的，不仅考虑网络当前时刻的输入，还要考虑之前所有时刻的输入，赋予了网络对之前所有时刻内容的一种“记忆”功能。

普通RNN网络的结构如图2所示，图2(a)为真实结构图，图2(b)为逻辑展开图。RNN网络会对前面的信息进行记忆并应用于当前输出的计算中，即隐藏层之间的节点不再是无连接的而是有连接的，且隐藏层的输入不仅包括输入层的输出还包括上一时刻隐藏层的输出。自然界中很多过程都具有相似性质，因此，RNN网络在自然语言处理、机器翻译、语音识别和图像描述等领域得到广泛应用。

图2 普通RNN神经网络结构Fig.2 Diagram of Common RNN Structure

1.4 联合RNN神经网络

本文所提出的联合RNN神经网络如图3所示，N个RNN神经网络并排放置，且每个RNN网络中间层的输入还要同时再接收左右两个RNN网络中间层的输出。即每个RNN网络的中间层的输入包括4部分：本网络当前的输入、本网络中间层上一时刻的输出、左边RNN网络中间层上一时刻的输出和右边RNN网络中间层上一时刻的输出。并且当RNN网络在接收来自左右两个RNN网络的数据时还要再乘以一个高斯系数，以决定RNN网络所要接收的来自于左右两个RNN网络的信息量。

图3 联合RNN神经网络结构Fig.3 Diagram of Combined RNN Structure

图4 联合RNN神经网络的局部结构Fig.4 Diagram of Combined RNN Local Structure

(5)

为了实现网络的反向传播训练，需要得到所有可训练参数的梯度公式，具体如式(6)～式(12)。

(6)

(7)

(8)

(9)

(10)

(11)

(12)

其中：T——训练集数据时间长度；

t——时间序号；

N——RNN子模块的数量；

i、j——子模块的序号；

式(6)～式(10)为递推公式，所以在求解过程中只能以类似于动态规划算法按照时间从小到大依次递推求解。

由于本联合RNN神经网络相比常规RNN神经网络更加复杂，在训练过程中极易陷入局部极小值甚至出现无法收敛的问题。因此,在网络训练过程中，采用分步训练的方式，首先断开不同RNN网络之间的连接，分别独自训练，然后恢复不同RNN网络之间的连接，进行联合训练。

2 试验

2.1 试验数据

图5 进水TN的变化曲线Fig.5 Diagram of Influent TN

2.2 预测试验

根据以上数据构建两个网络,分别为普通RNN神经网络和联合RNN神经网络，用于对比试验。对于普通RNN神经网络，输入结点数为18，对应着所采集的18维数据，输出节点数为3，对应着输入、输出和好氧池3个采样位置的TN指标，中间层包含30个神经元，训练次数为500次。对于联合RNN神经网络，包含3个并排的RNN网络，对应着3个采样位置。对于每个RNN网络，输入结点数为6，对应着每个采样位置所采集的6维数据，输出节点数为1，对应着每个采样位置的TN指标，中间层包含10个神经元。其训练过程分为两步，首先断开不同RNN网络的连接，单独训练每个RNN网络，训练次数为100次；然后恢复不同RNN网络的连接，联合训练所有RNN网络，训练次数为400次。普通RNN神经网络和联合RNN神经网络均通过Tensorflow深度学习框架编程获得，并运行于英伟达RTX2080Ti显卡之上。

需要说明的两点：第一点，为了满足严格的因果性，需要对入水、出水和好氧池的数据分别拉齐时间轴，拉齐时间轴是假定污水从水厂进水端流动到水厂出水端的时间为Δt，那么在将水质数据送入神经网络时，水厂进水端采集的水质数据相比在水厂出水端采集的数据要沿时间轴向前平移Δt；第二点，不管是普通RNN神经网络还是联合RNN神经网络或者其3个子RNN神经网络，其输入中包含TN指标,而预测输出也是TN指标，那这两个TN指标的区别就是，神经网络输出TN比网络输入TN指标晚2 h。

试验结果如图6、图7和图8所示，图6为预测曲线图，图7和图8为结果分析图。图6中实线为实际出水TN指标，点线为常规RNN网络预测的出水TN指标，虚线为联合RNN网络预测的出水TN指标。由图6可知，两种网络都成功地预测输出了出水TN的变化，但是很难判定两种网络的优劣。计算两种网络下的相关系数R以及均方误差E，结果如图7和图8所示，横轴为实际出水TN指标，纵轴为预测出水TN指标，点描述实际出水TN和预测出水TN的对应关系，每个点对应着一个预测结果，直线为当实际出水TN和预测出水TN完全相同时的理想散点分布。理想情况下，图中所有的点应该严格分布在y=x这条直线上，实际效果为所有点分布在y=x这条直线的附近。由图7、图8可知，在测试集中，联合RNN网络的效果(R=0.902，E=0.245)好于常规RNN网络的预测效果(R=0.863，E=0.361)，原因是联合RNN网络可以从历史数据中学习到更加综合的信息。所以，联合RNN神经网络可以提高污水厂出水TN的预测精度。

图6 出水TN的预测曲线Fig.6 Prediction Diagram of Effluent TN

图7 常规RNN神经网络的分析Fig.7 Analysis of Conventional RNN

图8 联合RNN神经网络的分析Fig.8 Analysis of Combined RNN

3 结论

(1)本文提出一种基于联合RNN神经网络的出水TN预测算法，解决了普通RNN神经网络无法充分地从历史数据中提取关键信息的问题，提高了污水厂出水TN的预测精度。

(2)联合RNN神经网络是基于传统RNN网络的改进型网络，其由一系列并排的单RNN网络构成，每个RNN网络的输出不仅与本网络的当前输入和历史输入相关，还与相邻RNN网络的历史输入相关。网络的训练过程分为两步，首先断开不同RNN网络的连接，单独训练每一个RNN网络，然后恢复不同RNN网络的连接，联合训练所有RNN网络。

(3)利用来自真实水厂的水质数据与常规RNN网络进行对比试验，试验结果显示联合RNN网络的效果(R=0.902，E=0.245)好于常规RNN网络的效果(R=0.863，E=0.361)，其中R为相关系数，E为均方误差，这证明所提出的算法提高了出水TN的预测精度。当前预测精度无法进一步提高的主要原因是当前水厂所能采集的数据维度无法全面反映水厂内污泥的真实生化反应过程。理论上该算法也可以推广至其他出水指标的预测，但是实际预测效果受到所选取的输入参量的种类的影响。