基于交互差分时空LSTM的网格化臭氧浓度预测

刘恩海 任晓康 张智 李妍 赵娜 张军

摘要 臭氧濃度的预测对于大气环境治理、空气质量改善等起到了重要的作用。本文提出了一种交互差分时空LSTM网络预测模型（ST-IDN）来挖掘臭氧浓度历史数据的时间相关性和空间相关性，并成功将其应用到网格化臭氧浓度数据预测上。在该模型中，首先交互模块（IC）可以通过一系列的卷积操作来捕捉短期上下文信息，其次层融合模块（LF）可以融合不同层的空间信息来获得上一时刻丰富的空间信息，最后差分时空LSTM模块（DSTM）将捕捉到的时间信息和空间信息进行统一建模实现臭氧浓度预测。所构建模型分别与卷积LSTM网络（ConvLSTM）、预测循环神经网络（PredRNN）以及Memory in Memory网络（MIM）模型在河北省气象局提供的臭氧浓度数据上进行了对比分析， ST-IDN模型的平均绝对误差分别降低了19.836%、12.924%、7.506%。实验结果表明，所提出的模型能够提高臭氧浓度的预测精度。

关 键 词 交互差分时空LSTM预测网络；网格化臭氧浓度数据；臭氧浓度预测；时间信息；空间信息

中图分类号 TP391     文献标志码 A

文章编号：1007-2373（2023）03-0036-08

DOI：10.14081/j.cnki.hgdxb.2023.03.004

Prediction of gridded ozone concentration based on interaction differential spatiotemporal LSTM

LIU Enhai1， REN Xiaokang1， ZHANG Zhi2， LI Yan1， ZHAO Na2， ZHANG Jun1

（1. School of Artificial Intelligence， Hebei University of Technology， Tianjin 300401， China; 2. Hebei Meteorological Disaster Prevention and Environmental Meteorology Center， Shijiazhuang Hebei 050000， China）

Abstract The prediction of ozone concentration plays an important role in controlling atmospheric environment and improving air quality. In this paper， an interactive difference spatiotemporal LSTM network prediction model （ST-IDN） is proposed to mine the temporal and spatial correlation of the historical data of ozone concentration， and is successfully applied to the prediction of gridded ozone concentration data. In this model， firstly， the interactive module （IC） can capture short-term context information through a series of convolution operations， and secondly， the layer fusion module （LF） can fuse spatial information of different layers to obtain abundant spatial information at the last moment. Finally， the differential space-time LSTM module （DSTM） will use the captured time and space information for unified modeling to predict ozone concentration. The constructed models were compared with convolution LSTM network （ConvLSTM）， predictive cyclic neural network （PredRNN） and Memory in Memory network （MIM） models respectively on the ozone concentration data provided by Hebei Meteorological Bureau. The average absolute error of ST-IDN model is reduced by 19.836%， 12.924% and 7.506%， respectively. The experimental results show that the proposed model can improve the prediction accuracy of ozone concentration.

Key words interaction differential spatiotemporal LSTM prediction network; gridded ozone concentration data; prediction of ozone concentration; time information; spatial information

0 引言

随着空气城市化进程的不断加快以及工业的快速发展，臭氧污染越来越严重[1-2]，臭氧污染不仅会对人类的身体健康构成严重威胁，还会对工农业生产造成一定的影响[3-4]。通过对臭氧浓度的预测，可以帮助人们知晓未来臭氧浓度变化情况，提前做好防护。因此，准确地预报臭氧浓度变化是十分必要的。

当前臭氧预测的方法大致可以分为3类：数值模型预测算法、统计模型预测算法和深度学习预测算法。

数值模型预测算法以空气动力学和物理化学方法为基础，来建立臭氧浓度扩散模型。例如杜勃莹等[5]、Milinevsky等[6]分析了不同区域位置的特点并利用污染传输方式来进行建模，但是该方法需要充足的先验知识和强大的计算能力，并且建立的数值模型与地理位置有一定的关联，因此将模型应用于不同场景是非常困难的。

统计模型预测算法在一定程度上解决了数值模型的局限性。该类方法不需要设置大量的物理参数而是通过历史数据去学习其中的规律。例如线性回归模型[7]、支持向量机（SVM）[8]以及差分整合移动平均自回归模型（ARIMA）[9]等方法在气象预报中的应用证明了统计模型预测算法的有效性。然而这些方法假定不同变量之间是线性关系，而现实世界不同因素之间存在复杂的非线性关系。因此，统计模型的预测性能也受到了限制。

随着深度学习的不断发展，长短期记忆网络（LSTM）[10]的出现很好的解决了这一问题。大量实验表明[11-13]LSTM能够从历史数据中捕捉臭氧浓度的时序信息变化规律，从而提高预测准确率。但LSTM只考虑了单个站点连续时刻臭氧浓度的时序信息，而忽略了其他站点对该站点的影响。为了考虑空间信息，研究者开始将LSTM模型与CNN模型组合去预测臭氧浓度。Deng等[14]利用LSTM模型捕捉输入数据的时间信息，CNN模型捕捉输入数据的空间信息，最终将时间信息和空间信息结合。但是该方法是分开对时空信息的捕捉，因而会造成一定的信息缺失以及参数冗余。Shi等[15]通过添加卷积操作并堆叠LSTM模型实现了时空信息的捕捉。但是由于不同层之间相互独立，时空信息容易丢失，从而导致预测不准确。Wang等[16]ConvLSTM基础上，提出了PredRNN模型，将时空信息统一建模的同时，也考虑了不同层之间信息的交互，预测效果得到了很大的提升。然而，PredRNN模型没有考虑输入数据与隐藏状态信息之间的上下文关系，并且存在捕捉时空信息能力不足等问题。

受PredRNN模型的启发，本文建立了交互差分时空LSTM网络预测模型（ST-IDN）。该模型由IC模块、LF模块和DSTM模块组成：IC模块将输入信息和隐藏状态信息通过一系列卷积操作进行交互，可以充分利用短期上下文信息；LF模块可以融合上一时刻不同层的空间信息；DSTM模块通过添加差分结构提高了捕捉时间信息的能力并且将时间信息和空间信息进行统一建模实现臭氧预测。在夏秋时分，由于紫外线强度的增加以及温度的升高，大气中的臭氧浓度会达到较高水平，因此本研究结合河北省地区2017年—2020年夏秋季网格化臭氧浓度数据进行实验。

1 材料与方法

1.1 数据来源

本研究采用的臭氧数据由河北省气象局提供，覆盖了河北省384个监测点，经纬度范围为105°～125° E，30°～50° N。数据包含了2017年—2020年4年的臭氧浓度信息，其中数据采样间隔为3 h。

1.2 数据分析

1.2.1 数据质量控制

由于天气以及其他因素的影响，监测到的臭氧数据往往会存在异常值或缺失值等问题，所以需要对监测的臭氧数据进行剔除以及填充的处理。具体步骤包括：1）对同一监测点的臭氧浓度数据从小到大排序，通过箱型图对该站点的臭氧浓度异常值进行检测筛选，筛选出来的异常点使用该站点所有数据的平均值代替；2）当某一时刻臭氧数据缺失，则采用前后时刻臭氧数据的线性插值进行填充。

1.2.2 数据预处理

对于数据预处理，主要包括网格化处理、标准化处理以及数据集划分。

首先查询河北省384个监测点对应的经纬度信息。根据经纬度信息，采用克里金插值[17]方法，将各个监测点的臭氧浓度信息插值为81×81的网格化臭氧浓度数据。

然后对网格化臭氧浓度数据进行了零-均值规范化（Z-Score）处理如式（1）～（3）：

[μ=1ni=1nXi]， （1）

[σ=1ni=1nXi-μ]， （2）

[Z=X-μσ] ， （3）

式中：X为原始数据；Z为标准化之后的数据；N是样本序列的个数。

最后，选取河北省2017年—2020年夏季（5月—9月）的網格化臭氧浓度数据进行实验。使用48帧滑动窗口对图像进行切片。因此，每个序列由48个连续帧组成，其中前24帧为观测帧，后24帧为预测帧，序列样本个数为4 307。数据集划分上将2017年5月—9月和2018年5月—9月划分为训练集，共2 106个序列样本，2019年5月—9月划分为验证集，共1 113个序列样本，2020年5月—9月划分为测试集，共1 088个序列样本。

2 研究方法

2.1 问题定义

臭氧预测浓度是根据历史臭氧浓度数据去对未来一段时间内臭氧浓度变化进行准确预测。为了预测未来时刻局部的臭氧浓度，可以将该问题转化为时空预测问题，假设任意时刻该区域的臭氧观测值都可以用张量X∈RC×W×H，那么未来时刻臭氧浓度值如式（4）所示：

[Xt+1，…，Xt+T=FXt-J+1，…，Xt]， （4）

式中：[xt-J+1，…，xt]为历史观测值；[xt+1，…，xt+T]为预测值；F为提出的模型结构。

2.2 ST-IDN整体框架

交互差分时空LSTM网络模型（ST-IDN）是用于臭氧预测的深度学习模型，如图1所示，该模型采用堆叠多层DSTM模块来构建网络模型，同时考虑了时间和空间的特征信息。在信息传输过程中，水平方向上注重捕捉时间信息，并且参数共享；垂直方向上注重捕捉空间信息，但参数不共享。臭氧浓度的预测最终依赖于最高层的隐藏状态。该状态融合了时间和空间信息。本模型的关键方程如式（5）～（9）所示：

[XΔ=|Xt-Xt-1|]， （5）

[X0t，X0dt，H0t-1=IC（Xt，XΔ，Hnt-1）]， （6）

[[H1t，M1t，C1t]=DSTM（X0t，X0Δ，H0t-1，C1t-1，M0t）]， （7）

[[Hlt，Mlt，Clt]=DSTM（Hl-1t，X0Δ，Hlt-1，Clt-1，Ml-1t）（2≤l≤n）] ， （8）

[Xt+1=Wh?Hlt]， （9）

式中：输入信息X、时间信息C、空间信息M和隐藏状态信息H属于张量RC×H×W；[M0t]为上一时刻融合后的空间信息；l为堆叠层数；W为可学习的参数矩阵；*为卷积操作；卷积核大小为1×1。

2.2.1 IC模块

原始的PredRNN模型在输入LSTM模块之前，输入数据和隐藏状态之间是相互独立的，无法模拟输入信息和隐藏状态的相关性。为了解决这一问题，设计了IC模块，如图2所示。该模块的输入为连续两个时刻的臭氧浓度信息[Xt-1]和[Xt]，以及上一时刻的隐藏状态信息[Ht-1]，其中[X1t]是[Xt]与[Hnt-1]分别通过卷积操作然后进行相加，再将得到的结果附加ReLU激活函数得到的。与[X1t]相似，[H1t-1]是根据[X1t]和[Hnt-1]得到的，[X1Δ]是根据[Xt]和[Xt-1]的差值[XΔ]以及[H0t-1]得到的。经过n次相同过程之后，可以得到更新后的值[Xit]，[XiΔ]以及[Hit-1]。其中，第i次更新操作如式（10）～（12）所示：

[Xit=ReLUXi-1t*Wxx+Hi-1t-1*Whx]， （10）

[Hit-1=ReLUXit*Wxh+Hi-1t-1*Whh]， （11）

[XiΔ=ReLUXi-1Δ*Wxx+Hi-1t-1*Wxh]， （12）

式中：*代表卷积操作；W是可学习参数矩阵；当i=1时，[X0t]为[Xt]，[X0Δ]为[XΔ]，[H0t-1]为[Hnt-1]。可以看到，Xt、Ht-1和[XΔ]的更新都使用了彼此之间重要的信息，通过重复融合，就可以更好地利用输入信息与隐藏状态信息之间的上下文信息，最终输入到DSTM模块中。

2.2.2 LF模块

LF模块用来提取不同LSTM层的空间信息，并通过1×1的卷积层进行融合。在计算过程中，连续两个时刻的空间信息状态转换关系如式（13）所示：

[M0t=Wm*[M1t-1，M2t-1，…，Mnt-1]]，                （13）

式中：n是网络堆叠层数；[…]表示拼接；W是可学习的参数矩阵；*是卷积操作。当t=0时，空间信息[M00]采用全0初始化。

2.2.3 DSTM模块

如图3所示，DSTM模块是ST-IDN模型的核心模块，内部包含了C和M两种记忆信息，其中C代表时间信息，M代表空间信息。该模块将时空信息统一存储在一个单元中，最终隐藏状态信息H的输出依赖于融合的时空信息。该模块将从时间信息建模、空间信息建模和时空信息融合建模3个方面进行分析。

1）时间维度建模：时间信息由两部分组成，根据输入信息Xt以及差分信息[XΔ]通过一系列操作分别捕捉到前一时刻不同的时间信息，将两种时间信息进行融合来更新前一时刻的时间信息。该过程可以捕获连续时刻臭氧浓度的特征变化。时间信息的更新公式如式（14）～（20）所示：

[gt=tanh（Wxg*Xt+Whg*Hlt-1+bg）]， （14）

[it=σ（Wxi*Xt+Whi*Hlt-1+bi）]， （15）

[ft=σ（Wxf*Xt+Whf*Hlt-1+bf）]， （16）

[gΔ=tanh（W′xg*XΔ+W′hg*Hlt-1+b′g）]， （17）

[iΔ=σ（W′xi*XΔ+W′hi*Hlt-1+b′i）]， （18）

[fΔ=σ（W′xf*XΔ+W′hf*Hlt-1+b′f）]， （19）

[Clt=ft?Clt-1+it?gt+fΔ?Clt-1+iΔ?gΔ]， （20）

式中：输入信息X、时间信息C和隐藏狀态信息H属于张量RC×H×W；[σ]和tanh代表激活函数；‘*和‘[?]分别表示卷积操作和哈达玛乘积；W和b都是可学习的参数矩阵，通过不同的下标来标识不同的变量。

2）空间维度建模：根据当前时刻的臭氧浓度数据X和空间信息M通过卷积操作来捕获当前时刻臭氧的特征变化。空间信息的更新公式如林（21）～（24）所示：

[g′t=tanh（W′xg*Xt+Wmg*Mlt-1+b′g）]， （21）

[i′t=σ（W′xg*Xt+Wmi*Mlt-1+b′i）]， （22）

[f′t=σ（W′xf*Xt+Wmf*Mlt-1+b′f）]， （23）

[Mlt=f′t?Ml-1t+i′t?g′t]， （24）

式中：空间信息M属于张量RC×H×W。

3）时空信息融合建模：在DSTM中，输出门将时间信息和空间信息进行融合。然后，通过1×1的卷积核对时空信息降维，使得维度与时间信息C和空间信息M一致。通过将时间信息与空间信息进行统一建模，使得臭氧浓度的预测更加准确。时空信息融合的公式如式（25）～（26）所示：

[ot=σ（Wxo*Xt+Who*Hlt-1+Wco*Clt+Wmo*Mlt+bo）]， （25）

[Hlt=ot?tanh（W1×1*[Clt，Mlt]）]， （26）

在构建的模型中，当n=1时，即DSTM模块为第1层时，[Xnt]为IC模块更新后的值，[M0t]为LF模块融合的空间信息。当2 ≤ l ≤ n时，[Hl-1t]为当前时刻上一层输出的隐藏状态，[Ml-1t]为当前时刻上一层的空间信息，其中n是堆叠层数。

3 实验与结果分析

3.1 模型参数与实验环境

本实验利用过去连续3 d的网格化臭氧浓度数据预测未来3 d的网格化臭氧浓度数据。参数设置上，所有模型的堆叠层数为4层，卷积核大小为3×3，学习率为0.000 1，批次大小为8，特征隐藏状态维度为64，优化器为Adam优化器。训练轮数为50 000，使用L1+L2作为损失函数。所有实验都在具有24 G运行内存的Nvidia GeForce GTX 3090 GPU上进行。

3.2 评价指标

为了验证不同的网络模型架构的精度，本实验采用平均绝对误差（Mean Absolute Error，MAE）和均方根误差（Root Mean Square Error，RMSE）作为评价指标，MAE和RMSE的公式如式（27）～（28）所示：

[MAE=1ni=1n|yi-yi|]， （27）

[RMSE=i=1n（yi-yt）2n]， （28）

式中：n是测试集样本序列的个数；[yt]和[yt]分别代表真实值和预测值。MAE能准确反映实际预测误差的大小，MAE的值越小，预测越准确。RMSE对于较大误差之间的差距进行放大，RMSE的值越小，其预测的最大误差也会越小，预测结果也越准确。

3.3 结果分析

3.3.1 对比实验

将ST-IDN模型与ConvLSTM模型、PredRNN模型、MIM模型[18]时空预测模型进行对比，其中ConvLSTM模型是时空预测模型的基础模型，PredRNN模型和MIM模型是2种比较先进的时空预测模型。如表1、图4、图5所示，展示了不同模型的MAE和RMSE。从结果来看，ST-IDN模型效果优于ConvLSTM模型，说明了不同层之间信息交互的重要性。ST-IDN模型效果优于PredRNN模型，说明IC模块在输入模型前可以很好地利用上下文信息，同时差分操作和LF模型可以在原有基础上提高捕捉时空信息的能力。ST-IDN模型優于MIM模型，说明更新的差分信息比相邻隐藏状态信息的差值更能捕捉历史状态的重要信息。

3.3.2 消融实验

如表2所示，对IC模块中Xt、[XΔ]以及H的重复更新次数进行了实验验证，从实验结果可知，当重复更新次数为2时，模型的预测效果最好。

为了更好地展示ST-IDN不同模块的效果，本节展示了3个消融实验进行对比。如表3所示，当在PredRNN的基础上添加IC模块时，MAE降低了6.29%，RMSE降低了5.04%。当添加LF模块时，MAE降低了3.55%，RMSE降低了1.14%。当添加DSTM模块时，MAE降低了7.66%，RMSE降低了5.63%。当使用含有IC、LF、DSTM的ST-IDN模块时，MAE降低了12.92%，RMSE降低了12.39%。从误差降低幅度上可以看出DSTM模块对模型的预测准确率贡献比较大。

3.3.3 参数对比实验

为了研究ST-IDN模型的最佳超参数，本节采用了不同的堆叠层数、卷积核大小和隐藏状态维度来比较ST-IDN的误差。如表4所示，实验选用了7种参数设置，其中L为堆叠层数，K为卷积核大小、H为隐藏状态维数，Params为模型参数，内存为训练过程中占用的GPU大小。当堆叠层数为4，卷积核大小为3×3，隐藏状态维数为64时，ST-IDN模型预测效果更好。总体来说，通过改变堆叠层数，卷积核大小和隐藏状态维数，能够在一定程度上增加模型的预测准确率。但是随着堆叠层数的不断增加，模型的预测准确率也会逐渐下降。

3.3.4 可视化分析

为了在视觉效果上更好地展示ST-IDN模型的优越性，本节对预测得到的结果图进行可视化，以证明所提出模型的预测准确度。如图6所示，其中第1行为某一组测试集样本第2天的真实图像序列，从左到右依次是第2天的2时、5时、8时、11时、14时、17时、20时以及23时，不同的颜色代表不同的臭氧浓度值，颜色越亮代表当前时刻的臭氧浓度值越大。第2行到第5行分别代表ConvLSTM模型、PredRNN模型、MIM模型ST-IDN模型，不同颜色代表真实图像序列和预测图像序列的绝对误差，颜色越亮代表绝对误差值越大。

可以看出与真实数据相比，ConvLSTM模型由于顶层LSTM结构与底层LSTM结构之间相互独立，导致大量的空间信息丢失，因此很多区域预测不准确，误差较大。PredRNN模型考虑了顶层LSTM结构与底层LSTM结构之间的信息，预测误差相比于ConvLSTM模型明显降低。MIM模型考虑了连续两个时刻之间隐藏状态信息的差值信息，但是这种信息往往也是不全面的，预测结果也不是很好。ST-IDN模型考虑了输入信息和隐藏状态信息之间的上下文关系，而且在一定程度上增强了时空信息的捕捉能力，预测效果最好。

4 结论

1）本文提出了一种交互差分时空LSTM网络预测模型（ST-IDN），通过IC模块利用上下文信息，DSTM模块融合不同层的时空信息实现了对时间信息和空间信息的统一建模。

2）ST-IDN模型成功应用于河北省网格化臭氧浓度数据上，并针对未来3 d臭氧浓度预测实验中展示了较好效果。

综上，ST-IDN模型能够提高网格化臭氧浓度的预测准确率，为河北省气象局提供一定的技术参考。但是，在本次实验中，只考虑了臭氧的历史信息，而没有考虑气象因子（温度、湿度等）对臭氧浓度的影响。在接下来的工作中，将考虑不同气象因子对于臭氧的影响，从而使得臭氧浓度的预测更加准确。

参考文献：

[1]    黄小刚，赵景波，曹军骥，等. 中国城市O3浓度时空变化特征及驱动因素[J]. 环境科学，2019，40（3）：1120-1131.

[2]    谢静，邹滨，李沈鑫，等. 大氣污染暴露风险防控可视化决策支持平台[J]. 计算机应用，2019，39（11）：3391-3397

[3]    姜建彪，王博，张茵，等. 地面臭氧污染对生态环境的影响建模研究[J]. 环境科学与管理，2022，47（1）：144-147

[4]    余益军，孟晓艳，王振，等. 京津冀地区城市臭氧污染趋势及原因探讨[J]. 环境科学，2020，41（1）：106-114.

[5]    杜勃莹，马云峰，王琦，等. 基于WRF-Chem模型的沈阳市颗粒物扩散特征和成因分析[J]. 环境工程，2021，39（2）：89-97，104

[6]    MILINEVSKY G，MIATSELSKAYA N，GRYTSAI A，et al. Atmospheric aerosol distribution in 2016-2017 over the eastern European region based on the GEOS-chem model[J]. Atmosphere，2020，11（7）：722.

[7]    ALLU S K，SRINIVASAN S，MADDALA R K，et al. Seasonal ground level ozone prediction using multiple linear regression （MLR） model[J]. Modeling Earth Systems and Environment，2020，6（4）：1981-1989.

[8]    董红召，王乐恒，唐伟，等. 融合时空特征的PCA-PSO-SVM臭氧（O3）预测方法研究[J]. 中国环境科学，2021，41（2）：596-605

[9]    李颖若，韩婷婷，汪君霞，等. ARIMA时间序列分析模型在臭氧浓度中长期预报中的应用[J]. 环境科学，2021，42（7）：3118-3126.

[10]  HOCHREITER S，SCHMIDHUBER J. Long short-term memory[J]. Neural Computation，1997，9（8）：1735-1780.

[11]  ZHANG X X，ZHANG Y，LU X Y，et al. Estimation of lower-stratosphere-to-troposphere ozone profile using long short-term memory （LSTM）[J]. Remote Sensing，2021，13（7）：1374.

[12]  OSOWSKI S. Prediction of air pollution using LSTM[C]//ROJAS I，JOYA G，CATAL? A. International Work-Conference on Artificial Neural Networks. Cham：Springer，2021：208-219.

[13]  WANG J Y，LI J Z，WANG X X，et al. Air quality prediction using CT-LSTM[J]. Neural Computing and Applications，2021，33（10）：4779-4792.

[14]  DENG T，MANDERS A，SEGERS A，et al. Temporal transfer learning for ozone prediction based on CNN-LSTM model[C]// Proceedings of the 13th International Conference on Agents and Artificial Intelligence. February 4-6，2021. Virtual，Online. Science and Technology Publications，2021：1005-1021.

[15]  SHI X J，CHEN Z R，WANG H，et al. Convolutional LSTM Network：a machine learning approach for precipitation nowcasting[C]// Proceedings of the 28th International Conference on Neural Information Processing Systems-Volume 1. December 7-12，2015，Montreal，Canada. New York：ACM，2015：802-810.

[16]  WANG Y B，LONG M S，WANG J M，et al. PredRNN：recurrent neural networks for predictive learning using spatiotemporal lstms[C]// Proceedings of the 31st International Conference on Neural Information Processing Systems. December，2017，Long Beach California，USA. New York：ACM，2017：879-888

[17]  王艳萍，李新庆，刘垚，等. 不同插值算法对气温空间插值效果评估分析[J]. 信息技术，2020，44（6）：31-35.

[18]  WANG Y B，ZHANG J J，ZHU H Y，et al. Memory in memory：a predictive neural network for learning higher-order non-stationarity from spatiotemporal dynamics[C]// 2019 IEEE/CVF Conference on Computer Vision and Pattern Recognition. June 15-20，2019，Long Beach，CA，USA. IEEE，2020：9146-9154.

收稿日期：2022-11-10

基金项目：河北省高等学校科学研究项目（ZD2021311）；河北省气象局科研项目（20ky08）；河北省自然科学基金（F2020202008）

第一作者：刘恩海（1965—），男，副教授。通信作者：李妍（1983—），女，助理研究员，772324423@qq.com。