基于UI-LSTM模型的短时降水预测研究

包 顺，秦华旺，戴跃伟，陈浩然，尹传豪

(1.南京信息工程大学 电子与信息工程学院，江苏 南京 210044；2.南京信息工程大学 自动化学院，江苏 南京 210044)

0 引言

短临预报是指预测未来较短时间(0～2 h)的降雨强度。提前预测降雨对人们生活和日常出行具有重大的意义。特别是对极端恶劣天气的预警,可以提前做出预防措施,防止造成重大的生命和财产损失。由于短期的强降雨对农业、工业和旅游业造成了重大的影响,所以对降水的短时预测是非常有必要的,利用历史数据,运用深度学习算法能够学习大气复杂的物理规律,对未来短时内降水精准预测。

传统的雷达回波外推主要采用光流法[1-2],利用相邻2帧之间的相关性,从而计算出相邻帧之间的运动信息,进行外推。光流法的缺点是同一目标在不同帧运动时,亮度不会发生变化。近年来主要采取深度学习方法进行外推,可以分为2类:基于卷积神经网络(Convolutional Newral Network,CNN)和循环神经网络(Recurrent Neural Network,RNN)。

首先,介绍RNN用于降水预测。降水预测被视为时空预测问题,时空预测模型是指给定一系列历史帧生成未来帧。最早,由Shi等[3]提出了ConvLSTM模型,通过将全连接的LSTM模型扩展到输入到输入和状态到状态的卷积结构,能够更好地学习时空相关性,成功地将深度学习引入降水预测,为降水预测奠定了基础;ConvGRU模型是ConvLSTM模型的变体,在ConvLSTM的细胞结构上进行优化,减少了参数,加快了训练时间。同样Shi等[4]提出了一种基准和新模式,对流模型中卷积的位置是不变的,为了学习位置变化趋势,提出了TrajGRU模型。Wang等[5]提出了PredRNN模型,用于时空预测,在ConvLSTM的基础上引入了时空记忆流,可以减少底层到网络顶层的信息损失,来捕获长期记忆性;同样在PredRNN的基础上,提出了PredRNN++网络[6],为了解决深度网络传播过程中的梯度消失问题,加入了Gradient Highway Unit可以缓解梯度消失。文献[7]为了能够学习短期框架依赖和长期高级关系的良好表示,提出了一个新的模型E3D-LSTM,采用三维卷积进行编码和解码,并将其集成到潜在的RNN中,以获得运动感知和短期特征;由于以往大多数用于时空预测的RNN并没有有效地利用差分信号,而且它们相对简单的状态转换函数阻止了它们学习太复杂的时空变化。为此,Wang等[8]提出了内存中的内存(MIM)网络和相应的循环块,能够模拟时空动力学中的非平稳和近似平稳的特性。

Lin等[9]为了提取具有全局和局部依赖性的空间特征,在ConvLSTM中引入了自注意机制。Luo等[10]在PredRNN的基础上引入交互框架,来增强短期依赖性,可以应用于任何ConvRNN模型,同时加入双重注意力机制,结合时间信息和通道信息,用于恢复长期、记忆性和更好的时空相关性。对于CNN,文献[11-12]采用基于Unet框架进行短时降水预测,提出了SmaAt-Unet网络来解决降水预测问题,引入了注意力机制与深度可分离卷积,但缺乏长期依赖性,难以学习长期的雷达回波变化。

尽管基于传统的RNN模型和CNN模型在降水预测任务中取得了不错的效果,但存在以下问题:CNN模型缺乏长期依赖性,不适合进行长期预测;RNN模型主要以ConvLSTM为代表以及多种变体,ConvLSTM模型由于先经过编码器部分,等编码器部分完全结束,再经过解码器部分预测输出,编码器和解码器不同尺度的雷达回波图之间没有进行特征融合,对于低频和高频信息没有进行有效结合。此外,大多数模型采用单一卷积核提取特征,导致只能进行局部特征的提取,在捕获高维和长期依赖性存在不足[13-14]。因此,本文提出了UI-LSTM模型。首先,采用了U形结构[15-16],可以进行多尺度特征提取,同时中间经过跳过连接,将浅层信息和深层信息拼接,再通过卷积进行特征提取。其次,对于UI-LSTM细胞内部的输入到输入和状态到状态采用Inception结构[17]和分组卷积[18],用不同尺寸的卷积核来提取特征,比单一的卷积效果更好。不仅提高了降水预测的准确度,而且具有一定的泛化能力。为了证明本方法的有效性,在公开数据集CIKM AnalytiCup 2017上进行充分实验,证明了UI-LSTM模型性能的优越性。

1 降水预测问题描述

降水预测问题可以描述为时空预测[19-20]问题,通过历史帧预测未来帧。通过模型训练,使得预测的未来帧接近观测的历史帧,从而实现对未来短时间的降水预测。降水不仅要考虑降水空间分布,同时还要考虑降水的时间连续性[21],给模型的预测增加了难度。如果观察到某一t时刻雷达回波图大小为M×N,通道数为P,从空间维度上看,P可以作为测量的观测值,可以用X∈RP×M×N张量表示。从时间维度上看,通过输入一段时间的连续帧来预测未来一段时间内的降水变化。假设输入为t个时刻,输入的连续序列表示为{X1,X2,…,Xt},通过输入历史帧去预测未来帧,预测未来一段时间的K帧图像表示为{Xt+1,Xt+2,…,Xt+k},通过模型训练使得预测的序列接近真实的雷达回波序列{Xt+1,Xt+2,…,Xt+k}。公式如下:

(1)

本文使用雷达回波序列进行降水预测,输入为连续5帧雷达回波图,预测未来10帧雷达回波图。

2 模型构建

2.1 UI-LSTM模型网络架构

UI-LSTM网络架构由5层UI-LSTM细胞结构组成,如图1所示。对原有模型进行改进,ConvLSTM采取的是编码器解码器结构,编码器层与层之间输出经过了下采样,解码器层与层之间输出经过了上采样,而PredRNN层与层之间输出的隐藏状态是直接连接的,UI-LSTM网络采用了U形级联方式,经过每层UI-LSTM细胞结构输出并不是直接作为下一层UI-LSTM细胞结构的输入,而是经过下采样和卷积进行大小和通道数的调整,作为到下一层UI-LSTM细胞结构的输入。为了不因为增加了一层UI-LSTM细胞而使得网络参数量增多,因此,选择了隐藏状态通道数为16、32、64、32、16,效果最佳。

图1 UI-LSTM网络架构Fig.1 UI-LSTM network architecture

2.2 UI-LSTM细胞结构

图2 UI-LSTM细胞结构Fig.2 Cell structure of UI-LSTM

下面给出UI-LSTM细胞结构具体:

(2)

(3)

(4)

(5)

(6)

(7)

式中:*表示2D卷积操作,∘表示Hadamard乘积运算,σ表示Sigmoid激活函数,tanh表示双曲正切激活函数。

2.3 Inception结构

Inception是经典模型GoogleNet中最核心的子网络模型,Inception[24]就是将多个卷积或池化操作放在一起组装成一个网络模块,使用单层卷积时,提取出来的特征往往很单一。本文采取Inception结构变体,将卷积换成分组卷积,可以减少参数量的同时防止过拟合,由于ConvLSTM采用固定的卷积核来学习对输入和隐藏状态的参数矩阵,再经过激活函数,从而得到输入门、遗忘门、更新门和输出门。卷积可以提取的特征往往有限,不能对输入进行充分的特征提取,通过采用Inception使用不同大小卷积核对输入和隐藏状态进行提取,采用分组卷积可以减少参数量,进一步提取局部信息和全局信息。Inception结构如图3所示。

图3 UI-LSTM细胞中的Inception结构Fig.3 Inception structure of UI-LSTM cells

3 实验

3.1 实验数据集

雷达数据集使用的是阿里天池CIKM AnalytiCup 2017公开数据集,训练集包括10 000个序列,测试集包括4 000个序列,验证集包括 2 000个序列。每个序列的时间不同,验证集是从训练集中随机选择2 000个序列,每个序列包括 15帧雷达回波图,其中时间间隔为6 min,使用的高度层为3.5 km。在每个序列中使用前5帧作为输入,后10帧用作预测,即用前0.5 h观测数据去预测未来1 h的状态。每张图大小为101 pixel×101 pixel,每个像素值为[0,255]。每张雷达回波图覆盖范围为深圳地区101 km×101 km。

3.2 实验参数设置

所有实验均在Pytorch框架下实现,并且在单张NVIDIA Tesla V100(显存为32 GB)上运行,使用Adam优化器进行训练,学习率设置为0.000 1,损失函数使用的是平均绝对误差(MAE)和MSE组合。在雷达回波数据集上使用的最大迭代次数设置为80 000,batch size设置为8。输入Xt维度为(101,101,1),经过padding操作周围补0维度为(128,128,1)输入到模型中,经过5层UI-LSTM细胞单元输出,输出的隐藏层维度为(128,128,16),经过卷积核为1×1卷积输出(128,128,1)为最终的输出。

3.3 评价标准

选用关键成功指数(HSS)、临界成功指数(CSI)、MAE和结构相似性(SSIM)用来评估所有实验模型的预测效果,其中HSS、CSI是降雨预测常用指标。MAE是用来计算真实的图片和预测出的图片之间的像素集差异,定义为L1损失[25],表示预测图像的每个像素和该图像的地面真实值之间的差异度量。SSIM用于衡量真实图片和预测图片的结构差异。为了便于对降雨预测准确性评价,首先将预测的雷达回波图和真实的雷达回波图通过公式转换成雷达反射率,如果该点的值大于设置的阀值,值为1,反之为0。然后计算出TN真阴性,实际为0,预测也为0;TP真阳性,实际为1,预测也为1;FP假阳性,实际为0,预测为1;FN假阴性,实际为1,预测为0。选取5、20、40 dBz分别作为阀值来计算HSS和CSI作为评价结果,可以体现模型对不同的降雨等级预测效果,选取40 dBz作为阀值可以预测对暴雨的预测准确率,具体公式如下:

(8)

(9)

(10)

(11)

3.4 实验结果

为了充分验证所提出的UI-LSTM模型的优越性,本文采用HSS、CSI、MAE和SSIM作为评价指标,对模型进行评估,并对比了ConvLSTM、ConvGRU、TrajGRU、PredRNN和PredRNN++这5种模型,来充分验证本模型的性能,所有实验都客观公正。实验结果如表1所示。

表1 各个模型在测试集评估指标结果对比Tab.1 Comparison of evaluation results of each model on the test set

由表1可知,所提出的UI-LSTM模型在MAE指标上取得了最优效果,相比于其他5种模型,比最好的PredRNN++模型MAE指标小了0.14,表明UI-LSTM模型预测的图片和真实图片之间的差异更小。同时UI-LSTM模型在CSI指标上,在阀值为5、20、40 dBz时都要高于其他5种模型,尤其在阀值为40 dBz效果更加显著,比ConvLSTM模型的指标CSI高了0.049 5,接近50%。表明UI-LSTM预测中雨、暴雨更加精准。UI-LSTM模型在HSS指标上,在阀值为20、40 dBz时,比其他5种模型效果更好,但在阀值为5 dBz时,比PredRNN低0.001。在SSIM指标上UI-LSTM在所有模型中排第二,比PredRNN++低0.001。UI-LSTM模型相对于其他模型:第一,结合U形结构,能够学习多尺度特征,增强了空间依赖性;第二,采用Inception结构,有利于长期依赖性。总体上,UI-LSTM在指标上要优越于其他5种模型。

为了直观地看出各个模型好坏,从测试集中随机选取了一个序列,通过将像素值转成雷达回波值,对各个值区间定义色彩,并与其他5种模型预测结果一起进行可视化。如图4所示,第一行前5张图片为输入,后10张图片为地面真实输出,其余各行分别是各个模型的预测结果,最后一行是UI-LSTM模型预测结果。从图中可以看出,ConvLSTM、ConvGRU和TrajGRU模型预测结果和真实图片差距很大,尤其是预测的后5张图片和真实的图片相比对于高波值预测效果差,且预测的图片丧失了很多细节。PredRNN模型预测结果对于后5张图片虽然对高回波值有所改善,但是与真实图片结构上还是有一定差距。PredRNN++模型预测结果与PredRNN相比结构上有所提高,但是对于高回波值预测效果差。UI-LSTM模型预测结果与ConvLSTM、ConvGRU、TrajGRU、PredRNN、PredRNN++模型预测结果相比,与真实图片较为接近,且对于高回波值预测效果较好。

图4 各个模型在CIKM AnalytiCup 2017数据集中预测结果Fig.4 Predicted results of each model on CIKM AnalytiCup 2017 dataset

各个模型预测出10帧图片,每个图片代表预测的一个时刻的雷达回波图,通过对每个时刻的HSS、CSI加起来求平均,得到每个时刻的HSS、CSI平均值,同时选取阀值为40 dBz绘制折线图如图5所示。

(a)HSS=40

从图5可以看出,UI-LSTM模型在每个时刻预测图片的HSS、CSI指标要远高于ConvLSTM、ConvGRU、TrajGRU、PredRNN和PredRNN++模型,在第24、30 min预测的HSS、CSI指标要和PredRNN较为接近。总体而言,UI-LSTM模型在HSS和CSI指标上要优于ConvLSTM、ConvGRU、TrajGRU、PredRNN和PredRNN++模型,预测效果更好。

3.5 消融实验

为了进一步说明加入Inception的有效性,本文做了消融实验。原来是在ConvLSTM细胞下,将ConvLSTM结构做改进,使用了5层结构,同时层与层之间通过U形结构连接,实验结果证明部分指标效果的确提高了,但是SSIM效果还是不理想。因此,在输入到输入和状态到状态间的卷积,用Inception替换,用不同尺度卷积核来学习隐藏状态和输入的特征,实验结果表明加入Inception结构,MAE降低0.09,SSIM提高了0.005 3,同时HSS、CSI指标整体上有所提升。表明引入Inception结构确实能够提升模型性能。实验结果如表2所示。

表2 消融实验结果比较Tab.2 Comparison of ablation experiment results

结果表明,在U-LSTM加入Inception后,MAE和SSIM指标均有提升,HSS和CSI指标在5、40 dBz时,UI-LSTM比U-LSTM预测效果更好,但在20 dBz时预测效果较差。总体上,加入Inception能够使得预测图片更加真实,且对中雨和暴雨预测更加精准。对于模型引入Inception结构和未引入Inception进行可视化效果对比,如图6所示,表明在引入Inception预测的雷达回波图结构上与真实图片更为接近,且对于 40 dBz时预测效果更加好,预测的雷达回波图各个像素点的雷达回波值与真实图片差距较小。

图6 消融实验在CIKM AnalytiCup 2017数据集中预测结果Fig.6 Predicted results of ablation experiments on CIKM AnalytiCup 2017 dataset

40 dBz时,对于U-LSTM和UI-LSTM模型绘制折线图,如图7所示,横坐标为预测的每个时刻分别对应预测10帧,纵坐标对应HSS和CSI。从图7中可以看出,UI-LSTM预测的每帧的平均值HSS和CSI均要比U-LSTM更高,且效果显著。

(a)HSS=40

(b)CSI=40

4 结束语

本文提出了一种新的UI-LSTM模型用于降水预测,使用U形结构能够提取多尺度信息,且对浅层信息和深层进行拼接,通过卷积在输入下一层网络中,增强了网络的性能。同时为了有效提取输入雷达回波图的特征,引入了Inception结构替代卷积来学习输入到输入、状态到状态的参数矩阵,提升了降水预测的精准度,增强了长期依赖性。在对于多种模型对比实验中,提出的UI-LSTM预测性均比其他模型性能更优越,对气象预测具有一定的价值。但考虑到设计模型的参数量大和预测的后几帧都损失了很多细节,且预测的雷达回波图与真实图片存在一定差距。未来的工作中需要提高网络的长期依赖性,同时要减少模型训练时间和参数量,模型需要朝着轻量化方向发展,希望通过不断优化模型,提高降水预测的准确性。