胡昊 孙爽 马鑫 李擎 徐鹏
摘 要:极端暴雨天气多发频发造成的城市内涝,严重威胁居民的人身财产安全,准确高效的内涝点积水面积预测在提高城市灾害应急处置能力中发挥着至关重要的作用。为了提高城市内涝点积水预测的准确性和直观性,提出一种基于GAT 和LSTM 网络的GATLSTM 组合预测模型,通过GAT 提取积水信息局部空间特征,并通过节点分配权重的方式加强对关键信息序列的记忆,随后采用LSTM 提取积水面积序列的时间特征,对内涝点积水面积进行预测。以开封市区某内涝点的积水数据建立模型并评估验证,将GATLSTM 模型和LSTM、GAT 以及GCNLSTM 模型进行对比,结果表明:GATLSTM 模型的预测精度优于另外3 种模型,能够准确地对内涝点积水面积进行预测,可以为防汛工作和应急响应措施的制定提供科学依据。
关键词:积水预测;城市暴雨;图注意力网络;长短期记忆网络
中图分类号:TP391.9 文献标志码:A doi:10.3969/ j.issn.1000-1379.2024.04.007
引用格式:胡昊,孙爽,马鑫,等.基于图注意力网络的城市内涝积水预测与研究[J].人民黄河,2024,46(4):43-48.
0 引言
近年来,在全球气候变化以及我国城镇化建设高速发展的双重作用下,极端暴雨天气出现的频次和强度都明显提高。暴雨导致的城市内涝造成了极大的危害,尤其是2021 年郑州“7·20”特大暴雨事件,因灾死亡失踪398 人[1] ,直接经济损失高达1 200.6 亿元。城市内涝对居民的人身财产安全造成了巨大的威胁,同时制约着城市的发展速度[2-3] 。针对该问题,国内外学者对内涝预测进行了大量的研究,并提出了多种预测模型,目前国内外常用SWMM、Info Works、MikeUrban 等数值模型[4] 来预测城市内涝,但随着城市化进程的加快,下垫面、地下管网、河道排涝等因素越来越复杂,城市水文数据难以完整收集,模型的建模难度也随之增加。同时,模型运行求解复杂、耗时,難以满足内涝预测的时效要求。针对数值模型的问题,研究人员开始通过机器学习预测城市内涝,如刘媛媛等[5]将城市内涝模型的模拟结果作为数据驱动,构建了各积水点的反向传播神经网络(Back Propagation,BP)预测模型,验证了BP 神经网络在积水预测中的适用性,但BP 神经网络的预测精度较低。针对该问题,周小力等[6] 提出了一种基于卷积神经网络(ConvolutionalNeural Network,CNN)和长短期记忆网络(Long Short?Time Memory,LSTM)的CNLSTM 组合时序预测模型,通过CNN 提取积水序列空间特征,再通过LSTM 提取积水序列时间特征,提高了预测模型的精度。赵兵等[7] 提出一种基于Attention 机制和CNN 以及门控循环单元(Gated Recurrent Unit, GRU)的短期电力负荷预测模型,该模型通过CNN 提取历史负荷序列的特征,利用与Attention 机制结合的GRU 对提取的特征进行动态时序建模,完成短期电力负荷预测。
传统神经网络被广泛应用于积水水位和电力负荷的预测,但是现实中越来越多的问题可以抽象成非欧式结构数据,研究人员通过引入图论中抽象意义上的“图”来表示非欧氏结构数据,鉴于图的不规则性,传统神经网络无法处理图结构数据。针对该问题,研究人员开发出图神经网络(Graph Neural Networks,GNN)用来学习图的拓扑结构,以挖掘蕴藏在图结构数据中的深层次信息[8-10] 。黄警明等[11] 提出了一种基于图卷积网络(Graph Convolutional Networks,GCN)的时空预测模型,通过图卷积网络提取各时刻的空间隐含特征,对基站用户量进行预测,证明了GCN 能够有效提取时序信息的空间隐含特征并进行预测,但GCN 无法处理长距离依赖关系。针对该问题,曾筠程等[12] 构建有向的图卷积算子,并将其应用到LSTM 模型中,构建了可学习交通路网时空双重特性的有向图卷积-长短期记忆网络(Directed Graph Convolutional-LSTM,DGC-LSTM)模型,其能够挖掘长时间交通流数据中的时空相关性。赵静等[13] 提出了一种结合图注意力网络(Graph Attention Networks,GAT)和GRU 的时空交通流量预测模型,通过GAT 学习复杂图结构并捕获空间依赖,通过GRU 捕获时间依赖,减小了模型的预测误差,增强了模型在交通流预测中的适用性,其中GAT能够充分考虑各维度数据间的依赖关系,有效提高模型的预测精度和适用性。
目前大多数的城市内涝研究是对积水水位进行预测,为了提高模型预测的准确性和直观性,笔者选择对内涝点积水面积进行预测与研究,提出一种结合GAT与LSTM 的GATLSTM 组合时序模型来预测城市内涝点积水面积,直观展现道路积水情况,以期为城市防涝措施的制定提供科学依据。该模型通过GAT 捕获各维度数据间的空间依赖关系,实现对关键信息序列的学习,采用LSTM 提取时间特征,并通过并行计算的方式提高模型的运算效率,实现快速且准确的城市内涝点积水面积预测。
1 理论基础与模型构建
1.1 图注意力网络
GAT 是一种图神经网络,通过自注意力机制,可以自适应性地分配权重,将邻居节点的特征聚合到中心节点,更有效地学习图中的关键信息[14-15] 。
式中: δ 为sigmoid 激活函数, Ni 为节点i 的邻居节点数量。
多头注意力机制能够提高模型的结构稳定性和表达能力,即多个结构相同的GAT 网络存在于一个网络层中,每个注意力头都有独立的注意力权重矩阵Wk与α 。对于注意力头数为K(K≥2)的网络层,节点通过多头注意力机制在其邻域内得到自身的特征表示[16-17] ,如图1 所示。
将多个注意力头进行拼接或者平均,得到节点的特征。拼接方式可表示为
1.2 长短期记忆网络
LSTM[18-19] 是一种特殊的循环神经网络,LSTM 加入了门控机制,引入细胞状态的概念,解决了RNN 梯度爆炸、爆炸消失和长期记忆能力不足的问题,使得LSTM 能够有效利用长距离的时序信息,被广泛地应用于预测研究中。LSTM 模型的内部结构见图2。
假设输入序列为(x1,x2,…,xn ) ,隐藏层输出序列为(h1,h2,…,hn ) ,那么在t 时刻记忆细胞的输入输出结构表示如下:
式中: it 、ft 、Ct 、ot 分别为t 时刻的输入门、遗忘门、细胞状态以及输出门, w 和b 分别为对应的权重系数矩阵和偏置值, ζ 和tanh 分别为sigmoid 函数和双曲正切激活函数[20] 。
1.3 多图并行训练
因为GAT 中待训练的参数较多,所以GAT 模型的训练会花费较长的时间。同时,GAT 模型需要逐一提取输入的图数据信息,严重影响了模型的效率,为提高模型的运行效率,选择对数据进行多图并行处理。
多图并行训练如图3 所示,将n 张图对角依次排列拼接成一张图输入到GAT 模型中,模型能够同时提取n 张图的数据信息。由于子图之间无连接关系,且GAT 在同一网络层之间共享参数,因此采用多图并行训练与串行训练的结果相同。
1.4 GATLSTM 模型的构建
GATLSTM 模型结构如图4 所示,模型由输入层、GAT 层、LSTM 层、全连接层和输出层组成。将历史积水数据输入GAT 层中,计算各节点间的注意力系数,据此分配权重,加强关键信息序列的记忆,再使用LSTM 对提取到的特征序列进行建模并预测,最后由全连接层输出预测结果。
输入层:将标准化后的历史降雨积水数据转换为图结构数据,并行输入GAT 层中。
GAT 层:GAT 层主要捕获各维度數据间的空间依赖关系,通过节点分配权重的方式加强对关键信息序列的记忆。GAT 层由两层GAT 组成, GAT 采用LeakyReLU 激活函数,两层GAT 之间采用Elu 激活函数。训练数据通过GAT 层后,将得到的结果进行拆分,还原为Hc 的形式输入LSTM 层中,GAT 层的输出为Hc = {h1→′,h2→′,…,hN′ →} ,其中 h′i ∈ RF ,可表示为
LSTM 层:LSTM 层对GAT 层提取到的特征进行学习,建立单层LSTM 提取积水面积的时间特征,在t时刻,LSTM 层的输出ht 表示为
ht = LSTM(Hc,i -1,Hc,i ) (t ∈ [1,i]) (14)
全连接层:将LSTM 层输出的结果输入到全连接层中,采用ReLU 激活函数,预测t 时刻的积水面积。计算公式为
yt = ReLU(w0ht + b0) (15)
式中: yt 为t 时刻降雨积水面积预测值, w0 为权重系数, b0 为偏置值。
输出层:将不包含激活函数的全连接层作为模型的输出层,输出模型的预测结果。
2 实验设置
2.1 数据来源与处理
采用开封市内某一内涝点2021 年5 月—2023 年4 月的10 场降雨数据评估模型的性能,采集时间间隔设置为10 min。实验数据包含气温、湿度、气压、积水水位、降雨量及积水面积。其中积水水位数据来自内涝点设置的传感器,气温、湿度、气压、降雨量等数据通过气象监测站获得,通过监控设备获取积水影像,根据胡昊等[21] 的研究成果获得积水面积数据。本文选择对积水面积进行预测,按照7 ∶ 2 ∶ 1 的比例将数据划分为训练集、测试集和验证集。
2.1.1 异常数据处理
在历史积水数据和气象数据的采集过程中,存在操作失误、测量方法不当等问题,导致数据异常,影响模型的预测精度,因此对异常数据进行删除并采用插值法予以填充。
2.1.2 标准化处理
本研究采用的数据种类较多,在量纲及数量级上存在较大差异,容易导致神经网络难以收敛,因此对数据进行标准化处理[6] 。本文采用Min-Max 标准化,公式如下:
式中: x? 为数据标准化后的值;x 为原始样本数据;max 和min 分别为区间的最大值和最小值,分别为1和0; xmax 和xmin 分别为样本数据中的最大值和最小值。
2.1.3 数据转换
通过皮尔逊相关系数法将样本数据转换为图结构数据,变量之间的皮尔逊相关系数[22] 表示它们的关联程度。设定阈值,当相关系数超过所设阈值时,就认为变量之间存在相关性,即存在边。皮尔逊相关系数的计算公式为
式中: cov(X,Y) 为两个变量间的协方差, σx、σy 分别为X、Y 的标准差。
2.2 实验环境以及参数设置
本次实验的计算机配置如下:处理器为11th GenIntel(R) Core(TM) i9-11900 @ 2.50 GHz 2.50 GHz,显卡为NVIDIA GeForce RTX 3090,内存为64 GB,操作系统为Windows 11.0(64 位)。集成开发环境为Py?charm,安装CUDA11.1,开发语言为Python 3.8.16,并应用Pytorch1.8.0 的学习框架。GAT 网络层设置为两层,注意力头数设置为4,在LSTM 层中,隐藏层的神经元个数为128。在训练期间,输入的批次大小为512,迭代次数epoch 设置为50。选用Adam 优化器,初始学习率设置为0.006,通过不断地迭代更新模型的网络权重和偏差,使模型达到最优状态。
2.3 评价指标
为评估GATLSTM 模型的预测性能,选取均方根误差(RMSE,Root Mean Square Error)、平均绝对百分比误差(MAPE,Mean Absolute Percentage Error) 和校正决定系数( R2,Adjusted R-Square)来进行模型的评估,各指标的计算公式如下:
式中: n 为样本数量,y ^i 为预测值, yi 为实际值, yi 为实际值的平均值,p 为特征数量。
MAPE 可以衡量模型预测结果的好坏;RMSE 对结果中极端数据的误差较敏感,可以评价预测的精度。在预测实验中,RMSE 和MAPE 的值越小,预测结果越准确。R2 取值范围为0 到1,越接近1,模型的拟合效果越好。
3 实验结果和分析
3.1 预测结果
为验证GATLSTM 模型的性能,使用训练集对模型进行训练,GATLSTM 模型在测试集上的预测结果见图5。从图5 中可以看出GATLSTM 模型的预测值曲线与实际值曲线高度吻合,并在积水点面积变化较大时能够准确预测积水面积的变化趋势,表明GATLSTM模型能够准确预测内涝点的积水面积。
图6 为预测值与实际值的百分比误差散点。最大误差绝对值为1.87%,最小误差绝对值为0.08%,93%的预测结果误差绝对值在1%以内,表明GATLSTM 模型具有较高的预测精度。
图7 为GATLSTM 模型损失函数的收敛曲线。损失函数曲线在初始阶段快速下降,当损失值下跌至0.017附近时,下降速度开始减缓,当迭代次数为9 时,模型达到收敛,损失值稳定在0.004 左右,收敛效果较好,可以看出GATLSTM 模型具有较好的泛化性。
图8 为降雨量与积水面积的变化曲线。积水面积的变化相较于降雨量变化具有一定的滞后性,主要原因是从降雨到积水的汇聚需要一定的时间。降雨量较大时的积水面积变化速度明显大于降雨量较小时的,主要原因是降雨量较大时积水汇聚速度远大于下渗速度,导致积水面积的变化更加明显。
3.2 模型对比分析
为了验证模型的优越性,将GATLSTM 模型与LSTM、GAT、GCNLSTM 模型在验证集上的预测结果进行对比,见表1。
在精度方面,预测精度最高和最低的模型分别为GATLSTM 和LSTM 模型。与LSTM、GAT、GCNLSTM模型相比, GATLSTM 模型的MAPE 分别降低了49.01%、1.48%、7.17%,RMSE 分别降低了9%、0.98%、1.94%。结果表明,在本实验中GATLSTM 模型具有最好的预测精度。从R2 值可以看出GATLSTM 模型相较其他模型具有更好的拟合效果和泛化性,适用范围更广。
在效率方面,GATLSTM 模型的平均运行时间为106 s,相较于LSTM、GCNLSTM 模型分别快了64、1 s,但是比GAT 模型慢了9 s。主要原因是GATLSTM 模型将GAT 和LSTM 相结合,进一步捕获数据的长时间依赖关系,提高预测精度的同时增加了模型的训练时间。
由上述分析可知,本文通过GAT 与LSTM 模型的组合,提高了模型的预测精度,同时采用并行计算的方式提高了模型的效率,使得该模型能够同时满足城市防汛工作在预测精度和预测效率方面的要求。
图9 为4 种模型预测的积水面积变化过程对比。可以看出,LSTM 模型的预测值曲线与实际值曲线的跟随效果较差,尤其是在积水面积变化较大时,预测值有较大的误差。GAT 和GCNLSTM 模型在平缓时段的预测精度较高,当积水面积变化较大时,模型的预测值曲线与实际值曲线跟随效果较差。相较于其他模型,本文所建模型在平缓的时段能够准确预测积水面积,并且在积水面积变化较大时仍然能够准确预测积水面积的变化。与GCN 相比,GAT 引入了注意力机制,能够更加有效地学习图结构数据中的信息,准确地预测积水面积的变化。
4 结束语
本文构建了一种用于城市内涝点积水面积预测的GATLSTM 組合时序预测模型。采用开封市近两年的降雨积水数据进行验证,并与以往的预测模型进行对比分析,结果表明:本文所建GATLSTM 模型能够准确且高效地预测内涝点积水面积,与LSTM、GAT 以及GCNLSTM 模型相比,RMSE 分别下降了9%、0.98%、1.94%,MAPE 分别降低了49.01%、1.48%、7.17%;通过并行训练的方法提高了模型的运算效率,能够满足城市应急防汛工作的时效要求;通过GAT 提高了模型的预测精度,但在GAT 的训练中,需要通过大量的运算来进行节点更新以及网络参数的确定,影响了模型的效率。未来可以通过研究图注意力网络与其他优化算法相结合的方式,进一步提高预测模型的运算效率。同时,随着科学技术的发展,未来可以从监控视频中得到更加准确的历史积水面积,从而得到更为准确的预测结果。
参考文献:
[1] 张金萍,杨锋,方宏远.郑州市致灾暴雨积水点成因分析[J].水电能源科学,2022,40(5):64-67,173.
[2] 侯精明,康永德,李轩,等.西安市暴雨致涝成因分析及对策[J].西安理工大学学报,2020,36(3):269-274.
[3] 王伟武,汪琴,林晖,等.中国城市内涝研究综述及展望[J].城市问题,2015(10):24-28.
[4] 臧文斌,赵雪,李敏,等.城市洪涝模拟技术研究进展及发展趋势[J].中国防汛抗旱,2020,30(11):1-13.
[5] 刘媛媛,刘业森,郑敬伟,等.BP 神经网络和数值模型相结合的城市内涝预测方法研究[J].水利学报,2022,53(3):284-295.
[6] 周小力,李云,王国胤,等.CNLSTM 模型预测城市积水[J].重庆邮电大学学报(自然科学版),2021,33(4):529-535.
[7] 赵兵,王增平,纪维佳,等.基于注意力机制的CNN-GRU短期电力负荷预测方法[J].电网技术,2019,43(12):4370-4376.
[8] 徐冰冰,岑科廷,黄俊杰,等.图卷积神经网络综述[J].计算机学报,2020,43(5):755-780.
[9] 王健宗,孔令炜,黄章成,等.图神经网络综述[J].计算机工程,2021,47(4):1-12.
[10] 吴博,梁循,张树森,等.图神经网络前沿进展与应用[J].计算机学报,2022,45(1):35-68.
[11] 黄警明,陈翔.基于图卷积网络的基站用户数量预测[J].无线电通信技术,2023,49(5):939-945.
[12] 曾筠程,邵敏华,孙立军,等.基于有向图卷积神经网络的交通预测与拥堵管控[J].中国公路学报,2021,34(12):239-248.
[13] 赵静,李昕.基于GAT-GRU 模型的交通流预测方法[J].辽宁工业大学学报(自然科学版),2022,42(3):170-176.
[14] ZHAO K D,XU M Y,YANG Z Z, et al.A Spatial?TemporalSimilar Graph Attention Network for Cyber Physical SystemPerception via Traffic Forecasting[J].Journal of Circuits,Systems and Computers,2022,31(6):2250112.
[15] 马帅,刘建伟,左信.图神经网络综述[J].计算机研究与发展,2022,59(1):47-80.
[16] 杨红,张贺,靳少宁.融合卷积与多头注意力的人体姿态迁移模型[J].计算机应用,2023,43(11):3403-3410.
[17] 石琇赟,李顺勇,韩翔.基于多头图注意力网络与图模型的多标签图像分类[J].计算机系统应用,2023,32(6):286-292.
[18] 王军,马小越,张宇航,等.基于SSA-LSTM 模型的黄河水位预测研究[J].人民黄河,2023,45(9):65-69.
[19] JIANG S C,YANG S H.Distributed State Estimation Methodof Distribution Networks Based on LSTM [ J]. Journal ofPhysics:Conference Series, 2023, 2418(1):012089.
[20] 陸继翔,张琪培,杨志宏,等.基于CNN-LSTM 混合神经网络模型的短期负荷预测方法[J].电力系统自动化,2019,43(8):131-137.
[21] 胡昊,李擎,马鑫,等.基于影像的道路积水监测研究[J].华北水利水电大学学报(自然科学版),2023,44(1):62-70.
[22] 肖勇,赵云,涂治东,等.基于改进的皮尔逊相关系数的低压配电网拓扑结构校验方法[J].电力系统保护与控制,2019,47(11):37-43.
【责任编辑 许立新】
基金项目: 河南省重大科技专项( 221100320200,231100320100);河南省高等学校青年骨干教师培养计划项目(2019GCJS105);开封市重点研发专项(22ZDYF007)