袁若浩 王保云
摘 要:云南作为泥石流受灾最严重的省份之一,每年均会遭受重大损失。为了应对这种突发性灾害,本文基于DCHNNet(dual-channel hybrid neural network)提出了一个基于双通道的改进残差结构的卷积神经网络——双通道残差网络(two-way residual network,TWRNet)。该网络能够广泛应用于泥石流沟谷图像的潜在危险性排查,实现泥石流灾害的预警。TWRNet首先采用切片的方式对数字高程(digital elevation model,DEM)数据和遥感数据分开处理,并使用改进的残差结构进行特征提取;然后将特征进行融合,并使用通道注意力机制SE(squeeze-and-excitation networks)模块进行通道增强;最后给出泥石流沟谷的分类结果。在训练过程中,本文使用了交叉熵和焦点损失构成的联合损失函数。实验结果表明, TWRNet在泥石流沟谷识别方面达到了最高89.28%的识别率和 87.50%的召回率,模型性能良好。使用图像学习沟谷特征的方法来进行泥石流孕灾沟谷的识别是可行的。
关键词:泥石流;分类;卷积神经网络;预测
中图分类号:TP183;P642.23
文献标志码:A
我国是一个泥石流频发的国家,尤其是西南西北山区,经常会发生特大泥石流[1]。云南地处云贵高原西南部与青藏高原东南部之间,地势呈西北高、东南低,境内多为山地高原地形[2-3]。同时,云南还具有多种季风气候,在雨季极易出现强降雨,多种因素的共同作用,使得云南多发泥石流灾害[4-5]。频发的泥石流每年均会给该地区带来重大的损失,若能合理有效地对泥石流的发生进行预测,对于山区的防災减灾工作将具有重大意义。
泥石流灾害防治预警是防灾减灾重点研究课题之一,早期依靠实地考察,结合实地数据使用统计分析的方法进行泥石流研究。目前的研究方法主要为:基于数值模拟、基于统计理论和基于机器学习。数值模拟的方法是采用动力学模型,将泥石流沟谷的具体信息输入动力学模型进行数值模拟,常用工具有MassFlow、FLO-2D等。如以单个建筑为评价单元,模拟在极端降雨条件下的泥石流爆发过程[6];或者是根据不同降雨情况下的泥石流冲出物来进行泥石流强度和危险性的分区[7]。
统计理论的方法主要是围绕泥石流的各种参数来进行,通过函数去拟合参数之间的关系。如计算泥石流评价因子的主客观权重值,引入基于方差最大化的组合赋权法对泥石流研究区进行危险分级[8];把不同评价因子组成对照组,探究不同指标评价体系对泥石流危险性评估的影响[9]等。这两种方法中,数值模拟的数据获取较为困难,且只能对个别沟谷进行评价,每次评价的数量较少;统计理论则存在专家选择泥石流评价因子的主观性,不利于大范围开展泥石流排查。
基于机器学习提取特征的方法则是将统计或计算得到的沟谷因子作为训练数据,通过反向传播优化模型参数,然后将优化的模型用于泥石流沟谷的评价中。如通过BP神经网络方法对泥石流冲刷进行建模,建立起泥石流危险性的预测体系[10];基于随机森林和支持向量机算法对泥石流易发性进行评价[11]等。这些方法均取得了不错的结果。然而通过文献查阅,几乎没有将卷积神经网络应用于泥石流的研究,这可能是因为泥石流本身是小样本问题,数据量较少,想要对泥石流沟谷快速识别存在一定难度[12],且利用卷积神经网络对泥石流进行快速识别主要是依靠DEM(digital elevation model,数字高程)数据和遥感数据,而这两种数据包含的信息又各不相同,直接将两种数据输入网络训练会影响网络分类的准确度。
基于数值模拟、统计理论和机器学习等方法存在的问题,本文借鉴DCHNNet [13] (dual-channel hybrid neural network)双通道网络的思想,提出了一个基于双通道的改进残差的神经网络TWRNet(two-way residual network)。该网络利用两个通道分别提取DEM与遥感图像的特征信息,并添加经过平均池化改进的残差结构来获取特征信息。通过该模型,我们可以快速且大面积地对泥石流沟谷进行分类,准确识别出具有潜在危险的泥石流沟谷。
1 泥石流相关数据的构建
1.1 研究区域概述
迪庆藏族自治州位于云南省西北部滇、藏、川三省交界处,其地势北高南低,地形以山地、岭峰为主,境内有澜沧江与怒江两大流域。而澜沧江上游流域沟壑纵横,地形复杂,高差大,是泥石流灾害的高发地区。此外,迪庆藏族自治州境内气候属北亚热带高原山地季风气候,年平均降雨量738 mm,5—10月雨季的降水量占全年降水量3/4左右,因此在雨季迪庆藏族自治州极易遭受泥石流侵害。图1为迪庆藏族自治州州区域图。
1.2 数据来源及整理
本文中的数据采用DEM和遥感数据。DEM数据来自公开数据集USGS,分辨率为30 m。遥感数据全部来自高分一号卫星(GF-1),分辨率为16 m,采用的光谱信号为蓝波段、绿波段、红波段、近红外波段。其中DEM能提供沟谷的地形信息,比如主沟的长度、汇水面积、土石量[14]、坡度、坡向[15]等。遥感数据能够提供沟谷的地表信息,比如地表的植被覆盖率、建筑物、水系条件等[16]。DEM和遥感数据涵盖了常见的用于泥石流危险性评价的因子,因此本文采用了上述两种数据。
为了使数据能够适应我们的模型,实验要对数据进行一些预处理。首先要区分出发生过泥石流的沟谷以及未发生过泥石流的沟谷。处理方式如下:对于发生过泥石流灾害的沟谷,本文查阅了《云南减灾年鉴》以及相关的新闻报道,将泥石流的发生地精确到村,并结合相关新闻报道,在澜沧江流域选取82条确认发生过泥石流的沟谷。而对于没有被记录的泥石流沟谷,通过谷歌地球的卫星地图选取附近有村庄或农田的沟谷,并记录下来。通过这种方法得到了85条无灾害记录的沟谷。将上述发生泥石流的82条沟谷记为正样本,无灾害记录的85条泥石流沟谷记为负样本。
在完成了沟谷的数据处理后,通过ArcGIS确定沟谷的点位,从 DEM 图中提取这些沟谷,然后将收集到的所有图像数据进行汇总。为了使沟谷图像更加分明,实验又按照沟谷的流域面积和主沟长度将正负样本各分了3类,之所以各分成3类是因为许多研究均指出流域面积大小与沟谷危险性具有强相关性[17-20],姚振国等[21]通过对泥石流沟谷流域面积与易发泥石流的沟谷条数进行分析,发现两者具有良好相关性,这说明流域面积大小对泥石流的形成起重要的控制作用。因此,本文按照小、中、大的流域面积分类方法将正负样本各分为3类。其中正样本为0、1、2,负样本为3、4、5。具体分类方式如表1。
在正负样本分成6类之后,发现每类样本的数据并不平衡。因此,为了更好地对这些沟谷做出准确的预测,在进行模型训练时又对数据进行了增强,增强方式为旋转和翻转,详细结果如表2。
增强后数据的正样本数量增加到140个,负样本数量增加到148个,总数量达到288个。然后依据深度学习常用的数据比例划分方法,将训练集与测试集按照9 ∶1、8 ∶2和7 ∶3划分比例输入模型进行训练。最后根据训练结果进行泥石流危险性分析。
2 实验方法
2.1 模型的总体框架
模型训练流程可以分为3个主要步骤。首先,对输入数据进行预处理,每条沟谷数据都包含1通道的DEM数据和4通道的遥感影像。这两种数据经过适当处理后,被叠放成5层的数据块,以符合TWR模型的输入要求。其次,把增强后的数据分为训练集与测试集进行训练,并输出模型在测试集上的准确率、精确率、召回率、F1-Score以及Kappa系数等评估指标。最后,在训练的过程中,根据得到的参数和指标不断优化模型,保存训练平稳的最优的模型参数。具体实验流程如图3所示。
在本实验流程中,首先对原始数据进行预处理,将其转化为适合输入网络的数据块。这些数据块经过切片处理后,得到包含DEM数据和遥感数据的子块。其次,将这些子块分别输入到TWR网络中,通过网络的特征提取结构进行特征提取,并通过数据融合的方式将提取的DEM数据和遥感数据的特征进行合并,以获取更丰富和综合的特征表示。最后,将融合后的特征输入到输出层进行分类,并输出实验结果。通过对实验结果的分析,可以评估模型的性能和准确度,以便对泥石流沟谷进行分类和预测。
2.2 双通道残差网络
实验设计的双通道残差网络的详细结构如图4所示。
如图4,首先将DEM与遥感数据处理成叠放5层的数据块,然后进行切片操作,将数据分成 4通道的遥感数据与1通道的DEM数据。在接下来的特征提取阶段,通过TWR的特征提取结构,得到D1、D2、D3、D4以及Y1、Y2、Y3、Y4这8个特征图。其中,D2、D3与Y2、Y3的特征图引入了改进的残差结构,这两个改进残差结构经过了平均池化处理,这样有助于增强特征的表达能力。在特征融合阶段,将处理过后的特征图进行拼接,并经过通道注意力机制SE(squeeze-and-excitation networks)模块进行通道增强。接着,经过特征提取和最大池化操作,将特征输入到全连接层,最终输出沟谷的分类结果。在整个模型的训练过程中,本文结合焦点损失函数(focal loss,FL)与交叉熵损失函数(cross-entropy,CE),构造了一个新的联合损失函数。它能够强化正负样本特征的差异,并提高模型得到分类性能。图5展示了改进的残差结构和添加的SE结构的详细示意图。
基于机器学习的方法进行泥石流的相关研究,需要大量的数据集进行训练,而泥石流相关数据较少,为了解决数据量过少而导致模型过拟合和泛化能力较差的问题,本文引入了在小样本学习中表现较好的残差模块,并添加了通道注意力机制SE来提升模型的性能[22]。假设网络的输入为x,设F1(·)、F2(·)为卷积操作,P1(·)、P2(·)为平均池化操作,y1、y2为残差结构的输出,那么初始化权值偏置,通过前馈计算每层的状态和激活值,得到
yi=Fi(x)+Pi(x) , i=1,2(1)
其中:Fi(x)表示特征图经过卷积后的输出,Pi(x)表示特征图经过池化后的输出。将得到的残差输出再分别经过一次卷积处理,得到的结果进行Concat拼接融合。假设拼接融合后的输出为Q(x),通道注意力机制SE模块的权重值为R(x),改进结构得到的最终输出为y,那么可以得到
y=Q(x)×R(x)(2)
接下来再对输出y进行卷积、池化等处理,最后通过分类函数输出模型,预测各类别的概率值。
2.3 基于交叉熵与焦点损失的联合损失函数
损失函数的使用主要是在模型的训练阶段,每个批次的训练数据送入模型后,通过前向传播输出预测值,然后损失函数会计算出预测值和真实值之间的差异值,也就是损失值。得到损失值之后,模型通过反向传播去更新各个参数,来降低真实值与预测值之间的损失,使模型生成的预测值往真实值方向靠拢,从而达到学习的目的。
首先使用交叉熵损失函数来进行模型的训练,交叉熵损失函数为
LCE=-∑nixilogPi,i=1,2,3,4,5(3)
实验共分为6类。其中:n为种类数量;xi是标签,也就是如果预测类别为i,则xi=1,否则等于0;Pi为神经网络的输出,即类别为i的概率。但是初始的样本分类并不均衡,为了进一步消除样本不平衡对模型的影響,实验又额外引入焦点损失函数,它是一种用于处理样本分类不均衡的损失函数,可以给难分样本赋予更大的权重,使训练过程更加关注这些难分样本。本文将其与交叉熵损失函数结合,用于对不同形态沟谷的潜在危险性做出合理预测。6分类的焦点损失函数可表示为
LFL=-α∑ni(1-Pi)γlogPi ,i=1,2,3,4,5(4)
其中:α为控制样本不平衡问题的参数;γ为控制难易样本不平衡问题的参数;n与Pi分别表示种类数量和样本预测正确的概率值。本文主要对样本不平衡问题进行测试。令γ=2为固定值,然后对α进行调整,经过测试,当α为0.02时,使用联合损失函数,模型的准确率会有小幅度提升,这比单独使用交叉熵函数的准确率提升了3%。所以实验最终确定损失函数为
L=LCE+LFL(5)
3 实验结果与分析
3.1 训练环境
实验采用的设备为CPU:Intel Xeon E5-2650 v3;内存:128GB;GPU:NVIDIA GeForce RTX 3090。软件为Ubuntu18.06、Pytorch1.9.0、Python3.8、CUDA11.1。本实验分为正负样本,有6个通道,使用TWRNet作为骨干架构来提取图像特征。超参数的设置为学习率:0.001;focal loss : α=0.02;dropout率:0.5;batch_size:8;epoch:200。优化方法为SGD。
3.2 结果分析
在上述环境下得到各网络在测试集上的准确结果如表3所示。
从表3可以看出,相比较其他网络结构,TWRNet具有更好的沟谷特征识别能力。TWRNet在沟谷特征提取任务中的表现要优于其他模型,接近0.9的准确率说明模型可以准确提取具有潜在危险的沟谷的特征。这一优势可能是由于TWRNet能够同时处理空间几何信息和光谱信息,从而能够提取到沟谷更多的底层特征,提高了模型的分类性能。
为了探究实验数据划分对测试结果的影响,对数据划分比例也进行了实验,分别采用了训练集与测试集9 ∶1、8 ∶2、7 ∶3的比例划分方式。实验结果如表4所示。
从表4中可以看出,当实验数据划分比例为9 ∶1时,准确率最高,模型的分类效果也是最好。所以本实验所有数据划分均为9 ∶1。
3.3 性能评估
本节给出了所设计的模型与其他经典模型的性能分析。在超参数确定以后,由于每次训练的各模型的准确率都有微小波动,因此选取多次实验的均值对比作为实验结果。表5给出了各种网络结构在沟谷6分类任务上的性能指标,包括总体精度(overall accuracy,OA)、精确率(precision)、召回率(recall)、F1- score以及卡帕系数(Kappa)。其中精确率是指所有被正确预测的正样本占全部预测为正样本的比例,它衡量了模型预测为正样本的准确性。召回率是指在所有发生过的泥石流沟谷中,模型正确预测且有泥石流发生的样本占所有正样本的比例,它衡量了模型对正样本的识别能力。F1-score是综合考虑精确率和召回率后计算得出的结果,它可以评估模型的综合性能。表5中各项指标为多次训练得到的平均结果。
表5的结果表明,相比其他网络结构,TWRNet在沟谷特征识别方面具有更好的性能。其较高的召回率也说明本文设计的模型对泥石流特征的捕获更加精确。TWRNet性能的显著提升可能归因于以下两个原因:
首先,TWRNet采用了双通道思想进行特征提取。相较于直接将数据输入模型进行训练,将数据分别输入模型进行特征提取可以捕捉到更丰富的特征信息。通过同时处理DEM和遥感数据,TWRNet能够充分利用这两种数据的特征,从而提高了模型的性能。
其次,本文使用了交叉熵与焦点损失结合的联合损失函数。它强化了正负样本之间的差异,缓解了样本不平衡问题。焦点损失函数通过调整样本的权重,使模型更关注难以分类的样本,从而提高模型对正样本的分类能力。通过结合交叉熵损失和焦点损失,联合损失函数在训练过程中能够更好地拟合训练数据,提升模型的泛化能力。
图6是将正负样本的沟谷数据输入TWRNet进行测试,随机划分了5次总数据,得到6分类的混淆矩阵和正负2分类的混淆矩阵,并给出了各分类的具体数量。
3.4 超参数设置
为了探讨超参数对实验的影响以及确定最优的模型参数,实验又对损失函数的α取值与学习率进行测试,实验结果如表6、表7。
由表6可以看出,当联合损失函数的α为0.02时,模型的准确率比较高;由表7可以得到,在学习率为0.001时,模型的效果是比较好的。因此实验将α设置为 0.02,学习率设置为0.001 0。
通过以上实验结果,发现TWRNet模型在6分类任务中具有0.875的召回率和0.893的准确率,表明该模型能够有效地捕捉到大部分易发泥石流的沟谷特征。这意味着对于同一流域的其他沟谷图像,该模型具有极高的可信度来判断该图像是否具有泥石流沟谷的特征。如果被预测为发生泥石流沟谷的类别,那么该沟谷就存在发生泥石流的潜在可能性。因此,在雨季来临时,需要加强对泥石流的监测,特别是对天气和雨情的监测,并制定紧急情况下的应急预案,以便能够及时应对潜在的泥石流风险。
4 结论
通过对泥石流沟谷潜在危险性的分析,得出了以下结论:
1)将DEM和遥感数据作为原始输入数据、泥石流沟谷作为评价单元,实验设计了一种基于双通道的改进残差网络TWRNet,用于分析泥石流沟谷的潜在危险性。这一方法为泥石流沟谷的识别问题提供了新的思路和解决方案。
2)实验结果表明,TWRNet在2分类与6分类上的准确率都能够接近90%,相比其他经典模型,TWRNet表现出更高的性能。这表明TWRNet在泥石流沟谷的特征识别方面取得了显著的改进。
3)尽管神经网络在学习和预测泥石流沟谷图像特征方面表现出色,但仍存在一些问题。首先,由于我們对泥石流发生的背景和形成机理的认识有限,仅依靠某些特定条件的判断,预测的精度有限。因此,将诱发因素(如降雨量)与地形地貌条件进行综合考虑,并采用多模态深度学习的方法,有可能取得更好的预测效果。其次,尽管TWRNet具有较高的预测准确性,但对泥石流发生可能性的预测仍存在一定的偏差。因此,希望未来能够发展更加完善的模型,以进一步提高预测的准确性。
参考文献:
井浩, 陶虎. 中国泥石流研究热点与前沿: 基于中国知网的文献分析[J]. 青海师范大学学报(自然科学), 2021, 37(2): 89-96.
[2] 吴平, 郑文晓. 泥石流的形成条件及其防治措施[J]. 西部探矿工程, 2008(3): 4-5.
[3] 周小彬. 泥石流灾害形成条件的判别及其防治措施分析[J]. 西部探矿工程, 2006(10): 271-273.
[4] 刘坤香, 王保云, 孙显辰, 等. 冰川型泥石流沟谷孕灾特点分析[J]. 电脑知识与技术, 2020, 16(21): 208-209,212.
[5] 高速, 周平根, 董颖, 等. 泥石流預测、预报技术方法的研究现状浅析[J]. 工程地质学报, 2002(3): 279-283.
[6] 杨腾飞. 高山峡谷水库区区域泥石流危险度评价研究[D]. 秦皇岛: 燕山大学, 2021.
[7] 陈攀, 葛永刚, 孙庆敏, 等. 基于小流域单元的泥石流易发性评价[J]. 科学技术与工程, 2022, 22(29): 12764-12771.
[8] 李宝幸, 蔡强, 宋军, 等. 基于FLO-2D的泥石流灾害风险评价: 以麦多沟泥石流为例[J]. 自然灾害学报, 2022, 31(4): 256-265.
[9] 乔渊, 刘铁骥, 陈亮, 等. 基于Massflow模型的甘肃省岷县二马沟泥石流危险性评价[J]. 水利水电技术, 2020, 51(4): 184-192.
[10]孔艳. 滇西高山峡谷区泥石流危险性预测及模拟[D]. 昆明: 云南师范大学, 2019.
[11]李坤, 赵俊三, 林伊琳, 等. 基于RF和SVM模型的东川泥石流易发性评价研究[J]. 云南大学学报(自然科学版), 2022, 44(1): 107-115.
[12]韩俊, 王保云, 徐繁树, 等. 基于原型网络对泥石流沟谷的分类预测: 以怒江流域为例[J]. 现代计算机, 2022, 28(2): 88-90.
[13]LU M, PENG T J, YUE G X, et al. Dual-channel hybrid neural network for modulation recognition[J]. IEEE Access, 2021, 9: 76260-76269.
[14]高旭焦. 云南迪庆藏族自治州老虎箐泥石流特征及防治对策研究[D]. 北京: 中国地质大学(北京), 2018.
[15]谢谟文, 刘翔宇, 王增福, 等. 基于三维遥感系统的泥石流土石量计算及影响范围模拟[J]. 水文地质工程地质, 2011, 38(3): 115-119.
[16]彭锐. 小江流域泥石流特征综合探测分析研究[D]. 昆明: 昆明理工大学, 2019.
[17]刘海, 陈华. 基于层次分析法的未确知测度理论泥石流危险性评价[J]. 长江流域资源与环境, 2012, 21(8): 1032-1038.
[18]杨涛, 唐川, 朱金勇, 等. 四川省汶川县绵虒镇小流域泥石流危险性评价[J]. 长江科学院院报, 2018, 35(10): 82-87.
[19]陈维, 赵鑫, 张海太, 等. 基于模糊综合评判法的滇西北公路泥石流危险性评价[J]. 公路, 2020, 65(2): 25-29.
[20]朱渊, 余斌, 亓星, 等. 地形条件对泥石流发育的影响: 以岷江流域上游为例[J]. 吉林大学学报(地球科学版), 2014, 44(1): 268-277.
[21]姚振国, 刘建周, 牛贝贝, 等. 流域面积对沟道泥石流发育的影响分析[J]. 资源环境与工程, 2019, 33(2): 217-219.
[22]袁培森, 宋进, 徐焕良. 基于残差网络和小样本学习的鱼图像识别[J]. 农业机械学报, 2022, 53(2): 282-290.
(责任编辑:曾 晶)
Debris Flow Ravine Hazard Prediction Based on
Two-Way Residual Network
YUAN Ruohao1, WANG Baoyun*1,2
(1.School of Mathematics, Yunnan Normal University, Kunming 650500, China; 2.Key Laboratory of Modeling and Application of Complex Systems in Universities of Yunnan Province, Kunming 650500, China)
Abstract:
Yunnan, as one of the provinces most affected by debris flow disasters, suffers significant losses every year. In response to this sudden natural hazard, the author proposes a two-way residual network (TWRNet), based on the dual-channel hybrid neural network (DCHNNet). TWRNet is capable of extensively assessing the potential hazards of debris flow ravines through image analysis, facilitating early warning systems for debris flow disasters. TWRNet first separates and processes digital elevation model (DEM) data and remote sensing data using a slice-based approach, extracting features with an improved residual structure. Subsequently, the features are fused and enhanced using the channel attention mechanism called the SE module. Finally, the network provides classification results for debris flow ravines. The training process utilizes a joint loss function consisting of cross-entropy and focal loss. Experimental results demonstrate that TWRNet achieves a maximum recognition rate of 89.28% and a recall rate of 87.50% for debris flow ravine identification, exhibiting excellent model performance. Employing the method of image-based learning for the recognition of ravine features associated with debris flow hazards is feasible.
Key words:
debris flow; classification; convolutional neural network; prediction