深度U-Net网络在遥感山地冰川边界分割中的应用

王宇轩,姜 博,刘 成,于 涛,陈晓璇,袁玉芳,汪 霖

(1.西北大学 信息科学与技术学院,陕西 西安 710127;2.中国科学院光谱成像技术重点实验室,陕西 西安 710119)

冰川是由大气固态降水演变而成,通常是处于流动状态的天然冰体。冰川是气候变化的重要指示器,尤其是在中纬度地区,高原山地冰川会对当地的气候、生态环境产生重要的影响。我国青藏高原及其比邻地区蕴藏着世界两极之外最大的冰雪储量,被誉为“第三极”,该地区的冰川变化会对周边10个国家的15亿人口的农业、发电等生产活动产生重大影响,而且,因冰川范围巨大,会引发该区域乃至北半球的大气环流格局的变化[1]。因此,冰川变化一直是地学研究的重要方向。冰川变化研究的首要问题是对冰川的范围进行提取,但山地冰川通常位置偏远,地形复杂,实地检测成本巨大,很难大范围地开展冰川变化的检测工作。

近年来,随着遥感技术的发展,通过遥感图像进行冰川变化的检测、检测沙漠化的程度、检测植被面积变化等应用逐渐被采用[2]。随着多波段、多时相、高分辨率遥感图像的出现,进一步丰富了遥感图像在地学领域的应用。通过分析遥感传感器对地表不同事物的电磁波辐射信息,产生多波段、多时相、高分辨率遥感图像,再通过后期处理,就可以得到目标事物的地表信息[3-4]。例如典型的Landsat多波段遥感影像,通过利用不同的影像波段进行组合(波段组合是指将图像的R、G、B 3个通道按顺序设定为3个特殊波段进行合成),可以合成针对不同任务的假彩色图像,完成对应的图像任务,如图1所示。

依靠遥感图像可以及时、准确地获得冰川信息,一定程度上解决了冰川信息稀缺的问题。基于遥感图像的冰川分割是一个多学科交叉的研究任务,在研究中涉及到图像处理、地理研究等多方面的内容,具有很高的理论意义和实用价值。

图1 遥感图像多波段组合示意图

针对基于遥感图像的冰川分割问题,人们进行了广泛的研究。最先出现的方法是通过遥感图像进行人工目视解释,但该方法工作量大、耗时长[5-6]。为了解决这一问题,开始使用计算机辅助分割方法,计算机辅助提取虽然在精度方面不如人工目视解释,但胜在可以快速提取大尺度的冰川区域信息,有着明显的优势。目前,常用的计算机辅助方法有比值阈值法[7-8]、雪盖指数法[9-10]、非监督分类方法[11-12]、监督分类方法[13-14]、面向对象分类方法[15-16]和神经网络分类方法[17-18]。比值阈值法和雪盖指数法是利用不同地物对不同波段的反射率不同,将不同的波段信息进行比值运算或归一化运算,提高目标地物与其他地物的对比度,将目标地物凸显出来,方便进行目标地物的分割,常用的波段组合有Band3/Band5或Band4/Band5。随着机器学习的发展,非监督分类方法、监督分类方法被使用在冰川分割任务中,非监督分类是通过统计图像中每一个像素点在空间和光谱信息中的差别,基于集群原理对像素点进行统计分类;监督分类是指通过已知的训练集得出任务目标的图像特征,将求出的特征参数作为决策规则,建立相应的判别函数,进而对图像分类。面向对象分类方法通过提取图像的上下文信息、光谱信息和空间信息,对图像进行合并、分割操作,建立相应的分类规则实现图像分割任务。神经网络分类方法通过学习图像内部的特征信息,并与对应的神经网络进行组合,相比于其他分类方法,对特征信息的使用更加全面,可以更高效地进行图像分割,大大提高了分割精度。但神经网络分类方法受限于训练集无法采用可以凸显冰川特征的特殊波段组合,不能充分利用多波段遥感图像的优势。本文针对神经网络分类方法的这一问题,制作了不同波段组合的冰川分割训练集,并通过添加不同波段组合的假彩色图像,丰富冰川的光谱信息,提升冰川分割的准确性。

1 改进U-Net冰川分割方法

目前,传统的冰川分割方法并不能充分利用遥感多光谱影像中的光谱信息和空间信息。通过制作特定的数据集可以增加网络对多光谱信息的利用率,相比于使用真彩色图像,多光谱信息可以更好地实现冰川分割的任务,凸显冰川的特征信息。U-Net网络[19]的初衷是为了解决医学影像分割问题,其简单的结构与容易训练、参数量少的优势使其大范围被其他分割任务使用。冰川分割的训练集与普通分割任务的训练集相比规模较小,有利于U-Net网络发挥其优势[20-21]。本文在U-Net网络的基础上改进了下采样过程,在原始的三通道下采样过程中添加了Inception v1模块[22],并将额外的光谱图像作为Inception v1模块的采样源,增加了多光谱信息的使用组合。

Inception v1模块最初是为了解决获取高维特征信息时,使用更深层次的卷积导致网络变大、参数过多的问题。本文通过使用Inception v1模块可以将整体网络变宽,在保证整体模型质量的前提下,提取高维特征,减小使用多个光谱组合带来的参数量增加的问题,使整体网络更适用于冰川分割任务。在整体网络最下端的横向连接部分,采用多尺度dilation convolution[23]集联的模块,其主要是由不同空洞率的空洞卷积模块和卷积函数构成。空洞卷积广泛用于语义分割与目标检测等任务中,在扩大感受野的同时,不需要引入额外的参数,有利于网络的训练。

改进的U-Net网络架构如图2所示,相关网络参数如表1所示。

图2 深度网络基本结构图

图2中的网络分为2个部分, 左侧为下采样过程, 右侧为上采样过程。 为了充分利用多光谱图像的优势, 本文在U-Net原始下采样过程中采用723波段组合进行训练, 此波段组合可以增强冰川的特征信息, 在图像中冰川与陆地有着较大差别, 有利于网络的分割操作。 下采样过程包含4个子模块, 每个子模块包含2个3×3卷积层和1个ReLU的线性操作,之后每个子模块的结果通过2×2的最大池化操作进行下采样。同时,在Inception v1模块的部分采用以下波段组合进行训练,

B=B5×B5/B6

(1)

式中:B为Band,指合成图像;B5为Band5,代表遥感图像的近红外波段;B6为Band6,代表遥感图像的短波红外波段。此波段可以丰富冰川相关信息。通过读取对应波段图像数据,按照式(1)进行计算,将结果生成为单通道灰度图像,作为额外的图像数据输入网络。Inception v1模块结构如图3所示。

表1 部分模块网络参数Tab.1 Parts of module network parameters

首先,将额外的波段图像数据输入到Inception v1模块,通过1×1卷积操作降低通道数,把相关信息进行聚集,再进行不同尺度的特征提取操作以及池化操作,得到多个尺度的信息,在相应的3×3卷积和5×5卷积后,以及3×3池化操作之前添加1×1卷积操作,可以有效减少训练的参数量。为了丰富特征图像的信息,在网络中添加池化层,同时,为了使输出的大小保持一致,在池化层中采用same类型的池化操作。池化操作具有一定的特征提取作用,同时不会产生新的参数,不会产生过拟合现象。通过多尺度卷积和池化操作获得4个相同宽高的矩阵,将它们的通道纬度叠加在一起进行运算。通过多个尺度的融合,既增加了网络处理数据的宽度,同时,大大强化了整体网络对尺度的适应性。之后对模块的输出结果通过卷积的方式与原始U-Net网络的下采样过程进行对应,改变数据的通道数,将下采样过程的通道与Inception v1经过转换后的通道进行合并,两个模块的卷积通道数比例设为3∶1,在丰富网络信息的同时减少新的图像加入时带来的冗杂信息。在整体网络最底层,采用多尺度dilation convolution集联的模块,如图4所示。

图3 Inception v1基本结构图

图4 dilation convolution集联模块基本结构图

通过采用不同空洞率的空洞卷积(DR=2、4、8、16、32)并将结果进行concat连接,可以减少重要信息的丢失,增加网络对输入特征图不同范围的感受野,提高网络学习图像边缘信息的能力和分割准确率。上采样部分也包含4个子模块,每个子模块包含2个3×3的卷积操作和1个ReLU操作,之后对每个模块进行2×2的转置卷积操作,分辨率逐步上升,并将相同层次的下采样结果和上采样结果进行特征融合,帮助网络更好地恢复图像的细节,最后,经过一个1×1卷积得到分割结果图。

2 数据的采集与预处理

本文所使用的图像为Landsat 8卫星遥感图像,该遥感图像分为9个波段,通过不同的波段组合达到凸显不同地物特征的效果,例如321波段组合为传统真彩色图像,用于各种地物分割,但信息量相对较少,432波段组合为标准假彩色图像,地物图像丰富,用于植被分类、水体分割等任务[24]。本文通过723波段组合作为冰川分割的图像集进行网络训练,该波段组合适用于冰川分割等任务,图像中陆地总体呈红色,冰川呈蓝色,可以很好地完成冰川分割的任务。本文在传统的成对训练集中加入了式(1)的波段组合,该图像可以起到凸显冰川特征信息的作用,最大化使用多波段遥感图像的优势,提升网络效果。输入图像对比如图5所示,其中,额外波段图像为灰度图,只有1个波段。

图5 输入图像对比图

遥感图像总体要大于一般深度网络所使用的图像大小,若直接将一整幅图像作为训练集进行训练,需要消耗大量的内存空间,同时,冰川在整幅图像中所占的比例较小,训练效果不佳。所以,要先对遥感影像进行切分,将切分的小图像输入到网络进行训练,本文网络架构中采用512×512大小的图像。

在制作训练集时,采用西藏冰川范围矢量文件作为真实结果,该矢量文件包含西藏区域全部的冰川范围坐标,其制作是通过人工目视解释完成。本文通过gdal(地理空间数据抽象库)将矢量文件和遥感图像进行地理坐标对应,将冰川区域标注为1,背景区域标注为0,生成冰川区域的二值图像,并进行图像的切分,将二值图像与切分后的遥感图像进行对应,制作相应的冰川分割的成对训练集。

由于数据集较小,所以本文在实验前进行数据增强操作,采用多角度图像旋转的方式增加数据样本。数据集被分为训练集和测试集2部分,按照4∶1的比例随机分配。数据增强后的训练集有1 316张图像,测试集有329张图像。

3 实验及结果分析

常用的语义分割算法的评价指标为平均像素精度(MPA,式中简记为AMPA)和平均交并比(MIoU,式中简记M),本文采用这2个指标评价对比网络的性能。平均像素精度计算每个分类中被正确分类的像素的比例,之后求取所有类的平均值,

(2)

平均交并比为语义分割的标准度量,计算真实值和预测值的交集和并集之比,之后求取所有类的平均值,

(3)

本文采用U-Net网络和Segnet网络[25]作对比,通过将各个网络的分割结果可视化,利用人工目视解释法的结果作为真实结果,对各网络进行对比分析,如图6所示。

图6第1行与第2行冰川所在的区域中,冰川与陆地之间差异比较明显,冰川的范围较小且不存在容易混淆的干扰因素,3种网络的分割结果较好,基本可以对冰川的范围进行分割。图6第3行冰川的范围较大,本文提出的改进U-Net深度网络和Segnet网络对于冰川的分割效果较好,U-Net网络在大范围的冰川区域中间产生了空洞,无法完整地识别出大范围冰川中间的部分。图6第4行冰川所处的地形比较复杂,存在着一部分的山体阴影,使得整个图像在一定范围内偏暗,对冰川分割产生了一定的影响。此外图像左下方的一条长冰川在边界部分存在沙石覆盖和冰水交融的现象,使得冰川边界部分颜色加深,影响了网络分割的效果。对比3种网络的分割结果发现,本文提出的改进U-Net网络相比于其他2种网络对冰川边界的分割稍有优势,但整体效果还不够理想,需要未来继续进行改进。图6第5行图像中存在大面积的湖水, 对比3种网络, 本文提出的网络与U-Net网络有着较好的分割效果, Segnet网络对湖水的边界存在一定的误判。 图6第6行图像中存在较大面积的山体阴影, 使得大范围的图像较暗, 对网络分割产生了较大影响, 对于图像右下角的长冰川, 3种网络均不能进行良好的分割, 在冰川的末尾处, 存在着沙石覆盖冰川的现象, 网络无法对其进行分割, 未来可以考虑对所处特定地形的冰川进行特定处理, 提高整体分割的效果。

图6 网络分割结果对比图

根据MPA和MIoU指标参数进行网络分割效果的比较,得到的实验结果如表2所示。本文提出的改进U-Net网络相比于效果更好的U-Net网络,MPA提升了4.8%,MIoU提升了4.4%。相比于其他2种网络,本文提出的改进U-Net网络的分割效果最好。

表2 网络参数对比Tab.2 Comparison of network parameters 单位:%

为了切实表现本文的各个模块对于冰川分割的影响,采用消融实验进行验证,对比如表3所示。

表3 消融实验对比Tab.3 Comparison of ablation experiment 单位:%

通过消融实验对比,可以直观地表现出各个模块对网络的提升。Inception v1和dilation convolution 2种模块相比,添加额外波段组合的Inception v1模块对于网络效果的提升较大,本文提出的改进型U-Net网络得到最佳效果。

本文采用Inception v1模块,该系列模块有着不同的版本,为了验证模块的作用,将不同版本的Inception模块结合U-Net网络进行实验对比,如表4所示。

表4 Inception模块对比Tab.4 Comparison of Inception module 单位:%

通过表4可以看出,Inception v2和Inception v3模块相比于本文所使用的Inception v1模块在实验效果上欠佳。v2和v3是在v1的基础上进行修改,其核心是通过多个小尺度卷积的组合替换大尺度卷积,从指标上来看,并不符合该类任务的特性。

综上所述,本文提出的网络在评价指标上相较其他网络存在着一定的优势,但通过可视化图像进行对比,发现网络还存在着一定问题,例如,受山地阴影的影响较大、对沙石覆盖的冰川不能进行良好的分割识别、对于散乱状分布的较小的冰川不能做到完全的分割识别等,这些问题需要在未来进行改进提升。

4 结语

本文针对深度学习网络在冰川分割领域使用时所遇到的问题,通过改进相关网络使其更贴近冰川分割任务的特点,旨在开展冰川分割相关研究。首先,针对图像分割数据量稀少的问题,同时,考虑到遥感多光谱图像的特性,制作冰川分割数据集,通过使用多种光谱图像信息,凸显冰川特征,增强冰川与其他地物的差异。针对网络输入信息较多的问题,对网络结构进行改进,通过添加Inception模块,提高网络对于多波段图像特征的提取效果,减少网络训练中的参数量,使用多尺度dilation convolution集联模块提高网络感受野提高网络效果。

本文所提的算法还存在诸多不足之处,冰川所处地形比较复杂,通过图像的方式无法鉴别出地形特征,例如,在冰川表面之上覆盖着一层沙石,会对分割效果有较大的影响;冰川下方会有湖水的存在,与冰川相连的湖水具有较大的干扰性;同时,遥感图像存在着云层、阴影的干扰,无法对相应地区进行分割。针对这些问题,本文考虑网络可以融合多种形态的数据,如山地地形、当地气候等,以期解决以上问题。