基于密集连接全卷积神经网络的遥感影像水体全自动提取方法

梁泽毓，吴艳兰，2，杨辉，姚雪东

(1.安徽大学 资源与环境工程学院，合肥 230601；2.安徽省地理信息智能技术工程研究中心，合肥 230000；3.武汉大学 资源与环境科学学院，武汉 430079)

0 引言

河湖水系是陆地水资源的主要载体，水体的变化会影响其他自然资源和人力资产，并进一步影响环境，因此及时有效地检测地表水的存在、提取其范围以及实时监测其动态是至关重要的[1]。遥感技术是大尺度监测地表水体动态变化最有效的方法，与传统现场测量的方法相比，遥感技术具备大范围、高时效性、高效率等优势[2]，被广泛应用于地表水体提取、动态演变监测等[3]。

遥感影像水体自动提取的方法目前主要可分为基于分类规则与基于深度学习模型两大类[4]。基于分类规则的遥感水体提取方法原理是：利用水在光学图像中反射率与其他土地覆盖类型有明显差异的特性，通过人工经验设定分类规则而把水与其他地物区分开来[5]。其最简单的方法是对遥感影像单近红外波段设定阈值来提取水体[6-7]，其他常用的方法有水体指数法[8-9]、光谱监督分类[10-11]、面向对象法[12-15]、决策树分类方法[16-18]等。整体而言，这些方法都需要通过人为经验确定分类规则[19]，这使得水体提取结果受人为主观因素影响，存在工作量大、效率低、时效性差的问题。另一方面，当前众多遥感传感器参数普遍存在差异，不同传感器的遥感影像常需设定不同的分类规则，这使得水体提取方法通用性不强、泛化性较差。此外，部分细小水体(如小溪、水田等)由于在遥感影像上表现范围较小，很多方法无法准确提取，导致提取精度较低。基于深度学习模型的水体提取方法是近年来出现的新方法，它主要通过人工神经网络对遥感影像水体样本进行特征提取与自学习，达到对水体进行自动判别预测的目的[20]。深度学习模型可对高维图像数据进行更有效的特征提取与拟合，故其在多波段遥感影像信息提取问题上具有较强的适用性[21]，如Xu等[22]基于ResNet构建神经网络，并加入一种面向对象的导向滤波机制，弥补了浅层特征丢失的问题，实现了较好的遥感建筑物提取效果，但该方法由于需要人工预处理而限制了其自动化程度；刘笑等[23]通过在全卷积神经网络中加入全局和局部注意力机制，解决了遥感道路提取中由于噪音、复杂道路结构或同谱异物的问题。在水体提取方面，Isikdogan等[4]通过构建全卷积神经网络并改良其跳跃层结构，实现了遥感影像陆地、水、冰雪、云、阴影的分类，但其结果精度受复杂背景、小型建筑等影响较大；Chen等[24]设计了一种超像素的图像分割算法，并设计了自适应池化的卷积神经网络实现水体提取，该方法可避免阴影的影响，并提高了对细节水体的提取能力，适用于城市水体提取，但该方法由于首先进行图像分割预处理而无法实现自动化。

总体来说，深度学习可自动地在大量数据中学习特征而无须手工操作[20]，在遥感自动化应用中具有一定优势。然而，一般卷积神经网络由于无法兼顾图像浅层特征而难以提取细节信息[25]，故大量研究人员致力于一种兼顾细节信息的网络机制研究。遥感影像水体特征明显，但由于水体存在细小河流和小型水田，并且河道弯曲复杂，而使得一般卷积神经网络无法有效提取。为增强细节水体提取能力，同时防止特征冗余，本文通过引入DenseNet密集连接神经网络结构(dense block)构建全卷积神经网络，用以遥感影像水体提取，以解决现有遥感水体提取难以提取细小水体特征、自动化程度不高的问题。

1 方法

全卷积神经网络是深度学习在二维数据特征提取上的核心，其设计灵感来源于生物视觉神经系统。常见的图像分类与分割神经网络中，编码-解码结构[26]最为常用，其中编码过程主要为下采样过程，即通过卷积与池化操作，提取图像数据特征，生成高度抽象特征图；解码过程主要为上采样过程，即通过反卷积与卷积操作恢复特征空间分辨率特征，逐步恢复为与原始数据相同维度的特征图；除此之外，还有一部分结构称为跳跃连接结构，其主要为上、下采样过程中相同维度图像特征的融合过程，用以弥补采样过程所造成的特征损失。通过编码-解码过程，完成对图像数据特征抽取与自学习。

目前应用于图像分类与分割任务的神经网络中，DenseNet网络表现出极强的图像特征抽取能力[27]，并在分类精度上表现优秀。因此，本文引入DenseNet中用于特征抽取的密集连接块，对常规的全卷积神经网络进行改进，用于遥感影像水体提取，并实现提取精度、泛化性和自动化程度的提高。

1.1 密集连接的全卷积神经网络

本网络沿用了神经网络中经典的编码-解码结构，文中全卷积神经网络结构如图1所示。

图1 密集连接的全卷积神经网络

编码过程即为图像下采样特征抽取过程，其输入层为长宽为512像素×512像素遥感影像，下采样层包含1个步长为2，卷积核大小为7的卷积层和5个密集连接块(其结构见下文)，最终可将遥感影像抽取为16×16×256的高度抽象特征图。解码过程即特征恢复过程，具体为下采样高度抽象特征图经4次反卷积特征恢复和4次密集连接块特征提取操作，生成512×512×144的特征恢复图。特征恢复过程中，由跳跃连接结构将上采样与下采样过程中相同长宽特征图进行融合，以提高特征利用度，弥补特征损失，再经一次卷积操作恢复为512×512×2的水体、陆地二值影像图，即输出与输入图像宽高尺度相同的单通道水体特征图，实现遥感影像水体提取。

1.2 密集连接块

与常规全卷积神经网络相比，密集连接的全卷积神经网络结构主要在全卷积神经网络中引入了DenseNet网络中的密集连接块。由于加入密集连接块的设计，使得DenseNet网络更窄，参数更少，加强了特征传递的效率与效果，在减少梯度消失的同时，更加有效而充分地利用了特征，使得网络具备极强的特征抽取能力。密集连接块网络可表示为式(1)。

XL=HL([X0，X1，…，XL-1])

(1)

式中：XL是L层的输出特征图；HL表示L层所有特征映射的拼接。传统卷积神经网络中，L层卷积网络具有L个连接，而在密集连接块中，任何2层之间都有直接的连接，即每一层的输入特征为之前所有层输出特征的并集，使得L层卷积网络具有L(L+1)/2个连接，增强了层与层特征间的关联性。但该结构下会产生大量特征图，为使特征图数量不至于过大，密集连接块中通过设置增值率(k)实现对特征提取过程的有效控制。密集连接块之间通过转换层(transition layer)连接，每个转换层中包含1个卷积层、1个用于防止过拟合的dropout层和1个实现数据降维与扩大感受野的均值池化层。

基于密集连接块的以上优势，本文将该结构应用于本全卷积神经网络中，以提高对遥感影像中水体的细节特征的提取能力，实现更高的水体提取精度。由于遥感影像中水体特征明显，为防止特征冗余和减小GPU内存消耗，本文简化了密集连接块结构，设置每个密集连接块中层数为2、增值率k为32。网络示意图如图2所示。

图2 密集连接块网络结构示意图

2 数据与实验

2.1 数据

1)训练数据集。本文模型训练所使用数据为合肥地区2018年4月17日Landsat-8 OLI 影像。影像经辐射定标和大气校正处理，以消除大气散射与地形、邻近地物等因素的影响，再经过融合处理后，生成15 m空间分辨率的遥感影像。按512像素×512像素的大小在影像上随机裁剪，生成影像子图(子图间存在重叠区域)。本文水体真值二值影像由目视解译获得，与影像子图位置严格配准，并按影像子图对应位置裁剪为512像素×512像素的水体真值子图。共获得5 000幅子图，其中3 750幅用于训练，1 250幅用于模型训练精度验证。样本示例如图3所示。

图3 深度学习遥感影像水体样本示例

2)精度与泛化性验证数据。为验证方法的水体提取精度与模型方法泛化能力，本文选取未参与训练的武汉市地区1景Landsat-8 OLI影像进行精度评价，选取未参与训练的合肥市地区1景GF-2 PMS影像进行泛化性验证。影像信息如表1所示。

表1 精度评价影像与泛化性验证影像参数表

2.2 精度评价指标

在方法定量评价方面，本文从像元精度(pixel accuracy，PA)、均交并比(mean intersection over union，MIoU)、斑块漏检率(patch miss rate，PMR)、水体提取的长度精度(length accuracy，LA)和面积精度(area accuracy，AA)5个指标进行精度评价。

像元精度PA是一种计算预测值与真实值匹配像元占比的评价指标，其值表示预测正确的像元数量占总像元数的比例，值越大表示预测值与真实值的像元匹配程度越高，精度越高。计算方法如式(2)所示。

(2)

式中：k每行每列的最大值；i、j为行、列号；Pii是正确提取的像元数量；Pij为错误提取的像元数量。

均交并比MIoU为语义分割的标准度量方法，其主要描述真实值与预测值之间的交集平均值。计算方法如式(3)所示。

(3)

式中：K为提取类别数目；Pii为匹配像素的数量；Pij为i被误分为j的数量；Pji为j被分为i的数量。

斑块漏检率PMR是基于斑块数量，计算遗漏提取的水体斑块数量占真值水体总斑块数量的比值，其值表示方法对水体斑块提取的遗漏概率，值越小表示遗漏越少，则精度越高，计算方法如式(4)所示。

(4)

式中：Ptruth为真实值水体斑块数；Ppredict为预测值水体斑块数。

为更直观地评价水体提取结果精度，本文分别从水体岸线长度与面积2个方面，定量计算预测值与标准值之间的差异，值越高则预测值与标准值的差异越小，计算方法如式(5)、式(6)所示。

(5)

(6)

式中：Ltruth和Atruth分别为真实值水体长度与面积；Lpredict和Apredict为预测值水体长度与面积。

2.3 软硬件环境配置

本实验所使用计算机配置了3.9 GHz四核Inter Core i7-7700K CPU，显卡为8 GB的NVIDIA GTX 1070TI显卡和16 GB内存条，操作系统为微软window10 pro。程序开发语言为Python，所使用版本为3.5.2，开发平台选用JetBrains PyCharm 2016。

本文神经网络设计由Tensorflow深度学习框架支持，网络训练优化器类型为Adam，学习率为10-4，迭代次数为50万次，批处理大小为16，正则化系数为10-3。

3 结果与讨论

3.1 结果对比

分别通过本文方法、NDWI水体指数法、光谱监督分类法、决策树法对测试影像进行水体提取。

NDWI方法利用影像绿波段和近红外波段进行计算，生成灰度影像，再通过人工设定最优阈值将水体与其他地物加以区分，生成二值影像，最后通过人工设定阈值提取水体。本次实验中阈值设置为0.15。

光谱监督分类法中选取水体与非水体感兴趣区像元数分别为835 355与884 343，再利用最大似然法得到水体二值图。

决策树法是根据影像中水体与非水体的光谱值特征差异，通过构建光谱值分类规则逐级细分而实现水体提取。本文通过选取水体与非水体感兴趣区，自动生成决策树规则，提取结果如图4～图7所示。

图4为测试影像水体提取结果整体对比图。由图4可得，4种方法整体上均可提取出水体区域，但在影像左上部大范围水田区域，3种对比方法结果均有不同程度缺失，而本文方法可实现较好的提取。如图5(区域A)所示，4种方法在大型湖泊区域均可较好地提取出水体区域。由图6(区域B)可看出，4种方法在大型河流与湖泊提取上无明显区别，但在细节水体上有较大差异，如影像左上部水田区域，光谱监督分类方法结果明显缺失，NDWI水体指数法在水田区域部分缺失，本文方法和决策树法结果相对完整。图7(区域C)中河流最小宽度不足2个像素，实际宽度约30 m，可以看出，NDWI水体指数法、决策树法的提取结果均存在明显缺失，河流“断流”现象较严重，监督分类法水体提取基本无法有效提取细小河流与水田。由图7(a)放大图可看出，本文方法在细小水体区域仍能提出水体区域。

图4 长江(武汉)水体提取结果整体对比图

图5 区域A(大型湖泊)水体提取结果

图6 区域B(湖泊、河流、水田混合区域)水体提取结果

图7 区域C(细小河流)水体提取结果

3.2 讨论

1)提取精度。本文分别从像元精度、均交并比、斑块漏检率、提取水体长度精度和面积精度5个指标对4种方法的提取结果进行精度评价，结果如表2所示。

表2 4种方法水体提取结果精度表

由表2可得，本文方法在像元精度、均交并比、漏检率、长度精度和面积精度5个评价指标上均有优势，同时结合上文结果对比可得，使用本文方法对遥感影像水体进行提取具有更好的效果。

本文精度评价测试影像空间分辨率为15 m，大型湖泊、河流在影像上表现明显，故4种水体提取方法均能有效提取大型水体区域；但细小水体(小型河流、水体等)仅表现为几个像元，存在混合像元现象，使得NDWI方法由于水陆交界带沙地或富含水分的土壤影响造成光谱值混淆而无法准确提取水体，如图7(b)所示，所提取水体宽度较实际略窄；同时由于水体边界难以通过人工经验准确分类，使得无法准确选取分类样本或无法准确确定光谱分类规则，导致光谱监督分类和决策树方法的提取效果不理想。此外，NDWI方法中阈值的设定导致提取结果具有了不确定性；又由于测试影像范围较大，在选取分类样本和确定光谱规则过程中，难以顾忌样本光谱特征的全面性，无法构建完善的水体与非水体样本或光谱特征分类规则，造成光谱错分或漏分，导致光谱监督分类和决策树方法具有较高的漏检率和较低的精度。

本文方法通过卷积神经网络不断对大量影像水体特征进行深层挖掘，不断抽象水体特征，同时兼顾水体光谱信息、岸线信息及周围地物光谱影响，使得神经网络学习到一套较为完善的水体抽象特征；加之本文引入了卷积神经网络DenseNet中的密集连接块结构，进一步提高了影像水体提取能力，使得本神经网络对更细节的水体信息具有更强的敏感程度，从而达到更好的水体提取效果。

2)泛化性。在遥感水体提取任务中，针对不同地区、不同传感器、不同分辨率的遥感影像，水体指数法需要人为确定不同的最优阈值，光谱监督分类需要选取不同的感兴趣区，决策树分类需要人为确定不同的分类规则，故这3种方法基本无法泛化使用。本文所述基于密集连接的全卷积神经网络方法无须人工干预，可对不同的遥感影像进行影像水体全自动提取。

为验证本文方法的泛化能力，本文选取未参与训练的合肥地区GF-2影像数据进行泛化性验证。经本文方法自动对该影像进行水体提取结果如图8所示。

本模型训练数据仅为Landsat-8 OLI影像，此次测试数据为GF-2 PMS影像。由图8(a)可知，本文方法在GF-2影像上的水体提取效果良好，但在影像上部河流区域有漏分现象；由图8(b)细节图对比可知，本模型在GF-2影像大型水体提取上仍有着较好的效果，如湖泊岸线、人工堤坝、湖边复杂地形清晰可辨，提取结果与真值相似度较高。经计算，在合肥地区水体提取结果PA达到91.3%，MIOU达到88.6%，表示本文方法在GF-2 PMS影像上也具备较好的泛化性。

图8 GF-2影像水体提取结果

在遥感影像中，由于水体反射率较低且远低于大多数的其他地物反射率，故水体特征表现明显，且在不同影像上的光谱值差异较小。本文方法采用的基于密集连接的全卷积神经网络具有极强的特征抽取能力，对水体特征具有更高的敏感性，故可对其表现出较好的提取效果。另外，本文方法特征抽取过程中，对遥感影像进行了归一化处理，使得不同传感器影像间的光谱差异进一步缩小，故进一步提高了方法泛化能力。然而，不同传感器的影像中水体光谱值仍存在一定差异，所以本文方法仍难以完全对GF-2影像数据进行水体提取，使得产生漏分现象，对此将在后续研究中增加GF-2影像特征进行增量学习，以进一步提高本文方法泛化性。

3)效率与自动化程度。面对当前日益暴增的遥感数据，高效率与高自动化程度遥感信息提取是遥感技术发展的必然要求。为验证遥感水体提取方法的效率与自动化程度，本文通过对本文方法、NDWI法、光谱监督分类法、决策树分类法4种方法进行操作计时及操作量的人为主观描述，实现效率与自动化程度评价，结果如表3所示。

表3表明，对比常用的遥感水体提取的水体指数法、光谱监督分类法、决策树法，本文提出的基于密集连接全卷积神经网络的水体自动提取方法具有更高的效率，且仅需简单地将影像输入程序即可完成水体提取任务，实现遥感水体提取全自动化。

表3 效率与自动化程度对比表

本文方法通过全卷积神经网络对大量水体样本特征的提取与自学习，可自行训练拟合出模型参数，对于未知影像数据通过调用模型参数即可完成水体提取，故本文方法更易于实现遥感影像水体提取的全自动化;同时由上文可得，本文方法较强的泛化能力也使得实用性更强。而常规的3种对比方法在水体提取过程中均需要人工操作而难以实现水体提取全自动化。

4)存在问题。本文方法在精度、泛化性、效率、自动化程度上均表现较好，但在实验过程中，发现本文方法在城市区域会受到城市高层建筑阴影的影响，导致水体提取结果精度降低。如图9所示，本文方法与NDWI方法受阴影影响较大，决策树法与监督分类法表现较好。初步分析其原因为，水体吸收太阳光光谱而使得水体在遥感影像上表现为较低的光谱值，特别在遥感影像上某些水体呈现暗色；建筑阴影是由于城市高层建筑遮挡太阳光形成，同时由于大气散射等因素使得阴影具有与水体相似的光谱值[28]，故造成水体、阴影二者易被误分。监督分类和决策树法在城市区域建筑阴影部分表现出优势，但在测试影像中，建筑阴影区域面积极少，且2种方法整体上遗漏较多，故该优势表现并不明显，仍表现为较低精度。关于建筑阴影的问题将在后续工作中继续深入研究。

图9 城市建筑阴影区域的水体提取结果

4 结束语

本文针对常规遥感影像水体提取任务中泛化性差、效率低、自动化程度差的问题，通过构建适应遥感影像水体提取的编码-解码全卷积神经网络，实现水体提取的全自动化，并通过引入DenseNet神经网络的密集连接块，加强了网络对细节水体的敏感程度，进而提高了遥感影像水体提取精度。经实验验证，本文方法在遥感水体提取上有较好的表现性，主要表现在遥感大型水体(如大型湖泊、河流等)和小型水体(如水田、河流等)提取上，均能较好地提取出水体范围。经定量精度评价，本文方法像元精度PA达到96.3%，均交并比MIOU达到91.1%，水体长度提取精度达到95.8%，面积提取精度达到98.5%，漏检率低至0，均优于NDWI水体指数法、光谱监督分类法、决策树法结果。此外，本文方法在效率上具有一定优势，经实验验证，本文方法对1景Landsat-8 OLI影像进行水体提取耗时3 min左右，而其他3种方法耗时均在10 min以上;并且本文方法对非Landsat-8 OLI影像(如GF-2 PMS影像)仍表现出良好的效果，表现出较强的泛化能力，故本文方法可实现遥感影像水体提取的自动化，提高了水体提取的时效性，为地表水的实时监测提供技术支撑，为水体相关研究提供数据支持。

但是，测试结果中发现，本文方法在城市区域会受到城市高层建筑阴影的影响，导致水体提取结果精度降低。该问题将作为后续课题深入研究。