基于深度学习的黑臭水体遥感信息提取模型

邵琥翔，丁 凤，杨 健，郑子铖

(1.福建师范大学 福建省陆地灾害监测评估工程技术研究中心，福州 350007； 2.福建师范大学 地理科学学院，福州 350007； 3.中国科学院 空天信息创新研究院，北京 100094)

1 研究背景

黑臭水体是呈现令人不悦的颜色和散发令人不适气味的水体的统称[1]。黑臭水体严重影响了群众生活的生态环境，造成严峻的水环境污染[2]。近年来，随着经济社会的快速发展，我国的众多城市均产生了不同程度的黑臭水体污染问题[3]。

由于利用地面监测手段难以对具有分散性和季节性的黑臭水体进行快速识别[4]， 因此利用遥感技术十分必要[5]。 靳海霞等[6](2017)通过计算水质参数判断北京市的河流黑臭程度； 曹红业等[7](2017)分析了典型黑臭水体的光学特征， 提出基于实测遥感反射率的饱和度法和光谱指数法； 温爽等[8](2018)通过黑臭水体光谱特征分析， 构建了基于特征波段的单波段阈值算法、 黑臭水体差值指数法(DBWI)、 黑臭水体斜率指数法(SBWI)和归一化黑臭水体指数法(NDBWI)； 周寒等[9](2018)结合SIFT算法， 对遥感光学传统的动态特征算法进行改进， 识别黑臭水体在遥感影像上的动态特征； 占玲骅等[10](2019)基于实测高光谱数据， 建立光谱分类体系， 定量反演上海市的水质参数， 对上海市水体特征构建指标体系实现对黑臭水体和非黑臭水体的区分； 姚月等[11](2019)以沈阳市城市建成区内主要河流为研究区， 发现黑臭水体的反射率光谱在绿光—红光波段变化比一般水体平缓， 提出了一种基于反射率光谱指数(BOI)； Wei等[12](2019)应用了无人机载高光谱图像， 引用Nemerow综合污染指数(NCPI)对黑臭水体进行监测， 李玲玲等[13](2020)分析黑臭水体与一般水体的水色和光学特征， 构建决策树模型进行黑臭水体识别； 在水体的遥感分级方面， 杨子谦等[14](2020)构建了一种水环境遥感综合评价方法， 可以较好地提取水质较差的水体。

以上遥感黑臭水体提取方法多为遥感影像结合水质参数进行研究，证明了黑臭水体遥感信息提取的可行性，但存在实地采样不便、确定阈值困难、同谱异物、自动化程度低等不足，难以及时快速地获取黑臭水体范围[15]。同时黑臭水体多为细小水体，常因地形地貌或人为原因而在遥感影像上存在特征不明显的问题，应用常规遥感方法准确提取黑臭水体具备一定局限性。针对以上问题，本文提出一种针对黑臭水体遥感信息提取的深度学习模型，结合遥感指数，在减少现场采样数据的支持下重点关注黑臭水体和非黑臭水体的区别提取，再引入注意力机制，利用注意力机制能够增强细小特征的优点[16]，提高黑臭水体的识别精度。

2 技术路线

本文技术路线分为3个部分:第1部分为遥感影像预处理与数据集制作；第2部分为深度学习模型构建；第3部分为引入注意力机制改进模型。本文技术路线如图1所示。

图1 技术路线Fig.1 Technical routes for extracting black andodorous water body

3 研究区概况与数据集制作

3.1 研究区概况

廊坊市位于河北省中部偏东，地处海河流域中下游，北运河、泃河、引泃等河流贯穿全市，总长度400余千米；鲍邱河、普池河、武河等排沥河道总长度接近200 km。全市河网密布、遍布河渠，几大水系纵横交错[17]。近年来廊坊市社会经济发展迅速，工业化、城镇化快速发展，用水需求大量增加，进而导致水生态污染严重。这些问题严重影响了廊坊市的健康发展[18]。

3.2 黑臭水体野外考察

本研究黑臭水体考察地点为河北省廊坊市境内包括城市黑臭水体及农村黑臭水体，重点考察了廊坊市八干渠。

八干渠是廊坊市区的一条主要排水渠道，位于廊坊城区以东，整体呈南北走向，担负城区约67%的排水任务。上游及沿途汇入水体类型复杂且携带大量的污染物，导致水体的受污染程度日趋严重，污染现象频发，对周边环境产生了种种不良影响。2016年，经廊坊市水务局、建设局、环保局、农业局联合开展水体普查，确认廊坊市八干渠为廊坊市建成区黑臭水体，并将八干渠黑臭水体治理工作列入年度重点城建工作计划。

通过实地调查，廊坊市黑臭水体有如下几个特征：

(1)黑臭水体颜色与非黑臭水体差异明显，非黑臭水体多为较纯净的绿色或蓝色，而黑臭水体一般为浑浊的灰黑色或墨绿色。

(2)黑臭分布范围广，河宽较窄，多为细小水体，流速较慢，水面多为生活垃圾等杂质，且多为断头河。

(3)黑臭水体往往离工厂或养殖场较近，附近有排污管道注入，生活废水、工业废水及农业废水直接排入河道，产生刺鼻难闻气味[19]。

以上特征均作为本文在遥感影像上对黑臭水体的判断依据。

3.3 数据集制作

获取了采集于2017年的4景GF-2 PMS影像，其采集时间为2017年12月。影像无云遮盖，图像质量较好。本研究对GF-2的预处理主要包括辐射定标[20]、几何校正、大气校正[21]和影像融合等，最后获得既有高空间分辨率，又有多光谱特征的影像。

结合地面真值数据对影像中的黑臭水体进行人工标注并制作标签图像，将所有地物分为黑臭水体和背景地物2类，并对图像进行随机数据增强。所做的数据增强过程如下：

(1)将原图像和对应的标签同时做随机旋转，保证对应的影像和标签旋转角度一致。

(2)将原图像与对应的标签同时做镜像处理，保证对应的影像和标签镜像后依然对应。

(3)对图像随机增加噪声，这一步可以使模型在受到一定程度的干扰下依旧保持性能的稳定，增强了模型的鲁棒性，使模型对训练数据集的敏感性降低。

4 黑臭水体相关指数计算

为了丰富遥感影像的波段信息，使深度学习模型可以更好地学习黑臭水体相关特征，本文选择归一化差异植被指数(NDVI)和归一化差异黑臭水体指数(NDBWI)进行计算。

归一化差异植被指数(NDVI)是反映植物长势的重要参数，可以很好地检测植被覆盖度，在本研究中可以更好地帮助模型对非黑臭水体的植被进行识别。归一化差异植被指数(NDVI)公式为

(1)

式中：Rrs(NIR)为近红外波段的遥感反射率；Rrs(R)为红光波段的遥感反射率。

归一化差异黑臭水体指数(NDBWI)是基于黑臭水体的光谱特征构成的，该指数可以较好地提取黑臭水体，在本研究中可以更好地帮助模型对黑臭水体进行识别。归一化差异黑臭水体指数(NDBWI)公式为

(2)

式中Rrs(G)为GF-2绿光波段的遥感反射率。

5 深度学习模型构建

5.1 PSPnet模型

PSPnet(Pyramid Scene Parsing Network)模型中构建有金字塔池化模块(Pyramid Pooling Modul)，该模块通过整合不同区域的上下文，对图像内所有的像素进行识别并提取目标[22]。本文使用的PSPnet网络结构如图2所示。

图2 PSPnet网络结构Fig.2 PSPnet structure

5.2 U-Net模型

U-Net网络基于全卷积神经网络(Fully Convolution Network，FCN)改进得到[23]。该网络结构由收缩子网络和扩张子网络2部分组成，收缩子网络部分进行特征提取，扩张子网络部分进行上采样。在上采样过程中引入跳接层，把对应尺度上的特征信息引入到上采样。本文使用的U-Net网络结构如图3所示。

图3 U-Net网络结构Fig.3 U-net structure

5.3 注意力机制模块CBAM

遥感影像中包含建筑物、农田、道路、植被、裸地等多种地物类型，对提取结果的准确性有很强的干扰，且黑臭水体形状一般比较细小，因此，本文提出在模型网络中引入注意力机制、抑制模型学习与黑臭水体无关的特征，重点学习与黑臭水体相关的特征，加强网络对黑臭水体特征的提取。本文引入的注意力机制模块为CBAM(Convolutional Block Attention Module)，该模块集成了通道注意力模块(Channel Attention Module，CAM)和空间注意力模块(Spatial Attention Module，SAM)[24]。

5.3.1 通道注意力模块(CAM)

通道注意力模块使卷积网络更加关注图像的哪些通道对网络的最后输出结果起更大的作用，即哪些特征对最终的预测影响最大。本文针对黑臭水体提取，在输入影像中融合了NDVI和NDBWI，这2个指数对于模型学习黑臭水体特征或抑制非黑臭水体特征比原始影像的四波段具有更关键的作用。因此,引入通道注意力模块可以使模型更关注输入影像的NDVI指数通道和NDBWI指数通道，使模型达到更好的提取效果。

首先输入的特征F在经过空间维度上的长度和宽度全局最大池化后进行全连接，再将F的长度和宽度进行全局平均池化并进行全连接，将以上2个池化的输出结果输入MLP多层感知器并相加，经过Sigmoid激活函数，生成通道注意力特征矩阵Mc，最后将输出的结果与输入的特征图相乘，生成最终的通道注意力特征F′[25]。通道注意力模块的计算公式如式(3)所示。通道注意力模块结构如图4所示。

图4 通道注意力模块Fig.4 Channel attention module

Mc(F)=σ{MLP[AvgPool(F)]+

MLP[MaxPool(F)]} 。

(3)

式中：MPL为多层感知机；σ为Sigmoid激活函数。

5.3.2 空间注意力模块(SAM)

空间注意力模块使卷积网络更关注的是哪些位置的特征对网络的最后输出起到更大的作用，即哪些位置的信息对最终的预测影响最大，并提升关键区域的特征表达。根据野外实地考察结果，黑臭水体一般为细小水体，河道狭窄，多断头河，附近常有工厂或养殖场，这些空间特征对于黑臭水体的识别影响更大。空间注意力模块将原始图片中的空间信息变换到另一个空间中并保留关键信息，为每个位置生成权重掩膜(mask)并加权输出，从而增强感兴趣的特定目标区域，同时弱化不相关的背景区域。因此引入空间注意力模块，能使模型更关注与黑臭水体相关的空间特征。

首先对加权后的特征F′进行全局最大池化与平均池化，将所生成的特征进行通道串接，再进行卷积操作，然后利用 Sigmoid 函数激活输出空间特征矩阵Ms，将该权重矩阵与特征图F′进行点乘运算得到最终所需的空间特征图F″。空间注意力模块的计算公式如式(4)所示,空间注意力模块结构如图5所示。

图5 空间注意力模块Fig.5 Spatial attention module

Ms(F)=σ{f7×7[AvgPool(F);MaxPool(F)]}。

(4)

式中:f为卷积层，f7×7为一个滤波器大小为7×7的卷积运算; “;”为通道串接。

将通道注意力模块与空间注意力模块顺序组合，构成完整的注意力机制模块，如图6所示。

图6 注意力机制模块Fig.6 Convolutional block attention module

6 黑臭水体提取对比实验

6.1 深度学习精度评价指标

本实验为二分类实验，选用F1-score、MIoU(Mean Intersection over Union)和混淆矩阵图作为评定各模型精度的指标。

F1-score是深度学习分类问题的常见衡量指标，表示精确率(precision)和召回率(recall)的调和平均数。本研究中精确率表示被模型认为是黑臭水体的数量中实际确实是黑臭水体的数量的比例，召回率表示在模型预测中预测结果正确的占所有黑臭水体的比例，与混淆矩阵中的灵敏度(sensitive)相等。F1-score的公式为

(5)

MIoU即为均交并比，是真实值与预测值之间的交集平均值，MIoU公式为

(6)

式中：K为提取类别的数目；Pii为匹配像素的数量；Pij为i被分为j的数量；Pji为j被分为i的数量。

本研究中的混淆矩阵中第一象限为真实值是非黑臭水体，预测值是黑臭水体的比例；第二象限为真实值是非黑臭水体，预测值也是非黑臭水体的比例，即特效度(specificity)，可以衡量模型对非黑臭水体的识别能力；第三象限为真实值是黑臭水体，预测值是非黑臭水体的比例；第四象限为真实值是黑臭水体，预测值也是黑臭水体的比例，即灵敏度(sensitive)或召回率(recall)，可以衡量模型对黑臭水体的识别能力。

6.2 原始模型提取黑臭水体遥感信息对比

分别在PSPnet模型和U-Net模型中输入RGB+NIR+NDVI+ NDBWI六通道组合影像，选取部分同时存在黑臭水体与非黑臭水体的区域展示提取结果。原始遥感影像与地面真值标签如图7所示，其中原始遥感影像中方框位置为正常水体，真值标签图中的深色标签为黑臭水体。原始PSPnet模型提取的黑臭水体结果如图8所示，定量精度如表1所示。原始U-Net模型提取的黑臭水体结果如图9所示，定量精度如表2所示。

图7 原始遥感影像与地面真值标签Fig.7 Original remote sensing image and ground truthlabel

图8 PSPnet模型提取结果Fig.8 Extraction results of PSPnet model

表1 PSPnet模型提取精度Table 1 Accuracy of PSPnet model extraction

图9 U-Net模型提取结果Fig.9 Extraction results of U-Net model

表2 U-Net模型提取精度Table 2 Accuracy of U-Net model extraction

从以上提取结果中可以看出，2种原始模型输入RGB+NIR+NDVI+NDBWI六通道组合影像时对非黑臭水体有较好的区别效果，但对细小形状的黑臭水体提取效果较差，与真值标签差异较大；且有较多黑臭水体未被提取且提取结果不连续，精度指标较低，其中U-Net模型提取结果优于PSPNet模型。

针对以上问题，为了进一步提升黑臭水体的提取精度，在模型中引入注意力机制，在通道注意力和空间注意力两方面加强模型对黑臭水体的识别。

6.3 引入注意力机制模块的改进模型提取黑臭水体遥感信息对比

在PSPnet模型中引入注意力机制模块，结果如图10所示，定量精度如表3所示。在U-Net模型中引入注意力机制模块，结果如图11所示，定量精度如表4所示。

图10 引入注意力机制模块的PSPnet模型提取结果Fig.10 Extraction results of PSPnet model with CBAM

表3 引入注意力机制模块的PSPnet模型提取精度Table 3 Accuracy of PSPnet model extraction with CBAM

图11 引入注意力机制模块的U-Net模型提取结果Fig.11 Extraction results of U-Net model with CBAM

表4 引入注意力机制模块的U-Net模型提取结果Table 4 Accuracy of U-Net model extraction with CBAM

由结果可知，引入注意力机制的模型对黑臭水体的提取效果要显著高于原始模型，注意力机制良好改善了对黑臭水体的漏检与错检问题，且提取的图形连贯，与真值形状接近。在模型对比方面，输入RGB+NIR+NDVI+NDBWI六通道组合影像并引入了注意力机制的U-Net模型对黑臭水体的提取效果最佳，各项指标均为最优，为本文中黑臭水体提取最优模型。

7 结 论

本文基于GF-2遥感影像，利用ENVI、ArcGIS等软件手动标注真值标签，将将标注图像随机分为训练集和验证集，分别进行数据集增强，实现黑臭水体数据集的建立。基于建立的黑臭水体数据集，利用PSPNet和U-Net网络模型进行训练；针对黑臭水体与非黑臭水体区别难的问题，将原始遥感影像与NDVI指数波段和NDBWI指数波段进行融合；针对形状细小的黑臭水体难以被识别的问题，对模型进行改进，引入注意力机制模块，结果表明可以较好地改善对黑臭水体的漏检和错检并且可以较好地提取形状细小的黑臭水体。

本研究主要研究结论如下：

(1)在各模型中引入注意力机制，可以很好地帮助模型学习与黑臭水体相关的像素，在通道注意力和空间注意力2个方面抑制模型学习与黑臭水体无关的像素，并且对细小形状黑臭水体提取困难的问题改善明显。

(2)在本文所有模型中，引入注意力机制的U-Net网络模型输入RGB+NIR+NDVI+NDBWI六通道组合影像时具有最优异的提取效果，其精度评价指标F1-srore、MIoU、Recall分别达到了0.864 5、0.868 1、0.835 9，在研究区细小目标黑臭水体提取精度、黑臭水体提取完整度、与非黑臭水体区分及边界分割中相较于其他模型具有明显优势。