基于深度学习的海岸线边缘检测网络模型*

李忠瑞，崔宾阁，杨 光，张昊卿

(山东科技大学计算机科学与工程学院，山东 青岛 266590)

1 引言

海岸线是多年平均大潮高潮所形成的海水和陆地分界的痕迹线,是划分海洋与陆地行政管理区域的基准线,是确定领海内水和陆地的分界线,也是区分海洋深度基准和陆地高程基准的分界线[1]。由于受到海水冲刷、海风侵蚀、海平面反复涨落等自然因素和人类建立防风堤坝、围海造田、开采水下矿物资源等人为因素的共同影响，海岸线局部变化频繁，因此对海岸线进行动态监测非常具有现实意义。

传统的海岸线测绘方法主要有实地测量法和摄影测量法。这种方法不但费时费力，而且探测难度大，效率不高，已远远不能满足现有需求[1]。随着遥感技术突飞猛进的发展，其凭借范围大、效率高和成本低等突出优势逐渐成为一种提取海岸线及监测动态变化的重要途径[2]。现有的遥感解译海岸线方法分为目视解译和自动解译2种。目视解译是遥感技术发展初期最常应用的方法，主要依靠手动目视解译，效率低下，精度不高，现在已基本被自动解译方法取代[3]。自动解译方法应用普遍，有阈值分割法、边缘检测法、多分辨分析方法、面向对象法和神经网络法等。阈值分割法简单易操作，是常用的海岸线提取方法之一。陈祥等[4]针对合成孔径雷达SAR(Synthetic Aperture Radar)图像的特点，采用一种结合粗阈值与精确阈值的海陆分割方法，实现海岸线的精确提取。李宗梅等[5]分别采用目视解译、MNDWI(Modified Normalized Difference Water Index)和Sobel边缘检测算子3种方法提取各类型海岸线，并进行了对比。采用边缘检测算子方法对海岸线提取的效果较好，该方法也较成熟，且易于实现。李秀梅等[6]采用Canny算子提取渤海湾海岸线并对其进行监测。张霞等[7]采用MNDWI、数学形态学以及最小噪声分离变换对砂质海岸、淤泥质海岸以及基岩海岸和人工海岸影像进行了预处理，再运用改进的Canny算子提取海岸线。由于小波变换具有多分辨分析的能力，可对图像在不同尺度上进行小波变换，并将找到的奇异点逐个连接得到海岸线。张鹏等[8]采用平稳小波变换提取SAR图像中的海岸线。余连生等[9]通过平移不变离散小波变换对SAR图像与全色遥感图像进行融合，以此突出海岸线的特征。面向对象的方法不再以传统遥感影像中的像元作为基本单元，而是以对象为基本单元，忽略对象内部的纹理特性，并依据光谱、空间特征对影像进行处理[3]。吴小娟等[3]通过面向对象的方法并利用“高分二号”卫星数据对深圳大鹏半岛地区的海岸线进行提取。王琎等[10]则分别利用面向对象方法和监督分类方法对珠江口湾区海岸线和沿岸土地利用情况进行了监测与分析。神经网络法在应对大量数据时有很好的表现。Li等[11]基于UNet提出了更深层次的DeepUNet，提出了2种短连接并在Google-Earth彩色图像上获得了比较好的海陆分割结果。Cheng等[12]提出了SeNet(Structured edge Network)，在卷积神经网络上附加结构化边缘检测分支，使用多任务损失同时获得海陆分割和海岸线检测结果。同年，Cheng等[13]提出了FusionNet，通过添加边缘感知正则化项细化分割和边缘检测结果，在港口图像数据集和海陆数据集上都取得了优秀的结果。Shamsolmoali等[14]提出RDU-Net(Redisual Dense UNet)，将标准卷积替换为残差密集连接块，增强网络的特征复用，并在2个数据集上证明该方法更适合于海陆分割任务。Cui等[15]提出了SANet(Scale Adaptive Network)，提出自适应多尺度特征学习模块来捕捉多尺度细节信息和上下文语义信息，并自适应融合不同尺度的特征图，在GF-1号遥感数据集上实现了海陆准确分割。

阈值分割方法简单、易于实现，但如何选取阈值具有较大的难度；边缘检测算子方法虽然对边缘的提取效果很好，但易受噪声影响，且易出现伪边缘[2]；多分辨分析方法能够获得丰富的边缘信息，但现有应用于海岸线提取中的小波缺乏方向性；面向对象方法能够实现更高层次的图像分割且能够减少纹理特性的影响，但数据量较大时无法充分利用影像中隐含的信息[2]；语义分割网络对边缘高频细节信息不敏感，边缘检测网络不能识别地物语义信息，把地物内部边缘误分为边界。因此，本文提出一种融合语义分割网络和边缘检测网络的深度卷积神经网络，属于一种新颖的端到端边缘提取神经网络，可用于对海岸线进行精准提取。

2 研究区域

连云港位于中国沿海中部，江苏省东北部，处于北纬33°59′～35°07′、东经118°24′～119°48′。如图1所示，连云港市海岸线北起苏鲁交界的绣针河口，南至灌河口，岸线总长221.17 km。连云港市资源类型丰富，北部以耕地为主，南部以盐田为主，交通便利。连云港市海岸地貌类型典型，包括基岩海岸、砂质海岸和粉砂淤泥质海岸[16]。

Figure 1 Sketch map of Lianyungang coastline

连云港位于南北过渡和陆海过渡的交汇点，是国际通道新亚欧大陆桥(中国境内为陇海、兰新铁路)东端桥头堡，是陇海铁路、沿海铁路2大国家干线铁路的交汇点，也是中国南北、东西最长的2条高速公路(同三高速和连霍高速)的唯一交点。具有海运、陆运相结合的优势，是国家规划的42个综合交通枢纽之一。

Figure 2 Overall structure of EWNet network

3 海岸线边缘检测网络模型

3.1 网络总体结构

遥感图像海陆环境复杂，内陆存在各种尺度的地物且地物类型复杂多样，海洋上常有渔船和筏式养殖区的存在，这些都给海岸线的提取带来干扰。语义分割网络提取海陆过程中可以识别海洋和陆地内的地物语义信息，但是会忽略海岸线边缘信息；边缘检测网络可以很好地识别边缘细节信息，但不能识别地物语义信息，常常把海陆内部的边缘误分为边界。

本文提出一种融合语义分割网络和边缘检测网络的深度卷积神经网络模型EWNet(Edge-Ware Network)，其总体网络结构如图2所示。EWNet有2个分支流，分别为语义分割流和边缘检测流。在网络训练过程，语义分割流的各层语义特征正向传播到边缘检测流，边缘检测流共享语义分割流的网络参数并在反向传播中更新语义分割流的参数。

3.2 语义分割流

语义分割流用来获取地物语义信息。语义分割网络越强大，提取的语义信息越丰富，因此本文采用U型结构的对称编解码器结构作为语义分割流的基础网络，并在此基础上进行改进。如图2上面的虚线框所示，本文使用改进的空洞空间卷积池化金字塔ASPP(Atrous Spatial Pyramid Pooling)模块代替深层的双卷积操作多尺度提取深层语义特征。在编码器和解码器对应层使用卷积注意力模块CBAM(Convolutional Block Attention Module)自适应细化编码器提取的特征。

3.2.1 改进的空洞空间卷积池化金字塔模块

空洞空间卷积池化金字塔模块包含膨胀率分别为6，12，18和24的4条并行的空洞卷积，但是由于膨胀率之间存在整数倍的关系，特征图经过这样的空洞空间卷积池化金字塔模块会产生网格效应。针对遥感图像海陆分割任务的特殊性，本文选用膨胀率分别为1，2，3和5质数分布的空洞卷积，既可以有效避免空洞空间卷积池化金字塔模块产生的网格效应，又可以有效获取遥感图像中纵横比复杂多样的地物的空间语义信息。如图3所示，本文采用拼接操作将4个并行的空洞卷积的输出特征图和经过1×1卷积后的输入特征图拼接在一起。最后使用1×1卷积对拼接后的特征图进行降维，以此加快网络训练收敛速度，降低计算的开销成本。

Figure 3 ASPP module diagram

3.2.2 卷积注意力模块(CBAM)

CBAM是一个轻量级的通用模块，它可以学习如何有效地强调或压缩中间特征提取，且只增加微不足道的间接开销。

1961年，我上初中。学校跟省报社挨着，从路边的阅报栏经过，我常常停下来看副刊。看多了，竟有了莫名的冲动。有一次见到上面在讨论戏曲改革，当晚做完作业，我写了一篇《也谈戏曲改革》，第二天交给班上的一个同学，他父亲在报社工作。过了几天，同学把稿子还给我，说报社的编辑看了，你谈论“戏曲改革”还太早，不过看你文字还挺顺的，可以继续努力。

CBAM包括2个子模块，如图4所示，分别是通道注意力模块和空间注意力模块。输入的特征图F首先经过通道注意力模块获得权重向量MC，特征图F与权重向量MC逐通道相乘得到带有权重的特征图FC；然后特征图FC经过空间注意力模块生成空间注意力权重图MS，特征图FC逐像素与权重图MS相乘得到最终的特征图FS。

Figure 4 CBAM module diagram

通道注意力模块：将输入特征图F分别经过全局最大池化和全局均值池化，然后通过多层感知器MLP(MultiLayer Perceptron)得到权重向量。之后对MLP输出的权重向量进行基于像素级的加和操作，再经过sigmoid激活操作，生成最终的通道注意力权重向量MC。

空间注意力模块：以通道注意力模块输出的特征图作为本模块的输入特征图。首先，进行基于通道的全局最大池化和全局均值池化操作，将2个结果基于通道拼接起来。然后，经过卷积操作，卷积核大小为7×7，降维为1个通道。再经过sigmoid激活操作生成空间注意力权重图MS。

3.3 边缘检测流

本文提出了一种结合语义分割流各层语义特征的边缘检测流。如图2下面的虚线框所示，它与分割网络共享权重，并将语义分割流每层双卷积获取的层次语义特征经过1×1卷积传到边缘检测流。边缘检测流根据特征图大小进行上采样，确保恢复到与原始图像同样尺寸大小的边缘特征图。对每层上采样后的特征图均引入辅助损失函数，计算边缘特征图与真值图的损失差异，对非边缘部分进行惩罚，加强边缘提取。辅助损失函数如式(1)所示：

Loss=-ylogPy+(1-y)log(1-Py)

(1)

其中，y取值为0或1，1为海岸线;Py对应预测为y的概率。本文使用sigmoid函数将网络的输出转换为概率值。

为了确保提取海岸线的连续性，本文对语义分割流的输出特征图使用边缘检测线性滤波器(Sobel滤波器)进行卷积，并在水平和垂直方向分别进行卷积，获得连续的海岸线边缘特征图。最后将各层提取的边缘特征图逐通道拼接，经过CBAM模块自动学习海岸线语义信息，生成一个综合的边缘特征图。通过反复的参数迭代训练使得损失函数的值(即提取的海岸线与样本真值的差异)尽可能地小，以达到确定模型参数,进而利用模型提取海岸线的目的。

4 实验分析

4.1 实验配置

实验在配备16 GB显存的NVIDIA Tesla P100 GPU和CentOS Linux 7.5操作系统的服务器上进行。所有模型都使用Kera框架[17]进行训练和测试，使用TensorFlow作为后端引擎[18]。在训练过程中，采用Adam优化器将损失降至最低，并将初始学习率设置为0.000 1，迭代次数设置为200轮，批次大小设置为4。

4.2 评价指标

为了评估不同模型的边界结果，本文改进了FusionNet[13]所提出的边界精确率(BP)和边界召回率(BR)，如式(2)和式(3)所示：

(2)

(3)

在预测图中，如果分割结果中的一个边界点与其接近的真值图边界之间的距离小于1，则认为该边界点是正确的。同理，在真值图中，如果真值图中的一个边界点与其接近的预测图边界之间的距离小于1，则认为该边界点被成功召回。边界的F1系数定义如式(4)所示：

(4)

Figure 5 Qualitative results of test image 1

Figure 6 Qualitative results of test image 2

4.3 实验对比

本文针对4幅不同海岸带地区图像，定性和定量地比较了传统模型(NDWI(Normalized Difference Water Index)[19]和SVM(Support Vector Machine)[20]、非端到端边缘提取神经网络模型(UNet[21]和DeepUNet[11])及端到端边缘提取网络模型(SeNet[12]和FusionNet[13])的提取结果。因为传统模型和非端到端边缘提取神经网络模型无法全自动提取海岸线，本文对其提取的海陆分割结果进行后处理边缘检测操作，使用最终提取的海岸线结果进行对比实验。

测试图像1如图5所示，包含了大量基岩和人工建筑的海岸带，森林密布的基岩光谱和海洋光谱相似。传统模型中的NDWI相比SVM产生了较大范围的误分现象，而SVM将暗礁误分为陆地。非端到端边缘提取神经网络模型也对部分地区产生误分，UNet将港湾内的水池误分为海洋，暗礁误分为陆地，而DeepUNet将大面积海洋误分为陆地。端到端边缘提取神经网络模型中SeNet和FusionNet都产生较严重的岸线“断连”现象。EWNet可以比较好地识别基岩，得到了比较接近真值图的海岸线提取结果。

表1给出了测试图像1的定量结果。结果表明，EWNet的边界精确率优于其他所有网络模型的，EWNet的边界召回率略低于SVM的，EWNet的F1系数分别比NDWI、SVM、UNet、DeepUNet、SeNet和FusionNet的高出0.147 3,0.059 3,0.102 8,0.175 9,0.180 5和0.178 5。

Table 1 Quantitative results of test image 1

如图6所示，测试图像2是一个带有大量港口和防波堤的人工海岸带。港口防波堤和海洋的光谱差异较大，传统模型中的SVM产生了较大范围的误分现象，将大量颜色较深的集装箱误分为海洋，而NDWI仅将海上渔船误分为陆地，其余地区则得到了比较优秀的边缘结果图。非端到端边缘提取神经网络模型也有部分地区产生了误分，UNet也将集装箱误分为海洋，而DeepUNet将围填海中的淤泥误分为海洋，因此产生了错误的海岸边界线。端到端边缘提取神经网络模型中的SeNet和FusionNet仍然存在较严重的海岸线“断连”现象。EWNet可以较好地保留港口的细节信息，得到比较接近真值图的海岸线提取结果。

Figure 7 Qualitative results of test image 3

表2给出了测试图像2的定量结果。结果表明，EWNet的边界精确率明显优于其他所有网络模型的，EWNet的边界召回率略低于NDWI的，EWNet的F1系数分别比NDWI、SVM、UNet、DeepUNet、SeNet和FusionNet的高出0.040 1，0.374 9，0.111 4，0.146 5，0.115 1和0.251 3。

测试图像3包含围填海和防波堤的人工海岸带。如图7所示，围填海内滩涂及内陆养殖区的光谱和海洋的光谱比较接近，传统模型中的NDWI将部分内陆养殖区误分为海洋，将海上养殖区误分

Table 2 Quantitative results of test image 2

为陆地，而SVM将港口附近的水体误分为海洋，NDWI和SVM都将淤泥识别为陆地。非端到端边缘提取神经网络模型UNet将围填海内的大量淤泥误分为海洋，而DeepUNet只有个别地区产生误分，生成了良好的海岸线提取结果。端到端边缘提取神经网络模型中SeNet的“断连”现象相比FusionNet的更加严重，大多数海岸线边界都没有识别出来。EWNet可以比较好地识别出围填海和海岸线边界，得到了比较接近真值图的海岸线提取结果。

表3给出了测试图像3的定量结果。

Table 3 Quantitative results of test image 3

结果表明，在边界精确率和边界召回率方面，EWNet都优于其他所有网络模型，对于边界F1系数,EWNet的分别比NDWI、SVM、UNet、DeepUNet、SeNet和FusionNet的高出0.483 3,0.330 9,0.394 6,0.079 6,0.453 8和0.309 5。

Figure 8 Qualitative results of test image 4

测试图像4包含大量细长的河口和生物海岸带。如图8所示，测试图像存在大量的养殖区和生物滩涂，其光谱特征都类似于海洋。传统模型中的NDWI和SVM将大量养殖区和生物滩涂都误分为海洋，NDWI将河口地区的内陆也误分为海洋，得到的边界提取结果非常糟糕。非端到端边缘提取神经网络模型UNet将细长的河流部分误分为陆地，部分内陆水体误分为海洋，而DeepUNet将河道误分为陆地。端到端边缘提取神经网络模型中的SeNet和FusionNet对海岸线边界基本识别准确，但仍然存在比较严重的“断连”现象。EWNet可以较好地识别养殖区、河口及生物滩涂，得到比较接近真值图的海岸线提取结果。

表4给出了测试图像4的定量结果。结果表明，在边界精确率和边界召回率方面，EWNet均优于其他所有网络模型，但其边缘精确率只比SeNet的高0.94%。对于F1系数，EWNet的分别比NDWI、SVM、UNet、DeepUNet、SeNet和FusionNet的高出0.727 8,0.727 7,0.269 3,0.181 6,0.056 3和0.138 4。

Table 4 Quantitative results of test image 4

4.4 消融实验

为了证明语义分割流中改进的CBAM模块和ASPP模块对海岸线边界提取的有效性，本文进行了分割网络模型中模块的消融实验，图9为本节实验的基础网络。

定量结果如表5所示。在基础网络上将跳跃连接的复制操作替换为CBAM模块后，模型性能有略微提升，F1系数在测试图像1～图像4上，相比基础网络的分别提高了0.018 2，0.114 7，0.037 8和0.025 3。在基础网络编码器部分将最底层的2层双卷积层替换为改进的ASPP模块，模型的效果与添加CBAM模块的网络的接近，在测试图像1～图像4上分别提高了0.020 3，0.027 9，0.058 8和0.012 0。同时将CBAM模块与改进的ASPP模块添加进基础网络后,即本文提出的EWNet网络模型，相比基础网络，EWNet的提升效果比单一添加任何一种模块都表现更好，在测试图像1～图像4上,分别提高了0.035 4，0.045 4，0.073 8和0.056 9。以上定量结果表明：在分割网络中获得的语义信息越丰富，越有利于海陆边界的提取。

Table 5 Boundary F1 coefficients extracted from ablation experiments of segmentation network

Figure 9 Basic network of segmentation network for ablation experiment

为了证明边缘检测线性滤波器及辅助损失函数的有效性，本文也进行了边缘检测网络的消融实验。该消融实验分为3组，分别是单独添加边缘检测线性滤波器、在编码器部分添加辅助损失函数和在解码器部分添加辅助损失函数。为了方便理解，该消融实验以图10为基础网络，根据池化层或上采样层分层，该网络分为9层，1～4层为编码器部分，6到9层为解码器部分。

Figure 10 Basic network of edge detection network for ablation experiment

该消融实验的定量结果如表6所示，基础网络在所有测试图像上的F1系数都比较差，在编解码器部分添加辅助损失函数以及添加边缘检测线性滤波器后，F1系数有不同幅度的提升，在解码器部分添加辅助损失函数相比在编码器部分添加辅助损失函数，在测试图像1上提升效果基本一致，但是在测试图像2～测试图像4上提升更明显。在编解码器部分都添加辅助损失函数效果会比单独在编码器或解码器部分添加辅助损失函数表现更优异。结果表明：辅助损失函数越多,越有利于海陆边界的提取。

Table 6 Boundary F1 coefficients extracted from edge detection network ablation experiment

5 结束语

本文提出一种融合语义分割网络和边缘检测网络的深度卷积神经网络模型(EWNet)，用于解决海岸线提取定位不准确问题。该网络模型可以端到端地提取海岸线。通过加强语义分割网络提取语义信息的能力，更加准确地定位岸线位置；通过对边缘检测网络添加辅助损失函数和边缘检测线性滤波器确保提取海岸线的连续性。本文在一组包含不同类型海岸线的“高分一号”号遥感图像上评估了EWNet，从定性和定量结果中可以看出EWNet优于其他网络模型。

该网络模型可以推广至其他区域的各种复杂类型海岸线精准定位工作，并进一步用于海岸带动态管理规划，未来将在海岸线精准定位的基础上，精准预测海岸线类型及其各类型的海岸线长度。