基于编码-解码神经网络遥感图像语义分割应用研究

李紫薇 于晓鹏 丁婷婷

摘 要：图像分割的实现经历了从传统方法到神经网络方法的演变。本文从图像分割的发展过程入手，介绍了图像分割与语义分割的区别，对最近几年传统图像分割方法在遥感图像分割领域的应用进行梳理分析，总结了传统遥感图像分割方法的不足。基于此，归纳了几种经典编码-解码神经网络架构在遥感图像语义分割领域的应用，对其改进方式进行了综合性分析，并对其未来的发展趋势进行展望。

关键词： 图像分割;图像语义分割;遥感图像;编码-解码神经网络

文章编号： 2095-2163（2021）01-0106-04 中图分类号：TP301.6 文献标志码：A

【Abstract】The realization of image segmentation has experienced the evolution from traditional methods to neural network methods. This article starts with the development process of image segmentation， introduces the difference between image segmentation and semantic segmentation， analyzes the application of traditional image segmentation methods in the field of remote sensing image segmentation in recent years， and discusses the shortcomings of traditional remote sensing image segmentation methods. Based on this， the application of several classical encoding-decoding neural network architectures is summarized in the field of remote sensing image semantic segmentation， the improvement methods of these methods are comprehensively analyzed， and their future development trend is prospected.

【Key words】image segmentation; image semantic segmentation; remote sensing image; encoding-decoding neural network

0 引 言

圖像作为人类感知世界的视觉基础，是人类获取、表达和传递信息的重要手段。随着科技的进步，图像分割技术和图像语义分割技术也随之发展起来。图像语义分割技术作为图像分类、目标检测以及对图像上下文信息理解的基础，在计算机视觉领域发挥着举足轻重的作用。而在其经历了漫长的发展进程后，目前已经成为深度学习方向的重点研究课题。进一步的研究还指出，遥感图像由于其分辨率低、波段多、图像范围广、数据量大等特点，现在已然成为图像语义分割领域的重点研究对象。

1 概述

1.1 图像分割

在图像分割早期，考虑到计算机的有限运行能力，只能采用普通的图像分割方法。这种普通方法最初也仅可用于灰度图像处理，后期则逐渐拓展至彩色图像的分割。具体是通过提取图片信息中的低级特征来分割图像，但是分割出的结果并没有语义级别的标注，因而不能将分割结果中的类别进行细分。普通的图像分割是一种适用于非监督学习的分割技术。

1.2 图像语义分割

随着机器学习的发展以及计算机性能的提升，图像语义分割技术已经逐渐成为时下的研究热点。与普通图像分割不同，图像语义分割是从像素级别来对图像进行理解的，属于同一类别的像素均归为一类。图像语义分割是适用于监督学习的分割技术。目前，越来越多的应用需要与语义分割技术相结合，包括自动驾驶、人机交互、医学影像等领域。图像语义分割也是AI领域中的一个重要分支，是计算机视觉技术中关于图像理解的重要一环，同时也是目标检测、图像分类等领域的关键性技术。

2 传统遥感图像分割

2.1 传统遥感图像分割方法

近年来，遥感图像分割已经引起了学界的更多关注。2016年，丁海勇等人[1]提出了一种基于动态区域分裂合并算法的遥感图像分割方法。这种方法将传统的四叉树分裂算法转换为循环方式利用堆栈数据结构进行运算，再与相邻同质区域归并算法相结合，实现了多特征信息高精度的提取。但该方法仍存在着计算量较大，分割效果过分依赖参数等不足。2017年，李勇发等人[2]提出了一种基于FCM聚类及其改进的遥感图像分割算法。考虑到传统的FCM算法对球状数据具有很强的依赖性，因此在改进的算法中使用了交叉熵距离测度来代替欧式距离测度。改进的FCM算法大大提高了遥感图像聚类的效率和分类的精度。2019年，杨丽艳等人[3]提出了一种简单线性迭代聚类（SLIC）与快速FCM聚类相结合的算法。这种方法先使用SLIC算法对图像进行预分割，继而使用FFCM对获取的超像素进行合并，结果表明该方法能够改善超像素的过度分割问题。2019年，姜文斌等人[4]提出了一种基于最优权重法的K-means模型，先使用二维高斯函数对图像进行滤波平滑处理，再依据早熟收敛度和自适应值进行调整，找到最优权重作为初始聚类中心，然后将样本分配到每个聚类中心不断进行迭代，直至最终算法收敛。该算法解决了传统K-means算法不易获得最优质心以及容易趋于局部最优的问题。

2.2 传统方法存在的问题

目前，随着对传统遥感图像分割方法研究的不断深入，传统方法因其自身的局限性以及外界因素的影响也同时暴露出许多问题。传统遥感图像分割方法是根据遥感图像的颜色、空间结构和纹理信息等特征进行处理分析的，因此传统方法只能提取到遥感图像的一些低级特征，无法达到语义级别的分割。传统方法对遥感图像中细节信息的提取也缺乏精准度，无法实现更加精确的分割。同时，由于遥感图像的成像容易受到许多自然因素的影响，为图像分割带来了更大的挑战。还需指出的是，在神经网络逐渐发展起来后，已有众多学者开始将遥感图像分割与神经网络相结合，试图寻求到遥感图像分割更加有效的方法。

3 基于编码-解码神经网络的遥感图像语义分割

3.1 基于编码-解码神经网络的经典方法

神经网络经历了漫长的发展过程，逐渐衍生出多种类型的神经网络。其中的卷积神经网络以其自身的特点在图像处理领域发挥着举足轻重的作用，但是真正对图像分割起到指引作用的是2017年Long等人[5]提出的全卷积神经网络（FCN）。该网络模型对传统卷积神经网络做了一定的改进，是一种编码-解码结构网络。传统的卷积神经网络只能接收固定大小的输入图像，而针对这一局限性，用全卷积网络替代传统卷积神经网络的最后一层全连接层。此外，还提出了跳跃链接结构来进行上采样学习，实现了将图像分类网络转移到图像分割网络中。FCN的架构如图1所示。

2015年，Ronneberger等人[6]针对池化操作引发的特征图分辨率低的问题，提出了一种编码-解码结构的网络模型U-Net。和FCN相比，U-Net是一个完全对称的卷积神经网络模型，由一个收缩路径和一个对应的扩张路径构成。其中，收缩路径相当于编码部分，是对图片细节信息进行提取;扩张路径相当于解码部分，用于恢复和原图一样的大小。U-Net的网络架构如图2所示。

2017年，Badrinarayanan等人[7]针对全卷积神经网络使用反卷积和少量跳跃连接而产生的分割效果粗糙的问题，提出了一种编码-解码结构的网络模型SegNet。该网络在解码器使用时并没有如FCN一样复制编码器特征，而是使用编码器的最大合并步骤中计算的池化索引来执行非线性上采样，这就使得网络占用的内存大大减小了。SegNet的网络结构如图3所示。

总而言之，前述基于卷积神经网络进行图像语义分割的经典方法都是一种编码-解码结构的网络，这种网络以其整齐明晰的网络结构在众多卷积神经网络中表现出明显的优势。

3.2 基于编码-解码神经网络遥感图像语义分割方法

随着编码-解码结构网络的发展，更多的研究者已尝试将其应用在遥感图像语义分割领域。2018年，郑二功等人[8]将全卷积神经网络应用在玉米倒伏地域提取中，为玉米倒伏灾害评估提供了有益参考。2019年，杨建宇等人[9]将SegNet用于高分辨率遥感影像中农村建筑物的信息提取，与传统分类算法和浅层学习算法相比总体精度显著提高。同年，苏健民等人[10]提出了一种基于U-Net改进的深度卷积神经网络，采用集成学习策略提高分割精度。陈一鸣等人[11]采用改进的U-Net网络并结合随机梯度下降与Momentum组合的优化方法提升了遥感图像新增建筑物的分割精度。许玥等人[12]采用改进的U-Net网络结构与全连接条件随机场的图像分割算法对遥感图像进行分割，与传统U-Net相比有着更好的鲁棒性，分割精度也得到了进一步的提升。

2020年，张浩然等人[13]提出了一种改进的U-Net网络结合CRFs对高分辨率遥感影像建筑物进行提取，在地物边缘分割完整度和精度上实现了改进。同年，张哲晗等人[14]提出了一种改进的对称编码-解码网络结构SegProNet，利用池化索引与卷积融合语义信息及图像特征，构建Bottleneck层进一步提取细节信息，实现了农村地区遥感图像语义分割。

3.3 总结分析

近年来，众多学者将综上的数种典型的编码-解码结构的神经网络应用到遥感图像分割领域，期待在研究的分割速度、准确度等方面得到明显提升。目前，提高编码-解码结构神经网络在遥感图像分割领域的效率与精度可以通过采用集成策略、改进传统网络的迭代方法与优化方法、增加后处理方法以及增加卷积层深度对遥感图像的细节信息进一步提取等方式。

4 结束语

本文以图像分割的发展过程作为契入点，将不同的图像分割方法在遥感图像分割领域的应用进行了介绍和分析。目前利用深度学习技术对遥感图像进行分割已经成为研究的热点，编码-解码结构神经网络在遥感图像分割领域发挥的作用也更加明显，但与此同时却也面临着诸多挑战，未来可以考虑设计更加适用于小数据集的架构，还可以将工作拓展至对超大尺寸遥感图像的分割实现等。因此，编码-解码结构神经网络在遥感图像分割领域仍亟待加大研发力度。

参考文献

[1]丁海勇，王雨轩，毛宇琼，等. 基于动态阈值区域分裂合并算法的高分辨率遥感图像分割研究[J]. 测绘通报，2016（8）： 145-146.

[2]李勇发，左小清，杨芳，等.基于FCM聚类及其改进的遥感图像分割算法[J]. 浙江农业科学，2017，58（3）：518-520.

[3]杨丽艳，赵玉娥，黄亮. 结合SLIC和模糊聚类的遥感图像分割方法[J]. 软件，2019，40（12）：66-69.

[4]姜文斌，劉丽萍，孙学宏.基于自适应权重法的K-means模型对遥感图像分割[J]. 计算机应用与软件，2019，36（5）：231-234，261.

[5]LONG J，SHELHAMER E，DARRELL T. Fully convolutional networks for semantic segmentation[J].IEEE Transactions on Pattern Analysis and Machine Intelligence，2017，39（4）：640-651.

[6]RONNEBERGER O，FISCHER P，BROX T. U- Net：Convolutional networks for biomedical image segmentation[J]. Medical Image Computing and Computer-Assisted Intervention（MICCAI），2015，9351：234-241.

[7]BADRINARAYANAN V，KENDALL A，CIPOLLA R. SegNet：A deep convolutional encoder- decoder architecture for scene segmentation[J].IEEE Transactions on Pattern Analysis and Machine Intelligence，2017，39（12）：2481-2495.

[8]郑二功，田迎芳，陈涛.基于深度学习的无人机影像玉米倒伏区域提取[J].河南农业科学，2018，47（8）：155-160.

[9]杨建宇，周振旭，杜贞容，等. 基于SegNet语义模型的高分辨率遥感影像农村建设用地提取[J].农业工程学报，2019，35（5）：251-258.

[10]苏健民，杨岚心，景维鹏.基于U-Net的高分辨率遥感图像语义分割方法[J].计算机工程与应用，2019，55（7）：207-213.

[11]陈一鸣，彭艳兵，高剑飞.基于深度学习的遥感图像新增建筑物语义分割[J].计算机与数字工程，2019，47（12）：3182-3186.

[12]许玥，冯梦如，皮家甜，等.基于深度学习模型的遥感图像分割方法[J].计算机应用，2019，39（10）：2905-2914.

[13]张浩然，赵江洪，张晓光.利用U-net网络的高分遥感影像建筑提取方法[J].遥感信息，2020，35（3）：143-150.

[14]张哲晗，方薇，杜丽丽，等.基于编码-解码卷积神经网络的遥感图像语义分割[J].光学学报，2020，40（3）：0310001（1-10）.