基于ECLDeeplab模型提取华北地区耕地的方法

魏青迪 范昊 张承明

摘要：准确提取耕地信息对农业资源调查、遥感估产以及灾害监测等具有重要意义，从遥感图像中提取耕地的信息属于图像识别和分类的问题，目前深度学习是非常适合的方法。以语义图像分割（Deeplab）模型为基础，选择耕地为提取目标，建立了一种从高分2号遥感影像上提取耕地信息的方法耕地提取语义图像分割（ECLDeeplab）。首先分析了耕地在高分2号遥感影像上的表现特点;其次依据耕地的具体特点对Deeplab的结构进行调整，形成了能够提取耕地的网络结构;最后用训练成功的网络进行提取耕地，得到精度较高的分割结果。应用方法对山东省肥城市的2016年12月至2017年3月的10幅影像进行了试验，试验结果表明，该方法获取的耕地精度为88.3%，提取耕地信息得到了较好的结果。

关键词：遥感影像分类;卷积神经网络;农用地信息;ECL Deeplab模型;高分2号;华北地区

中图分类号： S127文献标志码： A

文章编号：1002-1302（2020）04-0209-06

收稿日期：2018-11-26

基金项目：国家自然科学基金（编号：41471299）;山东省自然科学基金（编号：ZR2017MD018）;山东农业大学青年科技创新项目（编号：23659）;中国气象局旱区特色农业气象灾害监测预警与风险管理重点实验室开放研究项目（编号：CAMF-201701）。

作者简介：魏青迪（1992—），女，山东烟台人，硕士研究生，主要从事遥感信息提取方面的研究。E-mail：weiqingdiyx@163.com。

通信作者：范 昊，博士，副教授，主要从事农业信息化、深度学习等方面的研究。E-mail：fanhao@sdau.edu.cn。

实现农田信息的快速获取与可视化表达，对农用地管理与决策、耕地保护以及农业的生产有重要意义。遥感影像因具有大面积、实时监测的优势已成为农田信息获取的一种重要手段，已被应用于农作物的信息提取、农作物识别、耕地面积估算、植被覆盖等多个领域[1-3]。从遥感图像中提取耕地的信息属于图像的识别和分类问题，目前从遥感图像中提取耕地信息的方法主要有以下几类：（1）传统分类方法。这类方法是以像元为基本单元，仅利用像元的光谱信息实现目标提取[4]。传统方法的耕地提取主观性强、更新速度不快、且费时耗力。面对不断增大的遥感数据量，传统的方法不是可行的，实现农田遥感数据自动化提取非常有必要。（2）遥感图像的决策树分类方法。决策树分类方法，在遥感图像分割方面的应用也较为广泛。潘琛等提出一种基于多特征的遥感影像决策树分类方法，并对Landsat-5 TM遥感影像进行分类试验[5]。Sharma等提出使用决策树分类算法对Landsat TM遥感数据进行分类，结果表明，决策树分类法明显优于最大似然（MLC）分类法[6]。但这些算法均存在计算精度相对较低、跨算法运算等问题。（3）基于机器学习的遥感图像分类方法。吕启等提出一种基于深度置信网络（DBN）模型的遥感合成孔径雷达（SAR）图像的分类模型，并使用该模型在6波段的搭载C波段传感器的高分辨率商用雷达卫星（RADARSAT2）遥感图像上进行验证，取得了77%的总体精确率[7]。肖锦成等使用误差逆传播法（BP）神经网络搭建了一个遥感图像的分类模型，并用于遥感图像中湿地覆被分类问题[8]。（4）基于卷积神经网络（CNN）的遥感图像分类方法。2013年深度卷积神经网络被提出用于图像分割[9]。曲景影等提出一种基于CNN模型的遥感图像分类方法，并提出了一种基于矩阵乘法的卷积展开技术的优化矩阵乘法卷积（MMCNN）模型，该模型能使卷积的计算速度加快5倍左右[10]。Long等提出将全卷积神经网络（FCN）用于图像分割，利用原始图像与人工标注的标签图像进行训练，提取图像特征，最后得到较好的图像分割结果[11]。

以上各类对遥感影像识别和分类的方法，虽然都取得了一定的成果，但由于数据精度不高或网络不适合耕地细小特征变化，导致对耕地信息提取的准确率和效率一直不高[12-15]。本研究基于语义图像分割（Deeplab）神经网络的耕地提取问题，提出耕地分割提取方法耕地提取语义图像分割（ECLDeeplab），并应用该方法对山东省肥城市2017年12月至2018年12月10幅高分2号遥感影像进行试验。试验结果表明，该方法获取的耕地精度为90.3%，提取耕地信息得到了较好的结果。

本研究方法的工作思路为：首先分析耕地在高分2号遥感影像上的表现特征;然后以Deeplab模型为基础，依据地物的具体特点对Deeplab的结构进行调整，形成能够提取耕地的ECLDeeplab网络结构，结合训练结果;最后通过对比试验比较Deeplab模型和语义分割（Segnet）网络模型在耕地提取方面的性能，最终得到准确率较高的覆盖度分割图。

1 基于ECLDeeplab模型耕地信息提取方法

1.1 Deeplab模型結构的工作原理

Deeplab（v3+）采用编解码器（encoder-decoder）结构，其工作原理见图1[16]。模型主要通过调整带孔卷积的大小来控制编码器分辨率，因而Deeplab模型在图像识别时有较好的尺度适应性。模型中编码器的工作原理是：通过1×1卷积、不同扩张率的多层3×3的空洞卷积、空间金字塔池化共同作用得到特征图组。模型中解码器工作原理是：首先将低层卷积特征图与对应扩大后的编码器特征图合并 然后进行3×3的卷积，最后通过上采样

得到与原图大小相同的特征图。

1.2 对Deeplab模型模结构的改进

针对高分2号遥感影像中耕地的特点，为了对耕地信息提取更加准确，本研究对Deeplab模型进行了如下改进。

1.2.1 引入卷积核超参数d 引入一个新的超参数d，参数（d-1）为插入卷积核的空格数，假定原来的卷积核大小为s，那么塞入（d-1）个空格后的卷积核大小n为：

n=s+（s-1）×（d-1）。（1）

假定输入空洞卷积的大小为i，步长为s，则空洞卷积后特征图大小o的计算公式为：

o=i+2p-k-（k-1）×（d-1）s+1。（2）

空洞卷积综合了空间信息，但当扩张率过大时忽视了很多细节特征，所以在ECLDeeplab的网络结构中，采用1×1卷积、多层3×3卷积和1层扩张率为2的3×3空洞卷积（图2）来共同得到特征组。

1.2.2 使用改进激活函数线性整流函数（ReLU）

深度卷积网络都需要大量的数据进行训练，传统激活函数（如tanh函数和sigmoid函数）的数据计算量大，几乎不能够配合卷积神经层完成训练。因此，ECLDeeplab模型中采用了线性激活函数ReLU。ReLU激活函数随机梯度下降的收敛速度比sigmoid函数快，而且ReLU只须要1个阈值就可以得到激活值，而不须要去进行一大堆复杂的运算。ReLU的数学形式见图3，ReLU函数不仅减少了训练时间，而且提高了算法性能。

1.2.3 ECLDeeplab的网络结构加入了相应的解码器组 高分2号影像耕地在每个像素中有较多的特征，主要表现为1个像素包含1个甚至多个物体，所以结合低层卷积特征图的解码器对于从高分2号影像提取耕地有着重要作用，解码器组如图4所示，左侧卷积结构进行了多次池化，特征图不断减小，使得细小的特征在最后的特征图上没有体现，而解码器如图右侧所示将左侧特征图与低层特征图结合生成的特征图，这样结合了适量的低层特征，使模型最终识别的细节特征更精确。

本研究对模型的改进主要有以下3点：（1）通过改进可以更好地利用地物的空间信息，如耕地规则的边缘等特征，使模型获得更丰富的特征;（2）主要是使随机梯度下降的收敛速度加快，减少训练时间;（3）主要作用是结合低层特征图以避免因池化丢失的细节特征，使识别结果更准确。

1.3 ECLDeeplab模型的具体步骤

从图5可以看出，改进后模型的具体步骤如下：（1）原图像分别通过1层1×1卷积、6层3×3的卷积层、3层3×3的卷积层、3层3×3的空洞卷积得到不同的特征图。（2）上步中得到的特征图的像素个数是不同的，通过金字塔池化统一大小，再经过1层卷积合成1张特征图。（3）最终解码器实现低层特征图与以上各层合成的特征图整合，与标记文件对比调整网络参数，得到训练好的网络。（4）运用得到的网络对高分2号影像进行最终的耕地提取。

2 ECLDeeplab模型提取耕地信息的试验步骤

2.1 試验区

研究区域为山东省肥城市（图6），范围在116°02′～116°77′E、36°18′～36°28′N之间，全市总面积1 277 km2。研究选取的试验数据是2017年12月至2018年3月10幅肥城市的高分2号影像，将其中4幅作为训练集，6幅为测试集。

2.2 地面调查数据

通过与山东省气象局合作进行的实地调查，获得了大量地面数据，调查时间为2017年3月。调查时利用GPS获取耕地位置信息，并记录下相应的耕地类型。因本试验以提取小麦耕地与裸地为目标，所以调查共获取90个样点数据，其中70个样点为冬小麦样点，20点样点为裸地样点，采样点均匀分布在肥城市区周边4个方向。数据显示，该地区耕地分布均匀、较集中，多数为小麦和裸地。

2.3 高分2号影像上耕地的影像特点

一般遥感图像中的地物类别非常丰富，耕地在高分辨率遥感影像上的影像特征主要表现为如下几点[17]。

2.3.1 光谱特征 指遥感图像上不同波段的亮度值、色调或像元值的差别。耕地的色调相对比较均匀，在不同的季节由于种植的农作物不同而呈现出不同的色调。本试验12月的耕地中，小麦占多数，裸地也分布较多，在影像上体现为纹理均匀的绿色和褐色。

2.3.2 空间特征 不同的地物类型表现出来的空间特性也是相同的，空间特征主要表现在地物的面积、外形、阴影（高低）、图案、位置以及与附近地物的关联等。平原地区的耕地多呈长方形，边缘规则。

2.3.3 纹理特征 图像上的细部结构按照一定的频率重复出现就构成了纹理特征，它是单一特征的组合，耕地中的纹理主要包括光滑的、波形的、斑纹的、线性的及其他不规则的纹理。耕地中典型的细部结构主要是农作物，农田中的农作物单个来看是农作物叶子的形状、大小、阴影、色调、图形，当它们按一定规律聚集分布时就形成明显的纹理特征，裸地有明显的条状纹理。

2.3.4 形状特征 耕地的外形和轮廓，实际中的耕地一般都是比较规则的多边形。

综上所述，耕地是比较典型的一种地物。在冬季，耕地在影像中总体呈现绿色，也有裸土色，并且耕地分布集中，耕地除了具有明显的植被光谱特征以外，还具有比较明显的边缘特征（田埂），形状多为规则的多边形，具有一定的面积。

要使地物的综合特征能够完整地被提取，选择的遥感数据应该尽量云量小且区域容易识别，根据这一原则，选择2016年12月至2017年12月的10幅GF-2遥感影像。选择2016年12月的2幅影像、2017年3月的2幅影像作为训练数据，剩余的2016年12月3幅影像、2017年3月3幅影像为测试数据。

2.4 训练样本和检验样本制作

2.4.1 预处理

由于原始图像在生产过程中会产生几何以及辐射变形，所以须要对遥感影像进行预处理，以便还原图像的真实信息[18]，试验利用ENVI 5.3遥感图像处理软件，实现GF-2影像的数据预处理。首先将1 m分辨率影像与4 m分辨率影像作反相色谱（RPC）正射校正，然后将多光谱波段数据与全色波段数据进行融合，再对融合后的数据进行快速大气校正处理。

2.4.2 标记

精确的人工标注样本是训练的基础和关键，本研究使用的标注方法为：（1）首先在ArcGIS 10.2中打开预处理好的原始遥感影像，建立1个面图层（.shp）文件，类别如表1所示。（2）矢量转栅格，用C++利用GDAL库编实现矢量转栅格。（3）将 .tif格式转换为模型需要的 .png格式。由于设置好訓练样本的像素是固定大小，利用python实现图像分割，裁剪制作出15 000张的训练样本。

2.5 ECLDeeplab模型试验过程

（1）高分2号遥感图像预处理，利用ENVI软件对获取的图像进行预处理，包括对全色光谱和多光谱图像进行大气校正、辐射校正;将全色光谱和多光谱图像融合，将对比度拉伸生成彩色增强的合成图像。（2）使用感兴越区域（ROI）选择并生成训练样本，得到标记文件。（3）利用python程序对原影像和标记文件进行裁剪。数据集包括2个部分，包括13 000张图像的训练集、2 000张图像的验证集、170 000张图像的测试集。（4）进行训练，将图像-标记文件组成的样本作为ECLDeeplab网络的输入，并对网络参数进行初始化。（5）对样本中的图像执行前向传播计算;将前向计算后的结果反向传播到网络内部，调整内部参数，从而得出稳定的网络。（6）输入测试集得到提取结果，最终须要对模型的分割结果进行分析评价，以精度、准确率、查全率和κ系数作为评价方法。

3 结果与分析

3.1 试验结果

2018年2篇博士论文《基于深度学习的神经分割方法的研究与实现》[19]、《一种面向农田提取的高分遥感影像分割模型》[20]提出的模型均是在SegNet模型基础上改进的。可以得出SegNet网络是目前最为高效的深度学习模型之一，特别是在道路识别具有广泛的应用。SegNet网络[21]是Badrinarayanan提出的网络结构，主要的优势是利用深度卷积，该网络同样通过端到端的训练方式来实现像素级的分类，SegNet网络分为编码层和解码层2个部分，能够很好地发现和提取图像丰富的细节特征。

但在冬季的在高分2号的遥感图像上，耕地的绿地与裸地差别非常大，给使用单一卷积结构的SegNet模型发现共同特征带来了较大的困难。而ECLDeeplab模型结合深度卷积神经网络和概率图模型的方法，提高了编码器-解码器网络的运行速率和健壮性，不仅能够很好地挖掘像素间的空间关系，而且能够很好地挖掘像素自身的信息。

在比较试验中，将训练得到的模型应用到GF-2图像进行分割，这些图像只用于测试，不参与训练。SegNet和ECLDeeplab方法得到的结果见图3。从图7-a的原图中可以看出，耕地的面积占整体图片的面积比较大，边缘处较清晰，区域也比较规则。图7-b卷积层为真值，图7-c为SegNet模型的试验结果，边缘有不少漏分并且浅色耕地漏分较多，图7-d ECLDeeplab模型的试验结果，最主要的耕地被完整分出，轮廓清晰。

3.2 试验分析

根据试验的具体情况，使用精度、准确率、查全率和κ系数作为评价方法的指标，这些指标是由本研究使用混淆矩阵计算得到的。如公式（3）所示，表示第i类的像素被错误分到第j类的像素数量。正对角线上的数值表示被正确分割的像素数量，其值占总数的比例越大，表示被正确分割的精度越高，分割结果越准确。反之，对角线上的数值占总数的比例越小，说明被错误分割的像素越多，分割效果越差。

CM=c11c12…c1n

c21c22…c2n

cn1cn2…cnn。（3）

精度是指分类结果中正确分类的样本数与总样本数之比，本研究使用的精度采用公式（4）计算所得;分割精度是指测试集样本中被正确分割的像素的数量占整个测试集样本中像素总数的百分比，即混淆矩阵中对角线上值的和除以总像素数，计算公式中N为像素的总数，n为分割类别的数目。

AC=∑ni=1ciiN×100%。（4）

查全率是指分类结果中正确分出的像素数与该类实际的像素数之比。在此基础上，将模型的查全率定义为所有类别查全率的平均值。本研究使用的查全率公式定义为：

p=12∑ni=1cii∑ni=1，j=1cij。（5）

κ系数是一个用于进行一致性检验的指标，本研究使用的κ计算方式如下：

p0=∑ni=1cii∑ni=1，j=1cij;

pe=∑ni=1c1i×ci1∑ni=1，j=1cij×∑ni=1，j=1cij;

κ=p0-pe1-pe。（6）

根据上述公式计算得试验精确度（表2）。ECLDeeplab模型识别结果的精度最高，为90.3%，查准率为95.7%，查全率为89.2%。

4 结论

本研究提出了针对耕地提取的ECLDeeplab模型结构。通过大量样本进行样本训练和特征提取，最后再将学习后的样本特征运用于遥感影像分类完成信息提取。选取山东省肥城市为试验区进行试验和精度验证，平均精度为88.3%，与传统的SegNet模型识别结果相比精度提高了6百分点，最终形成了用于提取耕地的网络结构。试验结果表明，模型能够高精度地从高分2号遥感影像上提取出耕地的分布信息。下一步工作中，将针对如何对模型进行修改、提取其他地物提高精度进行研究。

参考文献：

[1]Liu M W，Ozdogan M，Zhu X. Crop type classification by simultaneous use of satellite images of different resolutions[J]. IEEE Transactions on Geoscience and Remote Sensing，2013，52（6）：3637-3649.

[2]Evans C，Jones R，Svalbe I，et al. Segmenting multispectral landsat TM images into field units[J]. IEEE Transactions on Geoscience and Remote Sensing，2002，40（5）：1054-1064.

[3]李 晖，肖鹏峰，冯学智，等. 基于向量场模型的多光谱遥感图像多尺度边缘检测[J]. 测绘学报，2012，41（1）：100-107.

[4]肖 艳，姜琦刚，王 斌，等. 基于ReliefF和PSO混合特征选择的面向对象土地利用分类[J]. 农业工程学报，2016，32（4）：211-216.

[5]潘 琛，林 怡，陈映鹰. 基于多特征的遥感影像决策树分类[J]. 光电子·激光，2010，21（5）：731-736.

[6]Sharma R，Ghosh A，Joshi P K. Decision tree approach for classification of remotely sensed satellite data using open source support[J]. Journal of Earth System Science，2013，122（5）：1237-1247.

[7]呂 启，窦 勇，牛 新，等. 基于DBN模型的遥感图像分类[J]. 计算机研究与发展，2014，51（9）：1911-1918.

[8]肖锦成，欧维新，符海月. 基于BP神经网络与ETM+遥感数据的盐城滨海自然湿地覆被分类[J]. 生态学报，2013，33（23）：7496-7504.

[9]Zhou S S，Chen Q C，Wang X L. Convolutional deep networks for visual data classification[J]. Neural Processing Letters，2013，38（1）：17-27.

[10]曲景影，孙 显，高 鑫. 基于CNN模型的高分辨率遥感图像目标识别[J]. 国外电子测量技术，2016，35（8）：45-50.

[11]Long J，Shelhamer E，Darrell T. Fully convolutional networks for semantic segmentation[C]//Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition，2015：3431-3440.

[12]Mas J F，Flores J J. The application of artificial neural networks to the analysis of remotely sensed data[J]. International Journal of Remote Sensing，2008，29（3）：617-663.

[13]刁智华，魏玉泉，吴贝贝，等. 基于图像的农业信息演变规律提取现状分析[J]. 江苏农业科学，2017，45（16）：8-11.

[14]张日升，张燕琴. 基于深度学习的高分辨率遥感图像识别与分类研究[J]. 信息通信，2017（1）：110-111.

[15]Fu G，Liu C，Zhou R，et al. Classification for high resolution remote sensing imagery using a fully convolutional network[J]. Remote Sensing，2017，9（6）：498.

[16]Chen L C，Zhu Y K，Papandreou G，et al. Encoder-decoder with atrous separable convolution for semantic image segmentation[C]. The European Conference on Computer Vision，2018：801-808.

[17]李正国，唐华俊，杨 鹏，等. 植被物候特征的遥感提取与农业应用综述[J]. 中国农业资源与区划，2012，33（5）：20-28.

[18]李 婷，吴克宁. 基于遥感技术的耕地质量评价研究进展与展望[J]. 江苏农业科学，2018，46（15）：5-9.

[19]徐晨阳. 基于深度学习的神经分割方法的研究与实现[D]. 北京：北京邮电大学，2018.

[20]程 清. 一种面向农田提取的高分遥感影像分割模型[D]. 泰安：山东农业大学，2018.

[21]Badrinarayanan V，Kendall A，Cipolla R. Segnet：a deep convolutional encoder-decoder architecture for image segmentation[J]. IEEE Transactions on Pattern Analysis and Machine Intelligence，2017，39（12）：2481-2495.