混合U-Net模型下南方丘陵地区耕地识别

吴瑞姣

(福建省地质测绘院,福建 福州 350011)

准确的耕地面积和空间分布信息是权衡农业生产效益与生态环境保护的重要依据[1],也是解决产量估算[2]、土地利用规划和农业生产管理等问题的关键[3]。卫星和高分辨率影像的迅速发展和快速获取,为大范围、精确有效的耕地信息监测提供了可能[4]。高分辨率遥感影像解译是遥感信息处理领域的研究热点之一[5]。随着多源高分遥感影像数据的爆炸式增长,基于深度学习的智能图像处理技术成为推动大数据时代遥感信息服务水平提升的重要力量[6]。基于像素分类的深度学习语义分割能快速解析图像深层次语义信息,成为当前图像分割领域最先进的应用技术[7],如全卷积神经网络[8]、 U-Net[9]、 U-Net++[10]、残差网络ResNet[11]等,在自然场景图像和医学影像分割领域取得了显著成效[6]。文献[3-4,12-13]基于深度学习技术提取中高分辨率卫星遥感影像耕地开展了相关研究。然而以上研究,多数是基于高分、资源系列(0.65～2.5 m)或更低分辨率的卫星遥感影像,对于耕地地块小、形状不规则、农业景观破碎的区域,混合像元影响大大增加了耕地遥感提取的难度,难以获取准确的耕地提取结果[14]。而基于更高分辨率卫星遥感影像的耕地识别研究鲜有报道。越高分辨率卫星遥感影像,其光谱和空间纹理信息越复杂,地表细节特征越丰富,自动提取的难度也越大[6]。

因此,针对南方丘陵地区耕地零散、破碎、不规则导致的山垅田识别难度大、准确率低等问题,本文拟在 U-Net语义分割网络基础上,引入高效通道注意力(efficient channel attention,ECA)和注意力门(attention gate,AG)双注意力模块,构建一种混合U-Net模型,以福建省南安市2021年WorldView-2卫星影像为数据源,并对比不同网络模型下耕地预测分类结果的精度,验证本文方法的有效性,为粮食产量估算、耕地种植用途监测、耕地非粮化等提供准确可靠的技术支持。

1 研究区域和数据

1.1 研究区域

研究区为福建省南安市,位于福建省东南沿海,地处晋江中游、戴云山脉东南麓,境内以山地丘陵为主。南安市作为全国百强县,经济发展迅速,建设用地紧张、耕地保护压力大,快速获取该区域的耕地空间分布信息具有较强的实际需求。如图1所示。

图1 南安市研究区

1.2 影像数据及预处理

本文所使用的影像数据源为WorldView-2卫星影像18景,空间分辨率为0.5 m,成像时间是2021年1月15日-2月15日,含蓝、绿、红和近红4个波段。利用PIE Orth软件,根据影像自带的RPC信息,基于基础底图和高精度DEM分别对全色和多光谱数据进行正射校正、配准、融合、重采样和裁切等预处理。

1.3 模型训练和验证数据集

模型训练和验证数据使用WorldView-2影像标注耕地标签,数据标签的标记通过ArcGIS矢量化工具对采样区域耕地矢量轮廓的勾画,并转化为栅格数据,生成二值化的掩膜标签图(即耕地与非耕地)。

首先通过目视检查,剔除含耕地信息小于40%及明显标注错误的图片,再以4∶1的比例,将样本划分为训练集和验证集。然后通过缩放、翻转(水平、垂直、对角线)、旋转、随机扩增策略进行数据增强,提升模型泛化能力。最后,分别得到512×512的训练和验证影像171 34张和4285张。

耕地精度验证数据是2021年4月在南安外业实地调查时获取的,共有1384个(如图1所示)。其中,耕地981个,非耕地403个。

2 研究方法

2.1 融合ECA和AG双注意力模块的 U-Net

本文采用 U-Net深度学习网络框架[9],即编码器-解码器结构。编码器用于提取原始影像的特征,解码器则将编码器所提取的特征进行解码重建,从而获取像素级的分类结果。针对高分辨率遥感影像上山垅田识别难度大、准确率低等问题,在 U-Net模型基础上引入ECA模块[15]和AG模块[16],构建一种基于 U-Net改进的双注意力模块混合U-Net模型进行高分辨率卫星遥感影像耕地信息提取。如图2所示。

图2 基于双注意力模块的混合U-Net模型

2.1.1 ECA模块

通道注意力机制可以有效提高 U-Net的语义分割性能,但不可避免增加了模型的复杂度。ECA通过恰当的跨通道交互可以在降低模型复杂度的情况下提升语义分割性能。因此,本文在 U-Net中加入ECA模块。该模块使用一维卷积快速实现一种无降维的局部跨通道交互策略,在付出少量的参数代价的情况下,提高模型对不同波段的影像学习能力,增强对多尺度上下文信息的提取和利用,并抑制高分辨率遥感影像中冗余、无关信息的影响,提高耕地有效特征的提取精度。

ECA模块如图3所示。首先使用全局均值池化在空间维度对特征进行压缩,获取通道维度的全局特征;然后使用具有自适应卷积核的一维卷积构建局部特征通道间的相关性;最后使用一个Sigmoid函数获得0～1之间归一化的权重,并将其加权到每个通道的特征中。

图3 嵌入bottleneck block中的ECA模块

2.1.2 AG模块

AG模块中的注意力权重是由编解码中两部分的信息共同确定的,编码部分浅层的神经网络更善于提取局部的细节特征,而解码部分深层的神经网络更善于提取全局的语义特征。因此,AG模块则是添加在 U-Net模型的编解码器之间,同编解码器之间的跳连接和上一层神经网络相连,由编解码信息共同构建的AG模块可在把握耕地目标全局特征的情况下,将更多注意力集中于耕地目标的细节特征,从而使模型更多地关注耕地目标在形状和大小上的变化,提升小块耕地提取精度。如图4所示。

图4 AG模块

g和xl分别为注意力模块的输入,其中g来自模型的编码部分,具有低层次的语义信息,xl来自解码部分,具有高层次的语义信息。AG模块的具体实现过程为:首先将g和xl通过1×1的卷积后相加,突出编解码均有的特征;然后经过ReLU激活函数,增加非线性操作;最后经过1×1卷积和Sigmoid函数,得到归一化后的注意力权重α,并将其与xl相乘得到具有不同特征权重的新xl。

2.2 对比方法设置

为了更好地验证所构建的模型,设置了两个不同模型的对比试验。第1个是基于编码-解码架构的 U-Net模型;第2个是在 U-Net模型基础上添加了单一注意力机制,即在 U-Net编码模块中引入了残差结构和ECA注意力机制,形成了ECA U-Net模型。通过对比分析3个模型的耕地预测提取结果,探究所提出的混合U-Net模型对于南方丘陵地区山垅田及零散独立小地块的空间特征提取效果。

2.3 模型训练与结果预测

考虑Adam优化器在模型训练过程相较其他优化器收敛得更快[17],在TensorFlow框架下选择Adam优化器,使用3块GPU NVIDIA GeForce RTX 2080 Ti(11 GB)显卡进行模型参数训练,其中batch＿size设置为4,初始学习率设置为1×10-4,在训练中,学习率产生4次递减,每次递减为原学习率的0.2倍,模型在第150个epoch时结束。

当神经网络模型训练完成后,可以通过前向传播过程得到影像的预测结果。使用处理后的遥感影像和训练后的模型进行耕地信息结果预测,获得耕地的空间分布图。

2.4 精度评价

为了验证混合U-Net模型在0.5 m高分辨率卫星遥感影像上提取耕地的精度和有效性,采用基于实际外业点,通过构建混淆矩阵计算用户精度和生产者精度来定量化描述模型对南安市耕地提取的总体精度。

此外,另外选取了3个测试区域,选取的办法是将南安市按照3072 m×3072 m划分网格,共有278幅,扣除处于县级行政界限边缘未满图幅87幅,在剩余图幅中按照10%的比例随机挑选20幅作为候选测试区域。在此基础上,按照耕地破碎程度、形状规则程度,以及所处的坡度等级,人工选择了3个代表性图幅(山区、半山区半丘陵、平原)作为测试区域。采用深度学习语义分割常用的F1分数和交并比(IoU)作为评价指标,计算公式分别为

(1)

(2)

式中,TP为预测正确的正样本;FP为预测错误的正样本;TN为预测正确的负样本;FN为预测错误的负样本。

3 结果与分析

3.1 南安市耕地识别结果精度评价

基于调查的实地外业点,通过构建混淆矩阵计算用户精度和生产者精度来定量化描述模型对南安市耕地提取的总体精度(见表1)。试验结果表明,添加双注意力机制的结果均优于添加单一注意力机制和不添加注意力机制的结果。基于混合U-Net分类结果总体精度达到了93.42%,较ECA U-Net模型和 U-Net模型分别提升了9.75%和19%,总体精度较好。从3种网络模型得出的生产者和用户精度中发现:耕地的生产者和用户精度均比非耕地的生产者和用户精度高;ECA U-Net模型和 U-Net模型耕地的用户精度大于生产者精度,漏分现象大于错分现象;混合U-Net模型生产者精度大于用户精度,错分现象大于漏分现象。

表1 耕地提取精度 (%)

3.2 测试区域识别结果对比

在3个测试区域内,将不同模型测试结果与通过三调耕地结合人工目视解译获得的耕地真实值进行比对(见表2)。结果表明,混合U-Net模型、ECA U-Net模型和 U-Net模型的3个区域耕地F1分数平均值分别为0.918 6、0.810 1和0.631 5,IoU平均值分别为59.37%、72.53%和76.97%。混合U-Net模型优于ECA U-Net模型和 U-Net模型的结果,尤其是在测试区域1(山区)和测试区域2(半山区、半丘陵)结果提升明显。3个测试区域内,不同模型测试结果对比如图5所示。

表2 测试区域耕地提取精度

图5 3个测试区域不同方法提取耕地的验证结果

测试区域1,位于南安市北部的向阳乡,地处群山环抱的内陆山区,梯田和坡地类型耕地占区域1耕地总面积的94.54%。 U-Net模型提取的耕地与真实耕地一致性低的主要原因是漏提比较严重,如西侧大片耕地的光谱特征因与林、园地相似而被错分为非耕地,东侧被四周林地包围的独立耕地遗漏,从而大大降低了提取耕地的精度。ECA U-Net模型在西侧耕地与林园地光谱特征相似的情况下漏错分现象得到改善,但并不能提升村庄周边的小块耕地及被林地包围的独立耕地提取精度。而混合U-Net模型,从图5中可以明显看到,东侧数个被林地包围的独立耕地部分得到了提取,同时,在梯状耕地地块末端边界精度也得到了部分改善。

测试区域2,位于南安市西部的码头镇及诗山镇,属半山区、半丘陵地貌。村庄内部及周边耕地为平地,占区域2耕地总面积的37.35%;梯田和坡地类型耕地则分布在村庄较远的地区,占62.65%。 U-Net模型在村庄内部及周边的平地耕地提取精度较好,但在村庄较远的梯田和坡地上耕地提取精度偏低,特别是在西侧村庄边缘的山区耕地无法准确识别,出现了较大面积的漏分,也存在少量耕地光谱特征与林园相似错分。ECA U-Net模型与真实耕地相比较,明显改善了村庄边缘的山区 U-Net模型无法识别的耕地,但对小块耕地及被林地包围的独立耕地提取效果不佳。混合U-Net模型相较ECA U-Net模型,对于村庄周边小块耕地及被林地包围的小块独立耕地的识别得到了进一步提升,但仍有少部分图斑会与村庄周边的阴影、刚栽种的果园及水库周边的滩涂存在错分现象。

测试区域3,主要为南安市南部的水头镇,属平原地区,建设用地密集,地物之间异质性大。区域内耕地以平原耕地为主,占90.27%。本文设计的3种深度学习网络模型预测的耕地结果在测试区域3的F1分数均在0.8以上,较测试区域1和测试区域2以梯田和坡地为主的识别能力更高。但由于地物之间异质性大,特别是 U-Net模型在被城镇内部房屋包围的小块耕地、与平整地特征相类似的休耕地及房屋阴影遮盖处的耕地容易出现漏分,而部分林园、荒草地、操场内部、养殖场等光谱特征与耕地相类似出现了错分,提取的耕地边界较真实耕地边界,因耕地边上荒草地错纳入耕地边界,耕地内部非常小的林地、设施农用地未剔除。ECA U-Net模型相较U-Net模型,平整地特征相类似的休耕地漏分现象得到缓解,荒草地、操场内部、养殖场等光谱特征与耕地相类似错分比例有所下降,但受房屋阴影遮盖下的耕地及被城镇内部房屋包围的小块耕地漏分仍然存在。混合U-Net模型针对被城镇内部房屋包围的小块耕地部分得到了提取,进一步提高了耕地提取精度。

3.3 南安市耕地空间分布分析

南安市预测的耕地(如图6所示),面积为26 219.32 hm2。从耕地立地条件看,位于坡度≤2°的耕地为10 240.84 hm2,占全市耕地的39.06%;坡度位于(2°,6°]的耕地为6 248.41 hm2,占23.83%;位于(6°,15°]的耕地为5927.57 hm2,占22.61%;位于(15°,25°]的耕地为3 113.35 hm2,占11.87%;坡度>25°的耕地为689.25 hm2,占2.63%。从地理空间分布来看,平原、平原边缘以上的坡麓、台地及山地丘陵均有分布。耕地集中连片分布较少,零散农田较多,地块较小,较多呈阶梯状和鱼鳞状分布。只有南部溪谷、河谷冲积平原和滨海平原处耕地比较集中、地块较规则。

图6 南安市耕地空间分布及坡度分级

4 结 语

本文提出了混合U-Net模型,在福建省南安市2021年WorldView-2卫星影像数据的耕地提取中取得了较好精度,优于单一注意力机制模型ECA U-Net和 U-Net模型,特别是在山区和半丘陵区,F1分数达到了0.921 2和0.902 5。 U-Net在平原地区耕地提取精度较好,但对山垅田的识别容易与耕地光谱特征相近的林地、荒草地、园地、平整地等混淆及受阴影影响导致分类精度降低,尤其是小块耕地及被其他复杂地物包围的独立耕地的识别程度不高。ECA U-Net通过引入ECA注意力机制优化 U-Net的编码器增强特征提取以提升性能,对于与耕地光谱特征相近的地物错漏分现象明显下降,整体分类效果提升明显。但由于耕地的形状和大小在南方丘陵山区差异较大,ECA U-Net只是单纯地把同层的下采样层的特征直接concate到上采样层中,分类效果不如混合U-Net。混合U-Net在编解码器之间使用了AG注意力模块,用于学习不同形状和大小耕地目标,而使得一些较小的耕地及被其他复杂地物包围的独立耕地得到关注,具有较好的普适性。

尽管构建的混合U-Net模型在耕地提取上取得了较好的精度,本文仍然存在以下问题可以改进:①本文所需的精确样本依靠人工制作,费时费力,样本制作方面可利用聚类方法或active learning方法快速提取,因此如何快速制作精确样本是需要进一步解决的问题;②高分辨率遥感影像耕地地块的自动化提取算法依然是国内外遥感领域共同面临的科学问题,传统耕地地块提取技术的效率已无法满足当前精细化农业应用快速响应的需求,因此在本文基础上,可以进一步研究耕地地块的提取算法。