基于全卷积神经网络和低分辨率标签的森林变化检测研究

向 俊,严恩萍,姜镓伟,3,宋亚斌,韦 维,莫登奎*

(1. 广西壮族自治区林业科学研究院,广西 南宁 530002;2. 林业遥感大数据与生态安全湖南省重点实验室,中南林业科技大学林学院,湖南 长沙 410004;3. 中山大学土木工程学院,广东 珠海 519082;4. 国家林业和草原局中南调查规划设计院,湖南 长沙 410014)

森林资源是全球可持续发展的重要资源,准确及时地获取林地变更信息对保障生物多样性、生态环境的稳定等具有重要意义[1-2]。森林变化检测工作是林业生态建设的基础性任务,是保持林地资源数据真实性、准确性和时效性的重要手段;也是实现林地管理 “一张图”工作的主要内容;更是实现国家森林资源一类调查、二类调查以及各类林业重点工程监管的重要基础[3-4]。

近年来,遥感技术迅速发展,遥感影像覆盖面积越来越广,精度越来越高,数据获取周期越来越短,在农业、环境保护、土地利用、林业、海洋观测等多个领域得到广泛应用[5-12]。在遥感影像上采用目视解译法进行人工判读,区划出林地变更区域,可极大地加快林地变更调查的速度。随着人工智能技术的快速发展,深度学习方法被广泛应用于计算机视觉和图像处理领域[13]。在森林变化检测方面,结合遥感影像与深度学习方法,可以有效保证森林变化检测的及时性,避免人工判断习惯的不同而造成干扰,提升林地变更调查的精度与效率。许多学者使用基于全卷积神经网络(fully convolutional network, FCN)的深度学习模型[14]在遥感影像地物分类[15-16]和变化检测[17-18]方面的研究较多,并且取得较好的效果。

深度学习方法已被证明在变化检测领域采用高分辨率标签完成检测任务是有效的,这类网络模型的特点是建立多层卷积神经网络结构和大量高分辨率标签来分析[13,19-20]。如Chen 等[21]提出一种基于时空注意力的方法应用于遥感影像变化检测,利用新颖的基于时空注意力的卷积神经网络提升检测精度。王昶等[22]采用深度学习方法和变化向量检测(change vector analysis,CVA)方法对3组遥感影像数据集进行变化检测实验,结果表明基于深度学习方法的变化检测精度高于CVA方法。Lei等[18]提出一种基于对称全卷积神经网络的山体滑坡变化检测方法,结果表明这种对称全卷积神经网络结构能够有效利用滑坡地区的空间多尺度特征,解决单尺度集合的缺点,从而输出更好的特征图。森林变化检测作为地类变化检测中一项重要分支,使用深度学习模型也能达到目的。然而想要获得高精度检测结果,通常需要大量高分辨率的标签作为训练样本,其获取和制作过程相比于中低分辨率标签难度更大。

本研究基于全卷积神经网络模型,利用低分辨率标签对高分遥感影像中的森林进行提取,得到准确的高分辨率森林影像提取结果,将前后两期森林影像提取结果对比获得林地区域森林变化检测结果。

1 材料与方法

1.1 研究区概况

长株潭地区位于湖南省中东部(111°53′～114°17′E,26°03′～28°40′N)。研究区总面积为2.8×104km2,是典型的山地丘陵地形,属于亚热带季风性气候,降雨充沛,年均降水量为1 200～1 450 mm,年均气温为15～19 ℃[23-24],研究区中林地与城市大片相接,对研究碎片化林地的地物分类和变化检测具有重大意义。

1.2 数据来源与处理

1.2.1 遥感数据来源

为检测研究区域内2020—2021年林地变更情况,本研究获取研究区2020年与2021年两期高分遥感影像和“林地一张图”(图1)。2021年研究区高分影像数据局部含云区域已在后续处理中去除,且含云区域影像未用来制作数据集。提取森林使用的是256×256的小图像,故影像中的拼接痕迹对森林提取无影响。两期遥感影像由多种国产高分数据及全年多期影像融合而成。高分遥感影像与“林地一张图”均来自国家林业和草原局调查规划设计院。

1.2.2 数据预处理

云覆盖地球表面50%～70%面积,是影响大气辐射收支平衡以及气候变化的重要因素之一[25-26]。目前大部分卷积神经网络分类器只接受有效值的输入,所以对遥感影像进行地物分类时,云和影像缺失是严重的干扰因素。本研究获取的高分卫星影像数据中部分区域存在云覆盖或影像缺失,直接影响地物分类的效果和后续变化检测分析。为了减少或避免这些因素对结果分析造成的影响,通过人工目视判读,筛选并剔除含云和有缺失的遥感影像。

下载开源数据——2020年全球土地利用/土地覆盖地图(land use/land cover,LULC)。使用LULC地图作为本研究的低分辨率标签,并从中裁剪出研究区LULC地图。LULC地图来自州航天局entinel-2影像,分辨率为10 m。获取研究区的LULC标签,地物种类共分为6类(水体、森林、耕地、灌木、建筑和裸地)。森林变化检测需要检测出林地区域内不同时相的森林变化区域。因此提取出LULC标签的森林作为检测高分辨率影像森林的标签,同时为模拟低分辨率标签,使用最近邻算法将10 m分辨率标签下采样调至30 m分辨率(图2)。

图2 标签预处理示意图Fig. 2 Schematic diagram of label pre-processing

1.2.3 制作数据集

采用最近邻算法将低分辨率标签重采样至与高分影像相同分辨率,保证影像之间的空间兼容性[27]。2020年和2021年两期高分影像、低分辨率标签均裁剪为4 000×4 000像素大小,对应编号。由于2020年与2021年两期影像含云和影像位置的缺失,以及两期影像的颜色特征均不相同,因此需要生成不同的森林提取模型。分别制作2020年与2021年的数据集,各200张4 000×4 000像素的遥感影像,以及对应区域的低分辨率标签。同时为保证样本中各地物种类的均衡性,随机挑选各种地形图片作为实验样本。

1.3 研究方法

1.3.1 全卷积神经网络模型

以较大的数据样本为模型提供更强的泛化能力,依据高分辨率图像本身的纹理结构与颜色等特征,为提取其地物轮廓标签带来较大优势。高效、轻量的全卷积神经网络(FCN)模型设计见图3,网络中每一层都包含1个卷积层(convolutional layer)和激活层(relu layer),其中卷积核大小为3×3。网络模型输入256×256×3的随机裁剪图片,经过模型的卷积学习,最终网络输出256×256的提取结果。利用该网络模型分别在两个训练数据集中进行训练得到对应数据的模型。

图3 FCN网络模型结构示意图Fig. 3 Schematic diagram of the FCN network model structure

为验证不同网络模型对同一数据集的森林提取精度以及本研究所用模型(FCN)的优势,将FCN提取结果与U-Net、FPN、LinkNet模型提取结果进行对比。对比试验中U-Net、FPN、LinkNet模型编码器结构均为Resnet-18。其中Resnet前3层块被用于下采样,并在相应的上采样层分别使用128、64和64个滤波器的卷积层。

损失函数选择Diceloss函数,Diceloss损失函数来自Dice coefficient,是一种用于评估两个样本相似性的损失函数,取值范围为[0,1],取值越大表示两个样本越相似[19]。

(1)

式中:Ldice为损失函数;X与Y分别为预测值与真值;|X|和|Y|分别表示X和Y的元素个数,分子乘2是为了保证分母重复计算后取值范围在[0,1]区间内。Diceloss函数是一种具有区域相关性的损失函数,意味着某像素点的loss值以及梯度值不仅与该点的标签以及预测值相关,与其他点的标签以及预测值也相关。构建优化器对象,用来保存当前计算状态,并且能够根据计算得到梯度更新参数。梯度下降优化器使用AdamW函数[28],初始学习率设置为0.001。

实验环境基于 Pytorch 框架和 Python 语言搭建。在Windows 10系统下以 Pytorch1.9.0 为基础编写,并使用Nvidia RTX3080ti GPU进行训练,显存为12 G, CUDA版本为11.0。深度学习所用服务器 CPU 为 Intel(R) Core(TM) i7-10700KF CPU,其主频最高为 3.79 GHz,服务器运行内存 32 G,4 T储存空间。

1.3.2 森林提取网络模型精度评价

构建的是基于深度学习方法的森林检测网络模型。检测结果的准确性以单个像元为统计单元,精确率(precision,P)和召回率(recall,R)是分类网络模型中的常用评价指标。因此,选择精确率和召回率作为本网络模型的评价指标。对结果进行精度评价时,将人工目视解译结果作为真值,全卷积神经网络模型的预测结果作为预测值,最终以像素面积计算精度。表达式为:

(2)

(3)

式中:STP为正确预测的像素面积;SFP为错误预测的像素面积;SFN为漏检区域面积。

采用综合评价指标(F1-score,记为F1)[29]对结果进一步评价,该量化指标是精确率(P)和召回率(R)的调和均值,计算公式如下:

(4)

1.3.3 变化检测方法

基于图像分类结果的方法是变化检测众多方法的一种,主要包括分类后比较法[30-31]和多时相直接分类法[32]。使用分类后比较法来识别森林变化区域,该方法能够有效地削弱传感器、大气条件等因素对变化检测的影响。通过森林检测模型分别得到2020年与2021年的两期高分影像森林提取结果,再比较得到森林变化结果。利用“林地一张图”掩膜非林地区域,仅保留林地区域内变化,生成林地区域内的森林变化结果。

1.3.4 检测结果后处理

对于森林变化检测结果图像(图4a)中出现的极小区域图斑、小间隙以及变化区域内存在的孔洞,采用形态学后处理和去除最小面积的方法处理这些图斑和孔洞来完善最终的检测结果。形态学处理[33]是基于集合论基础的一种图像处理方法,包括腐蚀、膨胀、开和闭等形态学运算。闭运算是先膨胀后腐蚀,能够平滑目标轮廓外和填充区域间的狭窄缝隙,具有填充孔洞的效果。在闭运算结果基础上去除面积小于阈值的变化图斑,最终得到后处理的结果,即去除处理面积小于666.67 m2的变化区域图斑(图4b)。

图4 检测结果后处理示意图Fig. 4 Diagram of post-processing of detection results

2 结果与分析

2.1 森林提取模型预测结果

对前后两期高分影像分别利用森林提取模型训练,并从两期遥感影像中随机选取5个面积为80 km2的影像作为测试样本,与地面真值进行比对和精度计算。森林提取模型训练过程中损失值(loss) 随训练批次(epoch)变化的曲线如图5所示,模型的损失值呈缓慢下降趋势。通过测试样本反馈的结果,模型在第10个训练批次处得到最佳效果。森林提取精度如表1所示。

表1 网络模型精度评价

图5 FCN训练损失值变化曲线Fig. 5 FCN training loss value change curve

FCN在2020年的森林提取结果中,模型精确率为96.25%,召回率为97.95%,F1分数为97.09%。对于2021年影像森林提取结果,精确率达到92.53%,召回率为99.65%,F1分数为95.96%。在低分辨率标签森林提取方面,FCN对于森林的提取精度整体优于同为分割网络模型U-Net、FPN、LinkNet。2021年提取结果中,森林提取的精确率低于U-Net网络模型,其原因是物候期的变化和本研究所用模型在该方面训练样本不足,导致部分非森林区域被模型预测为森林。在FCN对于两期影像的检测结果中,F1分数均高于90%,分类网络模型的一致性强,说明本研究所用模型基于低分辨率标签可以完成遥感影像森林提取,满足后续的森林变化检测任务。

各模型提取结果如图6所示,FCN模型在细小地物如道路、单个建筑、裸地等边界上具有更好的提取效果(图6c),而同为分割模型的U-Net、FPN、LinkNet网络模型均只能提取大面积森林,对于细小地物的边界分割效果较差。

图6 不同森林模型提取结果Fig. 6 Different forest model extraction results

2.2 森林变化检测结果

为进一步验证本研究所用方法在森林变化检测中的有效性,基于森林提取结果,使用分类后比较法得出研究区变化检测结果。利用2020年和2021年研究区FCN模型森林提取结果,获取森林减少区域与森林增加区域,并结合目视解译结果计算精度等参数。采伐和开垦是造成森林减少的主要驱动因素,通过比对长株潭地区森林减少区域结果(图7a)和两期高分影像,经过人工目视判别,发现大多数森林减少区域均为采伐和开垦。提取森林变化区域与实际影像相符(图7b),且边界准确。可以看出,除去含云区域,林地减少区域主要集中在长沙市南部、湘潭市与株洲市交界处南部以及株洲市西南部。人工造林会一定程度增加森林面积,长株潭地区森林增加区域结果见图7a,森林增加区域远少于森林减少区域,且森林增加区域主要集中在株洲市中部,以及长沙市北部少量区域。

选取面积为960 hm2区域(图7a)作为测试样本数据集,将提取的森林变化检测结果与真实变化区域进行比较。其中通过人工目视解译法获得的森林真实减少面积为369.46 hm2,本研究所用方法预测的变化面积为386.56 hm2,正确预测面积为286.60 hm2,错误预测面积为99.96 hm2,漏检面积为82.85 hm2,计算得到精确率(P)为74.14%,召回率(R)为77.57%,F1分数为75.82%。通过人工目视解译法获得的真实森林增加区域面积为84.04 hm2,所用方法预测的变化面积为92.12 hm2,正确预测面积为64.26 hm2,错误预测面积为27.86 hm2,漏检面积为19.78 hm2,计算得到的精确率(P)为69.76%,召回率(R)为76.46%,F1分数为72.96%,合计变化精确率为73.30%,召回率为77.37%,F1分数为75.28%(表2)。通过表2中的数据可以得出,该网络模型能够利用低分辨率标签,完成高分遥感影像的变化检测任务,且具有较好的效果。

表2 森林变化检测结果精度评价

3 讨 论

林地年度变更调查工作是及时掌握林地利用现状及其消长变化情况的重要基础性工作。利用遥感手段进行森林变化检测有利于实现对森林资源、地类变化等数据的定量、定位和可视化监测,对林地变更调查工作具有重要指导意义[1-4,34]。

损失函数虽然是评估两个样本相似的重要方法,但是本研究参与训练的标签为低分辨率标签,损失值在训练过程中不能完全评估模型训练结果的好坏。避免模型输出结果完全与低分辨率标签拟合,采用低分辨率标签与浅层全卷积神经网络结合的方法,训练200张4 000×4 000像素大小的图片,通过较大的样本数据集为模型提供较强的泛化能力。由于数据样本充足,仅需要训练少量的epoch就能得到较好的检测结果。

虽然本研究所用模型对两期高分影像森林提取精度分别为96.25%与92.53%,但是森林变化检测的结果中精度不高,其中森林增加区域精确率仅为69.76%。造成森林提取精度过高的原因,可能是森林区域占样本区域比例过高,如2020年样本区域森林面积占比为86.77%,即使有少量面积的误检和漏检也不影响整体的精度;通过人工目视判别发现在森林提取过程中,造成漏检、误检多发生在森林与其他地类的交界之处。同时该处也是森林变化区域高频率发生地段,如林地的砍伐和开垦以及人类的其他经济活动[35],从而造成精确率较低。

本研究所设计实验仍然存在一定的局限性:①虽然对遥感影像进行去云预处理,但检测结果仍有云的干扰,影响检测精度;②遥感影像为多期高分影像拼接而成,且2021年影像颜色偏向于绿色,导致道路两旁的灌木、草地被误检为森林,该现象同样是影响变化检测结果的因素之一;③由于物候期影响,部分阔叶树落叶期的影像颜色特征与采伐、开垦地相似[36-37],导致检测出部分森林变化为伪变化。

针对上述问题,后续实验将采用Sentinel-2影像进行森林变化检测研究,以期避免影像拼接以及两期影像物候期不同导致的检测结果精度不高。

4 结 论

1)所用的全卷积神经网络对于2020年和2021年两期高分遥感影像均有较好的提取效果,满足用于变化检测任务的条件;同时通过人工目视判别发现FCN在森林提取中对边界优化较为准确。

2)利用分类后比较法对两期森林提取结果作变化检测,以像素变化面积为精度评价计算单位,其中森林减少区域的精确率为74.14%,召回率为77.57%,F1分数为75.82%;森林增加区域的精确率为69.76%,召回率为76.46%,F1分数为72.96%;合计变化精确率为73.30%,召回率为77.37%,F1分数为75.28%。本研究结果能够为高精度标签样本缺失或不足情境下的林地地物分类以及森林变化检测提供参考,后续研究将针对季相变化造成的误检进行深入研究。