基于实例分割的高郁闭度林分单木树冠无人机遥感提取

谢运鸿，荆雪慧，孙 钊，丁志丹，李 睿，李豪伟，孙玉军

(北京林业大学森林资源和环境管理国家林业和草原局重点开放性实验室，北京 100083)

树冠是森林资源调查与监测中重要的树木测量指标之一[1]，基于实地调查的树冠测量虽然能够提供可靠的相关信息[2-3]，但耗时耗力。因此，迫切需要一种快速、准确地检测树冠的新思路。遥感技术在森林调查中的应用提供了有效准确的树木测量，例如，无人机可以在高空间分辨率下探测到详细的森林信息[4]。史结清等[5]指出，无人机遥感在高郁闭度或植被茂密的林分无法被充分利用，只能通过人工判读获取目标林分的郁闭度，但因为高郁闭度林分中树冠特征复杂，人工判读也会存在一定的偏差。包括局部最大/最小检测[6]、边缘检测[7]、分水岭[8]、区域生长[9]和模板匹配[10]等传统分割方法，无法充分挖掘或提取无人机图像中的所有可用信息，利用新的方法快速、准确、自动测量和监测森林属性越来越引起人们的兴趣。实例分割[11]是基于图像深度学习的一种技术，它不再依赖于一致的光谱特征或基于规则的算法，并已被证明能够超越经典的遥感技术。在林业方面，深度学习已成功应用于单木检测[9]、植物病害和健康检测[12]、森林树种制图[13]等等。Mask R-CNN作为基于掩码区域的卷积神经网络[14]，是近年来前沿的模型，它集成了目标检测任务和语义分割任务来执行实例分割。本研究试验了基于无人机RGB影像和Mask R-CNN实例分割的一种适合高郁闭度人工纯林单木树冠提取的模型，比较低郁闭度与高郁闭度林分的树冠提取效果，为高郁闭度单木树冠提取提供新思路。

1 研究区概况与数据来源

本研究共选择了2个研究区，高郁闭度林分的影像采集点位于福建省三明市将乐县国有林场（26°41′ N，117°27′ E），低郁闭度林分的影像取自于江西省赣州市大余县集体林区（25°21′ N，114°19′ E）。2个研究区均为杉木纯林，其中于福建获取影像总面积13.7 hm2，2021年7月使用大疆悟2无人机拍摄，影像地面采样距离(GSD)为4 cm；于江西获取影像总面积为27.8 hm2，2018年8月使用大疆精灵4Pro无人机拍摄，GSD为4 cm。影像均采用瑞士Pix4d公司的无人机数据处理软件Pix4dmapper进行图像处理，合成的数字正射影像如图1所示。各选取94份512 ×512像素的影像，分别包含3769、5170个树冠，利用VIA软件手动勾绘单木树冠边缘以完成树冠标注，输出的标注和影像作为模型的样本，分为训练集40张，验证集24张，测试集30张，示例样本见图1（d ～ g），数据集各参数统计见表1。

图1 研究区概况示意图(b和c分别为高郁闭度林分和低郁闭度林分无人机影像)Fig. 1 Survey map of the study area（b and c are UAV images of high canopy density forest and low canopy density forest, respectively）

表1 数据集参数统计Table 1 Parameters statistics of dataset

2 研究方法

2.1 实例分割模型：Mask R-CNN

Mask R-CNN作为Faster R-CNN[15]的扩展模型，以Faster R-CNN为基础在目标检测末端框架中加入1个掩膜分支，借助全连接层（FC）使得每个输出建议框实现实例分割。Mask R-CNN的架构分为3个阶段，第一阶段通过主干网络从输入图像中提取特征图，分别选取7种主干网络，如表2所示，第二阶段将特征图传输给区域建议网络（RPN）生成兴趣区域（RoIs），最后阶段由RPN生成的ROIs映射至共享特征图中提取相应的目标特征，经过兴趣区域对齐层（ROIAlign）对齐，然后分别输出到FC和全卷积网络（FCN）中进行目标分类和实例分割，在此过程中生成了分类置信度、边界框和分割实例之间的掩膜。

表2 模型主干Table 2 Backbone of model

2.2 模型训练

模型训练环境为Windows 10操作系统，显示核心（GPU）为NAVIDIA RTX2070，显存为8 GB，中央处理器（CPU）为英特尔i7-9750，内存为32 GB，基于Python3.6编程平台，利用Pytorch搭建实例分割Mask R-CNN各个模型。各模型参数设置基本一致，学习率设置为0.00025，各部分损失权重初始值设为1，权重衰减系数设为0.0001，批量为1，置信度阈值设为0.7。模型输出结果包括每张图像中每个实例的类别预测、边界框预测、置信度以及掩膜预测，模型的训练损失主要包括2个部分：RPN的训练损失和多分支预测网络中的训练损失，训练过程中损失值稳定后代表训练完成，所有模型迭代4000次后总损失值均达到稳定状态。

2.3 林分参数提取与精度评价

训练完成后，每个模型对应1个权重文件，将预测图像和权重文件输入至模型中，实例分割结果经过OpenCV工具包的转换，在图像中每个实例绘画掩膜、边界框和标注类别，因为本试验实例只含单个类别而且图像大小较小，在结果后处理过程中将不标注类别。实例分割结果中的掩膜和边界框是以数组的形式展现的，掩膜数组包含所有实例边缘像素的图像空间坐标，边界框数组涵盖4个角点的图像空间坐标，由此可进行林分参数提取。假设模型对一张影像（默认xy像元一致，影像宽高为w和h） 预测出n株 树，影像的地面采样距离为gsd，第i（i≦n） 株单木的树冠预测边界框Bi=(y1,y2,y3,y4)， 类别为Ci（Ci值为0或1，0代表背景，1代表杉木），掩膜为Mi（Mi内元素个数等于影像的高与宽的乘积，内部元素值为0或1，0元素代表背景像素，1元素代表树冠像素），整张图像的预测结果S=((B1,C1,M1),…,(Bi,Ci,Mi),…,(Bn,Cn,Mn))。 则该影像中单木株树N=n， 第i株单木东西冠幅EWi=∣y3-y1∣×gsd2， 第i株 单木南北冠幅SNi=∣y4-y2∣×gsd2，第i株 单木树冠面积Gi=sum(Mi)×gsd2（ s um为元素求和函数），整张影像的林分郁闭度。采用交并比（IoU）、边界框平均精度（Box-AP）和分割平均精度（Segm-AP）对树冠实例分割结果进行评价，采用均方根误差和预测决定系数进行单木参数和林分参数提取的评估。

3 结果

3.1 树冠实例分割结果

7个模型的实例分割结果如图2所示，c ～i为低郁闭度林分可视化结果，影像中林分稀疏，单木树冠之间边缘可明显区分；l ～ r为高郁闭度林分可视化结果，由于林分密集，树冠与树冠之间重叠比例比低郁闭度林分高，相邻树冠之间较难区分边缘，而且树冠边缘复杂，对树冠分割是一项挑战。各个模型均能够分割相邻树冠，得到较为清晰的树冠边缘。对7个模型进行精度评价，不同郁闭度各模型的Box-AP和Segm-AP值如图3所示，低郁闭度测试集的Box-AP和Segm-AP平均值分别为55.89%、57.29%，比高郁闭度测试集的Box-AP平均值（46.00%）和Segm-AP平均值（44.45%）高出9.89%、12.84%。低郁闭度测试集中，分割性能最优的模型为R50-DC5，Box-AP和Segm-AP值分别为57.63%、58.83%；高郁闭度测试集中，各模型AP值差异不明显，分割性能最优的模型为R101-DC5，Box-AP和Segm-AP值分别为47.93%、47.22%。

图2 低/高郁闭度林分影像分割结果可视化（c ～ i, l ～ r分别为R50-C4、R50-DC5、R50-FPN、R101-C4、R101-DC5、R101-FPN和X101-FPN实例分割结果）Fig. 2 Visual segmentation results of low/high canopy density forest images(c ～ i, l ～ r are R50-C4, R50-DC5,R50-FPN, R101-C4, R101-DC5, R101-FPN and X101-FPN instance segmentation results)

图3 AP图Fig. 3 AP figure

3.2 单木参数提取

分别在7个模型测试集中抽取300个IoU≥0.5树冠，进行精度评价（见表3）。低郁闭度林分东西冠幅、南北冠幅和树冠面积参数提取平均RMSE分别为0.161、0.179和0.341，平均R2分别为0.912、0.918和0.957，东西冠幅、南北冠幅和树冠面积参数提取最优模型分别为R101-FPN、R101-C4和R101-C4。ResNet101在树冠提取性能优于ResNet50，更深层次的残差网络对特征的准确提取有着一定的优势，但是在低郁闭度林分中优势不明显。高郁闭度林分东西冠幅、南北冠幅和树冠面积参数提取平均RMSE分别为0.479、0.497和1.256，平均R2分别为0.806、0.762和0.936。随着林分郁闭度的增加，影像中单木特征逐渐复杂，参数提取偏差变大，但是低/高郁闭度林分单木树冠面积提取的R2仅相差0.021，说明实例分割模型在高郁闭度林分仍能够做到较准确提取树冠参数。高郁闭度林分中各参数提取最佳模型均为R101-FPN，RMSE分别为0.369、0.395和1.079，R2分别为0.886、0.861和0.948，R101-FPN更适应于高郁闭度林树冠参数的提取。

表3 单木树冠冠幅和面积提取评价Table 3 Evaluation table of crown width and area extraction of single tree

3.3 林分参数提取

各实例分割模型低、高郁闭度测试集的林分单木株数提取结果如图4所示，纵坐标为单木株数，折线的每个折点代表不同单木株数的等面积样地。低郁闭度林分影像中各模型单木株数提取偏差均比高郁闭度低，且随着林分单木株数的增加偏差也不会呈明显的增加的趋势，反观高郁闭度林分单木株数提取结果，随着林分单木株数的增加偏差呈一定的增加趋势，代表株数密度越大，提取性能呈下降趋势。R101-FPN模型在高郁闭度测试集的表现最好，根据图4（m）中随着样地内单木株数越来越多，参考株数与预测株数的偏差没有呈现越来越大的趋势，因此该模型对各株数密度的林分的提取有着一定的稳定性。如图5所示，在对测试集的林分郁闭度预测中，低、高郁闭度林分郁闭度预测性能最优的模型均为R101-FPN，R2分别为0.873、0.865。综上所述，在7个实例分割模型中，各郁闭度的林分参数提取综合性能最优的为R101-FPN模型。

图4 低/高郁闭度林分单木株数预测散点图（a～g, h～n分别为低/高郁闭度散点图）Fig. 4 Scatter plots of single tree number prediction in low/ high canopy density forest(a～g, h～n are low/high canopy density scatterplots, respectively)

图5 低/高郁闭度林分郁闭度预测散点图（a～g, h～n分别为低/高郁闭度散点图）Fig. 5 Scatter plots of canopy density number prediction in low/high canopy density forest(a～g, h～n are low/high canopy density scatterplots, respectively)

4 讨论

依托7个Mask R-CNN实例分割模型，利用无人机遥感影像，展示了一种自动化、准确、计算高效的提取杉木纯林单木树冠的方法。与冯静静等[16]对组成结构简单且分辨率为0.2 m的青海云杉成熟纯林进行灰度梯度图像分割方法的树冠提取相比，本研究的高郁闭度复杂特征林分单木树冠面积预测（以R101-FPN为例）R2与简单特征青海云杉成熟纯林灰度梯度图像分割方法相当，均为0.95，本研究的实例分割模型可以实行批量分割，容错率更高，更轻易获得每个单木树冠的冠幅、面积和林分的郁闭度参数。面对无人机影像中树冠之间相互粘连的情况，传统数字图像处理的树冠提取方法的图像分割参数需要多次试验后手动设定，且较难做到精准提取单木和应用于不同的场景。例如李明华等[17]对水杉人工林影像（分辨率为0.3 m）进行分水岭分割，树冠面积预测R2高于0.9的区域只存在单木分布均一、树冠之间有明显间隙、树木冠幅和长势基本一致的林分。面对高郁闭度林分树冠的提取，实例分割模型做到了一定精度的单木树冠提取。影响实例分割模型提取树冠精度的因素除了林分条件外，还有影像分辨率，在林分稀疏且结构组成简单、分辨率为亚米级的影像，各种分割方法[8,18-19]能够做到单木计数和粗略的树冠边缘描绘，适用于不要求高精度的大范围林分树冠信息获取。但是要求在林分树冠特征复杂的动态变化监测[20]、树冠形态检测、建立以树冠参数为基础的林分模型等高精度研究试验中，性价比高且便捷的无人机则更适合，其分辨率为厘米级的影像与合适的方法能更精准地描绘树冠的边缘，更准确地进行单木计数。无人机厘米级影像可以依靠神经网络提取更多的树冠特征以及更多的树冠边缘信息，神经网络相比其他传统图像处理方法，能提取到更多特征信息从而做到精准单木树冠提取。本研究中也有不少模型对高郁闭度林分存在漏分割的现象，所以在后续工作中，将无人机航拍影像生成的数字表面模型与数字高程模型运算而得的冠层高度模型加入实例分割的运算中，冠层高度模型蕴含丰富的树冠3D信息，与之前的RGB影像2D信息结合或许将得到更高的单木树冠提取精度。

5 结论

本研究试验了基于实例分割模型进行从低到高郁闭度的杉木纯林单木树冠提取的方法，实现了高精度、自动化树冠提取。主要结论：1）7个实例分割对单木树冠的提取精度能够达到林业生产实践的需求，所有模型对低郁闭度测试集的Box-AP和Segm-AP平均值分别为55.89%、57.29%，对高郁闭度测试集的Box-AP和Segm-AP平均值分别为46.00%、44.45%；2）低郁闭度林分东西冠幅、南北冠幅和树冠面积参数提取平均RMSE分别为0.161、0.179和0.341，平均R2分别为0.912、0.918和0.957，高郁闭度林分东西冠幅、南北冠幅和树冠面积参数提取平均RMSE分别为0.479、0.497和1.256，平均预测R2分别为0.806、0.762和0.936；3）R101-FPN模型在高郁闭度测试集的表现最好，对各株数密度的林分的提取有着一定的稳定性；4）低郁闭度林分郁闭度预测性能最好的模型为R101-FPN，预测R2可达0.873，高郁闭度林分郁闭度预测性能最好的为R101-FPN模型，预测R2可达0.865；5）综合各评价指标，R101-FPN模型具有树冠提取精度高的特点。