基于改进RetinaNet算法和无人机影像的松材线虫病疫木检测

李博 姚黎帆 王广彪 张芳芳

摘  要：松材线虫病是一种传播速度快的毁灭性森林病害，及时识别、处置染病变色疫木是控制该病扩散蔓延的主要手段。该文研究了利用RetinaNet算法自动识别无人机遥感影像上的松材线虫病变色疫木，并将注意力机制引入到主干特征提取网络以减少背景对检测效果的影响，提高特征提取能力。结果表明，改进后的RetinaNet算法平均精度为97.2%，单张影像测试时间为17 ms，表现优于Fasterr R-CNN、SSD和RetinaNet。基于研究成果，对崂山区林地进行疫木航拍图像检测，实地抽检准确率达到98%。

关键词：深度学习；RetinaNet；无人机；注意力机制；松材线虫病

中图分类号：TP391   文献标志码：A   文章编号：2096-4706（2023）14-0071-05

Detection of Wilt Wood Caused by Pine Wood Nematode Disease Based on Improved RetinaNet and Unmanned Aerial Vehicle Images

LI Bo1， YAO Lifan2， WANG Guangbiao1， ZHANG Fangfang1

（1.Qingdao Research Institute of Beihang University， Qingdao  266000， China;

2.QingDao Aerospace Walker Science and Technology Co.， Ltd.， Qingdao  266100， China）

Abstract： Pine wood nematode disease is a fast-spreading and destructive forest disease. Hence， identification and removal of the affected pines are important to control the disease. This paper researches to use RetinaNet algorithm to automatically identify pine wood on UAV remote sensing images， and introduce the attention mechanism into the backbone feature extraction network to reduce the influence of background on the detection effect and improve the feature extraction ability. The results show that the mean accuracy of the improved RetinaNet algorithm is 97.2%， the testing time of per image is 17 ms， and the improved algorithm performs better than Fasterr R-CNN， SSD and RetinaNet. Based on the results of this research， pine forest in LaoShan district is monitored for pine wood nematode disease， and the accuracy rate of spot check reaches 99%.

Keywords： deep learning; RetinaNet; UAV; attention mechanism; pine wood nematode disease

0  引  言

松樹因生命力顽强，对环境适应能力强，很容易养护，在我国的分布范围很广。松材线虫病是一种对松树危害极大的森林病害，根据资料，松树染病后40天即可死亡，松林染病后3～5个月即可毁灭，被称为“无烟的森林火灾”。据国家林业和草原局2022年第6号松材线虫病疫区公告，迄今松材线虫病已广泛分布于我国大陆的19个省（市、自治区），而在2021年仅有17个省。多年的松材线虫防控经验表明，松材线虫的防控工作具有长期性、艰巨性和复杂性的特点，而第一时间发现疫情并进行有效处置是防控的关键所在。

从松材线虫防控的处理流程上来说，对松材线虫病疫情的监控是第一个环节，也是最为重要的环节。能否高效、迅速地发现病疫松树，尤其是对大面积的松林完成监测，是后续松材线虫疫情处置的前提所在。传统的松材线虫病疫情监测主要以人工地面调查为主，但受松林所在山地大多山高、路陡、林密，作业环境非常恶劣，仅依靠人工进行监测，效率低、成本高，且容易发生遗漏等现象。随着无人机技术的快速发展，特别是航拍设备性能的不断提高、价格不断降低，利用无人机遥感来监测松材线虫病虫害逐渐成了一种既经济又高效的方式[1]。早期，利用无人机遥感监测松材线虫病疫木，主要依靠人工目视和经验知识来识别提取病疫木的位置信息[2，3]，这是利用无人机来替代了外业调查，而将地面调查转变成了内业人工判读。虽然较传统的人工地面调查效率要高很多，但对于大面积的松林监测，其周期还是比较长。随着无人机遥感技术在松材线虫病疫木监测上的应用，可服务于松材线虫病疫木的低空遥感监测技术要求被提出，并给出了主要工作流程，为规范松材线虫病的无人机遥感监测服务奠定了基础[4]。随着深度学习的出现，特别是深度学习技术在目标检测上的优异效果，有学者将其应用在松材线虫病疫木的无人机遥感影像识别中。Deng等[5]，黄华毅等[6]利用Faster R-CNN算法对病疫木进行检测，其正确率可达90%。汪晨等[7]等利用YOLOv3算法进行病疫木检测，准确率为84.8%，虽然其准确率较Faster R-CNN算法要低，但YOLOv3属于无区域建议算法（又称“one-stage detector”），较Faster R-CNN算法（属于区域建议算法，又称“two-stage detector”）的运算速度快，耗时短。刘世川等[8]利用VGG算法对病疫木进行识别，其识别准确率为85.45%。

虽然深度学习在松材线虫病疫木的无人机遥感检测应用，理论上提高了疫木的监测效率，但受检测准确率的影响，还无法在工程上得到有效应用，而且如何平衡无区域建议算法和区域建议算法的运算时间和准确性也是一个亟待解决的问题。随着深度学习技术的深入发展，RetinaNet算法被提出，这个算法在保留无区域建议算法运算速度快、耗时短的基础上，检测精度也提高到区域建议算法的精度水平。本文基于RetinaNet算法，将注意力机制引入到主干特征提取网络，使网络的注意力集中在松树树冠，滤除背景等无关信息的影响。实验表明，该算法能够有效提高松材线虫病死疫木的检测精度，使得大面积的松林监测任务能够在短时间内迅速完成。

1  研究方法

1.1  RetinaNet算法

RetinaNet算法于2017年由Lin等[9]为了验证Focal Loss的有效性而提出的，该算法解决了极度不平衡的正负样本比例导致one-stage检测器精度低于two-stage检测器的问题，第一次one-stage算法在检测精度上可以和two-stage算法相当。RetinaNet目标检测算法整体结构如图1所示。

RetinaNet算法整体分为三部分，主干网络ResNet、特征金字塔（Feature Pyramid Networks， FPN）、分类子网络和回归子网络。主干网络采用ResNet50，输出为C3、C4、C5三个尺度的特征图。特征金字塔（FPN）接收上述三个尺度的特征图，并将其进行特征融合。首先将得到的特征图分别通过1 × 1卷积调整通道为256，得到F3，F4，F5。F5分成两路，一路直接通过3 × 3卷积输出P5特征层，F5的另一路通过上采样，与F4相加融合后也分为两路，一路直接经过3 × 3卷积输出P4特征层；另一路继续上采样，与F3相加融合，经过3 × 3卷积输出P3。引入FPN可以很好地融合多尺度信息，其中的上采样操作能够很好地融合深层和浅层的语义信息。最后是目标的分类和框的回归，通过分类子网络和回归子网络，输出目标的位置和类别。

1.2  改进RetinaNet算法

为了减少松林航拍图像中背景对检测效果的影响，提高RetinaNet主干特征提取网络的特征提取能力，将注意力机制引入RetinaNet算法的主干网络。注意力机制[10]是模仿人类看待事物的方式，即把注意力集中在信息的显著部分，从而快速提取到高价值信息。利用无人机航拍得到的松林正射影像背景复杂，既包括裸露的土地，还有山上的巖石等，多余的噪声会影响算法的收敛性，以致回归不准确。在卷积神经网络中，CBAM（Convolutional Block Attention Module）是一种结合了空间和通道的注意力机制模块，如图2所示。

通道注意力模块：通道注意力模块是关注图片中重要的部分。将输入的特征映射在空间纬度进行压缩，获得一维矢量。在空间纬度上执行压缩时，不仅要考虑到平均值池化，还要考虑最大值池化。平均值池化是对特征图上的每个像素都有反馈，而最大值池化只对特征图上响应最大的地方产生梯度反馈，如图3所示。

空间注意力模块：空间注意力模块是注意“哪里”是信息量最大的部分，综合平衡平均池化和最大值池化，在通道纬度上进行压缩。MaxPool的操作是提取通道上的最大值，次数为特征图高和宽的乘积；AvgPool的操作是提取通道上的平均值，次数也是高和宽的乘积；然后将所提取的特征图（通道数都为1）结合起来，进而得到一个通道数为2的特征图，如图4所示。

本文利用CBAM（Convolutional Block Attention Module）模块对RetinaNet主干网络进行改进，使得特征提取时将注意力集中于病死疫木，然后再将所提取得到的信息传入特征金字塔FPN。改进后的RetinaNet算法更关注前景像素，有利于算法的收敛。改进后的算法结构如图5所示。

2  实验与分析

2.1  数据获取

研究区域位于山东省青岛市崂山区，崂山区现有林地面积33.9万亩，其中松林面积近25万亩，是崂山区的主要树种。2021年9月，在夏末秋初松材线虫病高发期，受相关政府部门委托，利用无人机搭载SONY ILCE-6000相机对研究区范围进行航拍，共历时7天，执行95个作业架次，飞行面积达到368平方千米。针对崂山区海拔高度变化大的特点，基于崂山地势地貌，组合使用多旋翼无人机和固定翼无人机，有效地保证了航拍的精度。航拍影像经纠正配

准，生成正射影像，固定翼无人机航拍空间分辨率优于0.1 m，多旋翼无人机航拍空间分辨率优于0.06 m，数据格式为tiff，可见光3波段组成，位深为8位整型。

2.2  数据处理

分析研究区域的航拍影像并结合实地调查，可以发现感染了松材线虫病的松树在航拍图像上与健康的松树存在明显差异，颜色呈黄褐色和红褐色。采用人工目视解译的方式，对部分拍摄区域影像进行判识和裁剪，并使用LaelImg软件标注裁剪后的影像图片，共获得包括6 035张标注图的样本集。按照9：1的比例将样本集进行划分，其中训练集5 430张和验证集605张。为进一步扩充样本集，采用几何变换、颜色变换等方法对训练样本进行数据扩增。几何变换是指在平面内几何图形的移动、旋转、缩放等操作。它可以使图形的形状、大小或位置发生变化，但不改变其几何性质；颜色变换是指在色彩空间中对图像的颜色进行调整，常见的颜色变换包括亮度、对比度、色温、色相等调整。

根据松材线虫病疫木的特点，本文主要采用几何变换的方式来扩增数据集。主要方法如下：

1）对样本集中的图像以中心点为中心进行旋转，旋转角度在0°～45°之间随机选取。

2）对样本集中的图像在水平和垂直方向进行平移，平移距离按照图像宽度和高度的0%～20%随机选取。

按照1：5的比例对样本集进行上述处理，暨使训练样本数量扩大5倍，共得到30 175张训练样本。部分训练集和验证集的样本图像如图6所示。

2.3  实验测试结果

为了验证本文提出的注意力机制优化RetinaNet方法的有效性，分別与SSD算法、Faster R-CNN算法进行比较，选用准确率P（Precision）、召回率R（Recall）和平均精度（Average Precision）作为评价指标。

2.3.1  评价指标

准确率P（Precision）与召回率R（Recall）的计算式是由TP（True Positive）、FP（False Positive）、FN（False Negative）构成的。其中，TP表示识别为正样本，实际也是正样本的数量。FP表示识别为正样本，实际却是负样本的数量。FN表示识别为负样本，实际却是正样本的数量。准确率和召回率的计算式分别为：

其中，Precision表示所识别出的正样本与全部识别出样本的比值，Recall表示所识别出的正样本与所有正样本的比值。

平均精度（AP）表示评价模型整体精度的重要指标，计算式为：

2.3.2  算法对比

为了客观地对算法进行评价，使用同一工作站和前文所构建的数据集，将改进的RetinaNet算法与Faster R-CNN、SSD和RetinaNet进行对比，记录每种算法的平均精度、训练时间、参数大小和测试时间。结果如表1所示。

3  结  论

本研究通过使用无人机获取崂山区松林无人机影像数据，结合基于改进的RetinaNet深度学习神经网络对因松材线虫病变色疫木进行识别研究。研究表明，改进的RetinaNet算法在准确率、召回率、平均精度等几个关键指标上都已经超过RetinaNet、Faster R-CNN和SSD，在检测速度上要优于Faster R-CNN，但略逊于RetinaNet和SSD，但如果进一步提升运算服务器的性能，耗时的差异是可以得到一定的弥补。实验证明，将注意力机制引入到RetinaNet算法，可以有效提升算法性能，提高识别精度，取得较好的识别结果。基于该算法，对青岛市崂山区33.9万亩林地进行了松材线虫病疫情监测，仅用7天完成了从航拍到疫木定位全流程，实地抽检准确率达到98%。

参考文献：

[1] 张红梅，陆亚刚.无人机遥感技术国内松材线虫病监测研究综述 [J].华东森林经理，2017，31（3）：29-32.

[2] 李卫正，申世广，何鹏，等.低成本小型无人机遥感定位病死木方法 [J].林业科技开发，2014，28（6）：102-106.

[3] 施悦谋.浅谈无人机监测松材线虫病的应用实践 [J].浙江农业科学，2020，61（7）：1407-1409.

[4] 武红敢，王成波，常原飞.变色立木的无人机遥感监测技术 [J].中国森林病虫，2019，38（4）：29-32+37.

[5] DENG X L，TONG Z J，LAN Y B，et al. Detection and Location of Dead Trees with Pine wilt Disease Based on Deep Learning and UAV Remote Sensing [J].AgriEngineering，2020，2（2）：294-307.

[6] 黄华毅，马晓航，扈丽丽，等.Fast R-CNN深度学习和无人机遥感相结合在松材线虫病监测中的初步应用研究 [J].环境昆虫学报，2021，43（5）：1295-1303.

[7] 汪晨，张辉辉，乐继旺，等.基于深度学习和遥感影像的松材线虫病疫松树目标检测 [J].南京师大学报：自然科学版，2021，44（3）：84-89.

[8] 刘世川，王庆，唐晴，等.基于多特征提取与注意力机制深度学习的高分辨率影像松材线虫病树识别 [J].林业工程学报，2022，7（1）：177-184.

[9] LIN T Y，GOYAL P，GIRSHICK R，et al. Focal Loss for Dense Object Detection [J].IEEE Transactions on Pattern Analysis and Machine Intelligence，2020，42（2）：318-327.

[10] YANN L C，BENGIO Y，HINTON G. Deep Learning [J].Natrue，2015，521：436-444.

作者简介：李博（1978.02—），男，汉族，辽宁沈阳人，工程师，博士，研究方向：图像处理、人工智能。