基于两级融合深度学习的松材线虫病识别

陈维美 刘馨蔚 王铁伟 徐文凯 李娟

摘要：针对无人机遥感获取的山区图像种类多且杂、患松材线虫病松树精准识别难的问题，提出一种带注意力机制的分类和识别两级深度学习模型的松材线虫病识别方法。首先，该方法利用VGG16模型进行图像分类和“瘦身”。然后，将第一级输出的含有患松材线虫病的图像输入到改进的YOLOv5目标识别模型中，该模型通过引入注意力机制模块，进一步扩大感受野，从而对患松材线虫病松树进行精准识别。最后，将所提出的方法和其他经典深度学习模型进行对比试验。结果表明：所提出的基于VGG16和改进的YOLOv5的两级融合深度学习模型的识别效果最好，识别准确率为85.58%，高于其他四种两级融合深度学习模型的识别准确率。所提出的方法不仅提高识别准确率，且解决以往在进行松材线虫病识别前需要人工进行图像分类的问题。

关键词：深度学习；图像识别；松材线虫病；YOLOv5；VGG16；人工智能（AI）

中图分类号：S431.3： TP393.0

文献标识码：A

文章编号：20955553 （2023） 070214

06

Recognition of pine wilt disease based on two-level fusion deep learning

Chen Weimei， Liu Xinwei， Wang Tiewei， Xu Wenkai， Li Juan

（College of Mechanical and Electrical Engineering， Qingdao Agricultural University， Qingdao， 266109， China）

Abstract： The images from mountainous areas are of many miscellaneous types and are captured remotely by Unmanned Aerial Vehicles， making it difficult to accurately recognize the pine wilt disease. Aiming to solve this problem， this paper proposes a two-level fusion deep learning model with an attentional mechanism for the classification and recognition of pine wilt disease. Firstly， the VGG16 model is used to classify and “slim” the captured images. Then， the output images containing infected pine wilt disease from the first stage are inputted into the improved YOLOv5 object recognition model. The model further expands the receptive field by introducing the attention mechanism module so that the infected pine wilt disease can be accurately recognized. Finally， the proposed method is compared with other classical deep learning models. The results of comparative experiments show that the proposed two-level fusion deep learning model based on VGG16 and improved YOLOv5 has the best recognition effect with 85.58% recognition accuracy， which is higher than the other four two-level fusion deep learning models. The proposed approach can not only improve the accuracy but also solves the problem that manual image classification is needed before pine wilt disease is recognized.

Keywords： deep learning; image recognition; pine wilt disease; YOLOv5; VGG16; artificial intelligence （AI）

0 引言

中國是世界上松树种类最多、面积最广的国家。然而受森林病虫害的影响，大量的松树无法正常生长甚至死亡，其中被称为“松树癌症”的松材线虫病最严重、传播范围最广且传播速度最快。目前，对松树患松材线虫病的排查基本都是靠人工到山上进行。这种方法不仅费事费力，而且由于部分山区地形复杂，具有一定的危险性，因而实现松材线虫病的智能识别对保护松林、减少劳动力和提高安全性具有重要实际意义。

随着无人机遥感技术［13］在各个领域的广泛应用，学者们通过在无人机遥感技术获取图像的基础上利用传统的图像分割方法对松材线虫病进行识别检测研究。刘遐龄等［4］通过无人机获取高分辨影像并结合数字正射影像中患松材线虫病松树的特征，利用模版匹配方法自动识别。刘金沧等［5］通过无人机遥感技术获取可见光RGB影像，利用提取的患松材线虫病松树纹理特征来进行识别。李浩等［6］通过无人机遥感全景图像，利用超绿特征因子和最大类间方差法相结合的图像分割算法来识别患松材线虫病松树。以上方法虽能够将松材线虫病识别出来，但需通过图像处理方法获取样本特征向量，识别速度较慢。针对以上学者们的研究，部分学者通过结合机器学习［7］和高光谱技术［8］等技术对松材线虫病的识别展开进一步研究。胡根生等［9］通过对拍摄高光谱图像，利用改进的加权支持向量数据描述多分类算法对患松材线虫病松树进行识别。黄芳芳等［10］利用原始光谱结合随机森林和决策树cart算法建立松材线虫病监测网络。张军国等［11］通过获取的多光谱图像，利用Jeffries-Matusit距离优化的反向传播神经网络对云南松虫害展开识别研究。

不同于前面的传统机器学习方法，深度学习技术凭借其识别精度高、速度快等优点，在农业［1214］、海洋［1517］、人体特征提取［18］等领域得到了广泛的应用，而对松材线虫病进行智能识别的研究较少。徐信罗等［19］通过无人机获取山区图像，利用Faster R-CNN模型对患松材线虫病松树进行识别。Qin等［20］通过无人机遥感获取影像，设计了一种松材线虫病自动识别扫描网络结构。然而，已有的基于人工智能AI进行患松材线虫病松树识别的前提是先人工对拍摄的图像进行分类筛选，选出含有松材线虫病的图像，然后对人工筛选出的患松材线虫病松树图像利用AI识别技术对患松材线虫病松树识别。而且目前已有的关于松材线虫病识别的研究，还没有关注无人机采集的遥感图像中感受野对识别精度影响的问题。

受上面两个问题的启发，本文在融合VGG16的高精度分类能力和YOLOv5的快速识别能力的基础上，提出了一种含注意力机制的分类和识别相融合的两级深度学习模型，对患松材线虫病松树进行识别。通过该方法来提高患松材线虫病松树的识别精度，为实现森林病害的智能识别奠定基础。

1 材料和方法

1.1 图像获取

研究区域位于山东省牟平、文登之间的昆嵛山国家级自然保护区，范围在东经121°37′00″～121°51′00″、北纬37°12′20″～37°18′50″之间，面积约为1.3 hm2。通过HY-200无人机搭载Sony A7R2相机对研究区域进行拍摄，由于山区地势复杂、植被覆盖面积广等自然环境的影响，将无人机飞行的相对高度设置为300～400 m，表1为相机的配置和参数。为了避免山区中患松材线虫病松树漏拍，需要用无人机对整个山区进行航拍，这就导致航拍的图像包括患病和健康的松树以及无松树区的空地、房屋建筑、湖泊等其他多种图像，并连续拍摄698张山区图像，采集的图像种类如图1所示。

1.2 图像扩增与标记

为了更好地提取图像特征，本文利用水平镜像、垂直镜像、旋转90°和旋转180°等方法对数据进行了扩增，将患病松树图像扩增至1 000张。通过使用LabelImg标记软件对患松材线虫病松树的图像进行标记，将标签命名为“tree”，带注释的标签文件以xml格式保存。

1.3 松材线虫病检测模型建立

本文提出的分类和识别融合的两级深度学习模型的结构图如图2所示。该模型主要是由一级分类模型VGG16和二级改进的YOLOv5目标检测模型组成。第一级网络由13个卷积层和3个全连接层构成，层与层之间使用最大化池层分开，激活单元都采用ReLU函数。第二级网络由输入端、Backbone基准网络、Neck网络层和Head输出端组成。输入端主要是对输入图像进行预处理，将输入的图像进行Mosaic数据增强、自适应瞄框计算和自适应图像操作缩放等操作。Backbone基准网络主要采用Focus、CSPDarknet53结构、SPP池化金字塔结构来提取输入图像的特征信息。Neck网络层主要采用FPN+PAN特征金字塔结构，能够提高模型提取图像特征的多样性及鲁棒性，进一步加强网络提取能力。Head输出端主要采用GIOU_Loss做Bounding box的损失函数，进行目标框的筛选操作，并使用DIOU_nms来改善目标重叠遮挡问题，能够很大程度上提高模型识别的准确率，并输出目标检测结果。

一级网络实现对无人机遥感获取的患松材线虫病松树图像、健康松树和其他图像这三类图像的自动分类，其输出为含有患松材线虫病松树的图像，构建起只包含患松材线虫病松树图像的数据集。一级网络输出的图像输入到二级网络，二级网络对患松材线虫病松树进行识别，对患松材线虫病的松树输出识别得分。为了使已有的YOLOv5模型能夠更好地适应无人机遥感图像对患松材线虫病松树精准识别，需要增大感受野使模型获取更多患松材线虫病松树的特征信息，抑制其他无用的信息，为此本文在YOLOv5模型的Neck网络层中加入了注意力机制CoorAttention （CA），其结构图如图3所示。

实际上，注意力机制已经被广泛使用，但以往的注意力机制模块只考虑内部通道信息，而忽略了位置信息的重要性，而此处的CA注意力机制是一个灵活轻量的模块，能将位置信息嵌入到通道中，在捕获跨通道信息的同时还能捕获到物体的方向和位置信息，加强模型对图像的特征提取能力，从而提升模型识别的精度。

1.4 模型训练与测试

1.4.1 试验设备及参数设置

本次试验使用的是Windows10操作系统，其硬件和软件配置如表2所示。在参数设置方面，迭代次数设置为500次，初始学习率设为0.001，学习率的动量和衰减系数分别设置为0.9和0.1。

1.4.2 评价指标

为了评价模型的识别效果，本文采用准确率、召回率、F1值和平均精度作为性能指标，其定义如下。

P=TPTP+FP×100%

（1）

R=TPTP+FN×100%

（2）

F1=2×P×RP+R×100%

（3）

mAP=1C∑NK=0P（K）ΔR（K）

（4）

式中：

TP——正样本预测出正样本的数量；

FP——负样本预测出正样本的数量；

FN——正样本预测出负样本的数量；

C——目标对象的个数；

N——

阈值IOU个数，IOU表示预测框和真实框的重合程度；

K——IOU阈值；

P——准确率；

R——召回率；

F1——准确率和召回率的调和平均值；

mAP——平均精度。

2 试验结果及分析

2.1 松树图像分类结果分析

为了使两级网络中第一级网络有更好的分类效果，本文将无人机拍摄的图像（含患松材线虫病松树、健康松树和其他非松树图像）用目前主流的VGG16、AlexNet、ResNet50和GoogLeNet四种分类模型进行分类。在Batch Size为32、Max Epochs为40的参数下，四种模型的分类性能指标对比如表3所示。

由表3可以看出，四种主流分类模型中VGG16模型对图像分类的准确率、精准率、召回率和F1值达到最高，其分类效果最优。为此，本文VGG16作为一级网络和二级网络融合。图4和图5给出了在Batch Size为32、Max Epochs为40时VGG16模型的分类准确率曲线和混淆矩阵。

2.2 松树图像识别结果分析

本文利用提出的两级融合深度学习模型对患松材线虫病松树数据集进行训练，其数据集的训练集和测试集的比例分为7∶3，试验得到识别准确率和平均精度分别为85.58%和83.04%。为了进一步验证所提出的方法的识别效果，本文又将所提出方法的第二级网络换成经典的YOLOv5、YOLOv4、YOLOv3和SSD进行对比试验，试验结果如表4所示。

由表4可看出，所提出方法的识别准确率和平均精度是最高的。

本文提出的方法也存在漏检和错检的情况，图6（a）和图6（b）分别给出了漏检和错检的示例结果。其中，图6（a）中矩形边框为正确识别患松材线虫病的松树，椭圆边框为漏检患松材线虫病的松树，图6（b）中椭圆边框为误检患松材线虫病的松树。漏检的原因可能是因为小目标图像的像素点越少，经过卷积提取的特征就会更少，所以被漏检的可能性就越大。误检的原因是裸露的石包从远处看颜色和形状都与患病松树相似。

2.3 损失函数曲线

为了评估所提出模型训练的稳定性，图7给出了本文的模型和四种经典深度学习模型的损失函数值的对比曲线。由于不同模型的损失值区间相差较大，故将损失值范围相近的放在一个图中。

从图7中可看出，本文模型的损失函数值比四种经典深度学习模型收敛地更快，且模型在训练过程中损失函数值随着迭代次数的增加逐渐下降，当迭代400次时，损失值逐渐平稳，证明了本文模型的有效性和鲁棒性。

3 结论

本文提出了一种分类和识别融合的两级深度学习模型对患松材线虫病松树进行识别，主要得出的结论如下。

1）  针对无人机遥感获取图像种类多且杂、直接用现有的AI方法不仅需要人工先进行筛选而且效率低的问题，通过对VGG16、AlexNet、ResNet50和GoogLeNet模型的分类能力进行对比试验，得出VGG16模型的分类效果最优，从而用VGG16解决了以往在进行患松材线虫病松树识别前需要人工进行图像分类的问题。

2） 为了提高YOLOv5模型对患松材线虫病松树更好的识别准确率，在YOLOv5模型中Neck网络层引入CA注意力机制模块，进一步扩大了感受野，提高模型的特征提取能力，从而提高对患松材线虫病松树的识别率。

3）  所提出的方法能及时发现患松材线虫病松树并确定其分布情况，从而解决因人工监测效率低下而导致的患松材线虫病松树不能及时救治的问题，对实现山区管理的自动化和智能化具有积极的现实意义。

参 考 文 献

［1］ 谢尧庆， 邓继忠， 叶家杭， 等. 基于5G的无人机图传及在植保无人机的应用展望［J］. 中国农机化学报， 2022， 43（1）： 135-141.

Xie Yaoqing， Deng Jizhong. Ye Jiahang， et al. UAV image transmission based on 5G and its application prospect in plant protection UAV ［J］. Journal of Chinese Agricultural Mechanization， 2022， 43（1）： 135-141.

［2］ Zhou X， Zheng H B， Xu X Q， et al. Predicting grain yield in rice using multi-temporal vegetation indices from UAV-based multispectral and digital imagery ［J］. ISPRS Journal of Photogrammetry and Remote Sensing， 2017， 130： 246-255.

［3］ Zheng K， Jia G， Yang L， et al. A compound fault labeling and diagnosis method based on flight data and BIT record of UAV ［J］. Applied Sciences， 2021， 11（12）： 5410.

［4］ 劉遐龄， 程多祥， 李涛， 等. 无人机遥感影像的松材线虫病危害木自动监测技术初探［J］. 中国森林病虫， 2018， 37（5）： 16-21.

Liu Xialing， Cheng Duoxiang， Li Tao， et al. Preliminary study on automatic monitoring trees infected by pine wood nematode with high resolution images from unmanned aerial vehicle ［J］. Forest Pest and Disease， 2018， 37（5）： 16-21.

［5］ 刘金沧， 王成波， 常原飞. 基于多特征CRF的无人机影像松材线虫病监测方法［J］. 测绘通报， 2019， 4（7）： 78-82.

Liu Jincang， Wang Chengbo， Chang Yuanfei. Monitoring method of bursaphelenchus xylophilus based on multi-feature CRF by UAV image ［J］. Bulletin of Surveying and Mapping， 2019， 4（7）： 78-82.

［6］ 李浩， 徐航煌， 郑恒宇， 等. 基于无人机遥感图像的松材线虫病监测技术研究［J］. 中国农机化学报， 2020， 41（9）： 170-175.

Li Hao， Xu Hanghuang， Zheng Hengyu， et al. Research on pine wood nematode surveillance technology based on unmanned aerial vehicle remote sensing image ［J］. Journal of Chinese Agricultural Mechanization， 2020， 41（9）： 170-175.

［7］ Liu Y， Chen J H. Integrated soft sensor using just-in-time support vector regression and probabilistic analysis for quality prediction of multi-grade processes ［J］. Journal of Process Control， 2013， 23（6）： 793-804.

［8］ Han Z Z， Deng L M. Application driven key wavelengths mining method for aflatoxin detection using hyperspectral data ［J］. Computers and Electronics in Agriculture， 2018， 153（5）： 248-255.

［9］ 胡根生， 张学敏， 梁栋， 等. 基于加权支持向量数据描述的遥感图像病害松树识别［J］. 农业机械学报， 2013， 44（5）： 258-263， 287.

Hu Gensheng， Zhang Xuemin， Liang Dong， et al. Infected pine recognition in remote sensing images based on weighted support vector data description ［J］. Transactions of the Chinese Society for Agricultural Machinery， 2013， 44（5）： 258-263， 287.

［10］ 黃芳芳， 雷鸣， 张力， 等. 基于随机森林和决策树的马尾松松材线虫病监测方法［J］. 信息通信， 2019， 4（12）： 32-36.

Huang Fangfang， Lei Ming， Zhang Li， et al. Monitoring method of pine wood nematode disease based on random forest and decision tree ［J］. Information & Communications， 2019， 4（12）： 32-36.

［11］ 张军国， 韩欢庆， 胡春鹤， 等. 基于无人机多光谱图像的云南松虫害区域识别方法［J］. 农业机械学报， 2018， 49（5）： 249-255.

Zhang Junguo， Han Huanqing， Hu Chunhe， et al. Identificationmethod of pinus yunnanensis pest area based on UAV multispectral images ［J］. Transactions of the Chinese Society for Agricultural Machinery， 2018， 49（5）： 249-255.

［12］ 王铁伟， 赵瑶， 孙宇馨， 等. 基于数据平衡深度学习的不同成熟度冬枣识别［J］. 农业机械学报， 2020， 51（S1）： 457-463， 492.

Wang Tiewei， Zhao Yao， Sun Yuxin， et al. Recognition approach based on data-balanced Faster R-CNN for winter jujube with different levels of maturity ［J］. Transactions of the Chinese Society for Agricultural Machinery， 2020， 51（S1）： 457-463， 492.

［13］ Xu W K， Zhao L G， Li J， et al. Detection and classification of tea buds based on deep learning ［J］. Computers and Electronics in Agriculture， 2022， 192： 106547.

［14］ 李昊， 刘海隆， 刘生龙. 基于深度学习的柑橘病虫害动态识别系统研发［J］. 中国农机化学报， 2021， 42（9）： 195-201， 208.

Li Hao， Liu Hailong， Liu Shenglong. Research on dynamic identification system of citrus diseases and pests based on deep learning ［J］. Journal of Chinese Agricultural Mechanization， 2021， 42（9）： 195-201， 208.

［15］ Li J， Xu C， Jiang L， et al. Detection and analysis of behavior trajectory for sea cucumbers based on deep learning ［J］. IEEE Access， 2019， 8： 18832-18840.

［16］ Xu W， Zhu Z， Ge F， et al. Analysis of behavior trajectory based on deep learning in ammonia environment for fish ［J］. Sensors， 2020， 20（16）： 4425.

［17］ Zheng H， Wang R， Yu Z， et al. Automatic plankton image classification combining multiple view features via multiple kernel learning ［J］. BMC bioinformatics， 2017， 18（16）： 1-18.

［18］ Zhou L， Zhang C， Wang Z， et al. Hierarchical palmprint feature extraction and recognition based on multi-wavelets and complex network ［J］. IET Image Processing， 2018， 12（6）： 985-992.

［19］ 徐信羅， 陶欢， 李存军， 等. 基于Faster R-CNN的松材线虫病受害木识别与定位［J］. 农业机械学报， 2020， 51（7）： 228-236.

Xu Xinluo， Tao Huan， Li Cunjun， et al. Detection and location of pine wilt disease induced dead pine trees based on faster R-CNN and UAV remote sensing ［J］. Transactions of the Chinese Society for Agricultural Machinery， 2020， 51（7）： 228-236.

［20］ Qin J， Wang B， Wu Y， et al. Identifying pine wood nematode disease using UAV images and deep learning algorithms ［J］. Remote Sensing， 2021， 13（2）： 162.