基于改进YOLOv4的澳洲坚果视觉监测方法

罗鑫 李加强 何超

摘要：针对大规模澳洲坚果种植园管理困难的问题，提出一种基于改进YOLOv4的林地澳洲坚果生长监测方法。在澳洲坚果种植基地中进行图像采集，记录3种常见的澳洲坚果存在形式，制作VOC数据集并用于模型训练。对样本数量较少的类别进行数据增强，使训练样本均衡分布。在原始YOLOv4方法的基础上进行改进，用DenseNet121网络替换原来的主干网络，并使用Focalloss优化检测模型的分类损失函数，有效提升检测模型精度，同时缓解类别间检测精度不平衡问题。试验结果表明，与YOLOv4、YOLOv3方法相比，所提改进YOLOv4方法对每种澳洲坚果形式的平均精度（AP）均为最高，检测模型的平均精度均值（mAP）达到93.33%，检测速度达到28.7 FPS，实现对林地澳洲坚果落果、病害等生长信息的实时、高效获取，为精确监测澳洲坚果生长状态提供依据。

关键词：澳洲坚果；果园监测；深度学习；改进YOLOv4；目标检测

中图分类号：S776.01

文献标识码：A

文章编号：2095-5553 （2024） 05-0217-06

收稿日期：2022年10月3日  修回日期： 2022年11月14日*基金项目：国家自然科学基金（51968065）；云南省教育厅科学研究基金（2022Y571）；云南省高层次人才培养支持计划（YNWR—QNBJ—2018—066，YNQR—CYRC—2019—001）

第一作者：罗鑫，男，1997年生，四川宜宾人，硕士研究生；研究方向为机器视觉、林产品检测。E-mail： luox9707@163.com

通讯作者：何超，男，1980年生，湖北荆门人，博士，教授；研究方向为机器视觉。E-mail： hcsmile@163.com

A visual monitoring method for Macadamia nuts based on improved YOLOv4

Luo Xin， Li Jiaqiang， He Chao

（School of Mechanical and Traffic Engineering， Southwest Forestry University， Kunming， 650224， China）

Abstract：

In response to the management difficulty of large-scale Macadamia nuts orchards，  a forest Macadamia nut growth monitoring method based on improved YOLOv4 was proposed. Image acquisition was carried out in a Macadamia plantation， where three common forms of Macadamia presence were recorded to produce a VOC dataset and used for model training. Data augmentation was applied to classes with fewer samples to equalize the distribution of training samples. Improved on the basis of  the original YOLOv4 method， DenseNet121 network was used to replace the original backbone network， and Focal loss was used to optimize the classification loss function of the detection model， which effectively improved the detection model accuracy and alleviated the problem of unbalanced detection accuracy between classes. The experimental results showed that the improved YOLOv4 method had the highest average precision （AP） for each Macadamia nut form， compared to the YOLOv4 and YOLOv3， the mean average precision （mAP） of the detection model reached 93.33% and the detection speed reached 28.7 FPS， which achieved the real-time and efficient acquisition of growth information of Macadamia nut， such as Macadamia nut drop and disease in orchards， and provided a basis for Macadamia nut growth monitoring.

Keywords：

Macadamia nuts; orchard monitoring; deep learning; improved YOLOv4; object detection

0 引言

澳洲坚果富含优质的不饱和脂肪酸和植物蛋白，食用价值和经济价值高［1］。自20世紀80年代起，在我国西南地区开始广泛种植，目前我国澳洲坚果种植面积为全球第一［2］。澳洲坚果种植园管理是实现丰产、优产目标的关键［3］。然而，现阶段的种植园管理主要依靠技术人员在园林中巡视观察，进行种植园病虫害预防和判断施肥施药时机等。随着种植面积扩大以及果树挂果率提高，加之西南地区地形多以山地为主，这导致种植园管理效率低、工作强度大。

近年来，随着深度学习和机器视觉的发展，许多学者将视觉检测技术和农业信息感知相结合，以此获取农情信息，使园林管理更加方便快捷、科学精准［4， 5］。樊湘鹏等［6］提出了一种改进CNN模型，实现葡萄叶部病害的检测识别，对6种叶部病害的分类准确率达到98.02%，为葡萄病害及时防治提供依据。王云露等［7］基于改进FasterR-CNN实现苹果叶部病害识别，模型的平均精度均值达到86.2%，该方法为苹果病害的早期干预和治疗提供科学依据。王国伟等［8］改进了LeNet网络模型，实现了5种玉米病害的检测识别，准确率达到96%。赵越等［9］使用FasterR-CNN实现马铃薯叶片病害检测，与YOLOv3、YOLOv4进行对比，该模型的检测精度最高，达到99.5%。韦锦等［10］改进YOLOv4的主干网络和SPP结构并进行绿篱植物识别，检测精度和速度比原来提高了8.1%和14.9FPS，模型性能得到有效提高。候瑞环等［11］改进YOLOv4的主干网络结构并用于检测林业害虫，精确率和召回率分别达到 85.9% 和 91.2%，与SSD、FasterR-CNN、YOLOv4方法进行对比，有较大的检测精度优势。Li等［12］应用YOLOv3、YOLOv4检测算法进行猕猴桃花苞和花朵的多分类识别，实验表明YOLO V4的检测精度更高，速度更快，泛化能力更强。Roy等［13］改进YOLOv4的主干网络结构，实现芒果生长阶段的实时检测，为实现果园估产和智能灌溉等提供技术支持。

从上述研究可以看出，深度学习在农林领域的研究应用已较为广泛。然而，在利用深度学习技术进行澳洲坚果的检测识别及应用方面，仍缺乏研究。获取种植基地内的澳洲坚果生长状态信息是实现果园高效管理的关键，因此，本文提出基于改进YOLOv4的澳洲坚果检测方法，对澳洲坚果种植基地的病虫害、果树挂果情况以及坚果成熟掉落程度进行检测识别，定期获取管理澳洲坚果种植园所需的园林信息，为种植基地病虫害防治、定期清理落果和确定采收时机等种植园管理工作提供依据。

1 数据与方法

数据集是影响检测模型性能的关键因素。在澳洲坚果结果期间，在云南的多个种植基地进行图像采集，并制作目标检测数据集。图像采集时间为2021年6月到2022年9月的澳洲坚果结果期，在不同的天气状况、光照条件、拍摄距离和角度下进行图像采集，共2 400张原始图像。图像中的澳洲坚果主要以3种形式存在，包括树上的未成熟澳洲坚果（标签名为“immature”）、成熟后自然掉落于地面的澳洲坚果落果（标签名为“macadamia”）和一种广泛分布于坚果基地的蓟马病害果（标签名为“thrips”）。

使用labelImg软件对数据集进行图像标注。共3种标签分别对应上述3种澳洲坚果状态。在标注过程中忽略位于图像边缘以及被遮挡面积大于70%的澳洲坚果个体，以PASCAL VOC格式保存标注信息并获得XML文件作为标签文件。保持图像高宽比4∶3不变，将图像分辨率处理为768像素×576像素，并按照8∶1∶1的比例，将数据集划分为训练集、验证集和测试集。

1.1 数据增强

数据增强是提高模型泛化能力的有效途径，在使用有限的数据来进行模型训练时，数据增强操作是不可缺少的一步［14］。本文在图像处理过程中使用的数据增强方法包括以下两种：一种是简单的图像增强方法，该方法独立于模型训练过程，主要采用镜像、翻转及旋转等方式对图像进行简单的几何处理，达到扩充图像数据集的目的，此外，还对图像的饱和度、亮度进行了调整，用于模拟不同光照条件下的澳洲坚果生长状态，该方法的处理结果如图1所示；另一种是在模型训练过程中进行的数据增强方法，本文采用了“Mosaic”数据增强方法和“mixup”混合增强方法，其处理效果如图2所示。“Mosaic”数据增强方法将四张图片进行随机裁剪，并将其拼接为一张图片作为训练数据，该方法丰富了检测目标所处的背景，并提高模型训练时对计算机显存的利用效率。“mixup”混合增强方法是将两张随机选取的图片进行混合，构建虚拟样本作为训练数据，该方法可以增加每幅图像中的检测目标的数量，减少图像中的非信息像素的占比，提高模型训练效率。

对数据集的标签信息进行统计，数据增强后的数据集中，包含了19 373个未成熟澳洲坚果（immature）样本、19 268个澳洲坚果落果（macadamia）样本和18 918个澳洲坚果病害果（thrips）样本，各类别的样本数量分布基本均匀，以避免因数据本身引起不平衡问题。

1.2 改进YOLOv4及其网络结构

本文提出的澳洲坚果监测方法在YOLOv4［15］的基础上进行改进，使用Densnet网络替换了YOLOv4的主干特征提取网络，以此提高改进YOLOv4模型对澳洲坚果目标的检测识别能力。

由模型检测精度AP的定义可知，PR曲线与两坐标轴围成的面积代表模型对各个类别物体的检测精度，而在多类别检测任务中，mAP为多个类别的平均精度AP之和的平均值。

2.3 模型性能评估

本文改进网络的训练结果见图7，模型训练经过250个epoch，模型训练的损失值保持在0.037，表明模型训练已达到收敛；当重叠率为0.5时，模型精度在0.975上下浮动。结果表明，随着训练迭代次数的增加，改进模型的损失值不断降低，模型训练最终达到收敛；检测模型的训练精度较高，有较强的检测识别能力。

在相同设置下，将改进YOLOv4与YOLOv4和YOLOv3［20］的性能进行对比（图8）。其中，改进YOLOv4对各类检测物体的P-R曲线如图8（a）所示，该模型对3种类别物体的检测精度较高，且不同类别的检测精度相差較小，表明改进YOLOv4模型对不同类别物体的检测能力较强并且对不同类别物体的检测精度较为平衡。此外，由图8（b）、图8（c）可以看出，YOLOv4与YOLOv3对3个类别物体的检测精度相差较大，类别间检测精度不平衡，且P-R曲线与坐标轴之间的面积明显小于改进YOLOv4模型，表明前两者的检测精度与改进YOLOv4模型存在较大差距。

表2对比了不同检测方法对澳洲坚果的检测精度。可以看出，改进YOLOv4对每个类别物体的检测精度均为最高，平均检测精度达到93.33%，且类别间的检测精度差异为3种方法中最小，表明本文提出的改进方法有效提升了检测模型的检测精度，有效缓解了类别间的检测精度不平衡问题。与YOLOv4和YOLOv3相比，改进YOLOv4的检测速度达到28.7 FPS，分别提高了8 FPS、2.4 FPS，在3种模型中检测速度最快。

2.4 检测效果可视化

图9是分别使用改进YOLOv4、YOLOv4和YOLOv3对相同测试图像的检测结果。从图9可以看出，改进YOLOv4模型对3个类别的区分辨别能力最强。在图9（a）中，只有改进YOLOv4将成功地区分识别出地面落果，YOLOv4和YOLOv3均将其错误识别为其他类别；在图9（b）只有改进YOLOv4将地面落果全部识别，YOLOv4模型存在漏检问题，而YOLOv3模型存在明显的错误识别问题；图9（c）中改进YOLOv4将有病害的澳洲坚果全部识别，而其余检测模型存在不同程度的错检、漏检问题。

本文提出的改进YOLOv4模型有明显的性能提升，对每个类别物体的检测精度均为最高。从可视化结果来看，改进YOLOv4模型对每个类别物体的检测区分能力较强，有效避免了在其他检测方法中常见的漏检、错检等问题。

3 结论

1）  本文对实际园林环境中的不同状态的澳洲坚果进行图像采集并制作目标检测数据集，提出一种改进YOLOv4检测模型对果园中的澳洲坚果进行检测识别。

2）  本文基于YOLOv4检测方法进行改进，与YOLOv4、YOLOv3相比，改进YOLOv4模型的平均檢测精度最高，达到93.33%，分别提升2.41%、6.24%；其检测速度最快，达到28.7 FPS。

3）  使用Focalloss优化检测模型的分类损失函数，有效缓解多类别检测任务中的精度不平衡问题。

参 考 文 献

［1］ Hu W， Fitzgerald M， Topp B， et al. A review of biological functions， health benefits， and possible de novo biosynthetic pathway of palmitoleic acid in macadamia nuts ［J］. Journal of Functional Foods， 2019， 62： 103520.

［2］ Tu X H， Wu B， Xie Y， et al. A comprehensive study of raw and roasted macadamia nuts： Lipid profile， physicochemical， nutritional， and sensory properties ［J］. Food Science & Nutrition， 2021， 9（3）： 1688-1697.

［3］ Trueman S J. The reproductive biology of macadamia ［J］. Scientia Horticulturae， 2013， 150： 354-359.

［4］ Mavridou E， Vrochidou E， Papakostas G A， et al. Machine vision systems in precision agriculture for crop farming ［J］. Journal of Imaging， 2019， 5（12）： 89.

［5］ Yang B， Xu Y. Applications of deep-learning approaches in horticultural research： A review ［J］. Horticulture Research， 2021， 8： 445.

［6］ 樊湘鹏， 许燕， 周建平， 等. 基于迁移学习和改进CNN的葡萄叶部病害检测系统［J］. 农业工程学报， 2021， 37（6）： 151-159.

Fan Xiangpeng， Xu Yan， Zhou Jianping， et al. Detection system for grape leaf diseases based on transfer learning and updated CNN ［J］. Transactions of the Chinese Society of Agricultural Engineering， 2021， 37（6）： 151-159.

［7］ 王云露， 吴杰芳， 兰鹏， 等. 基于改进Faster R-CNN的苹果叶部病害识别方法［J］. 林业工程学报， 2022， 7（1）： 153-159.

Wang Yunlu， Wu Jiefang， Lan Peng， et al. Apple disease identification using improved Faster R-CNN ［J］. Journal of Forestry Engineering， 2022， 7（1）： 153-159.

［8］ 王国伟， 刘嘉欣. 基于卷积神经网络的玉米病害识别方法研究［J］. 中国农机化学报， 2021， 42（2）： 139-145.

Wang Guowei， Liu Jiaxin. Research on corn disease recognition method based on convolutional neural network ［J］. Journal of Chinese Agricultural Mechanization， 2021， 42（2）： 139-145.

［9］ 赵越， 赵辉， 姜永成， 等. 基于深度学习的马铃薯叶片病害检测方法［J］. 中国农机化学报， 2022， 43（10）： 183-189.

Zhao Yue， Zhao Hui， Jiang Yongcheng， et al. Detection method of potato leaf diseases based on deep learning ［J］. Journal of Chinese Agricultural Mechanization， 2022， 43（10）： 183-189.

［10］ 韦锦， 李正强， 许恩永， 等. 基于DA2-YOLOv4算法綠篱识别研究［J］. 中国农机化学报， 2022， 43（9）： 122-130.

Wei Jing， Li Zhenqiang， Xu Enyong， et al. Research on hedge recognition based on DA2-YOLOv4 algorithm ［J］. Journal of Chinese Agricultural Mechanization， 2022， 43（9）： 122-130.

［11］ 候瑞环， 杨喜旺， 王智超， 等. 一种基于YOLOv4-TIA的林业害虫实时检测方法［J］. 计算机工程， 2022， 48（4）： 255-261.

Hou Ruihuan， Yang Xiwang， Wang Zhichao， et al. A real-time detection method for forestry pests based on YOLOv4-TIA ［J］. Computer Engineering， 2022， 48（4）： 255-261.

［12］ Li G， Suo R， Zhao G， et al. Real-time detection of kiwifruit flower and bud simultaneously in orchard using YOLOv4 for robotic pollination ［J］. Computers and Electronics in Agriculture， 2022， 193： 106641.

［13］ Roy A M， Bhaduri J. Real-time growth stage detection model for high degree of occultation using DenseNet-fused YOLOv4［J］. Computers and Electronics in Agriculture， 2022， 193： 106694.

［14］ Shorten C， Khoshgoftaar T M. A survey on image data augmentation for deep learning ［J］. Journal of Big Data， 2019， 6（1）： 1-48.

［15］ Bochkovskiy A， Wang C Y， Liao H Y M. Yolov4： Optimal speed and accuracy of object detection ［J］. ArXiv Preprint ArXiv： 2004， 2020： 10934.

［16］ Huang G， Liu Z， Van Der Maaten L， et al. Densely connected convolutional networks ［C］. Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition， 2017： 4700-4708.

［17］ Liu S， Qi L， Qin H， et al. Path aggregation network for instance segmentation ［C］. Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition， 2018： 8759-8768.

［18］ Lin T Y， Goyal P， Girshick R， et al. Focal loss for dense object detection ［C］. Proceedings of the IEEE International Conference on Computer Vision， 2017： 2980-2988.

［19］ Liu Y， Sun P， Wergeles N， et al. A survey and performance evaluation of deep learning methods for small object detection ［J］. Expert Systems with Applications， 2021， 172： 114602.

［20］ Farhadi A， Redmon J. Yolov3： An incremental improvement ［C］. Computer Vision and Pattern Recognition. Berlin/Heidelberg， Germany： Springer， 2018， 1804： 1-6.