基于YOLOv5的自然环境下核桃果实识别算法研究

王园园 党延江 何博

基金项目：陕省教育厅专项科研计划项目；项目编号：22JK0363。商洛市科技局项目；项目编号：2021-z-0043。商洛学院科研项目；项目编号：19SKY009。

作者简介：王园园（1987— ），女，陕西商洛人，讲师，硕士，研究方向：计算机视觉。

摘要：自然环境下核桃果实目标的表皮颜色与叶片颜色极为接近，一般的果实识别算法无法准确地分割出近色系果实的问题。为了解决这个问题，文章使用YOLOv5算法进行核桃果实识别，在不同时间、角度和距离条件下，在自然环境下采集1 482张实核桃图像，利用 LabelImg标定软件对核桃果实图像进行标定，建立了核桃果实数据集。文章采用YOLOv5算法进行核桃果实识别，结果显示其稳定状态下的模型的AP值可达到0.930，识别速度可达每秒0.115幅。此算法基本可以满足核桃实时检测需求，对实现核桃自动化采摘具有重要意义。

关键词：目标检测；核桃识别；卷积神经网络；YOLOv5

中图分类号：TP312  文献标志码：A

0  引言

随着核桃盛果期面积增加，产量提高以及农村劳动力短缺，核桃采摘及处理问题渐渐凸显出来，研发核桃采摘机器人是十分必要的。研发采摘机器人重点和难点在视觉系统，视觉系统负责感知环境以及识别和定位果蔬，是果实采摘的第一步［1］。实际果园所采集的核桃图像，受光照和枝叶影响，目标果实往往会枝叶遮挡、相互重叠、枝叶背景相对复杂，且由于目标果实颜色与背景颜色十分相近，从而导致目标果实检测精度降低，难以满足在实际作业机械的装配需求。

2012 年，钱建平等［2］基于RGB、HSV混合颜色空间对核桃进行了识别。近年，有科研工作者采用彩色相机研发出了实体采摘机器人。2016年，孙贤刚等［3］采用2R-G-B的Otsu閾值法分割出草莓，研发出的机器人具有自动导航、识别以及自动采摘核桃的功能。2019年，胡浩波等［4］应用双目视觉系统进行了苹果的识别。本文采用YOLOv5进行果实识别研究具有非常重要的意义，通过基于深度学习目标检测算法，提高核桃果实识别效率，可以满足核桃实时检测需求，对实现核桃自动化采摘具有重要意义。

1  YOLOv5算法

You Only Look Once简称为YOLO算法（Unified，Real-Time Object Detection），You Only Look Once的意义为，在整个运算过程中，只需添加一次CNN运算Unified对框架的统一性进行详细说明，并包涵端对端的预测，但与之不同的是Real-Time所体现的是YOLO的效率［5-7］。

YOLOv5是一种单阶段目标检测算法，它在YOLOv4的基础上加入了一些新思路，从而实现了在速度和精度上的极大提升。YOLOv5主要包括以下几个部分。

输入端：为了提高数据的多样性和训练的鲁棒性，YOLOv5采用了Mosaic数据增强、自适应锚框计算和自适应图片缩放等策略。这些改进措施使得模型可以更好地适应不同场景和目标的变化。

基准网络：YOLOv5引入了一些新的结构，包括Focus结构和CSP结构。这些新结构的设计旨在加速计算并提高检测精度，从而提升整体模型的性能。

Neck网络：针对目标检测网络中BackBone和Head输出层之间的瓶颈问题，YOLOv5采用了FPN+PAN结构作为Neck网络。该结构能够提高特征的利用率和感受野范围，进一步提升目标检测的准确性和鲁棒性。

Head输出层：YOLOv5对训练损失函数进行了改进，采用了GIOU_Loss。此外，还引入了DIOU_nms预测框筛选算法，以进一步提高检测的准确度和效果。以上这些改进思路和策略虽然比较简单，但都可以提升检测算法的性能。

YOLOv5的网络架构如图1所示。

2  核桃果实数据集制作

本研究以绿色目标果实精准检测为目标。陕西省是我国三大核桃种植地区之一，是核桃生产的传统大省。延安以南大部分地区是传统的核桃生产地区。商洛被国家林业和草原局授予“中国核桃之乡”称号。选择核桃作为研究对象，便于数据采集。

图像采集：实验所需核桃图片采自陕西省商洛市  洛南县核桃种植园，以及商洛市商州区周边山区散种核桃，利用红米手机拍摄，保存为.jpg 格式，24 位彩色图像。拍摄周期为60天，采集图像充分考虑光照、天气、成熟度等多种因素，拍摄核桃图像1 482张，包含枝叶遮挡、果实重叠、逆光、阴影、雨滴未干、远程拍摄目标小等问题。图2为部分采集图像展示。采用 LabelImg 标注工具按照 Pascal VOC 数据集的标注格式对图像进行标注，生成标注文件。

3  目标检测结果

为了训练YOLOv5模型，本次测试使用了小批量随机梯度下降法。小批量随机梯度下降法可以划分为小批量样本，通过计算梯度和更新参数进行模型训练。测试集中100幅图像的部分识别结果，如图3所示。

由图3可知，YOLOv5算法对于核桃的识别准确率非常高，本图片集展示了不同角度在不同光照强度下都能取得良好的识别效果。为了更好地评测YOLOv5算法模型是否准确，利用AP对测试集进行计算；其测试结果如图4所示。AP值总体上随着batch_size的增大而增大。当到一定值时，AP 值趋于平缓。当模型趋于平缓时，AP值在0.930附近，它表明YOLOv5算法模型的识别准确率高。

4  结语

本文采用YOLOv5算法实现了高效准确的核桃自动检测和识别系统。本研究使用手动标注数据集的方式来收集核桃图像数据，并对数据进行了预处理和增强等操作，以提高模型的训练效果。测试结果表明YOLOv5算法对核桃果实有很好的识别准确率和识别速度，甚至对一些较小、较远的核桃果实目标以  及果实相互遮挡的目标，都可以达到很好的识别效果。其稳定状态下的模型的AP达到为0.930，可实现实时识别。

參考文献

［1］祝前峰，陆荣鉴，刘彬，等.核桃采摘机械研究现状与发展趋势［J］.林业和草原机械，2021（1）：45-53.

［2］赵世达.基于机器视觉的核桃识别技术研究［D］.武汉：武汉轻工大学，2018.

［3］孙贤刚，伍锡如，党选举，等.基于视觉检测的苹果采摘机器人系统设计与实现［J］.农机化研究，2016（9）：151-155.

［4］谢志勇，张铁中，赵金英.基于Hough变换的成熟草莓识别技术［J］.农业机械学报，2007（3）：103-109.

［5］高凡.基于深度学习的果实采摘研究［D］.北京：北京交通大学，2020.

［6］张琛.基于YOLOv3的道路目标检测方法研究［D］.西宁：青海大学，2021.

［7］樊湘鹏，许燕，周建平，等.基于改进Faster R-CNN的核桃识别和定位［J］.燕山大学学报，2021（6）：544-551.

（编辑  王永超）

Research on walnut fruit recognition algorithm in natural environment based on YOLOv5Wang Yuanyuan， Dang Yanjiang， He Bo

（College of Electronic Information and Electrical Engineering， Shangluo University， Shangluo 726000， China）

Abstract：  The skin color of walnut fruit targets is very close to the leaf color in the natural environment， and the general fruit recognition algorithm cannot accurately segment the near-color fruit. To address this issue， this paper uses the YOLOv5 algorithm for walnut fruit recognition. Firstly， 1482 real walnut images are collected in the natural environment under different time， angle and distance conditions， and the walnut fruit data set is established by using LabelImg calibration software to calibrate the walnut fruit images. Secondly， the YOLOv5 algorithm was used for walnut fruit recognition， and the results showed that the AP value of the model in the steady state could reach 0.930， and the recognition speed could reach 0.115 images per second. This algorithm can basically meet the real-time detection needs of walnuts， which is of great significance for realizing automatic walnut picking.

Key words： object detection; walnut identification; convolutional neural networks; YOLOv5