基于改进YOLOv5的苹果采摘机器人多目标识别技术研究

寇雷雷　张红娜

摘要：针对采摘机器人多目标检测影响因素多、识别准确率低等问题，为给采摘机械手提供有效的视觉引导，提出一种改进YOLOv5目标识别网络模型。首先，在YOLOv5s的基础上利用改进Ghost模块替代CSP模块，以减少模型计算量，使模型更为轻量化。考虑到预测框与目标框的横纵比问题，用CIoU_Loss替换GIoU_Loss作为损失函数，提高目标回归的稳定性。采用DSPP模块来代替原始的SPP模块进行池化操作，以解决SPP特征信息丢失问题，提高目标检测的准确性；然后，利用该模型对苹果图像样本进行训练与评价，分析模型性能的可靠性与可行性；最后，对数据集进行识别测试，并根据不同评价指标进行对比分析，验证所建模型的优越性。研究结果表明，所提出的改进YOLOv5网络模型具有识别准确性高、抗干扰能力强、检测速度快的特点。与其他模型相比，精确率最高提升8.4%，召回率最高提升5.1%，mAP最高提升10.3%。

关键词：苹果；多目标识别；采摘机器人；神经网络

中图分类号：TP391.41文献标识码：A文章编号：20955553 （2023） 11016207

Research on multi-target recognition technology of apple picking robot

based on improved YOLOv5

Kou Leilei Zhang Hongna

（1. School of Mechanical and Electrical Engineering， Jilin Engineering Vocational College， Siping， 136000， China；

2. College of Engineering， Inner Mongolia Minzu University， Tongliao， 028005， China）

Abstract：Aiming at the issues of multiple influencing factors and low recognition accuracy in multi target detection of harvesting robots， an improved YOLOv5 object recognition network model is proposed to provide effective visual guidance for harvesting robots. Firstly， based on YOLOv5s， an improved Ghost module is used to replace the CSP module to reduce the computational complexity of the model and make it more lightweight. Considering the aspect ratio between the prediction box and the target box， CIoU_Loss is replaced by GIoU_Loss as a loss function to improve the stability of target regression. DSPP module is used to replace the original SPP module for pooling operation to solve the problem of SPP feature information loss and improve the accuracy of object detection. Then， the model is used to train and evaluate apple image samples，to analyze the reliability and feasibility of the models performance. Finally， identification testing is conducted on the dataset and comparative analysis is conducted based on different evaluation indicators to verify the superiority of the constructed model. The research results indicate that the proposed improved YOLOv5 network model has the characteristics of high recognition accuracy， strong anti-interference ability， and fast detection speed. Compared with the other models， the accuracy rate is up to 8.4%， the recall rate is up to 5.1%， and the mAP rate is up to 10.3%.

Keywords：apple; multi-target recognition; picking robot; neural network

0引言

隨着自动化技术的发展，采摘机器人在农业生产领域不断被应用，大大提高了采摘效率，有效解决人工作业效率低、劳动强度大等问题［12］。自动采摘的关键问题在于对果实的检测，识别精度直接影响了采摘机器人的工作有效性，因此寻找一种有效的目标检测算法成为当前学者们研究的重点。

基于深度学习的目标识别算法主要包括二阶段目标检测法和一阶段目标检测法。二阶段目标检测法首先生成目标候选框，对候选框区域的图像进行特征提取，再对提取到的特征进行分类与回归，如Faster R-CNN［3］、Mask R-CNN［4］等算法；一阶段目标检测算法是利用回归思想同时完成检测和识别，实现端到端的检测和识别，如SSD［5］、YOLO［6］等算法。YOLO算法是近几年提出的新型网络模型，在检测速度和检测精度上更具优势，目前已有发展了包括YOLOv2［7］、YOLOv3［89］、YOLOv4［1011］以及YOLOv5［12］等多种改进算法，广泛应用于工业、农业、交通及军事等领域。

由于果园地面不平整及采摘时机械臂抖动，常造成采集的图像画质不高，对目标检测产生一定影响，降低了机器人对果实的识别精度。特别是在复杂天气环境下，果实重叠、枝叶遮挡等情况的目标识别，更是存在识别准确率低和识别速度慢等问题，甚至导致漏检或误检，严重影响了采摘机器人的作业效率。基于此，本文在YOLOv5s网络模型的基础上，对其CSP模块、损失函数以及SPP模块进行改进，提出一种改进YOLOv5网络模型。同时，将该模型用于对苹果目标的训练测试，并与不同模型进行对比和量化评价分析，验证该网络模型的可靠性和可行性，以期提高采摘机器人的多目标识别精度，提升其工作效率。

1改进YOLOv5网络模型

1.1模型框架

YOLOv5网络模型是在YOLOv4的基础上对骨干网络等部分进行优化而演变来的，具有准确性高和检测速度快等特点，是当前研究的热点网络。根据网络深度和宽度的不同，目前YOLOv5已经发展为YOLOv5s、YOLOv5m、YOLOv5l及YOLOv5x几种版本。结合本研究设计需求，为保证检测速度和准确率，本文以YOLOv5s为基础开展研究。

YOLOv5s网络分为输入端、主干网络（Backbone）、颈部（Neck）、Prediction四个部分［1314］，如图1所示。

YOLOv5s网络在特征提取结构的顶端采用切片（Focus）操作，以扩充网络的输入通道，提高网络的运行速度；CSP模块是跨阶段局部网络结构的简称，是Backbone网络的主体结构，主要用于提取特征，其结构由两部分组成，一部分只进行简单的卷积计算，另一部分则采用传统的残差块堆叠操作，其形式为：卷积—批量归一化—激活函数—多个残差单元—卷积块的连接方式。两部分通过拼接和通道整合，使多个CSP模块和Conv模块串联形成深度神经网络，并在隐藏层中使用Leaky ReLU作为激活函数，以减轻模型的复杂程度，从而提高卷积神经网络的学习能力，实现多尺度目标复杂特征的提取。

颈部（Neck）采用空间金字塔池化（FPP）方式，能够更好地增加卷积核的感受野，提高网络的深度学习能力，然后将路径聚合网络（PAN）与FPP特征层相连，提升了网络特征的提取能力，实现对不同层级特征的有效融合。输出端使用GIOU_Loss作为边框回归的损失函数，解决了预测框和目标框边界框不重合问题，使目标框的回归更加稳定。YOLOv5s网络的输入端采用Mosaic数据增强代替传统的CutMix数据增强方式，通过自适应方法对锚框尺寸进行学习和计算，从而使模型定位更加准确，识别准确性更高，适合多目标的检测与识别训练。由于YOLOv5计算数据量大，往往存在检测速度慢、识别效率低的问题，因此，本文在YOLOv5s网络的基础上，对其结构进行改进，构建出一种改进的YOLOv5网络模型结构。

1.2CSP模块改进

为有效减少卷积神经网络的计算量，用Ghost模块代替传统的卷积模块，该模块由传统卷积和深度卷积组合而成，然后再将两个Ghost模块叠加到一起，其输入和输出通过shortcut相连接。前面的Ghost模块采用批量归一化（BN）和ReLU激活函数作为扩展层以增加通道数，而后面的Ghost模块则不使用激活函数，以减少通道数量，以适应shortcut的路径形式。利用Ghost模块替换CSP上层分支结构中的残差组件，保持下层分支卷积不变，然后两个分支再重新组合，分别进行Concat、正态分布（BN）、激活以及CBL操作，改进后的模块如图2所示。

1.3损失函数改进

YOLOv5s模型在对多个目标图像进行检测时，算法将生成不止一个预测框，因此需要删除多余的预测框，选择最接近真实框的预测框。YOLOv5s网络的损失函数L由回归框预测损失Lloc、置信度损失Lconf和目标分类损失Lclass组成，计算公式为如式（1）所示［1516］。

CIoU考虑了目标与预测框之间的距离、重叠率、尺寸以及惩罚项等参数，用以代替原始YOLOv5s算法中的GIoU进行anchor回归，实现真实框和预测框无重合时的梯度回传，提高模型收敛能力。当边界框与真实框上下或左右相邻时，CIoU能够优化不相交的边界框，保留位置更准确的边界框，提高模型对目标位置预测的精确度。同时，使用CIoU能够降低模型的训练难度，提高检测准确率，提高目标框回归稳定性。

1.4SPP模块改进

在YOLOv5s模型中，通过引用SPP模块来解决原始池化方式中固定输入尺寸带来的图像失真、变形等问题。SPP模块包括1×1、5×5、9×9和13×13几个尺度的最大池化操作，用以捕获图像局部与全局特征，有利于处理目标差异大的问题［19］。SPP模块在池化操作过程中会出现图像特征丢失现象，从而使目标检测准确率下降。为此，本文采用DSPP模块来代替原始的SPP模块进行池化操作，该模块同样采用4个尺度进行最大池化操作，不同的是每個分支的最大池化信息还会与其他分支的特征信息相融合，一同作为池化操作的输入，同时补充的池化信息量也由损失信息量决定，从而有效解决了SPP特征信息丢失问题，进一步提高了目标检测的准确性，SPP与DSPP结构如图3所示。

2模型訓练与评价

2.1数据采集

样本采集于烟台齐山镇苹果园区，采集对象为自然环境下生长的成熟期红富士苹果。拍摄时间为2022年10月上旬。为最大限度模拟环境的复杂性，在睛天顺光、晴天逆光以及阴天3种天气条件下采集图像数据，采集距离1.0～2.0m。共采集原始图像1 980张，图像中包含相邻、受遮挡、重叠等果实位置分布类型，图像格式为JPEG，分辨率为1 920像素×1 080像素，不同图像分类局部特征信息如图4所示。按照8∶2的比例划分训练集和测试集，训练集和测试集之间无重叠。

2.2试验平台与参数设置

搭建模型训练与测试平台，选用CPU型号为：Intel Core（TM）i5 9400，2.9 GHz；显卡型号为：NVIDIA GeForce TX 2080S，8 GB显存，利用Python语言编写训练程序，在Windows10操作系统下搭建深度学习框架，对模型进行训练和测试。模型训练时采用4个样本作为一个批处理单元，每次更新权值时使用BN层进行正则化。以准确率和识别效率为首要目标进行测试，动量因子设置为0.85，初始学习率为0.001，权值衰减率为0.000 5，训练次数为300。根据训练结果对两种模型的损失率进行分析，如图5所示。可见，改进YOLOv5模型具有损失率小、训练效率高的特点。

2.3评价指标

为验证所建模型的有效性，采用精确率（Precision，P）、召回率（Recall，R）、平均准确率均值（mAP）3种指标对其进行评价，所用评价指标需要采用混淆矩阵计算，其规则如表1所示。

2.4模型训练

利用搭建好的网络模型对训练集进行训练，同时利用上述指标进行评价，并与原YOLOV5s模型进行对比，结果如图6～图8所示。

从训练结果可以看出，随着训练次数的增加，与YOLOv5s网络模型相比，改进YOLOv5网络模型的精确率及召回率以及mAP都有比较明显的提高。可见，本文所提出的网络模型能够有效进行多目标检测问题的研究，满足采摘机器人对果实图像进行识别的要求。

2.5目标识别结果

为深入探究不同天气条件及果实分布位置对采摘机器人目标检测结果的影响，利用本文提出的改进YOLOv5、YOLOv5s及YOLOv3模型在晴天顺光、晴天逆光及阴天的天气环境下对所建数据集进行苹果图像识别测试。测试集中共计396张苹果图像，包括晴天顺光161张，晴天逆光90张，阴天145张。测试结果如图9～图11所示。将３种网络模型的最优评估指标进行对比，平均精确率与帧速率结果如表2所示。

从测试结果看，晴天顺光条件下的检测精确率和帧速率整体上高于晴天逆光和阴天条件，这是因为阴天环境下由于光线较暗，所以检测难度比晴天顺光时的难度大，而受太阳光斑影响，晴天逆光条件下光线较强，图像的曝光度过高，检测难度也比顺光时大。另外，在同等光照条件下，由于样本所在位置不同，在果实重叠或受枝叶遮挡等情况下，检测效果也会受到很大影响，如图12所示。

但从整体测试结果看，晴天顺光、晴天逆光及阴天条件下苹果果实的识别精确率分别是96.64%、92.36%和94.12%，而帧速率分别是75.26 fps、73.72 fps和75.19 fps。相比YOLOv5s和YOLOv3，改进YOLOv5的检测准确率高、检测速度快，对不同天气情况和果实位置都有很好地识别精度。

2.6不同检测算法对比

为进一步证明本算法相比其他算法的优越性，在相同测试集下，以精确率、召回率及mAP作为评价指标，将本文算法与YOLOv5s、YOLOv4-Tiny及YOLOv3网络模型分别在测试集上进行图像识别。同时，按式（4）、式（5）及式（7）的计算方法将3个指标进行对比，从而分析不同模型的性能，结果如表3所示。

由表3可知，本文所提出的改进YOLOv5网络模型对苹果果实的检测精确率为94.37%，召回率为96.21%，mAP为96.73%，单幅图像平均检测速度为0.028s。相比YOLOv5s、YOLOv4-Tiny及YOLOv3模型，精确率分别提高了4.1%、5.3%、8.4%，召回率分别提高了2.8%、5.1%、4.5%，mAP分别提高了2.6%、7.1%、10.3%，单幅图像平均检测速度缩短了15.2%、17.6%、28.2%。虽然受光线条件、枝干遮挡以及果实重叠等因素的影响，模型的识别精度略受影响，但是从整体来看，与其他网络模型相比，改进YOLOv5能够有效识别目标，具有抗干扰能力强、检测精度高、识别速度快等特点。

3结论

为提高采摘机器人对苹果图像的识别精度和检测速度，基于深度学习理论建立一种新的目标检测网络模型，以期解决当前识别精度受干扰影响大、识别效率低的问题。

1）  对YOLOv5s网络模型的框架进行改进优化，利用改进Ghost模块替代CSP模块、CIoU_Loss替换GIoU_Loss作为损失函数、DSPP模块代替原始的SPP模块进行池化操作，目的是优化网络结构、使模型更为轻量化、解决SPP特征信息丢失问题，进而提高目标回归的稳定性。

2）  考虑天气条件和果实分布位置建立数据集，在不同网络模型中进行训练和测试对比，并对结果进行量化分析，从而实现相对各指标的有效性评价。

3）  改进YOLOv5网络模型能够有效识别不同条件下的苹果图像，与所对照的模型相比，精确率最高提升了8.4%，召回率最高提升了5.1%，mAP最高提升了10.3%，单幅图像平均检测速度最多缩短28.2%，具有识别准确性高、抗干扰能力强、检测速度快的特点。

参考文献

［1］王飞涛， 樊春春， 李兆东， 等. 机器人在设施农业领域应用现状及发展趋势分析［J］. 中国农机化学报， 2020， 41（3）： 93-98， 120.Wang Feitao， Fan Chunchun， Li Zhaodong， et al. Application status and development trend of facility agriculture ［J］. Journal of Chinese Agricultural Mechanization， 2020， 41（3）： 93-98， 120.

［2］宋怀波， 尚钰莹， 何东健. 果实目标深度学习识别技术研究进展［J］. 农业机械学报， 2023， 54（1）： 1-19.Song Huaibo， Shang Yuying， He Dongjian. Review on deep learning technology for fruit target recognition ［J］. Transactions of the Chinese Society for Agricultural Machinery， 2023， 54（1）： 1-19.

［3］魏冉， 裴悦琨， 姜艳超， 等. 基于改进Faster R-CNN模型的櫻桃缺陷检测［J］. 食品与机械， 2021， 37（10）： 98-105， 201.Wei Ran， Pei Yuekun， Jiang Yanchao， et al. Detection of cherry defects based on improved Faster R-CNN model ［J］. Food & Machinery， 2021， 37（10）： 98-105， 201.

［4］岳有军， 田博凯， 王红君， 等. 基于改进Mask RCNN的复杂环境下苹果检测研究［J］. 中国农机化学报， 2019， 40（10）： 128-134.Yue Youjun， Tian Bokai， Wang Hongjun， et al. Research on apple detection in complex environment based on improved Mask RCNN ［J］. Journal of Chinese Agricultural Mechanization， 2019， 40（10）： 128-134.

［5］李辉， 严康华， 景浩， 等. 基于改进SSD的苹果叶部病理检测识别［J］. 传感器与微系统， 2022， 41（10）： 134-137.Li Hui， Yan Kanghua， Jing Hao， et al. Apple leaf pathology detection and recognition based on improved SSD ［J］. Transducer and Microsystem Technologies， 2022， 41（10）： 134-137.

［6］章倩丽， 李秋生， 胡俊勇， 等. 基于PP-YOLO改进算法的脐橙果实实时检测［J］. 北京联合大学学报， 2022， 36（4）： 58-66.Zhang Qianli， Li Qiusheng， Hu Junyong， et al. Real-time detection of navel orange fruit based on improved PP-YOLO algorithm ［J］. Journal of Beijing Union University， 2022， 36（4）： 58-66.

［7］张曼， 李杰， 丁荣莉， 等. 基于改进YOLO-V2算法的遥感图像目标检测技术研究［J］. 计算机科学， 2020， 47（S1）： 176-180.Zhang Man， Li Jie， Ding Rongli， et al. Remote sensing image object detection technology based on improved YOLO-V2 algorithm ［J］. Computer Science， 2020， 47（S1）： 176-180.

［8］Tian Y， Yang G， Wang Z， et al. Apple detection during different growth stages in orchards using the improved YOLO-V3 model ［J］. Computers and Electronics in Agriculture， 2019， 157： 417-426.

［9］柳长源， 王琪， 毕晓君. 多目标小尺度车辆目标检测方法［J］. 控制与决策， 2021， 36（11）： 2707-2712.Liu Changyuan， Wang Qi， Bi Xiaojun. Multi-target and small-scale vehicle target detection method ［J］. Control and Decision， 2021， 36（11）： 2707-2712.

［10］范晓飞， 王林柏， 刘景艳， 等. 基于改进YOLOv4的玉米种子外观品质检测方法［J］. 农业机械学报， 2022， 53（7）： 226-233.Fan Xiaofei， Wang Linbai， Liu Jingyan， et al. Corn seed appearance quality estimation based on improved YOLOv4 ［J］. Transactions of the Chinese Society for Agricultural Machinery， 2022， 53（7）： 226-233.

［11］

潘惠苹， 王敏琴， 张福泉. 基于优化YOLO-V4的交通标志检测识别方法［J］. 计算机科学， 2022， 49（11）： 179-184.

Pan Huiping， Wang Minqin， Zhang Fuquan. Traffic sign detection and recognition method based on optimized YOLO-V4 ［J］. Computer Science， 2022， 49（11）： 179-184.

［12］汪颖， 王峰， 李玮， 等. 用于复杂环境下果蔬检测的改进YOLOv5算法研究［J］. 中国农机化学报， 2023， 44（1）： 185-191.Wang Ying， Wang Feng， Li Wei， et al.Study on improved YOLOv5 algorithm for fruit and vegetable detection in complex environments ［J］. Journal of Chinese Agricultural Mechanization， 2023， 44（1）： 185-191.

［13］魏天宇， 柳天虹， 张善文， 等. 基于改进YOLOv5s的辣椒采摘机器人识别定位方法［J］. 扬州大学学报（自然科学版）， 2023， 26（1）： 61-69.Wei Tianyu， Liu Tianhong， Zhang Shanwen， et al. Research on pepper picking robot recognition and positioning method based on improved YOLOv5s ［J］. Journal of Yangzhou University （Natural Science Edition）， 2023， 26（1）： 61-69.

［14］李光明， 弓皓斌， 袁凯. 基于轻量化YOLOv5s的花椒簇检测研究［J］. 中国农机化学报， 2023， 44（4）： 153-158.Li Guangming， Gong Haobin， Yuan Kai. Research on lightweight pepper cluster detection based on YOLOv5s ［J］. Journal of Chinese Agricultural Mechanization， 2023， 44（4）： 153-158.

［15］Yan B， Fan P， Lei X Y， et al. A real-time apple targets detection method for picking robot based on improved YOLOv5 ［J］. Remote Sensing， 2021， 13（9）： 1619.

［16］闫彬， 樊攀， 王美茸， 等. 基于改进YOLOv5m的采摘机器人苹果采摘方式实时识别［J］. 农业机械学报， 2022， 53（9）： 28-38.Yan Bin， Fan Pan， Wang Meirong， et al. Real-time apple picking pattern recognition for picking robot based on improved YOLOv5m ［J］. Transactions of the Chinese Society for Agricultural Machinery， 2022， 53（9）： 28-38.

［17］李扬， 腰彩红， 高冠群， 等. 一种基于YOLOv5的草莓多阶段目标检测方法［J］. 天津农业科学， 2022， 28（11）： 81-90.Li Yang， Yao Caihong， Gao Guanqun， et al. A target detection method based on YOLOv5 in multi-stage of strawberry growing period ［J］. Tianjin Agricultural Sciences， 2022， 28（11）： 81-90.

［18］黄彤镔， 黄河清， 李震， 等. 基于YOLOv5改进模型的柑橘果实识别方法［J］. 华中农业大学学报， 2022， 41（4）： 170-177.Huang Tongbin， Huang Heqing， Li Zhen， et al. Citrus fruit recognition method based on the improved model of YOLOv5 ［J］. Journal of Huazhong Agricultural University， 2022， 41（4）： 170-177.

［19］楊其晟， 李文宽， 杨晓峰， 等. 改进YOLOv5的苹果花生长状态检测方法［J］. 计算机工程与应用， 2022， 58（4）： 237-246.Yang Qisheng， Li Wenkuan， Yang Xiaofeng， et al. Improved YOLOv5 method for detecting growth status of apple flowers ［J］. Computer Engineering and Applications， 2022， 58（4）： 237-246.

［20］He K M， Zhang X Y， Ren S Q， et al. Spatial pyramid pooling in deep convolutional networks for visual recognition ［J］. IEEE Transactions on Pattern Analysis and Machine Intelligence， 2015， 37（9）： 1904-1916.