柑橘果实采摘机器人目标识别算法研究进展

收稿日期：2024-04-15

基金项目：云南省科技厅重大科技专项（202302AE0900200105）；云南省科技厅科技计划农业联合专项（202301BD070001-105）

作者简介：赵玉清（1975-），男，白族，云南大理人，硕士，教授，主要研究方向为智能农业机械装备。（E-mail）331863839@qq.com

通讯作者：张 悦，（E-mail）zyue1234@163.com

摘要： 水果采摘机器人作业是提高水果采摘效率，解决劳动力短缺的重要途经。准确高效的柑橘果实采摘机器人已成为农业机器人研究的热点之一。目标识别是柑橘果实采摘机器人精准高效完成采摘作业的首要任务与关键技术。本文综述了近年来应用于柑橘果实采摘机器人中的传统目标识别算法、机器学习算法和深度学习算法，阐述了不同目标识别算法的特征及应用情况，最后指出当前柑橘果实目标识别算法存在的问题，并对柑橘果实目标识别算法发展趋势进行展望。

关键词： 柑橘；采摘机器人；目标识别；研究进展

中图分类号： TP391.41 文献标识码： A 文章编号： 1000-4440（2024）08-1552-09

Research progress on target recognition algorithms for citrus fruit picking robots

ZHAO Yuqing1，2，3， JIA Aoying1，3， WANG Baijuan4， DENG Hangyu1，3， XIANG Kaiming1，3， ZHANG Yue3，5

（1.Faculty of Mechanical and Electrical Engineering， Yunnan Agricultural University， Kunming 650201， China;2.Faculty of Transportation Engineering， Kunming University of Science and Technology， Kunming 650093， China;3.The Key Laboratory for Crop Production and Smart Agriculture of Yunnan Province， Kunming 650201， China;4.College of Tea Science， Yunnan Agricultural University， Kunming 650201， China;5.College of Big Data， Yunnan Agricultural University， Kunming 650201， China）

Abstract： Fruit picking robot operation is an important way to improve fruit picking efficiency and solve labor shortage. Accurate and efficient citrus fruit picking robot has become one of the hotspots in agricultural robot research. Target recognition is the primary task and key technology for citrus fruit picking robots to complete picking operations accurately and efficiently. The traditional target recognition algorithms， machine learning algorithms and deep learning algorithms applied to citrus fruit picking robots in recent years were reviewed in this paper， and the characteristics and applications of different target recognition algorithms were discussed. Finally， the problems existing in the current citrus fruit target recognition algorithms were pointed out， and the future development trend of citrus fruit target recognition algorithms was prospected.

Key words： citrus;picking robot;target recognition;research progress

随着国民经济水平的提升和居民生活质量的提高，人们对水果的需求量和消费量在日益增加[1]。柑橘是全球最重要的经济农作物之一，是世界第一大类水果。自2012年起，中国柑橘的种植面积和产量均位居世界第一，2022年，中国柑橘果实总产量高达6.0×107 t[2]，约为全球总产量的25%。采摘是柑橘生产过程中复杂程度最高、劳动力需求最大的一个环节。传统的柑橘果实采收基本依赖人工作业，采摘效率低下，同时随着中国人口老龄化，劳动力短缺，导致人工采摘柑橘果实的生产成本增加和果农收入减少[3]。为降低采摘成本，提高果农收入，促进中国柑橘产业更快更好发展，研制柑橘果实采摘机器人是当前智慧种植的一个重要方向。

柑橘果实自动采摘作业主要包括果实感知识别、精确定位和机械臂采摘3个部分。柑橘果实采摘机器人首先利用果实识别系统从复杂的果园环境中感知和识别可采摘的柑橘果实，其次通过定位技术确定柑橘果实的位置坐标，最后根据果实的坐标，机械臂按规定的路径运动到相应位置，通过末端执行器完成采摘作业。其中，柑橘果实的识别是实现自动采摘的首要任务，也是机器人完成精准采摘的关键技术之一，对智慧种植有重要的意义[4]。柑橘果实目标识别技术是采用视觉图像采集、图像分割与目标识别等技术，从采集的图像数据中识别出可采摘的柑橘目标，并进行相关信息的分析和处理[5]。目前柑橘果实目标识别方法主要有传统目标识别方法、机器学习方法和基于卷积神经网络（CNN）的深度学习方法等3种[6]。

1 传统目标识别算法

传统目标识别算法是基于颜色、几何形状、纹理等特征对图像进行分割及识别目标的检测和分类[7]。基于颜色特征的柑橘果实识别方法主要是通过选取合适的颜色模型，利用柑橘果实与背景的颜色差异进行区分；基于纹理特征的柑橘识别方法主要是通过柑橘果实与背景的细微纹理、形状及色彩差异进行区分[8]。Kurtulmus等[9]采用颜色和Gabor纹理特征对未成熟柑橘果实进行识别，测试集柑橘果实成功识别率为75.3%，模型对枝叶遮挡的柑橘果实识别精度较低。Lu等[10]利用数码相机获取不同天气（晴天和阴天）和不同遮挡条件下树冠内的柑橘果实图像，采用融合色差信息和归一化RGB模型的图像分割方法，通过检测色差图的边缘以及这些边缘的拐角点，构建轮廓片段集合，根据轮廓片段的长度、弯曲度和凹凸性选择有效子集，并对有效轮廓片段组合分析和椭圆拟合，以恢复被遮挡的柑橘果实轮廓，该方法可有效恢复被遮挡柑橘果实图像，相对误差为5.27%，但边缘特征处理方法较为复杂。邹继欣等[11]提出了基于DSP（数字信号处理技术）的柑橘果实自动识别系统，该系统通过提取颜色空间中红色色差分量，使用DSP对柑橘视频数据进行图像分割、柑橘特征提取，成功识别出柑橘果实，该系统识别自然光环境下单个柑橘果实的时间小于40 ms且准确率达96.26%，但光照不足时识别误差较大。邹伟[12]利用工业相机获取柑橘果实图像，采用HSV颜色模型检测柑橘成熟度，准确率达到90%以上。

上述研究中当柑橘果实所在背景简单时，基于颜色、形状和纹理特征的柑橘果实识别均取得了较高的精度，然而，在实际的果园环境中，常出现果实成簇重叠、枝条枝叶遮挡、光照变化等现象，在这些情况下，上述目标识别方法的准确率明显下降。

2 基于机器学习的目标识别算法

机器学习是一种利用信息（数据）或经验优化计算机算法的研究方法[13]，是人工智能的核心技术和实现手段。机器学习算法可分为监督学习、半监督学习与无监督学习3大类。监督学习是利用一组已知类别的样本调整分类器的参数，实现目标识别与分类[6]。方东玉[14]利用HSV颜色模型中S分量进行图像灰度处理，采用Canny边缘检测算法提取柑橘果实的周长、面积与圆形度等信息作为特征参数输入到支持向量机（SVM）分类器中进行训练，验证集柑橘果实等级分类检测准确率达95%以上。李华[15]利用主成分分析（PCA）算法对柑橘果实颜色、形状和纹理等31个特征进行降维，比较KNN（K-近邻）、SVM、MLP（多层感知机）和Adaboost（Adaptive Boosting）4种机器学习模型的分类效果，发现SVM的分类精度较好，准确率达到93.43%。Lin等[16]利用深度滤波器和密度聚类方法将滤波后的图像中相邻点聚成簇，再基于贝叶斯分类器的图像分割方法去除复杂的果园背景，构建了一个基于颜色、梯度和几何特征的支持向量机分类器，用于果园环境中柑橘果实的检测，识别精确度为98.28%。申飘[17]为检测柑橘果皮表面是否存在缺陷，构建了基于改进天鹰算法的支持向量机（IAO-SVM）分类模型，并与基于天鹰算法的支持向量机模型 （AO-SVM）、基于粒子群算法的支持向量机模型 （PSO-SVM）、误差逆向传播的神经网络模型 （BP）和SVM等机器学习模型相比较，发现IAO-SVM模型效果最好，分类准确率达95.83%。Cai等[18]在相同的光照条件下采集柑橘图像，利用变分模型去除柑橘图像的噪声，基于植物细胞群算法（PCSA）优化2D-Otsu阈值分割算法，并利用混沌灰狼算法（CGWO）优化DT-SVM模型，进而实现柑橘果皮表面的缺陷识别，总体识别准确率达96.71%。Behera等[19]将残差网络ResNet101的特征提取与SVM的分类相结合，对12个柑橘品种进行分类，识别准确率高达99.81%。半监督学习是利用有限的已知样本类别数据和大量的未知样本类别数据用于网络训练，常用于标记样本数量较少的情况[20]。为解决柑橘果实套袋后形状发生变化导致的检测困难问题，吕佳等[21]采集了不同光照（顺光、逆光、侧光）和不同遮挡程度下的套袋柑橘果实图像，提出一种基于教师学生模型的SPM-YOLO V5算法，结果发现，在无标记样本1 500张和有标记样本500张时检测效果最佳，识别精确度达到85%，严重遮挡时总体识别精确度达到82.6%。Roy等[22]采集了不同光照（顺光、逆光）和不同成熟度（红色、绿色）下的苹果果实图像，利用半监督聚类算法进行任意形状的苹果树簇中的苹果数量估算，该方法对苹果的计数准确率为89%～98%。Ciarfuglia等[23]将弱边界框标签训练分割算法和三维运动结构算法相组合，形成一个完整的半监督方法用于识别不同光照（晴天、阴天）时的葡萄串，该方法的平均精度均值（mAP0.5）达到77.23%。无监督学习无需人工标注，主要通过聚类算法实现目标的检测，其在小规模数据集上展现强大的优势[24]。姜欣悦[25]利用工业相机获取柑橘成熟期不同天气条件下（晴天和阴天）正午和黄昏的柑橘图像，采用K-Means聚类算法分割图像，利用基于梯度的Hough变换对单株柑橘果实进行计数，柑橘果实平均识别率为92.7%。Sun等[26]改进K-Means聚类算法，利用夜间采集的果园图像，采用SVM模型识别果皮存在缺陷的柑橘果实，结果发现柑橘果实缺陷检测准确率为96.32%，精确率为95.24%，召回率为87.91%。

以上研究中采用SVM、深度滤波器、基于贝叶斯分类器等算法实现了柑橘果实目标的自动检测及表面缺陷识别，识别准确率和效率较传统目标识别算法有所提升，然而这些研究都是针对特定的数据集而展开，识别方法在不同场景下的通用性还有待提高，且其面对复杂的柑橘果园场景时识别能力不足。

3 基于深度学习目标识别算法

深度学习算法是一种新兴的、现代的图像处理和数据分析技术，具有广阔的应用前景。基于深度学习的目标检测模型是端到端的检测模型，可将目标的特征提取、特征选择和特征分类融合在同一模型中[27]。深度学习模型在目标识别方面具有独特优势[28]。基于深度学习的目标识别算法可分为两种：两阶段检测与单阶段检测。

3.1 两阶段检测

两阶段检测是将目标定位与目标分类分开，先利用区域建议网络（RPN）生成候选区域，再对这些区域进行分类和定位，又称为基于候选区域的检测[29]。常见的两阶段目标检测模型有R-CNN[30]、Fast R-CNN[31]、Faster R-CNN、Mask R-CNN、Cascade R-CNN[32]。其中，Faster R-CNN为R-CNN系列的最新优化模型，同时也是公认的第一个真正实现端到端的深度学习检测算法[33]。任会等[34]利用获取的果园影像，比较了传统目标检测方法与Faster R-CNN方法对柑橘果实的识别效果，发现无遮挡的情况下，传统目标检测方法比深度学习方法更具优势，而在存在遮挡、果实重叠时，深度学习方法具有更好的识别效果。Yang等[35]利用双目相机采集了不同时间（早、中、晚）和不同光照条件（前照灯、背光灯、侧光灯）下的柑橘果园图像，基于Mask R-CNN和分支段合并算法，开发了可同时检测柑橘果实和分支的集成系统。在Mask R-CNN识别出的分块掩膜区域的基础上，计算掩膜区的最小外接矩形，得到更精确的边界框，利用分支段合并算法重建分支和主干。该系统对柑橘果实的平均识别精度为88.15%。黄磊磊等[36]在Mask R-CNN中引入神经网络模块（Pointrend）以解决在不同光照（正光、背光）条件下柑橘果实受到遮挡与重叠时的轮廓分割问题，采用该方法对柑橘果实识别的平均精确度达93.66%，分割精确度达96.30%。Behera等[37]基于手机获取自然环境下的柑橘图像，利用平均交并比函数（MIoU）来代替传统的交并比（IoU）函数改进Faster R-CNN模型并进行柑橘果实识别，改进后的模型对柑橘果实的识别精度达97.94%。Lu等[38]利用数码相机采集自然环境中柑橘果园影像，采用深浅层特征融合的方法增加Mask R-CNN主干网络在每个阶段提取的特征信息量，并引入组合连接块以减少通道数对Mask R-CNN进行改进，改进后的Mask R-CNN模型对绿色柑橘的平均识别精度达95.36%，比原模型提高1.42%。Min等[39]通过对CNN不同层次注意力的考察，将不同层次注意力特征进行整合形成一个综合注意力，建立了一个多尺度注意力网络（MSANet）用于水果果实的识别。孙国奇[40]利用深度相机（Azure Kinect DK）和数码相机获取不同天气条件（晴天和阴天）、不同时间（上午和下午）柑橘果园图像，采用加权双向特征金字塔网络（BiFPN）及MobileNet V3特征提取网络对Mask R-CNN模型进行优化，改进后的Mask R-CNN模型对柑橘果实的平均识别精度为87.99%，相较原算法提高2.38%。贾艳平等[41]利用数码相机采集自然环境中不同的水果图像，在Faster R-CNN框架中添加一个似然函数和一个正则化函数以保证每个卷积层的大小与核参数在合理范围内，进而开展不同水果的识别，该算法对19种水果的整体识别准确率达到99.69%，其中对橙果实识别率为77.30%。

上述研究大多针对采集图像的属性，通过对R-CNN模型的部分改进以提升目标识别的准确率。虽然这些研究取得了一定的效果，但大多数是对算法的局部调整，并没有形成一个通用的普适的改进算法。

3.2 单阶段检测

单阶段检测则是省略生成候选区域的步骤，直接在特征图上生成目标的类概率和位置坐标，再进行分类回归。单阶段检测过程相对于两阶段检测过程更加简单。常见的单阶段目标检测模型有YOLO、SSD[42]、MobileNet[43]、ShuffleNet[44]、Swin-Transformer[45]。其中，YOLO系列模型应用最为广泛。为实现柑橘果实产量的早期预测，宋中山等[46]利用手机在自然环境中采集不同天气状况（晴天、阴天）下的绿色柑橘图像，采用密集连接的卷积网络（DenseNet）替换YOLO V3模型中特征提取网络Darknet53后的3个下采样层，建立改进的D-YOLO V3算法，其对绿色柑橘果实的识别精确率达83.01%，平均单张图像识别时间为0.28 s。陈文康等[47]在YOLO V4的每个不同尺度特征的输出层前增加调整层，修改回归框损失函数，并对网络中不重要的通道和网络层进行剪枝，建立改进的YOLO V4模型，并将其与YOLO V4、MLKP（Multi-scale Location-aware Kernel Representation）和Cascade R-CNN 3种目标检测算法用于生长期（青果期）和成熟期柑橘果实的识别，研究发现改进后的YOLO V4模型在识别生长期（青果期）柑橘果实时准确率分别比YOLO V4、MLKP和Cascade R-CNN模型提高3个百分点、7个百分点和4个百分点，在识别成熟期柑橘果实时准确率分别提高4个百分点、7个百分点和4个百分点，改进后的YOLO V4算法识别平均准确率达96.04%，且平均单张图像的检测时间为0.06 s。刘芳[48]采用LEIoU函数作为回归框损失函数并优化相关参数对YOLO V5模型进行改进，并用于柑橘果园图像的识别，发现改进后的算法对柑橘果实的平均识别精度高达98.9%，相较于原算法提高了2.7个百分点。Chen等[49]通过在YOLO V4网络不同尺度特征的输出层前加入SimAM（A simple，parameter-free attention module for convolutional neural networks）注意力模块，在网络颈部上采样前加入深度可分离卷积模块，采用基于科学控制的神经网络剪枝（SCOP）算法对网络进行剪枝，将其用于不同果实生长阶段柑橘果园图像的识别，发现改进后的算法对果实生长期和成熟期轻微遮挡的柑橘果实识别准确率分别为94.15%和95.32%，严重遮挡的柑橘果实识别准确率分别为90.19%和91.02%。庄昊龙等[50]在YOLO V5的主干部分中引入SE注意力机制，采用DeepSort（Deep learning based SORT）算法为每个柑橘果实分配独立的身份编号（ID），实现柑橘果实的精确计数，改进后的算法对不同光照和不同遮挡情况下的柑橘果实平均识别准确率达93.712%，比CenterNet、EfficientDet、SSD、YOLO V4、YOLOX等模型分别提高5.753个百分点、9.404个百分点、14.525个百分点、8.992个百分点、2.555个百分点。Jing等[51]在YOLO V7-tiny网络基础上引入BiFormer双层路由注意力机制，并使用轻量化卷积GSConv代替常规卷积，在颈部网络中加入VoVGSCSP模块，并在主干网络中采用部分卷积（PConv）代替简化的高效层聚合网络（ELAN），建立了YOLO V7-tiny-BVP目标识别网络，并利用其对手机采集的不同光照、不同角度和不同遮挡条件下的柑橘图像中的果实进行识别，发现YOLO V7-tiny-BVP网络对柑橘果实识别准确率达97.9%，且其网络参数量和占用空间比YOLO V7-tiny分别减少38.47%和4.6 MB。

自然环境下，柑橘园通常是远距离大视场，对该类场景识别时会存在柑橘果实被树叶严重遮挡与小而密集柑橘果实漏检的情况。为改善这些问题，易诗等[52]利用感受野更小的CSPResNest50（Cross Stage Partial Network）网络作为YOLO V4骨干网络进行主干特征提取，以提高小目标的识别能力，并采用递归特征金字塔网络进行特征递归融合以提高被遮挡和密集分布的柑橘果实检测精度，建立了基于特征递归融合YOLO V4网络模型（FR-YOLO V4），并利用其对不同天气条件和遮挡条件下采集柑橘果园图像进行果实识别，发现FR-YOLO V4算法对柑橘果实识别准确率达94.6%，比原算法提高8.9个百分点。黄彤镔等[53]为改善小柑橘果实漏检问题，在YOLO V5中引入注意力机制模块（CBAM）并采用α-IoU函数作为边界框回归损失函数，建立了改进的YOLO V5识别模型。并利用其对数码相机采集的不同天气和光照条件、不同焦距的柑橘果园图像中的果实进行识别，发现改进后的算法对柑橘果实识别的平均精度为91.3%，比原算法提高1.6个百分点。Liu等[54]在YOLO V5主干网络中引入协同注意力模块（CA），利用BiFPN模块代替原来的PANet模块，并利用变分损失函数来计算模型损失，对YOLO V5模型进行优化并用于果园环境下的柑橘果实识别和计数，结果发现改进后的模型对成熟期柑橘果实计数准确率达96.08%，且平均每张图像的识别时间仅为0.019 s。李子茂等[55]将可形变卷积网络（Deformable convolution）引入YOLO V4模型，并在特征融合模块增加新的检测尺度并融合SimAM注意力机制，建立了DS-YOLO优化算法以提高模型对小而密集柑橘果实的识别能力，不同天气（晴天、阴天）条件下采集的柑橘图像识别结果显示DS-YOLO算法对绿色柑橘果实的识别精确率比YOLO V4算法提高8.75个百分点。周剑等[56]在YOLO V3的基础上加入空间金字塔池化（SPP）模块，使网络能够接受不同尺度的输入特征，并对不同尺度的特征进行提取，优化后的YOLO V3-SPP算法对自然光照条件下的柑橘果实分级检测精确率达95.08%。Li等[57]在YOLO V5中嵌入卷积块注意力机制（CBAM），并对目标边界框损失函数进行优化，以提高网络的特征提取能力和目标框的定位精度，实现密植环境下柑橘果实的准确识别，利用Apple2orange数据集对模型的优化效果进行验证，结果发现优化后的模型对自然密植环境下的柑橘果实识别F1值为92.41%，相较于原算法提高2.81%。蹇川等[58]在YOLO V5s网络中引入1个由3层上下文集成块（Context Aggregation Block）组成的金字塔结构特征提取层，实现模型的优化，并利用其对不同天气、不同时间和不同光照条件下采集的单株整树、局部冠层图像中的柑橘果实进行识别，结果发现改进后的YOLO V5s对柑橘果实识别的检测准确率与平均精度分别为98.21%与98.07%，对遮挡、重叠与小目标柑橘果实的平均识别精度分别为99.4%、97.2%与98.0%。

自然环境下生长的柑橘果实会受到枝条枝叶遮挡、光照度变化、果实重叠、未成熟绿色柑橘果实与枝叶背景颜色相似导致识别不清等问题，汤旸等[59]在YOLO V3-tiny模型的基础上，利用距离交并比函数（DIOU）替代原有的损失函数，采用MobileNetv3-Small作为主干特征提取网络，引入简化的空间金字塔池化（SPP）和深度可分离卷积层，添加1个下采样层将不同尺度间的特征信息充分融合，并引入Hard Swish激活函数，实现模型的优化，优化后的模型对柑橘果实的平均识别精度为96.52%，在光照充足且未遮挡、光照充足且遮挡、光照不足且未遮挡、光照不足且遮挡时的柑橘果实正确识别率分别比原模型提高0.7个百分点、6.5个百分点、3.2个百分点、7.7个百分点。杨国等[60]比较了基于VGG16的Faster R-CNN、基于Resnet的Faster R-CNN以及YOLO V5s对自然环境中得到的黄色和绿色柑橘图像中的果实识别效果，发现YOLO V5s模型的识别性能最好，其对黄色柑橘果实和绿色柑橘果实的平均识别精度分别达97.40%和97.20%，平均检测速度分别为每秒27帧和32帧。Yang等[61]在YOLO V5s主干网络和颈部网络之间加入双向交叉注意力机制（BCAM），构建BCo-YOLO V5网络模型，并用其对COCO数据集和果园采集的柑橘图像中的果实进行识别，发现BCo-YOLO V5算法对柑橘果实的平均识别精度达97.70%，比原算法提高7.39个百分点。殷献博等[62]根据不同卷积层提取特征的特点与不同注意力机制的作用，在YOLOX-Nano网络引入多个注意力机制，进行模型改进，并对手机采集的不同天气（晴天、阴天、小雨）和不同生长阶段的柑橘图像中的柑橘新梢进行识别，发现各改进模型平均精度均值达87.14%。黄辉等[63]在YOLO V5的主干网络中引入轻量化XZZMB+0m+eM3tObkoGL1ig==网络Mobilenetv3、ShufflenetV2、Ghost等，在颈部（Neck）网络中的C3部分融入注意力机制，并采用Ghost Conv模块代替Conv模块，进行YOLO V5模型的优化并用于柑橘果实识别，优化后的模型对柑橘果实的平均识别精度（mAP0.5）达0.957。帖军等[64]在YOLO V5主干网络中添加混合注意力机制，改进网络模型特征融合结构和分类损失函数，提出优化的YOLO V5-SC模型。该模型能加强绿色柑橘果实特征信息的提取，提高绿色柑橘果实检测精度。改进后的YOLO V5-SC模型准确率为91.74%，平均精度为95.09%，在自然环境下对绿色柑橘果实的识别具有更高的准确率和更好的鲁棒性。

针对自然环境中YOLO V4对柑橘果实识别时精度低、速度慢等问题，刘洁等[65]利用MobileNet V2网络替换的主干网络CSPDarkNet、采用深度可分离卷积替代YOLO V4颈部结构中的传统卷积，对YOLO V4模型进行改进，改进后的模型对不同天气（晴天、阴天）、不同光照（顺光、逆光）、不同角度（仰视、俯视、正面、侧面）和不同遮挡程度下采集的柑橘果园图像中果实平均识别精度达到97.24%，模型的平均检测时间更短，模型更加轻量化。姜锟[66]在YOLO V4模型中引入SENet注意力模块、设计CSPConv改进颈部网络结构、重构置信度损失函数、利用BN层的γ系数作为通道稀疏因子，构建了YOLO V4-L识别模型，并用其对深度相机采集的果园中不同光照（正光、背光）、不同天气（晴天、多云）和不同遮挡程度下的果园影像中的柑橘果实进行识别，平均精度为95.78%，识别速度为每秒53.8帧。王乙涵[67]提出的LT-YOLO V7模型对YOLO V7进行了4个方面的改进，即使用轻量级特征提取网络RepVGG作为主干网络以加强复杂背景下柑橘果实特征提取能力，引入深度可分离卷积至颈部网络以降低网络参数量，采用通道注意力机制（ECA）提高检测性能，使用soft DIoU_NMS（soft DIoU Non-Maximum Suppression）算法对预测框进行优化。优化后的LT-YOLO V7模型对重度遮挡的柑橘果实平均识别精度为96.98%。Kong等[68]将动态感知稀疏性的注意力机制BiFormer模块引入YOLO V8s的骨干网络，并在其Neck中增加1个小目标检测层，同时使用EIoU损失函数替代原来的损失函数，对YOLO V8s模型进行改进并用于数码相机采集的不同光照（强光、背光）和不同遮挡情况下的柑橘果园图像中的果实进行识别，改进后的YOLO V8s对柑橘果实的识别平均准确率为94.7%。

为解决夜间环境下被遮挡的柑橘果实能够被准确识别的问题，熊俊涛等[69]采用BiFPN模块实现多尺度特征的交叉连接和融合，融入带有Transformer结构的C3TR模块，引入CA模块对YOLO V5s模型进行优化，提出BI-YOLO V5s算法。该算法对夜间采集的柑橘果园图像中果实的识别平均准确率为97.1%，检测速度为每秒40帧。

柑橘果实表面缺陷不仅影响外观与质量，还会降低市场价值，因此，有效识别柑橘果实表面缺陷对保证柑橘果实质量与市场竞争力非常重要。孙宝霞等[70]利用YOLO V4深度学习模型，进行夜间树上柑橘果实表征的视觉检测。模型对测试集的识别精确率为95.32%，比Faster R-CNN模型提高5.14个百分点。Feng等[71]在YOLOX中引入基于残差和级联的金字塔自底向上特征网络（PAFPN）、后验注意力模块（SE）以及Focal loss和CIoU损失函数，提出的MSDD-YOLOX算法对自然环境中柑橘果皮表面疤痕的识别准确率为80.4%。贾雪莹等[72]在YOLO V7的主干网络中引入CA机制以增强对缺陷部分的识别能力，同时在网络头部中引入CT模块，融合静态和动态上下文表征特征，以提升缺陷部分特征的表达能力，构建的YOLO V7-CACT模型对果皮有缺陷的柑橘果实总体识别精度达94.4%，单幅柑橘图像检测时间为2.15 ms。

上述研究探讨了YOLO算法对不同光照条件、不同果实遮挡程度柑橘果园图像的识别效果及有缺陷柑橘果实的分级，总体均取得了较高的识别准确率，但在柑橘果实面临重度遮挡时的识别准确性仍较低。

4 不同目标识别算法的对比

传统目标识别算法计算简单，仅需要较少的标记数据即可实现模型的调试和优化，在小样本单一场景下表现较稳定。自然环境中生长的柑橘果实未成熟时颜色呈绿色，与枝叶颜色相似，相比于颜色特征，利用纹理或形状特征能更好地区分柑橘果实与背景。柑橘果实成熟时呈现鲜艳的橙色，与枝叶之间存在明显的颜色差异，利用这种显著的颜色差异可实现图像的有效分割及目标和背景的区分。当柑橘果实受到光照变化产生阴影或柑橘果实成簇重叠时，利用纹理特征能较好地区分柑橘果实与背景，原因在于纹理特征是柑橘的质地和纹路特征，在光照不均匀或果实重叠时，柑橘纹理特征变化较小。在果园复杂的背景条件下，传统目标识别算法在处理柑橘果实重叠、枝条遮挡与光照变化等复杂场景时，往往难以准确地提取出有效信息。同时，传统目标识别算法依赖于主观判断，在更换识别目标时需人工更改算法设置，缺乏泛化性。

机器学习算法是从数据中学习特征和模式，不需要人工干预和手动调整参数，根据数据自动调整模型参数从而实现对图像的目标识别与分类。相较于传统目标识别算法，机器学习算法有以下优点：1）自适应性较强，在面对不同遮挡程度的环境条件下，能够更准确地提取出有效的信息，提高识别准确率；2）特征学习能力较强，具有学习数据中复杂特征与模式的能力，无需手动提取特征，能够更好地识别目标的形状、颜色等特征，提高识别准确性；3）经过训练的机器学习模型具有较强的泛化能力，能适用于不同品种与生长状态的柑橘果实识别。机器学习算法在小规模数据集上可以取得较好的识别效果，但在处理大规模数据集与复杂任务时，检测速度与精度较差，难以满足实时性要求。

深度学习算法具有多层次的神经网络结构，可以更好地处理一些复杂情况，提高目标识别的准确性和鲁棒性。采用两阶段与单阶段目标检测算法，在柑橘果实目标识别上都取得了显著的成就。不同生长阶段的柑橘果实会呈现不同的外观和形状特征，面对这种复杂环境，两阶段目标检测方法可以更准确地识别和定位各类柑橘果实，提供更细致的目标检测和定位信息。单阶段目标检测由于实时性较高，检测速度较快，故适用于柑橘果实形状规则、背景清晰的场景，由于单阶段目标检测通常具有简单的模型结构和较高的计算效率，所以适用于在嵌入式设备上的应用。相较于传统目标识别算法与机器学习算法，深度学习算法在图像分类、目标检测与位置识别等方面表现出明显优势，尤其是在处理具有随机分布、重叠遮挡与多样形状等非结构化特征的自然环境中具有更高的准确率，但深度学习算法需要大规模的标记数据来训练模型，训练时间较长，计算资源消耗高，会增加计算成本。

5 发展趋势

虽然传统目标识别算法、机器学习算法与深度学习算法在柑橘果实目标识别方面均有广泛的应用，但近年来，深度学习算法在柑橘果实产量预测、遮挡重叠果实识别及表面缺陷果实检测等方面的应用不断增加。然而，由于果园环境条件的复杂多变，目前的柑橘果实目标识别模型的识别能力普适性不强。因此，结合多源数据，进一步优化和改进现有算法和模型，仍是未来研究的重点。从目前柑橘果实目标识别算法的发展趋势看，以下2个方向需要重点关注：

（1）模型算法。一方面，随着深度学习模型的不断发展，以YOLO为代表的深度学习算法需要不断改进以适应不断变化的柑橘果实识别需求，可以通过在模型中引入注意力机制、改变特征金字塔网络结构、优化损失函数以及调整网络深度和宽度等方法提高柑橘果实目标识别的准确率、加快识别速度，并降低漏检率和误检率。另一方面，如何借鉴其他领域中表现卓越的大模型，如Transformer等，用于柑橘果实目标识别，进一步提升柑橘果实目标识别的准确率和效率。

（2）通用数据集。目前研究使用的数据集通常是根据特定研究目的所构建。未来研究中可以构建1个包含不同天气条件（晴天、阴天）、不同光照条件（顺光、逆光）、不同遮挡程度和果实重叠情况，并覆盖多个生长阶段的多品种柑橘影像数据集。通过构建这样一个全面且多样化的统一数据集，可以提高模型的泛化能力和鲁棒性，使得训练出来的模型能够更好地适应实际的果园环境。此外，构建数据集时还应考虑数据的标注质量和标准化，确保数据集的质量和可靠性。

参考文献：

[1] 郑 涵，罗 强，张益维，等. 柑橘采摘机器人目标检测算法研究进展[J]. 南方农业，2022，16（21）：119-122.

[2] 国家统计局. 2023中国统计年鉴[M]. 北京：中国统计出版社，2023.

[3] 李会宾，史 云. 果园采摘机器人研究综述[J]. 中国农业信息，2019，31（6）：1-9.

[4] 毛嘉威. 柑橘采摘机械臂及其控制系统设计[D]. 成都：四川农业大学，2021.

[5] XIAO Y， TIAN Z， YU J， et al. A review of object detection based on deep learning[J]. Multimedia Tools and Applications，2020，79（33/34）：23729-23791.

[6] 孔翰博，王克强，蔡 肯，等. 基于机器视觉的采摘机器人目标识别定位研究应用进展[J]. 电子技术与软件工程，2022（10）：160-165.

[7] TIAN Y， YANG G， WANG Z， et al. Instance segmentation of apple flowers using the improved Mask R-CNN model[J]. Biosystems Engineering，2020，193：264-278.

[8] 宋怀波，尚钰莹，何东健. 果实目标深度学习识别技术研究进展[J]. 农业机械学报，2023，54（1）：1-19.

[9] KURTULMUS F， LEE W S， VARDAR. A green citrus detection using ‘eigenfruit’， color and circular Gabor texture features under natural outdoor conditions[J]. Computers and Electronics in Agriculture，2011，78（2）：140-149.

[10]LU J， SANG N. Detecting citrus fruits and occlusion recovery under natural illumination conditions[J]. Computers and Electronics in Agriculture，2015，110：121-130.

[11]邹继欣，崔天时，邢 伟. 基于DSP的柑橘果实自动识别系统[J]. 农机化研究，2015，37（2）：166-170.

[12]邹 伟. 基于机器视觉技术的柑橘果实成熟度分选研究[J]. 农业与技术，2023，43（17）：41-44.

[13]张 珺. 基于机器学习的智能农机采摘控制实验与仿真[J]. 集成电路应用，2023，40（6）：70-72.

[14]方东玉. 基于SVM的柑橘品质检测技术[D]. 长沙：中南林业科技大学，2016.

[15]李 华. 基于机器视觉的柑橘外观品质鉴定技术研究[D]. 郑州：河南农业大学，2024.

[16]LIN G， TANG Y， ZOU X， et al. In-field citrus detection and localisation based on RGB-D image analysis[J]. Biosystems Engineering，2019，186：34-44.

[17]申 飘. 基于图像处理与机器学习的柑橘表面缺陷检测研究[D]. 长沙：中南林业科技大学，2023.

[18]CAI C， ZHOU G， LU C. Citrus surface defect identification based on PCS-2D-Otsu and CGWO-DT-SVM[J]. Multimedia Tools and Applications，2023，83（15）：43649-43672.

[19]BEHERA S K， ANITHA K， AMAT R， et al. ResNet101-SVM：hybrid convolutional neural network for citrus fruits classification[J]. Journal of Intelligent & Fuzzy Systems，2024，46（3）：7035-7045.

[20]BERTHELOT D， CARLINI N， GOODFELLOW I， et al. Mixmatch：a holistic approach to semi-supervised learning[C/OL]//WALLACH H， LAROCHELLE H， BAYGELZIMER A， et al. Advances in neural information processing systems32（NeurIPS 2019）. San Diego，USA：NeurIPS Foundation，2019. https：//arxiv.org/pdf/1905.02249v2.

[21]吕 佳，李帅军，曾梦瑶，等. 基于半监督SPM-YOLO V5的套袋柑橘检测算法[J]. 农业工程学报，2022，38（18）：204-211.

[22]ROY P， KISLAY A， PLONSKI P A， et al. Vision-based preharvest yield mapping for apple orchards[J]. Computers and Electronics in Agriculture，2019，164：104897.

[23]CIARFUGLIA T A， MOTOI I M， SARACENI L， et al. Weakly and semi-supervised detection， segmentation and tracking of table grapes with limited and noisy data[J]. Computers and Electronics in Agriculture，2023，205：107624.

[24]ALBELWI S. Survey on self-supervised learning：auxiliary pretext tasks and contrastive learning methods in imaging[J]. Entropy，2022，24（4）：551.

[25]姜欣悦. 基于图像识别的单株成熟柑橘树产量预估研究[J]. 南方农机，2022，53（23）：66-68.

[26]SUN B， LIU K， FENG L， et al. The surface defects detection of citrus on trees based on a support vector machine[J]. Agronomy，2022，13（1）：43.

[27]赵永强，饶 元，董世鹏，等. 深度学习目标检测方法综述[J]. 中国图像图形学报，2020，25（4）：629-654.

[28]董 戈. 基于深度学习和图像处理的水果收获机器人抓取系统[J]. 农机化研究，2021，43（3）：260-264.

[29]WANG Z， UNDERWOOD J， WALSH K B. Machine vision assessment of mango orchard flowering[J]. Computers and Electronics in Agriculture，2018，151：501-511.

[30]GIRSHICK R， DONAHUE J， DARRELL T， et al. Rich feature hierarchies for accurate object detection and semantic segmentation[C]//IEEE. Proceedings of the IEEE conference on computer vision and pattern recognition. New Jersey：IEEE Computer Society，2014：580-587.

[31]GIRSHICK R. Fast R-cnn[C]// IEEE. Proceedings of the IEEE international conference on computer vision. New Jersey：IEEE Computer Society，2015：1440-1448.

[32]CAI Z， VASCONCELOS N. Cascade R-cnn：delving into high quality object detection[C]//IEEE. Proceedings of the IEEE conference on computer vision and pattern recognition. New Jersey：IEEE Computer Society，2018：6154-6162.

[33]杨 国. 基于深度学习的自然环境下柑橘检测研究[D]. 长沙：中南林业科技大学，2023.

[34]任 会，朱洪前. 基于深度学习的目标橘子识别方法研究[J]. 计算机时代，2021（1）：57-60，64.

[35]YANG C H， XIONG L Y， WANG Z， et al. Integrated detection of citrus fruits and branches using a convolutional neural network[J]. Computers and Electronics in Agriculture，2020，174：105469.

[36]黄磊磊，苗玉彬. 基于深度学习的重叠柑橘分割与形态复原[J]. 农机化研究，2023，45（10）：70-75.

[37]BEHERA S K， RATH A K， SETHY P K. Fruits yield estimation using Faster R-CNN with MIoU[J]. Multimedia Tools and Applications，2021，80（12）：19043-19056.

[38]LU J， YANG R， YU C， et al. Citrus green fruit detection via improved feature network extraction[J]. Frontiers in Plant Science，2022，13：946154.

[39]MIN W， WANG Z， YANG J， et al. Vision-based fruit recognition via multi-scale attention CNN[J]. Computers and Electronics in Agriculture，2023，210：107911.

[40]孙国奇. 基于深度学习的果园环境下柑橘果实与枝干分割定位方法研究[D]. 桂林：广西师范大学，2023.

[41]贾艳平，桑妍丽，李月茹. 基于改进Faster R-CNN模型的水果分类识别[J]. 食品与机械，2023，39（8）：129-135.

[42]LIU W， ANGUELOV D， ERHAN D， et al. SSD：single shot multibox detector[C]//ECCV. European conference on computer vision 2016（Part I）. Amsterdam：Springer International Publishing，2016：21-37.

[43]HOWARD A G， ZHU M， CHEN B， et al. Mobilenets：efficient convolutional neural networks for mobile vision applications[Z/OL]. （2017-04-17）. http：//arxiv.org/abs/1704.04861.

[44]ZHANG X， ZHOU X， LIN M， et al. Shufflenet：an extremely efficient convolutional neural network for mobile devices[C]//IEEE：Proceedings of the IEEE conference on computer vision and pattern recognition. New Jersey：IEEE Computer Society，2018：6848-6856.

[45]LIU Z， LIN Y， CAO Y， et al. Swin transformer：hierarchical vision transformer using shifted windows[C]//IEEE. Proceedings of the IEEE/CVF international conference on computer vision. New Jersey：IEEE Computer Society，2021：10012-10022.

[46]宋中山，刘 越，郑 禄，等. 基于改进YOLO V3的自然环境下绿色柑橘的识别算法[J]. 中国农机化学报，2021，42（11）：159-165.

[47]陈文康，陆声链，刘冰浩，等. 基于改进YOLO V4的果园柑橘检测方法研究[J]. 广西师范大学学报（自然科学版），2021，39（5）：134-146.

[48]刘 芳. 基于YOLO V5的柑橘果实目标检测研究[J]. 信息与电脑（理论版），2022，34（2）：152-154.

[49]CHEN W， LU S， LIU B， et al. Citrus YOLO：a algorithm for citrus detection under orchard environment based on YOLO V4[J]. Multimedia Tools and Applications，2022，81（22）：31363-31389.

[50]庄昊龙，周嘉灏，林毓翰，等. 基于改进YOLO V5+DeepSort的柑橘果实识别与计数研究[J]. 南方农机，2023，54（15）：9-13.

[51]JING J， ZHAI M， DOU S， et al. Optimizing the YOLO V7-Tiny model with multiple strategies for citrus fruit yield estimation in complex scenarios[J]. Agriculture，2024，14（2）：303.

[52]易 诗，李俊杰，张 鹏，等. 基于特征递归融合YOLO V4网络模型的春见柑橘检测与计数[J]. 农业工程学报，2021，37（18）：161-169.

[53]黄彤镔，黄河清，李 震，等. 基于YOLO V5改进模型的柑橘果实识别方法[J]. 华中农业大学学报，2022，41（4）：170-177.

[54]LIU X， LI G， CHEN W， et al. Detection of dense citrus fruits by combining coordinated attention and cross-scale connection with weighted feature fusion[J]. Applied Sciences，2022，12（13）：6600.

[55]李子茂，李嘉晖，尹 帆，等. 基于可形变卷积与SimAM注意力的密集柑橘检测算法[J]. 中国农机化学报，2023，44（2）：156-162.

[56]周 剑，徐中贵，谢知音. 基于空间金字塔池化的YOLOv3的柑橘多分级研究[J]. 现代农业装备，2023，44（2）：35-43，97.

[57]LI C， MA W， LIU F， et al. Recognition of citrus fruit and planning the robotic picking sequence in orchards[J]. Signal， Image and Video Processing，2023，17（8）：4425-4434.

[58]蹇 川，郑永强，刘艳梅，等. 目标检测算法YOLO V5s用于柑桔成熟果实检测的改进[J]. 中国南方果树，2024，53（1）：224-231.

[59]汤 旸，杨光友，王焱清. 面向采摘机器人的改进YOLO V3-tiny轻量化柑橘识别方法[J]. 科学技术与工程，2022，22（31）：13824-13832.

[60]杨 国，黄文静，朱洪前，等. 自然环境下黄绿柑橘检测通用模型的构建[J]. 林业工程学报，2022，7（5）：134-141.

[61]YANG R， HU Y， YAO Y， et al. Fruit target detection based on BCo-YOLO V5 model[J]. Mobile Information Systems，2022，2022：8457173.

[62]殷献博，邓小玲，兰玉彬，等. 基于改进YOLO X-Nano算法的柑橘梢期长势智能识别[J]. 华南农业大学学报，2023，44（1）：142-150.

[63]黄 辉，苏成悦，王银海. 基于改进YOLO V5的柑橘目标识别研究[J]. 电脑与信息技术，2024，32（2）：27-29.

[64]帖 军，赵 捷，郑 禄，等. 改进YOLO V5模型在自然环境下柑橘识别的应用[J]. 中国农业科技导报，2024，26（7）：1-10.

[65]刘 洁，李 燕，肖黎明，等. 基于改进YOLO V4模型的橙果识别与定位方法[J]. 农业工程学报，2022，38（12）：173-182.

[66]姜 锟. 柑橘采摘机器人目标识别、定位与采摘研究[D]. 镇江：江苏大学，2023.

[67]王乙涵. 基于改进YOLO V7的自然环境下柑橘果实识别与定位方法研究[D]. 成都：四川农业大学，2023

[68]KONG D， WANG J， ZHANG Q， et al. Research on fruit spatial coordinate positioning by combining improved yolov8s and adaptive multi-resolution model[J]. Agronomy，2023，13（8）：2122.

[69]熊俊涛，霍钊威，黄启寅，等. 结合主动光源和改进YOLO V5s模型的夜间柑橘检测方法[J]. 华南农业大学学报，2024，45（1）：97-107.

[70]孙宝霞，梁翠晓，刘 凯，等. 夜间环境下树上柑橘表征缺陷深度学习检测方法[J]. 林业工程学报，2021，6（6）：148-155.

[71]FENG J， WANG Z， WANG S， et al. MSDD-YOLOX：An enhanced YOLO X for real-time surface defect detection of oranges by type[J]. European Journal of Agronomy，2023，149：126918.

[72]贾雪莹，赵春江，周 娟，等. 基于改进YOLO V7模型的柑橘表面缺陷在线检测[J]. 农业工程学报，2023，39（23）：142-151.

（责任编辑：石春林）