基于Stereo Camera-YOLOv5自然环境下百香果检测与定位模型

缪亚伦 石美琦 孟海涛 梁旭升 黄才贵 李岩舟

摘要：針对百香果采摘机器人在自然环境中作业时受复杂光线及遮挡影响，难以快速精确地检测及定位成熟百香果的问题，提出一种基于Stereo Camera-YOLOv5自然环境下成熟百香果检测及定位模型。针对自然环境下光线以及遮挡的影响，通过MSRCP算法、随机遮挡、数据增扩等图像处理算法对原始数据集进行优化。将优化的数据集输入到YOLOv5网络中训练出最优模型，在检测代码中嵌入双目立体视觉算法。该模型对自然环境下百香果进行检测及成熟度判断，将判断为成熟的百香果进行图像处理，并提取到中心点二维坐标。通过立体匹配及视差计算得到中心点的三维坐标。田间试验结果表明，该模型的目标检测准确率为97.8%，总体准确率为90.2%，平均运行时间为4.85 s。该系统鲁棒性强、实时性好，能够更好地实现自然环境下成熟百香果的检测及定位，为百香果采摘机器人后续工作奠定基础。

关键词：百香果；深度学习；YOLOv5；双目立体视觉；图像处理

中图分类号：S667.9： TP391.4  文献标识码：A  文章编号：2095-5553 （2024） 03-0233-09

Detection and localization model of passion fruit in natural environment

based on Stereo Camera-YOLOv5

Miao Yalun1， Shi Meiqi1， Meng Haitao1， Liang Xusheng1， Huang Caigui2， Li Yanzhou1

（1. College of Mechanical Engineering， Guangxi University， Nanning， 530004， China；2. School of Smart Manufacturing， Nanning College， Nanning， 530200， China）

Abstract：

Aiming at the problem that the passion fruit picking robot is affected by complex light and occlusion when it operates in the natural environment， and it is difficult to quickly and accurately detect and locate the ripe passion fruit model， a detection and location model of ripe passion fruit in natural environment based on Stereo Camera-YOLOv5 based is proposed. Firstly， aiming at the influence of light and occlusion in the natural environment， the original data set is optimized through image processing algorithms such as MSRCP algorithm， random occlusion and data augmentation. The optimized data set is put into the YOLOv5 network to train the optimal model， and the binocular stereo vision algorithm is embedded in the detection code. The model detects and judges the maturity of passion fruit in the natural environment， processes the image of the passion fruit judged to be ripe， and extracts the two-dimensional coordinates of the center point. The three-dimensional coordinates of the center point are obtained through stereo matching and parallax calculation. The field test results show that the target detection accuracy of the model is 97.8%， the overall accuracy rate is 90.2%， and the average running time is 4.85s. The system has strong robustness and good real-time performance， and can better realize the detection and positioning of ripe passion fruit in the natural environment， laying a foundation for the follow-up work of the passion fruit picking robot.

Keywords：passion fruit; deep learning; YOLOv5; binocular stereo vision; image processing

0 引言

随着百香果的市场需求不断加大，广西南宁、玉林、百色等地均大量种植［1］，由于黄百香果具有生长旺盛、适应性强、耐寒性弱、果汁含量高等优点，因此广西种植及鲜销的主要品种为黄金百香果［2］，本文也是针对黄百香果开展研究。由于百香果为藤蔓植物，必须依靠攀爬架支撑才能正常生长［3］，经过多地调研，水平棚架广泛应用，篱架高度为2.0～2.2m，以垂枝结果为主。由于百香果的生长特性，单纯依靠人工采摘会消耗大量人力、物力资源，面临采摘耗时长、抢收不及时、采摘效率低等问题。百香果采摘装置正是对传统生产方式的变革，大大提高劳动生产率，保证果实的实时采收，减少因果实腐烂、掉落等带来的巨大损失，因此对黄金百香果采摘机器人目标检测及定位技术的研究具有重要意义［4］。

农业产业逐渐规模化、精准化以及多样化，推动和促进采摘机器人的发展，采摘机器人的核心就是视觉系统。Raphael等［5］使用颜色和平滑度连接扩展检测出被遮挡的青苹果，但是由于直接光照和颜色饱和度会导致大量的误报检测。Lu等［６］提出了一种融合色差信息和归一化RGB模型的初步分割方法，通过检测色差图的显著边缘和这些边缘内的角点来构造轮廓片段集，对这些有效轮廓片段进行组合分析，该方法能够有效恢复遮挡果实。Tian等［7］提出了一种改进的YOLOv3模型，在YOLOv3特征提取部分添加密集连接网络来增强特征传递能力从而提高网络的检测精度，有效地提供重叠苹果和遮挡条件下的苹果检测。唐熔钗等［8］剔除YOLOv3模型的大物体预测尺度，在中型物体预测尺度后添加DenseNet网络，提高模型的检测精度。王铁伟等［9］为解决不同成熟度冬枣的样本数量相差悬殊导致的识别率低的问题，提出了一种基于数据平衡的Faster R-CNN的冬枣识别方法。

综上可知，如何克服自然环境下光照和遮挡的影响，快速准确地识别定位成熟的果实成为采摘机器人视觉的技术难点。本文针对传统算法存在的不足，设计基于Stereo Camera-YOLOv5自然环境下百香果检测与定位模型，以期提高算法目标检测及定位准确性。

1 数据集建立与优化

1.1 原始数据集建立

本文要实现的是针对自然环境下成熟百香果的目标检测，基准数据PascalVOC数据集和MS COCO数据集都不适用，因此需要采集数据并建立自己的VOC数据集。

图像采集的时间为2020年11月7日，使用双目立体相机采集图像，图像分辨率为5 800像素×4 300像素。为确定最佳的拍摄角度和距离，首先通过预试验确定相机与水平面倾角为20°、离地高度为100 cm是采集数据时相机最佳位姿。确定相机最佳位姿后采集自然环境下的百香果图像，图像应包括侧光，逆光和顺光的光照情况以及果实无遮挡，果实被枝叶遮挡和果实遮挡的遮挡情况。最终原始数据集包含图像4 000幅，包含了9种不同光线条件及遮挡情况的百香果图片，如图1所示。

将原始数据以.jpg格式存放在VOC2007文件夹下JPEGImages子文件夹内，用编号重新命名。通过Labelimg图片标注软件对原始数据进行人工标注，人为规定八成熟及以上为成熟，其他为不成熟，用矩形框将图片中的每个百香果目标进行分类框选。人工标注后将标签储存为TXT格式，保存在Annotations文件夹下，标签文件与图片一一对应。

1.2 对原始数据集的优化

1.2.1 針对光照的图像处理

由于自然环境下光照情况复杂，必须对图片进行增强处理，来强化模型对光线变化的适应能力，降低光照强度和拍摄角度对图像亮度的影响。MSRCP是具有颜色保护的多尺度Retinex算法［10， 11］；采用Gamma修正和色彩均衡修正，改善了图像的反差，提高了彩色复原功能，使图像的清晰度和色彩都能精确地还原。该方法增强目标表征的计算方法如式（1）所示。

Int=（IR+IG+IB）3（1）

式中：Int——单通道图像；IR——原始图像中红色通道子图像；IG——原始图像中绿色通道子图像；IB——原始图像中蓝色通道子图像。辐照度估计值的计算方法如式（2）所示。

r～′（x，y）=13∑kn=1{log［I（x，y）］-log［fn（I（x，y））］}（2）

式中：r～′（x，y）——辐照度；f——滤波器函数；I（x，y）——图像上具体像素点坐标值。MSRCP增强的线性量化的计算方法如式（3）所示。rmsrcp（x，y）=255×r～（x，y）－r～minr～max－r～min（3）

式中：rmsrcp（x，y）——线性量化后的辐照度；r～max——辐照度r～′（x，y）中的最大值；r～（x，y）——辐照度；r～min——辐照度r～′（x，y）中的最小值。

将其伽马亮度按照式（4）计算，可以有效地提高图像质量。

Intα=［rmsrcp（x，y）］1γ（4）

式中：Intα——增强的单通道图像；γ——校准参数，取值为2。

最后利用式（5）、式（6）对该算法进行颜色还原。

A=Min255B，Intα（i）Int（i）（5）

B=Max［IR（i）+IG（i）+IB（i）］（6）

式中：i——像素的索引；A——映射因子；B——过程参数。

该算法在对图像进行处理时，首先要进行色彩均衡、消除色彩梯度的极值，然后根据强度对各通道进行色彩分配，从而提高图像的细节性。为实现各通道的增强，需按照式（7）来计算映射因子A。

Rmsrcp（x，y）=AIR，G，B（x，y）（7）

式中：IR，G，B（x，y）——最初对应的通道图像；Rmsrcp（x，y）——增强后的图像。

因此本文使用MSRCP增强对原始图像进行优化，实际处理效果如图2所示，可以看到该算法有效地改善了图片显示效果，有效地减少了光照的影响。

1.2.2 针对遮挡的图像处理

本文通过对输入的图片进行随机遮挡处理，随机选择一个区域，采用随机值进行覆盖，模拟百香果被遮挡的真实场景，不仅可以提高模型泛化能力，对遮挡有更好的鲁棒性，而且降低了模型过拟合的概率。矩形区域相对于输入图像的比例范围为0.02～0.40，使得百香果图像生成不同程度的遮挡，具体效果如图3所示。

1.2.3 数据增扩

为了增强试验数据集的丰富性，使用图像数据增强技术来扩充数据集的规模，降低杂草识别模型对某些图像属性的依赖，减少训练模型过拟合、加强模型的稳定性，如图4所示。

2 Stereo Camera-YOLOv5模型

本文所设计的基于Stereo Camera-YOLOv5的自然环境下成熟百香果检测及定位的整体设计架构，如图5所示。将双目立体视觉技术与YOLOv5目标检测模型结合起来，双目相机在自然环境下实时采集图片，进行成熟百香果目标检测后对预测框内图片进行图像处理，立体匹配及视差计算得到百香果的三维坐标，完成定位。

2.1 YOLOv5百香果目标检测模型

YOLOv5分为3个部分，分别是CSPDarknet、FPN以及YOLO Head，其网络结构如图6所示。CSPDarknet是YOLOv5的主干特征提取网络［12］，输入的图片首先会在CSPDarknet里面进行特征层提取，获取3个特征层进行下一步网络的构建，这3个特征层称为有效特征层。

FPN为YOLOv5的加强特征提取网络，在主干部分获得的3个有效特征层会在这一部分进行特征融合，特征融合的目的是结合不同尺度的特征信息。在FPN部分，已经获得的有效特征层被用于继续提取特征。YOLOv5里使用Panet［13］的结构，不仅会对特征进行上采样实现特征融合，还会对特征再次进行下采样实现特征融合。

YOLO Head是YOLOv5的分类器与回归器，通过CSPDarknet和FPN获得3个加强过的有效特征层，每一个特征层都有宽、高和通道数。特征图为一个又一个特征点的集合，每一个特征点都有通道数个特征。YOLO Head实际上所做的工作就是对特征点进行判断，判断特征点是否有物体与其对应。

2.2 目标果实轮廓提取

目标检测模型实时检测百香果并在图像上对应位置绘制出矩形预测框，为了进行后续的三维位置计算，只对图像中的预测框内的图像内容进行实时的提取，可以大大减少后续的计算量。整体对果实轮廓以及中心点提取的流程如图7所示。

2.2.1 色彩空间

图像处理中使用较多的是HSV颜色空间，其能直观地表达颜色的色调、鲜艳程度和明暗程度，方便进行颜色的对比。HSV表达彩色图像的方式由3个部分组成：Hue（色调、色相）、Saturation（饱和度、色彩纯净度）、Value（明度）。只有V通道受光线影响大，因此从H、S通道获取图像特征就可以削弱光线的影响，百香果在HSV颜色空间的图像情况如图8所示。对比分析可知H通道下百香果果实与背景区分最为明显。

2.2.2 图像滤波

尽量保留图像细节特征的条件下对目标图像的噪声进行抑制，是图像预处理中不可缺少的操作，其处理效果的好坏将直接影响到后续图像处理和分析的有效性和可靠性。本文选用双边滤波的方式。双边滤波是在同时考虑邻域内像素的空间邻近性及灰度相似性进行局部加权平均，再消除噪声的同时保留边缘，双边滤波计算方法如式（8）所示。

g（x，y）=∑i，jf（i，j）ω（x，y，i，j）∑i，jω（x，y，i，j）（8）

式中：g（x，y）——双边滤波输出图像；f（i，j）——输入图像f（x，y）邻域内的点；ω（x，y，i，j）——加权系数。

加权系数综合考虑了相邻两点的距离和像素值差，其计算方法如式（9）所示。

ω（x，y，i，j）=e-（i-x）+（j-y）22σd2×e-f（i，j）-f（x，y）22σr2（9）

式中：σd——经验参数，控制空间邻近度；σr——经验参数，控制灰度邻近度。

σd和σr直接影响双边滤波的输出结果。σd变大，窗口中包含的像素变多，距离远的像素点对中心像素点的影响增大，平滑程度越高。σr变大，灰度差值较大的点也能影响中心点的像素值，但灰度差值大于σr的像素将不参与运算，使得能够保留图像高频邊缘的灰度信息，对百香果的边缘检测及轮廓提取有帮助，如图9（b）所示。

之后利用Laplacian算子［14］进行边缘锐化，以突出图像中的边缘特征。Laplacian算子利用二阶导数信息，具有各向同性，最佳Laplacian锐化模板为

H1=0-10-15-10-10（10）

图像经过二阶微分后，在边缘处产生一个陡峭的零交叉点，据此对零交叉点判断边缘。Laplacian算子对噪声比较敏感，Laplacian算子的缺点是它对图像中某些边缘产生双重响应。所以图像一般先经过平滑处理，通常把Laplacian算子和平滑算子结合起来生成一个新模板。因此本文选择双边滤波后再进行Laplacian算子边界锐化的图像滤波方法，如图9（c）所示。

2.2.3 边缘检测

边缘检测是提取果实轮廓的前提，如何使检测出来的边缘均一连续，且尽量更少的提取背景等不必要的边缘信息是边缘检测的关键，经过对比本文选用的是自适应阈值Canny算子［15］，针对本文所研究的自然环境下百香果状态进行边缘检测，效果如图10所示。

2.2.4 轮廓提取

将2.2.3节进行的自适应阈值Canny算子与Hough圆检测算法相结合，通过已提取出的百香果果实边缘信息，将其在图中检测并绘制出来。黄金百香果果实与圆形极为相似，因此根据所检测出来边缘进行的果实轮廓的提取，并找到百香果的中心点二维坐标，这也是后续进行立体匹配及视差计算最关键的信息。本文所研究的九种自然环境下百香果中心点提取效果如图11所示。

2.3 双目立体视觉

双目立体视觉的实现包括原始图像获取、双目摄像机标定、匹配和定位4个方面。

2.3.1 双目立体相机标定

双目立体相机有4个内参和5个外参数，共计9个参数需要计算并修正。而计算求解这9个参数的过程即为相机的标定。本文所选用的为通过Matlab内置的Stereo Camera Calibrator工具箱进行双目相机的标定［16］，标定结果所得到得到双目相机参数作为配置文件在Python程序中调用，即完成通过标定试验对相机9个参数的校准，具体参数如下。

A左=772.181 50640.488 60773.470 8475.054 4001A右=773.598 30657.509 50775.399 3474.120 1001B左=0.151 8，-0.128 4，0，0，0B右=0.192 0，-0.303 5，0，0，0C=-59.329 30.177 2-0.128 2D=10.001 6-0.001 0-0.001 610.004 00.001 0-0.004 01

式中：A左——左相机内参矩阵；A右——右相机内参矩阵；B左——左相机畸变参数；B右——右相机畸变参数；C——右相机相对于左相机的偏置矩阵；D——右相机相对于左相机的旋转矩阵。

2.3.2 三维坐标计算

定位是在得到空间任一点在两个图像中的对应坐标和两摄像机参数矩阵的条件下，计算出图像点在空间中的位置。根据每个单目摄像机获得的两个线性方程，共4个方程，可以求解出空间点的世界坐标值。实际定位原理通常采用外极线约束法，该方法中，目标点与两个摄像机的光心共3个点组成的平面与各自成像平面的交线称为该目标点在各自成像平面中的极线，如图12所示。

当通过标定确定摄像机的内外参数后，我们就可通过两条极线的约束关系式建立对应图像点之间的关系，并由此建立求解图像点世界坐标的方程。

在双目立体视觉系统中，假设两相机内部参数完全相同，世界坐标系与左相机的相机坐标系重合。被测果实中心点P的三维坐标（X，Y，Z）可根据相似三角形视差原理［17］计算得到

X=ulul-urd（11）

Y=vlvl-vrd（12）

Z=ful-urd（13）

式中：ul——P點在左相机上的横坐标；vl——P点在左相机上的纵坐标；ur——P点在右相机上的横坐标；vr——P点在右相机上的纵坐标；d——两相机光心间距离；f——相机焦距。

3 结果与分析

3.1 试验平台

训练及测试平台主要硬件配置为：AMD Ryzen7 5800H with Radeon Graphics 3.20 GHz，16 GB内存，NVIDIA GeForce RTX 3060 GPU。软件系统环境为Windows10 64位操作系统，CUDA 10.0版本，CUDNN7.1版本，Python3.7.11版本，Pytorch1.2.0版本。

3.2 模型训练与对比

3.2.1 参数设置

YOLOv5模型经过对训练集图像的多次稳定迭代学习，完成对权重参数的更新和优化，模型参数为：批量32，动量0.9，学习率0.001，迭代次数200。

3.2.2 模型评价指标

在基于深度学习的目标检测算法中常见的评价指标有精确率（Precision）、召回率（Recall）、平均精确率（Average Precision，AP）、平均精确率均值（mean Average Precision，mAP）以及F1分数（F1-Score）等［18］。模型参数的优化过程，准确率和召回率往往是此消彼长的情况。但在采摘机器人的应用中，错误的预测可能导致未成熟果实被误摘，也可能对末端执行器造成损坏。采摘识别对精确率的要求远高于召回率，因此本文以精确率为主要评价指标。

3.2.3 不同数据集检测结果对比

为验证不同图像特征增强算法对检测结果的影响，本文将不同图像处理后的数据集分别输入YOLOv5模型中进行训练并测试，模型的P-R曲线如图13所示。分析可知，YOLOv5平均精确率仅为81.2%。

取置信阈值0.5时，使用测试集的图片对算法的性能进行验证，并且将测试集的图片经过检测的结果可视化如图14所示。图14中标注红圈的是成熟的果实被错误判定为不成熟，标注粉圈的是果实漏检，示例中可看出效果并不理想。81.2%的精确率不足以满足在自然复杂环境下采摘机器人检测成熟百香果的要求。原因是：原始数据集没有经过图像处理，训练出的模型受到了自然环境下复杂光照以及遮挡的影响，从而严重影响了模型的准确率。

经过不同图像处理优化过的数据集，测试的精确率结果对比如表1所示。

从表1可以看出，相较于原算法，经数据预处理后的算法精确率均有所提升。经过MSRCP算法、随机遮挡处理后测试集的精确率分别提高4.1%、1.4%。将上述所有数据增强方式结合使用后，不仅可以减少光照、遮挡等因素的影响，同时还扩充了数据集，使得测试集的精确率由81.2%提高至97.8%，优化效果显著。

综合以上所有图像处理方法优化数据集，在YOLOv5上训练出来的最优模型评价指标如图15所示，本模型对成熟百香果识别精确率为97.9%，对非成熟百香果识别精确率为97.7%，综合精确率达到97.8%，比优化数据集前精确率提高明显。

3.2.4 不同算法检测结果对比

训练完成后，取果园障碍物数据集中的测试集图片用于测试各模型的指标得分并列表统计，结果如表2所示。由表2可知，该YOLOv5模型进行果园障碍物检测时在精确率方面比YOLOv4、Faster-RCNN分别提高了0.61个、0.04个百分点。在召回率方面，分别提高了0.68个、0.11个百分点，表明该YOLOv5具有更优秀的性能。

3.3 田间试验结果

试验现场如图16所示。

模拟试验流程如下：在棚架百香果枝条上悬挂果实，人为制造顺光+无遮挡，顺光+枝叶遮挡，顺光+果实遮挡；侧光+无遮挡，侧光+枝叶遮挡，侧光+果实遮挡；逆光+无遮挡，逆光+枝叶遮挡，逆光+果实遮挡这九种自然环境下的百香果情况。

记录系统判断的成熟度结果以及深度值计算，并记录下采摘装置从起始点运行到目标处所用时间。其中规定定位误差为真实深度值与算法计算出的深度值差值的绝对值与真实深度值的比值。规定定位误差在5%以内为定位成功，最终试验结果如表3所示。

试验可得本文所设计的成熟百香果目标检测与定位系统在自然环境下运行时，其目标检测准确率为97.8%，成熟度判断以及定位准确率为90.2%，平均运行时间为4.85 s，结果如图17所示。

可看出不同光照角度以及遮挡情况下所有果实均预测成功，图像矩形框吻合较好，满足在自然复杂环境下采摘机器人检测成熟百香果的工作要求。基于Stereo Camera-YOLOv5的识别方法具有较强的抗干扰能力，有效解决了自然条件下复杂光线以及遮挡的问题，为后续的果实定位提供了坚实的基础。

4 结论

1）  提出一种Stereo Camera-YOLOv5的自然环境下的成熟百香果检测及定位模型，将双目立体视觉算法嵌入YOLOv5目标检测模型检测算法之中。田间试验结果表明，Stereo Camera-YOLOv5模型该系统的目标检测精确率为97.8%，成熟度判断以及定位准确率为90.2%，平均运行时间为4.85 s。

2）  针对自然环境下复杂光照以及遮挡问题，本文对原始数据集进行图像优化增强处理，利用MSRCP算法对图像光照进行自适应调整，通过随机遮挡大量增加被遮挡的果实样本量，利用多种图像处理技术对原始图像进行扩增；经过在YOLOv5模型上对比试验可知，使用MSRCP算法可使模型mAP提高4.1%；使用随机遮挡算法可使模型mAP提高1.4%；综合使用MSRCP算法和随机遮挡算法后可使模型mAP提高16.6%。综合上述试验对比可知本文提出的Stereo Camera-YOLOv5模型满足实际生产需要，可用于实际的田间环境进行百香果的识别与定位，为后续采摘机器人的视觉系统提供良好的技術支持。

参 考 文 献

［1］梁倩， 李咏富， 龙明秀， 等. 百香果化学成分及药用活性研究进展［J］. 食品工业科技， 2018， 39（20）： 343-347.Liang Qian， Li Yongfu， Long Mingxiu， et al. Research progress on chemical constituents and pharmacological effects of Passiflora edulis Sims ［J］. Science and Technology of Food Industry， 2018， 39（20）： 343-347.

［2］王莹， 刘忠和， 康万利， 等. 百香果中矿物元素分析［J］. 食品科学， 2009， 30（22）： 328-330.Wang Ying， Liu Zhonghe， Kang Wanli， et al. Analysis of mineral elements in passiflora fruits ［J］. Food Science， 2009， 30（22）： 328-330.

［3］付雅丽， 康欣娜， 刘铁铮， 等. 百香果的营养保健价值及无公害栽培技术［J］. 河北果树， 2005（3）： 35.

［4］许威， 丁学文， 宋兰草， 等. 基于MATLAB和OpenCV的双目视觉测距系统的实现［J］. 天津职业技术师范大学学报， 2017， 27（4）： 47-52.Xu Wei， Ding Xuewen， Song Lancao， et al. Realization of binocular stereo vision distance measurement system based on MATLAB and OpenCV ［J］. Journal of Tianjin University of Technology and Education， 2017， 27（4）： 47-52.

［5］Raphael Y， Chen M， Wang C， et al. Recognition and localization methods for vision-based fruit picking robots： A Review ［J］. Frontiers in Plant Science， 2011， 11.

［6］Lu J. Detecting citrus fruits and occlusion recovery under natural illumination conditions ［M］. Elsevier Science Publishers B. V.， 2015.

［7］Tian Y， Yang G， Wang Z， et al. Apple detection during different growth stages in orchards using the improved YOLO-V3 model ［J］. Computers and Electronics in Agriculture， 2019， 157.

［8］唐熔钗， 伍锡如. 基于改进YOLO-V3网络的百香果实时检测［J］. 广西师范大学学报（自然科学版）， 2020， 38（6）： 32-39.Tang Rongchai， Wu Xiru. Real-time detection of passion fruit based on improved YOLO-V3 network ［J］. Journal of Guangxi Normal University Natural Science Edition， 2020， 38（6）： 32-39.

［9］王铁伟， 赵瑶， 孙宇馨， 等. 基于数据平衡深度学习的不同成熟度冬棗识别［J］. 农业机械学报， 2020， 51（S1）： 457-463， 492.Wang Tiewei， Zhao Yao， Sun Yuxin， et al. Recognition approach based on data-balanced Faster R-CNN for winter jujube with different levels of maturity ［J］. Transactions of the Chinese Society for Agricultural Machinery， 2020， 51（S1）： 457-463， 492.

［10］袁妍. 基于深度视觉的棚架葡萄采摘机器人手眼系统设计与果梗近景识别研究［D］. 镇江： 江苏大学， 2019.Yuan Yan. Hand-eye system design and close-shot stem recognition for robotic harvesting of trellis grape clusters based on depth sensing ［D］. Zhenjiang： Jiangsu University， 2019.

［11］李娜， 陈宁. 自然场景下苹果采摘机器人视觉系统研究［J］. 计算机技术与发展， 2018， 28（12）： 137-146.Li Na， Chen Ning. Research on visual system of apple picking robot in nature scene ［J］. Computer Technology and Development， 2018， 28（12）： 137-146.

［12］袁良祺， 田畅， 徐充， 等. 基于MATLAB的视觉检测系统课程设计［J］. 现代计算机， 2019（23）： 51-54， 57.Yuan Liangqi， Tian Chang， Xu Chong， et al. Curriculum design of visual inspection system based on MATLAB ［J］. Modern Computer， 2019（23）： 51-54， 57.

［13］王先节， 赵立宏. 基于MATLAB和OpenCV的双目视觉系统研究［J］. 数字通讯世界， 2019， 7（2）： 46-48.

［14］李鹏， 张洋洋. 室内移动机器人双目视觉全局定位［J］. 激光与光电子学进展， 2020， 57（4）： 246-253.Li Peng， Zhang Yangyang. Global localization for indoor mobile robot based on binocular vision ［J］. Laser & Optoelectronics Progress， 2020， 57（4）： 246-253.

［15］金理钻. 基于双目视觉的黄瓜采摘机器人关键技术的研究［D］. 上海： 上海交通大学， 2013.Jin Lizuan. Key technology research of cucumbers harvest robot based on machine vision ［D］. Shanghai： Shanghai Jiao Tong University， 2013.

［16］唐熔钗. 基于深度学习的百香果成熟度实时检测算法研究［D］. 桂林： 桂林电子科技大学， 2021.Tang Rongchai. Research on real-time detection algorithm of passion fruit maturity via deep learning ［D］. Guilin： Guilin University of Electronic Technology， 2021.

［17］秦雁飞. 基于双目视觉及深度学习的采摘机器人目标检测及定位技术研究［D］. 北京： 北京交通大学， 2019.Qin Yanfei. Research on target detection and localization technology of picking robot based on binocular vision and deep learning ［D］. Beijing： Beijing Jiaotong University， 2019.

［18］周毛. 基于双目视觉的农业采摘机器人控制系统设计研究［D］. 青岛： 青岛理工大学， 2018.Zhou Mao. Control system design of agricultural picking robot based on binocular vision ［D］. Qingdao： Qingdao University of Technology， 2018.

基金项目：广西创新驱动发展专项资金项目（桂科AA18242011）；南宁市邕宁区科学研究与技术开发计划项目（20180206A）；广西壮族自治区大学生创新创业项目（202110593214）

第一作者：缪亚伦，男，1996年生，河北保定人，硕士研究生；研究方向为机器视觉与深度学习。E-mail： 911264650@qq.com

通讯作者：李岩舟，男，1979年生，河北易县人，博士，副教授；研究方向为机器振动与农业机械化。E-mail： lyz197916@126.com