蔬菜采摘机器人及其关键技术研究进展

孙成宇　闫建伟　张富贵　苟园旻　徐勇

摘要：蔬菜采摘机器人对蔬菜生产机械化、自动化、智能化具有重要意义。对国内外蔬菜采摘机器人研究现状、关键技术进行总结、分析，包括优化末端执行器提升采摘效率，优化图像处理算法和深度学习模型提高识别精度。并对蔬菜采摘机器人的夹持式、吸持式和仿生式三类末端执行器的特点及适合场景进行分析。分析蔬菜采摘机器人视觉系统的组成结构，对比三种识别方法：传统的图像处理方法基于颜色、纹理特征等；机器学习方法如K-means聚类算法和支持向量机SVM算法等；深度学习方法如YOLO、Faster RCNN和SSD网络等。根据不同蔬菜的生长环境及自身特性，归纳出适应的识别方法，并对比识别效果。最后，指出蔬菜采摘机器人在作业对象、作业环境、自身硬件、生产成本方面存在的问题；并在蔬菜种植模式、软件系统、硬件系统以及利用区域特性方面作出展望。

关键词：蔬菜；采摘机器人；视觉系统；末端采摘装置；发展趋势

中图分类号：S233.4文献标识码：A文章编号：20955553 （2023） 11006310

Research progress of vegetable picking robot and its key technologies

Sun Chengyu， Yan Jianwei， Zhang Fugui， Gou Yuanmin， Xu Yong

（School of Mechanical Engineering， Guizhou University， Guiyang， 550025， China）

Abstract：The vegetable picking robot plays a crucial role in the mechanization， automation， and intelligentization of vegetable production. This paper summarizes and analyzes the research status and key technologies of vegetable picking robots at home and abroad， including optimizing end effectors to improve picking efficiency and enhancing recognition accuracy through advanced image processing algorithms and deep learning models. The characteristics and suitable scenarios of three types of end effectors for vegetable picking robots， namely gripper-based， suction-based， and biomimetic-based， are analyzed. The composition and structure of the visual system in vegetable picking robots are discussed， and three recognition methods are compared： traditional image processing methods based on color and texture features， machine learning methods such as K-means clustering and support vector machine （SVM） algorithms， and deep learning methods such as YOLO， Faster RCNN， and SSD networks. Based on the growth environment and characteristics of different vegetables， suitable recognition methods are summarized and compared in terms of recognition performance. Additionally， issues related to the target of operation， working environment， hardware constraints， and production costs of vegetable picking robots are identified， followed by prospective analysis on vegetable cultivation patterns， software systems， hardware systems， and leveraging regional characteristics.

Keywords：vegetables； picking robot； vision system； end picking device； development trend

0引言

蔬菜采摘收獲是蔬菜生产中耗时最多的一个环节。随着蔬菜种植模式向规模化、工厂化方向发展以及机器视觉、人工智能等发展，各类蔬菜采摘机器人近年来取得了很大进步。蔬菜采摘机器人涵盖的学科领域比较广泛，从整体构架上来看涉及机械和材料科学领域；内部构件需要电子信息和计算机方面的知识；从运用的场景来看，涉及生物科学和农业的专业知识，总的来说就是集多学科于一体的交叉科学。采摘机器人将会涉及到视觉感应系统，重点引用了图像传感器和距离传感器，图像传感器包括CCD黑白摄像机、立体照相机等，而距离感应器则有激光测距或者超声波、无线［13］。

日本、美国、英国、西班牙等发达国家起步早，于20世纪80年代已开始相关研究，并取得了一系列成果［45］。而我国在这方面入门比较晚，但是也取得了相应的研究成果。例如，中国农业大学研究的仿自然环境条件下番茄采摘机器人，并设计了其总体构架。实现番茄采摘机器人全自动化，减少工作期间人机交互［6］。本文针对典型蔬菜采摘机器人国内外研究进展及其关键技术进行分析，提出现存一些问题，并对蔬菜采摘机器人未来发展进行展望。

1典型蔬菜采摘机器人国内外研究进展

1.1番茄采摘机器人

番茄是日常生活中较为常见的蔬菜，其容易识别、果实易采摘的特征致使它早在20世纪末期就被当作采摘机器的试验对象。1983年从第一台番茄采摘机器人问世到现在番茄采摘机器人经历了近40年的研究发展，其研究历程见图1［57］。池田武史提出番茄在叶茎重叠的情况下的识别技术。机器人图像处理技术的研究对于采摘工作是必不可少的，其中运用了RGB-D传感器进行分析，以确保完成采摘作业并且能识别到周围的障碍物。Jun等［8］提出的高效番茄收获机器人，这种机器人是基于深度学习检测番茄，然后提取目标作物的三维坐标，基于三维坐标控制机械手运动。另外还设计并测试一种带有辅助单元的剪刀形切割模块，用于克服结构限制并实现有效切割。

国内，中国农业大学、南京农业大学等也对此领域做出了相应的研究并取得一系列成果［1， 9］。于丰华等［6］发明的番茄采摘机器人配备STM32微控制器为主要控制器，并使用由RaspBerry Pi 4B控制器驱动的深度摄像头。用于识别成熟番茄的设备上以及具有压力传感器的柔性手爪上。朱智惟等［10］为实现高效自动化采摘，提出改进YOLOv5s模型，通过跨层连接和软性非极大值抑制实现多尺度特征融合，识别准确率达97.62%左右，应用到番茄采摘机器人系统实现准确采摘。

1.2黄瓜采摘机器人

早在1996年，荷兰农业环境工程研究所研制出一种多功能黄瓜采摘机械。该机械得在特定的栽培环境下使用，黄瓜按照吊挂生长，这样做是因为黄瓜的果实与茎叶颜色近似，吊挂生长便于识别过程中区分。此外，在相机前添加滤波片，再根据黄瓜的光谱反射特性可以更好地识别。此研究为后续的研究和种植模式奠定良好基础［1113］。中国、日本等国家对黄瓜采摘机器人的研究也在稳步推进。中国农业大学汤修映等研究黄瓜采摘机器人的路径规划与避障系统，基于三次多项式插值函数提出新的运动轨迹算法，为稳定运行提供了坚实的基础。近年来，学者们提出运用深度学习和多特征融合对自然环境中的黄瓜进行自动识别采摘。荷兰研发视觉系统和机器深度学习软件，在农产品自动分级、分类、包装等领域提供解决方案。最新研发的Crux Agribotics黄瓜巡检采收机器人，很好地实现了自动化采收，另外该机器人还配备病虫害检测功能、修剪功能、实时传输作物信息。

1.3蘑菇采摘机器人

Hu等［14］提出一種基于单目视觉的直径和中心点位置测量方法运用在双孢蘑菇采摘机器人上，通过摄像机的水平移动来测量双孢蘑菇中心点的三维坐标，并提出椭圆拟合算法来提高定位精度。此外，深度信息用于补偿双孢蘑菇直径测量的误差，成功率高达90%。王玲等［15］采用结构光SR300深度相机针对褐蘑菇采摘，结合土壤表面深度的众数，自适应选择动态阈值， 提取蘑菇菌盖二值图，将此技术运用在工厂化模式下。国内对蘑菇采摘的研究可以追溯到1995年，吉林工业大学的周云山等［16］在已有的机器人本体的基础上，提出利用计算机视觉识别提取蘑菇边界轮廓的方法，并取得一定成效。平菇作为日常食用菌中较为常见的品种之一，有不少学者将其作为研究对象。苏州大学的杨千［17］将温室种植的平菇作为采摘目标。在分析相对应的研究对象，明确工作原理的基础上，提出基于深度学习的改进SSD-MobileNet网络用于检测，分析SSD网络和MobileNet v1网络的各自特点，最终组合生成该检测算法。在采摘定位层面使用D-H建模分析，得到每一运动单元的关系，使用“8领域”均值法得到平菇的相对坐标，将定位误差控制在4mm以内。最终的试验结果达到91.4%的采摘成功率，但是单体采摘时长还有待改进。

1.4茄子采摘机器人

日本对茄子采摘机器人做研究，Hayashi等［1819］提出茄子收获机器人，采用一种结合颜色分段操作和垂直分割操作的机器视觉算法，在不同的光照条件下都能作用，驱动操纵器的视觉反馈模糊控制模型。初期原型具有判断机制、抓果机制和剪梗机制，根据果实长度选择性地选取果实，但是其成功率很低。其研究成果为自动化收获茄子带来了新的理念，并证明了可行性。Hayashi等随后又增加了机械臂自由度的同时还设立了超声传感器，使其功能更合理。Sepulveda等［20］将基于支持向量机（SVM）分类器的算法用于双臂茄子采摘机器人上，有效处理遮挡情况下的自动检测和定位。宋健等［21］研发的开放式采摘机器人由DMC 2280型多轴运动控制器、安川交流伺服驱动系统以及彩色摄像机和机械结构组成，并对整体结构做出了优化设计。用直方图的固定双阈值法对G-B灰度图像进行分割。随后又对茄子采摘机器人的视觉和定位系统做出深层次的研究，利用阈值分割算法在亮度的基础上对灰度图像进行分割，在标定过程中使用双目系统自行标定，质心为匹配基元。在此基础上，进一步提高视觉系统的运算速度及可靠性，使用基于像素基色差值进行识别，采用了数学形态学方法的结合，去除干扰，并用搜索方向旋转法提取特征信息，有较高的成功率。

1.5小结

随着美国、欧盟等先进国家的采摘机器人相关产业逐渐完善，我国也必须迎头赶上。国外从20世纪60年代就开始研究此类机械，中国对于蔬菜采摘机器人的研究比较滞后。近年来我国也取得了一些突破，尤其在环境和地形较好的区域表现出色，在西部山地丘陵等地仍不好实现完全自动化。多数采摘机械产品仍处于实验室阶段，真正商用的产品比较少。针对存在的问题，未来还需要加强对机械结构的优化，编写简洁高效的代码，达到设备采摘灵活度高、智能程度高、适用范围广、价格适中的目的。

2关键技术研究进展

2.1末端执行器采摘装置

蔬菜采摘机器人中的末端执行器是关键技术之一，其设计的好与坏，将直接影响采摘的成功率和破损率。末端执行器可以分为夹持式、吸持式、仿生机械手［2225］，其特点如表1所示。

2.1.1夹持式

日本蔬菜与茶叶研究所的Hayashi等［18］开发了茄子采摘机器人的末端执行器。执行机构通过彩色摄像头初步检测蔬菜位置，通过超声波传感器确定蔬菜位置，并用剪刀切割菜梗。该执行器能自动定位蔬菜和菜梗的位置，便于采摘。中国农业大学的纪超等［26］设计的温室黄瓜采摘机器人，该机器人末端执行器由气动柔性手指头、切刀片和二次近景定位镜头等构成。柔性手指中使用了柔性材质橡皮，能够在特定作用力下夹持蔬菜且不引起蔬菜损伤。二次近景定位摄像机在末端执行器到达定位点时，能及时采集黄瓜的近景信息，算出切割部位以避免直接切伤蔬菜。该末端执行器的优势在于夹持装置的柔性，能够减少夹持黄瓜时给其所造成的伤害。因此，可以将软体机器手爪技术应用于蔬菜采摘中。采用柔性材质，通过负载变化来修改自身外形与尺寸并且拥有无限自由度的新型末端执行器。西南大学的陈子文等［27］提出一种基于气动无损夹持控制的末端执行器应用在番茄采摘中，通过ASAMS对运动动力学仿真，设计有压力反馈的电气控制伺服系统，以此来实现无损夹持。在重庆市璧山区的采摘试验中，成功率达到96.03%。浙江工业大学的钱少明等［28］在测定成熟黄瓜的基本特性的前提下，末端夹持器选择气动柔性驱动器弯曲关节，实验结果表明，装配硅胶片的机爪对黄瓜表面压损可以忽略不计，采摘成功率达9成。

2.1.2吸持式

吸持式和夹持式在外观上有共通之处，但其内部元器件有吸盘辅助蔬菜采摘。Van Hentan等［11］研发的黄瓜采摘机器人及末端执行器，其末端执行器部分主要由机械手指、吸盘和切割器组成，该吸盘提供了将黄瓜稳定在机械手指可控范围之内的力，稳定住黄瓜后切割器开始工作，从而收获植株。但是实验中出现无法释放黄瓜的情况，说明其系统优化存在问题，有待改进。刘继展等［29］设计的番茄采摘机器人末端执行器，配备真空吸盘设备将蔬菜从菜株上剥离，通过手指夹持机构对番茄可靠抓握，防止在切割过程中番茄稳定性较差的情况出现，而果梗切断装置使用的是激光，作者摒弃传统的扭断、刀具切割的方法，使用激光切割可以有效地避免果实的损伤破裂。同时在末端执行器上还装配感知系统，对植株距离的把控以及周围的视觉感知都有不错的效果。该执行器通用性较之前设备高一些，可适用于类似形状的蔬菜采摘。

2.1.3仿生机械手

仿生机械手是通过模拟生物形状、构造和操控的原理，设计并生产出功能更集中、效能更高、生物学特性更佳的机械手臂。把可运用于生物体系中的优越构造和物理特征相结合，将能够得到比大自然所形成的生物系统特性更全面的仿生机器。刘子娟等［30］提出仿蛇嘴机构的理念，通过运动学分析，对参数进行优化，设计出较为理想的机构。在此基础上，重庆大学的王毅等［31］提出仿蛇嘴咬合式采摘执行末端，设计之初应用在柑橘采摘上，而咬合式的提出主要是参照了响尾蛇的咬合动作和蛇嘴的构造，从而设计了这种咬合式的执行末端。在设计过程中，进行了运动学建模仿真，此机构要实现上下颚以相同轨迹运动的同时，蛇头骨骼结构中的下颚运动要相对独立，执行末端的张角尽可能大。最终采摘实验的成功率达87.5%。这种思想的提出为其应用在蔬菜采摘领域提供了很好的思路。Quan等［32］设计的多功能蜓爪式仿生末端执行器很好地利用了仿生这一原理。首先是获得蜻蜓的相关物理信息，得到对应的数据。利用D-H法建立运动模型，得到主要抓取部位，测定极限值，最后进行试验。末端执行器中手指和关节数量要仔细考量，这里使用欠驱动机械手，每个手指由三个关节构成，指节内的柔性铁丝收紧后，接触表面的力传感器开始作用，达到界值停止收缩。该实验的对象是成熟的番茄、茄子、柿子椒等蔬菜，试验效果较好。

此处提到的欠驱动式（驱动数少于自由度数）末端执行器［33］，目前国内外大多研究都体现在结构的优化设计上，目前尚未有学者将其应用在蔬菜采摘这一领域，大多数停留在实验阶段。例如雷翔鹏等［34］研究了欠驱动手爪在不同抓取模式下的运动特性和抓取能力，以及在特定条件下优化基指节内推杆的长度和摆动角度，以最小化连接手指处的应力，有效增强了欠驱动手爪的实用性和可靠性。

2.2视觉系统

蔬菜采摘机器人的机器视觉主要包括相机、采集卡、图像处理卡等，其中机器人能够有效识别作物的关键点在于图像的识别（处理）以及视觉定位。在视觉系统上的研究可以追溯到20世纪90年代，采摘机器人的目标检测与识别技术近年来通过迭代更新，取得良好的成效，可以将其分为3个研究阶段如表2所示。

三个研究阶段为：（1）相对传统的数字图像处理技术，该方法主要涉及蔬菜相关特征的提取与识别［3537］；（2）随着机器学习的发展，学术界又提出基于机器学习的图像分割技术与分类器［3841］；（3）直到2006年杰弗里·辛顿以及他的学生鲁斯兰·萨拉赫丁诺夫正式提出深度学习的概念以后，深度学习掀起学术界的新浪潮，不少学者将深度学习应用在蔬菜采摘机器人之中［37， 4243］，并取得一定研究成果。

1） 基于蔬菜特征的數字图像处理技术。吕小莲等［44］基于颜色特征对成熟的番茄进行采摘，在确定采摘对象颜色特征的基础上，建立基于色差信息的改进Ostu分割算法的识别模型，通过对图像的处理去除自然背景，扫清GMM方法提取轮廓丰满但是存在自然背景噪声的运行障碍。Chaivivatrakul等［45］提出一种基于纹理分析的植物绿色果实检测方法。该方法包括兴趣点特征提取和描述符计算、利用支持向量机进行兴趣点分类、候选果点映射、形态闭合和果实区域提取。针对苦瓜的24种兴趣点特征和兴趣点描述符的组合进行评估，取得较高的精度，苦瓜的检出率为100%。足以说明该方法具有精确定位和监测。未来的工作将探索检测和跟踪的结合，以进一步改进该方法。以上的特征提取方法都是针对单个特征，在某些特定情况下其识别精度稍显乏力。于是，后来就有学者针对多个特征融合的图像处理技术展开一系列研究。Payne等［46］使用多特征融合的方式对作物的产量进行计数，对获取的图像进行分析，使用RGB和YCbCr颜色范围内的颜色分割和基于相邻像素可变性的纹理分割，将像素分割为果实和背景像素。对生成的斑点进行计数，以获得每张图像的果实计数。告别了单一特征在检测时会遇到干扰的情况，多特征融合提高了检测的精度和鲁棒性。但是，这类方法也存在不足性，要是对于较不成熟的果实，其具有的颜色特征就可能会少，所以要较少地对颜色分割的强调，转而考虑使用周长匹配作为改进果实检测的一种手段。同时，也应该研究在野外条件下建立一致的光照条件的方法。

2） 基于机器学习的图像处理技术。采用机器学习的方法对图像进行识别，从给定的训练样本集出发，找到并总结样本数据规律，从而对目标作物的图像做出预测、识别。机器学习的类别主要有监督学习、无监督学习、强化学习等。学术界对这些方法都展开广泛的研究［47］。在无监督学习中通常会使用到聚类算法，K-means聚类使用较为广泛。由于在自然采摘条件下，机器人的视觉系统往往会受到光照条件的影响，为了消除这一影响，Wang等［3940］提出一种针对不同光照的分割算法。改进小波变换应用在作物图像中，对作物表面的照明进行归一化处理。基于Retinex的图像增强算法对光照归一化图像中的作物进行突出显示。采用K-means聚类的方法对作物图像进行分割，对不同光照的影响具有鲁棒性，并能精确分割不同颜色的果实，该算法的平均处理时间仅为1365ms。Luo等［47］利用基于K-means聚类和有效颜色成分的分割算法，根据每个像素区域的几何信息确定每个目标作物的感兴趣区域，并利用几何约束方法确定合适的切割点。对从不同角度捕获的作物图像进行了测试，平均识别准确率为88.33%。该方法的结果在很大程度上依赖于每个作物像素区域提取的准确性，当提取精度不理想时，该方法在某些情况下可能会失败。在监督学习领域，中国农业大学的李寒等［48］基于贝叶斯分类器算法，提出温室绿熟番茄机器视觉检测方法。要解决光线不均匀、有阴影或者遮挡的目标作物的问题，作者使用快速归一化互相关函数对果实潜在区域检测，随后用区域分类器分类并判别是否为绿果。采取局部极大值法和随机圆环变换检测圆算法，分辨红绿果同时存在的情况。为解决背景色近似的问题，还使用了有机结合纹理特征的方法。除此之外，还有基于支持向量机（Support Vector Machine）算法，它是一种线性分类和非线性分类都支持的二元分类算法，对于分类的精度要求很高。Lu等［49］提出针对实验阶段的训练照片与自然环境下真实果实的不同，同时要有效地分辨红绿蓝色彩，作者使用形态学操作，使多类支持向量机（SVM）同时对果实和枝条进行分割，避免了传统的阈值分割的低效性，识别率为92.4%，且直径大于5个像素的分支可以被识别。为去除彩色图像中的噪声以及提高识别的精度和效率。Ji等［41］提出采用向量中值滤波器去除彩色图像噪声，基于区域增长和颜色特征变化的图像分割方式。在获得图像的色彩特性和形态特点以后，提供一个通过支持向量机的苹果识别分类算法来实现此目的。为去除背景和光照对图像识别的干扰，并检测未成熟的绿色柑橘果实。Sengupta等［50］提出的检测算法中，形状分析和纹理分类是该算法的两个组成部分。形状分析可以检测尽可能多的目标。利用支持向量机（SVM）进行纹理分类，采用Canny边缘检测结合基于图的连接组件算法和霍夫线检测来去除假阳性，用尺度不变特征变换（SIFT）算法检测关键点进一步去除。最后达到在自然环境下检测率80.4%的效果。

3） 基于深度学习的识别技术。近年来，不少学者将目光锁定在“深度学习”这一版块，思考如何将其更好地运用在蔬菜采摘机器人领域。基于深度学习的卷积神经网络模型种类繁多，但无外乎也可分为两个大类，即单阶段检测算法和两阶段检测算法。在单阶段检测算法中，比较常见的就是YOLO（You Only Look Once）网络模型和SSD网络模型。YOLO网络模型首先提出是在2016年，经过迭代更新已经从YOLOv1发展到YOLOv5。YOLO算法是当前目标检测算法领域中的佼佼者，它可以同时对目标图像中的目标进行检测和分类，突出其检测速度快、高效，有效地弥补Faster RCNN算法在检测速度上难以满足实时需求的弊端。YOLOv1就是利用概率和边界做回归模型求解，相较其他算法在运行速度上有所提高，由于多次的卷积运算会将小目标（特征）过滤掉，造成精度的缺失。在保持原有的检测速度基础上，提出的v2增强预测精度、识别对象更多。v3保留v1大部分特征，通过改变模型结构的大小，实现速度与检测精度平衡。2020年在v3的基础上，做出相对全方位的改进，提出新的高效检测算法YOLO v4，其集大成者，对模型进行不断地调参、堆料。时隔两个月学术界就提出了YOLO v5算法，其性能与v4相差无几，创新点并不多，但是速度却远超v4，模型尺寸也非常小。张宏鸣等［51］基于改进的YOLO算法对玉米幼苗进行识别，获得幼苗株数数据。与原来的算法相比，改进的FE-YOLO算法突出植株特征，用特征增强机制快速获取幼苗株数，在模型中，构建基于动态激活的轻量特征网络，引入注意力机制，实验表明召回率和mAP都有所提高，识别精度得到提高。郭瑞等［52］提出将v4运用在大豆的豆荚测数实验中，为了较好地计算单株大豆拥有的豆荚数，除了使用的聚类算法和注意力机制以外，还做出了改进。使用迁移学习进行预训练，获取的最优模型才用作对测试机的预测。总的来说，YOLO算法在不断地升級优化，力图达到更完美、更实用。至于SSD网络模型，彭红星等［53］提出利用改进的SSD模型对自然环境下的植株进行识别，改进点在于将输入模型替换为ResNet-101，并基于迁移学习方法和随机梯度下降算法对模型进行优化，在Caffe框架下得出不同类型的果实具有较优的实验结果。还有学者针对茶叶检测使用了SSD算法，在提取超绿因子和形态学处理的基础上，又对数据集扩充，进行了人工标注，在神经网络的计算下，调整相关的参数，得到一个理想的检测模型。

两阶段检测算法中涉及的种类就比较多，其中Faster R-CNN就比较常见，在果蔬采摘识别领域也有不少应用。杜玉红等［54］提出使用改进Faster RCNN模型对棉花的异性纤维进行识别，由于异性纤维的尺寸和形状相对多样性，采用RseNet-50取代了VGG16作为特征提取网络，对生成的候选框还需要使用k-means++聚类算法来改进，才能更好地实现定位和分类。除此之外，FCN网络［55］对原始图像的尺寸要求不高，识别效率高，但是精度不高。SegNet网络［56］可以有效地分辨出果实和背景图像，甚至对目标的边界轮廓也能做出精准识别，分析出相对位置。Mask-RCNN网络［57］可以对小的目标进行有效地识别，避免了在卷积运算中被忽略，可以使用在遮挡和目标重叠的情况。综上所述，深度学习的网络模型种类很多，根据特定情况选择合理的算法才能达到理想的效果。

3存在问题与展望

3.1存在问题

1） 作业环境的复杂性。蔬菜采摘机器人应用的场景往往是非结构性。光谱反射特性是目前广泛采用的识别原理，但受到天气情况和光线等因素的影响。在光线较差或强光照射下，视觉系统很难准确识别边界。此外，目标作物被遮挡也是一个考虑因素，虽然基于深度学习的方法可以解决这个问题，但需要大量的样本和较长的识别时间。难以建立误差补偿机制是因为机器视觉和作业环境的复杂性之间的挑战。当遇到训练之外的意外情况时，视觉系统往往难以正确识别，导致误识别的后果。此外，在图像处理过程中还会受到噪声的干扰，从而导致识别系统的不稳定和性能下降。针对这些问题，需要进一步优化和改进识别算法，以提高机器人在复杂环境下的作业能力。

2） 作业对象的不稳定性。作业对象的个体差异性和随机性。针对这一问题，视觉系统需要有足够大的训练样本来支持其工作，因为每个作业对象的特征略有不同。此外，蔬菜的成熟度和不同时期的颜色区间也存在差异，这也增加了识别的复杂性。在果实成熟的阶段，平均采摘周期较长，导致部分地区的采摘效率较低。在采摘过程中，还要注意到蔬菜的柔软易损特性，例如嫩叶和柔软的菜皮容易受到损伤。因此，需要改进执行末端的设计，提高其通用性和实用性，以避免对蔬菜造成不必要的损害。综上所述，为了能够有效应对作业对象的不稳定性，采摘机器人的视觉系统和执行末端需要不断改进和优化。

3） 硬件存在的不足。目前，对于执行末端的自由度控制还没有达到理想效果。虽然较高的自由度可以提高灵活性和采摘效果，但相应的控制难度也增加。目前，欠驱动式执行末端仍处于实验阶段，并未广泛应用。此外，激光测距仪也面临一些问题。一方面，激光可能会受到障碍物的遮挡而无法准确照射到目标上；另一方面，如果测距过远，可能会导致激光失焦，从而影响设备性能。激光测距仪本身也存在系统复杂、速度慢和高成本等问题，不是最佳选择。除了距离传感器外，使用视觉传感器也存在问题。景深相机的分辨率受到限制，难以实现理想精度的测量，通常需要其他辅助设备来提高测量精度。此外，难以解决产生的未知误差，相机镜头可能与周围环境发生碰撞，导致畸变，影响成像精度，同时也会降低识别和特征提取的效果。因此，对于硬件不足的问题，需要进一步改进和优化，以提高采摘机器人的性能。

4） 采摘机器人的成本。随着中国人口老龄化问题的出现，农业劳动力受到了一定的影响，因此在必要的情况下，推广智能设备成为一种解决方案。要实现蔬菜采摘机器人的广泛应用和推广，需要在降低产品成本方面下功夫。只有当采摘机器人的成本性价比高于人工作业时，才能有广泛应用的空间。在中国的山地丘陵地区农业机械的使用率相对较低。这些地区地势陡峭、道路狭窄，常规农业机械难以到达耕作区域。通常情况下，劳动力需要将农业机械搬运到目标作业地，但由于劳动力短缺的现状，常规设备很难解决这个问题。为了解决这些问题，需要在研发采摘机器人时注重降低成本，并确保其适应不同地区的特点和需求。

3.2展望

1） 从蔬菜本身出发。采取合理的栽培模式可以方便采摘机器人的收获，并减少识别过程中的背景干扰和茎叶干扰。例如，采用悬挂式种植黄瓜可以让成熟的果实显露在棚架下方，减少了干扰，从而使图像处理和末端执行器的工作更加容易。同时，需要更新农民传统种植模式和方法的理念。即使不考虑普及采摘机器人，这种方法也有助于为蔬菜采摘机器人的实验提供支持。因此，通过合理的栽培模式和更新种植理念，可以为采摘机器人的应用提供更好的条件。

2） 改善软件系统。可以通过优化和升级基于相机视觉捕捉的算法，更好地提取目标作物的特征，并减少识别所需的时间。目前基于深度学习的方法得到了广泛应用，可以结合现有的大数据产业构建产品数据库，数据越全面，效果会越好。人工智能在过去十年中取得了巨大进步，为我们提供了各种便利，这是通过大量数据和训练获得的结果。通过反复训练相同类型的图片或动作，系统可以学习并改进。然而，目前的研究仍存在一些困难。由于机器学习的数据集需要精心策划，这些数据集都存在局限性。在训练系统时，需要确定一个发展轨迹，使网络能够发生变化。可以考虑三个方面的方法：一是引导和约束信息处理；二是从多样化、多模式的输入中学习；三是输入是通过发展和主动学习来塑造的。在学习过程中，通常会尽量消除针对性干扰，让数据本身来驱动学习。因此，机器需要内置偏好以塑造学习过程，并需要从更丰富的数据集中学习。因此，优化软件系统可以为采摘机器人的性能提供重要支持。

3） 优化硬件系统。基于机械结构进行设计，使蔬菜采摘机器人便于控制并具备整体灵活性。机器人在工作过程中具有复杂多变的运动轨迹，因此机械结构应满足这一要求，设置合理的自由度，并在必要时采用欠驱动式执行末端。同时，机器人整体外观应紧凑，并符合运动轨迹的要求。此外，还需要进行运动学和动力学分析，以确保机器人能够平稳运动、合理避障，并提高系统和设备的通用性。

当前的采摘机器人大多采用专用的控制系统、执行末端和程序代码。在进一步研究中，应致力于突破机器人的限制性，形成可扩展、灵活多变、模块化的产业格局。这将有助于减少开发成本和调试时间，实现一机多用的目标。此外，还应致力于研究多传感器融合技术，充分考虑识别精度和机器成本之间的权衡，在合理的区间内实现低成本、高精度的目标。

4） 因地制宜。在不同地区，应根据地方情况进行适宜的蔬菜收获方式选择。在东部平原地区，蔬菜种植已实行自动化产业体系，采用模块化种植以方便采摘机器人的收獲，并取得了良好成效。而在西部丘陵地区，由于地形限制，大规模自动化收获可能受到阻碍，因此可以考虑实行人机交互蔬菜收获模式。传统的人工收获强度大且效率低，但在此基础上增设基于人工操作的采摘机，可以提高收获效率，并降低在复杂环境下机器故障的概率。因此，在不同地区应采取适合当地条件的蔬菜收获方式，以最大程度地提高效率和可靠性。

4结语

本文对经典的蔬菜采摘机器人取得的研究进展做了归纳总结，包括目标识别、定位和末端执行器优化设计等方面。重点总结了采摘机器人的末端执行器和视觉系统。文章梳理了夹持式结构、吸持式结构和仿生式末端执行器的特点及应用情况。在视觉系统方面，文中对于不同类型的识别技术进行了分析和比较。最后，还对当前的研究现状进行了评估，并提出展望。

1） 对各类蔬菜采摘机器人的研究历程进行分析，可以得出国内在蔬菜采摘机器人研究方面起步较晚，国外学者在末端执行器创新和识别系统应用方面取得了领先。近年来国内的研究也取得了创造性的突破。

2） 在末端执行器的研究领域，夹持式和吸持式结构的研究和应用趋于成熟，而仿生式机构的研发和应用受到研究者的关注。其具有较强的灵活性和适应性，能够更好地适应复杂环境和完成精细任务，难点在于设计和控制方面的突破。

3） 在视觉系统的研究领域，重点比较了基于图像处理、机器学习和深度学习的三类方法。传统的图像处理方法基于蔬菜特征，具有时效性和经验性，但抗干扰能力差，容易受到环境的影响。机器学习方法准确性高，但需要大量标注数据和复杂的参数调优。深度学习方法虽然模型训练时间长，但具备自动特征学习、高准确性和抗干扰能力强等优势，已成为蔬菜识别领域的主流方法，具有较高的精度和鲁棒性。

4） 尽管采摘机器人在灵活程度、自动化程度等方面还存在各式各样的不足，随着新技术的出现、科研水平的不断提高，对于采摘机器人的研究深度也稳步攀升，在蔬菜采摘机器人关键技术和机构方面将会取得一些突破性的进展。

参考文献

［1］刘继展. 温室采摘机器人技术研究进展分析［J］. 农业机械学报， 2017， 48（12）： 1-18.Liu Jizhan. Research progress analysis of robotic harvesting technologies in greenhouse ［J］. Transactions of the Chinese Society for Agricultural Machinery， 2017， 48（12）： 1-18.

［2］黄梓宸， Sugiyama Saki. 日本设施农业采收机器人研究应用进展及对中国的启示［J］. 智慧农业（中英文）， 2022， 4（2）： 135-149.Huang Zichen， Sugiyama Saki. Research progress and enlightenment of Japanese harvesting robot in facility agriculture ［J］. Smart Agriculture， 2022， 4（2）： 135-149.

［3］Du Yuefeng， Fu Shenghui， Mao Enrong， et al. Development situation and prospects of intelligent design for agricultural machinery ［J］. Transactions of the Chinese Society for Agricultural Machinery， 2019， 50（9）： 1-17.

［4］Yasukawa S， Li B， Sonoda T， et al. Development of a tomato harvesting robot ［C］. 2017 International Conference on Artificial Life and Robotics， Miyazaki. 2017： 408-411.

［5］Takuya F， Shinsuke Y， Kazuo I. System development of tomato harvesting robot based on modular design ［C］. In： 2019 International Workshop on Smart Info-Media Systems in Asia： SS1-1. Tokyo， Japan： The Institute of Electronics， Information and Communication Engineers， 2019.

［6］于豐华， 周传琦， 杨鑫， 等. 日光温室番茄采摘机器人设计与试验［J］. 农业机械学报， 2022， 53（1）： 41-49.Yu Fenghua， Zhou Chuanqi， Yang Xin， et al. Design of tomato picking robot in solar greenhouse ［J］. Transactions of the Chinese Society for Agricultural Machinery， 2022， 53（1）： 41-49.

［7］Chen K， Yang J， Jiang S， et al. Multi-sensor fusion tomato picking robot localization and mapping research ［J］. Journal of Physics： Conference Series， 2023， 2477（1）： 012057.

［8］Jun J， Seol J， Son H I. A novel end-effector for tomato harvesting robot： Mechanism and evaluation ［C］. 2020 20th International Conference on Control， Automation and Systems （ICCAS）. IEEE， 2020： 118-121.

［9］古炜豪， 秦广明， 周诗豪， 等. 基于双目定位的番茄采摘系统设计［J］. 中国农机化学报， 2016， 37（11）： 135-138.Gu Weihao， Qin Guangming， Zhou Shihao， et al. Design of tomato picking system based on binocular positioning ［J］. Journal of Chinese Agricultural Mechanization， 2016， 37（11）： 135-138.

［10］朱智惟， 单建华， 余贤海， 等. 基于YOLOv5s的番茄采摘机器人目标检测技术［J］. 传感器与微系统， 2023， 42（6）： 129-132.Zhu Zhiwei， Shan Jianhua， Yu Xianhai， et al. Target detection technology of tomato picking robot based on YOLOv5s ［J］. Transducer and Microsystem Technologies， 2023， 42（6）： 129-132.

［11］Van Henten E J， Van Tuijl B A J， Hemming J， et al. Field test of an autonomous cucumber picking robot ［J］. Biosystems Engineering， 2003， 86（3）： 305-313.

［12］Park Y， Seol J， Pak J， et al. Human-centered approach for an efficient cucumber harvesting robot system： Harvest ordering， visual servoing， and end-effector ［J］. Computers and Electronics in Agriculture， 2023， 212： 108116.

［13］张燕军， 吴华昕， 苏伟， 等. 气力驱动的黄瓜梗剪切装置设计与试验［J］. 中国农机化学报， 2021， 42（2）： 101-108.Zhang Yanjun， Wu Huaxin， Su Wei， et al. Design and experiment of pneumatic cutting device for cucumber stalk ［J］. Journal of Chinese Agricultural Mechanization， 2021， 42（2）： 101-108.

［14］Hu Xiaomei， W Chuan， Y Tao. Design and application of visual system in the Agaricus bisporus picking robot ［A］. 2018 International Symposium on Power Electronics and Control Engineering （ispece 2018）［C］. Bristol： Iop Publishing Ltd， 2019， 1187： 032034.

［15］王玲， 徐偉， 杜开炜， 等. 基于SR300深度相机的褐蘑菇原位测量技术［J］. 农业机械学报， 2018， 49（12）： 13-19， 108.Wang Ling， Xu Wei， Du Kaiwei， et al. Portabella mushrooms measurement in situ based on SR300 depth camera ［J］. Transactions of the Chinese Society for Agricultural Machinery， 2018， 49（12）： 13-19， 108.

［16］周云山， 李强， 李红英， 等. 计算机视觉在蘑菇采摘机器人上的应用［J］. 农业工程学报， 1995（4）： 27-32.Zhou Yunshan， Li Qiang， Li Hongying， et al. Application of computer vision in mushroom picking robot ［J］. Transactions of the Chinese Society of Agricultural Engineering， 1995（4）： 27-32.

［17］杨千. 平菇采摘机器人目标识别与定位控制关键技术研究［D］. 苏州： 苏州大学， 2020.Yang Qian. Research on key technology of target recognition and positioning control of pleurotus ostreatus picking robot ［D］. Suzhou： Soochow University， 2020.

［18］Hayashi S， Ganno K， Ishii Y， et al. Development of a harvesting end-effector for eggplants.［J］. Shokubutsu Kojo Gakkaishi， 2001， 13（2）： 97-103.

［19］Hayashi S， Ganno K， Ishii Y， et al. Robotic harvesting system for eggplants ［J］. Japan Agricultural Research Quarterly： JARQ， 2002， 36（3）： 163-168.

［20］Sepulveda D， Fernandez R， Navas E， et al. Robotic aubergine harvesting using dual-arm manipulation ［J］. IEEE Access， 2020， 8： 121889-121904.

［21］宋健， 王凯， 张晓琛. 茄子采摘机器人目标识别与测距方法［J］. 实验室研究与探索， 2015， 34（9）： 54-57.Song Jian， Wang Kai， Zhang Xiaochen. A target recognition and ranging method for eggplant picking robot ［J］. Research and Exploration in Laboratory， 2015， 34（9）： 54-57.

［22］苑进. 选择性收获机器人技术研究进展与分析［J］. 农业机械学报， 2020， 51（9）： 1-17.Yuan Jin. Research progress analysis of robotics selective harvesting technologies ［J］. Transactions of the Chinese Society for Agricultural Machinery， 2020， 51（9）： 1-17.

［23］李国利， 姬长英， 翟力欣. 果蔬采摘机器人末端执行器研究进展与分析［J］. 中国农机化学报， 2014， 35（5）： 231-236， 240.Li Guoli， Ji Changying， Zhai Lixin. Research progress and analysis of end-effector for fruits and vegetables picking robot ［J］. Journal of Chinese Agricultural Mechanization， 2014， 35（5）： 231-236， 240

［24］Avigad G， Salomon S， Kahani A， et al. Robotic fruit harvesting machine with fruit-pair picking and hybrid motorized pneumatic robot arms ［P］. US Patent： 11477942， 2022-10-25.

［25］彭艳， 刘勇敢， 杨扬， 等. 软体机械手爪在果蔬采摘中的应用研究进展［J］. 农业工程学报， 2018， 34（9）： 11-20.Peng Yan， Liu Yonggan， Yang Yang， et al. Research advances in the application of soft robotic grippers for fruit and vegetable picking ［J］. Transactions of the Chinese Society of Agricultural Engineering， 2018， 34（9）： 11-20.

［26］纪超， 冯青春， 袁挺， 等. 温室黄瓜采摘机器人系统研制及性能分析［J］. 机器人， 2011， 33（6）： 726-730.Ji Chao， Feng Qingchun， Yuan Ting， et al. Development and performance analysis on cucumber harvesting robot system in greenhouse ［J］. Robot， 2011， 33（6）： 726-730.

［27］陈子文， 杨明金， 李云伍， 等. 基于气动无损夹持控制的番茄采摘末端执行器设计与试验［J］. 农业工程学报， 2021， 37（2）： 27-35.Chen Ziwen， Yang Mingjin， Li Yunwu， et al. Design and experiment of tomato picking end-effector based on non-destructive pneumatic clamping control ［J］. Transactions of the Chinese Society of Agricultural Engineering， 2021， 37（2）： 27-35.

［28］錢少明， 杨庆华， 王志恒， 等. 黄瓜抓持特性与末端采摘执行器研究［J］. 农业工程学报， 2010， 26（7）： 107-112.Qian Shaoming， Yang Qinghua， Wang Zhiheng， et al. Research on holding characteristics of cucumber and end-effector of cucumber picking ［J］. Transactions of the Chinese Society of Agricultural Engineering， 2010， 26（7）： 107-112.

［29］刘继展， 李萍萍， 李智国. 番茄采摘机器人末端执行器的硬件设计［J］. 农业机械学报， 2008（3）： 109-112.Liu Jizhan， Li Pingping， Li Zhiguo. Hardware design of the end-effector for tomato-harvesting robot ［J］. Transactions of the Chinese Society for Agricultural Machinery， 2008（3）： 109-112.

［30］刘子娟， 费健， 付庄， 等. 仿生蛇嘴的机构原理与设计［A］. 2011年中国智能自动化学术会议论文集（第一分册）［C］. 中国自动化学会智能自动化专业委员会， 2011： 485-489.

［31］王毅， 许洪斌， 张茂， 等. 仿蛇嘴咬合式柑橘采摘末端执行器设计与实验［J］. 农业机械学报， 2018， 49（10）： 54-64.Wang Yi， Xu Hongbin， Zhang Mao， et al. Design and experiment of bite-model end-effector for citrus harvesting by simulating with mouth of snake ［J］. Transactions of the Chinese Society for Agricultural Machinery， 2018， 49（10）： 54-64.

［32］Quan Longzhe， Zhao Lin， Li Xinghui， et al. Design and test of multifunctional dragonfly claws form bio-mimetic end effector ［J］. Transactions of the Chinese Society for Agricultural Machinery， 2017， 48（8）.

［33］魏博， 何金银， 石阳， 等. 欠驱动式柑橘采摘末端执行器设计与试验［J］. 农业机械学报， 2021， 52（10）： 120-128.Wei Bo， He Jinyin， Shi Yang， et al. Design and experiment of underactuated end-effector for citrus picking ［J］. Transactions of the Chinese Society for Agricultural Machinery， 2021， 52（10）： 120-128.

［34］雷翔鹏， 刘业峰. 欠驱动多指机械手抓取能力分析与优化研究［J］. 控制工程， 2022， 29（4）： 730-737.Lei Xiangpeng， Liu Yefeng. Research and optimization design of grasping capability for under-actuated multi-finger manipulator ［J］. Control Engineering of China， 2022， 29（4）： 730-737.

［35］劉林， 苑进， 张岩， 等. 日光温室基质培生菜鲜质量无损估算方法［J］. 农业机械学报， 2021， 52（9）： 230-240.Liu Lin， Yuan Jin， Zhang Yan， et al. Non-destructive estimation method for fresh weight of substrate cultured lettuce in a solar greenhouse ［J］. Transactions of the Chinese Society for Agricultural Machinery， 2021， 52（9）： 230-240.

［36］彭红星， 邹湘军， 陈丽娟， 等. 基于双次Otsu算法的野外荔枝多类色彩目标快速识别［J］. 农业机械学报， 2014， 45（4）： 61-68， 75.Peng Hongxing， Zou Xiangjun， Chen Lijuan， et al. Fast recognition of multi color objects in Litchi field based on double Otsu algorithm ［J］. Transactions of the Chinese Society for Agricultural Machinery， 2014， 45（4）： 61-68， 75.

［37］Lin G， Tang Y， Zou X， et al. Guava detection and pose estimation using a low-cost RGB-D sensor in the field ［J］. Sensors， Basel： Mdpi， 2019， 19（2）： 428.

［38］Moallem P， Serajoddin A， Pourghassem H. Computer vision-based apple grading for golden delicious apples based on surface features ［J］. Information Processing in Agriculture， 2017， 4（1）： 33-40.

［39］Wang C， Tang Y， Zou X， et al. A robust fruit image segmentation algorithm against varying illumination for vision system of fruit harvesting robot ［J］. Optik， Jena： Elsevier Gmbh， Urban & Fischer Verlag， 2017， 131： 626-631.

［40］Wang C， Zou X， Tang Y， et al. Localisation of litchi in an unstructured environment using binocular stereo vision ［J］. Biosystems Engineering， San Diego： Academic Press Inc Elsevier Science， 2016， 145： 39-51.

［41］Ji W， Zhao D， Cheng F， et al. Automatic recognition vision system guided for apple harvesting robot ［J］. Computers & Electrical Engineering， Oxford： Pergamon-Elsevier Science Ltd， 2012， 38（5）： 1186-1195.

［42］Chen S W， Shivakumar S S， Dcunha S， et al. Counting apples and oranges with deep learning： a data-driven approach ［J］. Ieee Robotics and Automation Letters， Piscataway： Ieee-Inst Electrical Electronics Engineers Inc， 2017， 2（2）： 781-788.

［43］Shelhamer E， Long J， Darrell T. Fully convolutional networks for semantic segmentation ［J］. Ieee Transactions on Pattern Analysis and Machine Intelligence， Los Alamitos： Ieee Computer Soc， 2017， 39（4）： 640-651.

［44］吕小莲， 吕小荣， 卢秉福. 基于颜色信息的采摘西红柿识别方法［J］. 计算机工程， 2010， 36（11）： 178-179， 182.Lü Xiaolian， Lü Xiaorong， Lu Bingfu. Identification methods of picking tomatoes based on color information ［J］. Computer Engineering， 2010， 36（11）： 178-179， 182.

［45］Chaivivatrakul S， Dailey M N. Texture-based fruit detection ［J］. Precision Agriculture， Dordrecht： Springer， 2014， 15（6）： 662-683.

［46］Payne A B， Walsh K B， Subedi P P， et al. Estimation of mango crop yield using image analysis-segmentation method ［J］. Computers and Electronics in Agriculture， 2013， 91： 57-64.

［47］Luo L， Tang Y， Zou X， et al. Robust grape cluster detection in a vineyard by combining the AdaBoost framework and multiple color components ［J］. Sensors， Basel： Mdpi， 2016， 16（12）： 2098.

［48］李寒， 張漫， 高宇， 等. 温室绿熟番茄机器视觉检测方法［J］. 农业工程学报， 2017， 33（S1）： 328-334， 388.Li Han， Zhang Man， Gao Yu， et al. Green ripe tomato detection method based on machine vision in greenhouse ［J］. Transactions of the Chinese Society of Agricultural Engineering， 2017， 33（S1）： 328-334.

［49］Lü Qiang， Cai Jianrong， Liu Bin， et al. Identification of fruit and branch in natural scenes for citrus harvesting robot using machine vision and support vector machine ［J］. International Journal of Agricultural and Biological Engineering， 2014， 7（2）： 115-121.

［50］Sengupta S， Lee W S. Identification and determination of the number of immature green citrus fruit in a canopy under different ambient light conditions ［J］. Biosystems Engineering， 2014， 117： 51-61.

［51］张宏鸣， 付振宇， 韩文霆， 等. 基于改进YOLO的玉米幼苗株数获取方法［J］. 农业机械学报， 2021， 52（4）：221-229.Zhang Hongming， Fu Zhenyu， Han Wenting， et al. Detection method of maize seedlings number based on improved YOLO［J］. Transactions of the Chinese Society for Agricultural Machinery， 2021， 52（4）： 221-229.

［52］郭瑞， 于翀宇， 贺红， 等. 采用改进YOLOv4算法的大豆单株豆荚数检测方法［J］. 农业工程学报， 2021， 37（18）： 179-187.Guo Rui， Yu Chongyu， He Hong， et al. Detection method of soybean pod number per plant using improved YOLOv4 algorithm ［J］. Transactions of the Chinese Society of Agricultural Engineering， 2021， 37（18）： 179-187.

［53］彭紅星， 黄博， 邵园园， 等. 自然环境下多类水果采摘目标识别的通用改进SSD模型［J］. 农业工程学报， 2018， 34（16）： 155-162.Peng Hongxing， Huang Bo， Shao Yuanyuan， et al. General improved SSD model for picking object recognition of multiple fruits in natural environment ［J］. Transactions of the Chinese Society of Agricultural Engineering， 2018， 34（16）： 155-162.

［54］杜玉红， 董超群， 赵地， 等. 改进Faster RCNN模型在棉花异性纤维识别中的应用［J］. 激光与光电子学进展， 2020， 57（12）： 132-141.Du Yuhong， Dong Chaoqun， Zhao Di， et al. Application of improved Faster RCNN model for foreign fiber identification in cotton ［J］. Laser & Optoelectronics Progress， 2020， 57（12）： 132-141.

［55］Lin G， Tang Y， Zou X， et al. Guava detection and pose estimation using a low-cost RGB-D sensor in the field ［J］. Sensors， Basel： Mdpi， 2019， 19（2）： 428.

［56］Barth R， Hemming J， Van Henten E J. Angle estimation between plant parts for grasp optimisation in harvest robots ［J］. Biosystems Engineering， San Diego： Academic Press Inc Elsevier Science， 2019， 183： 26-46.

［57］Yu Y， Zhang K， Yang L， et al. Fruit detection for strawberry harvesting robot in non-structural environment based on Mask-RCNN ［J］. Computers and Electronics in Agriculture， Oxford： Elsevier Sci Ltd， 2019， 163： 104846.