果蔬采摘机器人系统的应用与发展

蒋先平，徐 灿，刘丰溥，吴玉发，薛坤鹏

（1.广东省现代农业装备研究所，广东 广州 510630；2.广东弘科农业机械研究开发有限公司，广东 广州 510555；3.华南理工大学，广东 广州 510641）

0 引言

随着国家乡村振兴战略的提出以及数字农业的快速发展，农业作为国民经济的基础产业，正在被互联网、大数据、人工智能等新科技进行重构和升级，人工智能已经成为农业发展的重要方向，农业机器人技术的研究成为现代农业装备发展最快的领域之一。果蔬采摘作业是果蔬生产链中最耗时、最费力的一个环节。采摘作业季节性强、劳动强度大、费用高，因此保证果实适时采收、降低收获作业费用是农业增收的重要途径。由于采摘作业的复杂性，采摘自动化程度依然很低，目前，国内果蔬采摘作业基本上都是人工进行，并且时间较为集中,其费用约占成本的50%～70%。随着人口的老龄化和农业劳动力的减少，劳动成本逐年提高，机器人代替人工的智能采摘将成为果蔬采摘的发展趋势。

1 采摘机器人系统发展现状分析

果蔬的生长环境存在差异，主要有果园环境、温室环境、室内种植环境、露天种植环境等，如图1所示。水果生长在不同的生产环境中，光照条件、肥料供给情况有所不同，不同的水果也会采用不同的种植方式，果蔬采摘机器人在这些环境中工作也会有很多变化。针对采摘作业的这些特点，多种采摘机器人被研发。

图1 四种生产环境中出现的作物

采摘机器人是基于多学科多领域技术融合的智能农业装备，主要由采摘机械臂、末端执行器、移动机构、视觉系统和算法等组成，具体涉及路径规划、机械设计、自动导航、视觉信息获取和视觉识别算法等技术。

1.1 采摘机械臂

采摘用机械臂与工业机械臂相比负载量较小，精度要求相对较低，直径较小，目前农业用机械臂还没有成熟的产品，采摘机械臂的分类众多，主要可分为多关节机械臂、直角坐标机械臂、球坐标机械臂、极坐标机械臂和柱坐标机械臂等。多轴机械臂有多个自由度，通常有3～6 个自由度，自由度越多，机械臂到达目标位置的构型越多，会相应增大硬件成本。机械臂的长度根据采摘范围确定，也可以结合可伸缩式移动机构来实现。

关节型采摘机器人具有良好的灵活性和高效率的工作模式，被广泛应用于采摘作业。东京大学HIROAKI 等[1]于2016 年开发的番茄采摘机器人，由电动式全方位底盘、UR5 通用6 关节机械臂、Sony的PS4 双目立体相机以及夹持扭转式2 自由度末端执行器组成，如图2 所示，可实现自然光下温室浅通道内的采摘作业，经过优化使每果的识别采摘周期从85 s 下降到23 s，但作业中会出现夹持失败、花萼受损和夹持多果而采摘失败的现象。

图2 关节型采摘机器人

笛卡尔型采摘机器人在特定的场合也有着较高的采摘效率和较好的稳定性，但笛卡尔机械臂灵活性不足且工作空间的限制较大，这也导致了采摘效率不高的问题。西北农林科技大学崔永杰教授团队研制的猕猴桃采摘机器人，一代机主要由移动平台、机器视觉、三自由度机械臂和具有两个手指的仿生末端执行器组成。该机械臂的采摘成功率为90%，采摘猕猴桃平均耗时为20 s/个，其实物如图3 所示。

图3 笛卡尔型采摘机器人

路径规划是机器人运动控制的基础研究领域，决定着其作业效率和运动性能。采摘机器人的路径规划是指综合考虑采摘需求和机器人性能,在关节空间或笛卡尔空间内得出指导机器人末端执行器运动并在运动中避免与障碍物发生碰撞的路径。合理的路径规划算法可以大大提高采摘的效率，国内外学者对此展开了深入的研究。多自由度机械臂的运动规划算法是采摘机器人实现高效、安全采摘的关键因素之一。机械臂在运动过程中的运动稳定性直接影响采摘过程中避障路径的准确性。张志勇等[2]设计了一种机器人手臂控制器来解决苹果采摘机器人的机器人手臂控制的稳定性问题。当机器人手臂进行空移运动时，采用基于正弦和斜坡函数的控制策略；而当机器人靠近苹果时，采用线性模型的二次最优控制策略。仿真结果表明，使用该控制器的机械臂可以稳定、平滑地到达目标果实附近，且时间小于等于2 s。华南理工大学张勤等[3]提出了一种果蔬模糊采摘方法，根据果蔬生长特点确定机械臂的大致姿态，并用于采摘目标，可以大大提高采摘效率。

大量的二维运动规划算法同时被应用于机械臂的运动规划算法，比如人工势场法[4]、蚁群算法[5]等。刘灵敏等[6]提出了一种基于决策系统的采摘多路径的优化方法，可以完善果蔬采摘机器人自主决策采摘的功能。其结合计算机视觉、模糊决策等方法，利用小波神经网络进行多次训练，实现了多目标的高精度预测，并在仿真和试验中与多种算法如蚁群算法、遗传算法比较，其效率有大幅提升。

由于农业条件存在多样、复杂的特点，目前国内外关于机械臂采摘果实的路径规划算法研究还停留在初步阶段，都还在规范的农业条件中如设施农业的条件下实现，真正能投入生产的应用极少，效率低下，适应性不高。另外，针对在同一空间范围内多个采摘目标的情况，以及注重机械臂的稳定性等问题的实际研究较少。针对采摘机械臂的路径规划问题，还存在着许多困难，如何在保证采摘安全的前提下高效、多目标、稳定地采摘，是在采摘机械臂的路径规划设计中应该考虑的问题。

1.2 末端执行器

末端执行器是机械臂采摘果实时与果实接触的机构，其性能的好坏不仅影响到采摘果实的效率，还影响到采摘果实的质量，而果实的质量直接影响到采摘作业的经济价值。因此，国内外学者对采摘机器人的末端执行器进行了深入和详细的研究，并研发了吸盘式、欠驱动式、两指式等多种末端执行器，用于机器人的采摘工作。

根据果蔬的采摘特点设计不同的末端执行器，日本久保田株式会社在柑橘采摘任务中，针对其采摘环境开发了一套合适的末端执行器，此套末端执行器在工作时，利用吸盘吸取目标，并将目标水果吸入罩子内，然后通过剪切操作将柑橘的果梗切断[7]，从而完成果实的采摘任务；华南农业大学陈燕等[8]设计了一款用于剪切串状荔枝的末端执行器。该执行器有剪夹一体的机械结构，应对荔枝等成簇状生长的树上果实，并对末端执行器的结构进行了动力学等相关分析，使得其不仅具有足够的剪切能力，还有足够的夹持负担能力，能够负担较重的荔枝果实串。在第一代机构实验中，平均的作业时间为2 s，并且在果实果梗直径5 mm 以下的情况下，采摘成功率均达到了100%；江苏大学尹建军等[9]设计了一款葡萄采摘末端执行器。该末端执行器采用欠驱动的设计，并有两指的结构，根据欠驱动的原理可以抓持果实并旋转，利用剪切机构将果实的果梗剪短，采用此种协同工作模式可以大大提高采摘成功率。通过试验可知，在采摘试验中，对50 串葡萄进行采摘动作，成功率可达100%，果实损伤率仅为5.2%，每次采摘动作时间为29.4 s。综合国内外的末端执行器发展情况，采摘机器人采摘的目标对象大多是类似葡萄、柑橘、番茄等体积较小的果实，并且这些果实都有脆弱易损的特点，在通过末端执行器采摘时会有对果实造成损伤的风险，从而造成经济损失；另外，对于柚子等大果的研究较少，此类果实难以用普通的末端执行器采摘成功。此外，无论是吸盘式的末端执行器，还是两指式的末端执行器，或是其他类别，由于其设计机构存在体积较大的问题，无法伸入果实或枝条密集的区域采摘单果，或在采摘的过程中难以保证不损伤其他果实等。广东省现代农业装备研究所和华南理工大学联合开发了番茄串采收机械手末端，此末端执行器尺寸小，单电机驱动夹剪同时能够矫正果梗姿态，有利于机器人采摘。如图4所示。

图4 番茄串采收机械手末端

1.3 移动机构

移动机构是整个采摘机器人的载体，其决定了采摘机器人的移动能力和负载能力，国内外学者对此进行了深入的研究。移动机构可分为软件部分和硬件部分。硬件部分大多参考现有车辆的运动底盘，结合采摘的实际情况，多种轮式、履带式和轨道式的移动机构被开发；软件部分需要借助传感器获取外部信息，如视觉传感器、激光传感器和热成像传感器等。根据获取的外部信息，规划自动导航算法，实现自主导航运动。在国外，荷兰瓦戈宁根大学[10]设计了一款甜椒采摘机器人，可以在商业温室地面轨道上进行全自动化采摘作业。其视觉传感器采用RGB 相机和TOF 相机，还设计了两款模块化末端执行器，可以根据不同的采摘任务进行切换，在试验中，单个果实的采摘周期为94 s。在国内，华南农业大学熊俊涛等[11]研发了多种水果采摘机器人的轮式移动机构，针对荔枝、柑橘等果实的实际生长场景，采用双目视觉系统，完善信息获取与信息处理，并对整个采摘机器人进行了系统的优化和改进，能够同时对单一果实或者成串、成簇果实进行自动采摘。在具体的采摘试验中，荔枝的采摘成功率为80%，柑橘的采摘成功率可达到85%，且果实的单次采摘平均耗时约为28 s。

综合国内外的采摘机器人的移动机构研究现状，目前的移动机构主要以设施农业为主要发展方向，当地面较为平坦或者可铺设合理的轨道时，移动机构可以有较好的运动效果。另外，应对于山地的采摘机器人研究较少，且其移动机构的研究也相应较少。例如我国的柚子农作物大都种植于丘陵地区，山地地形复杂，地势陡峭，且可供采摘机器人运动通过的空间狭小，现在的移动机构难以适应此类问题。即便是履带式的移动机构，也需要进一步优化和提升，使其具有更加完善的通过能力和爬坡能力，进而完成运动和运输果实的任务。

移动方式目前一般采用定步长移动，也就是移动一定距离停止，采摘再行驶的方式，还有就是边走边采的方式，主要根据果蔬生产特点确定采摘方式。

1.4 视觉系统

视觉系统是采摘机器人获取环境信息的关键部分，涉及到对周围环境的获取和目标果实的识别和定位，也是完成采摘任务的前提条件。性能稳定且高效的采摘机器人视觉识别系统，可以准确快速地检测识别到符合特征的目标果实，在获取目标果实的三维空间位置信息后，经过信息处理与计算，可以通过采摘机械臂将末端执行器送至目标果实处，进行高效精确地采摘作业。国内外很多学者都针对视觉系统展开了大量的研究，并取得了较好的成果。根据采摘机器人的视觉系统的硬件设备，可将其分类为单目识别系统、双目识别系统与混合识别系统；按照图像识别的方式分类，可将其分为传统的识别方式与基于机器学习的识别方式。

单目只能识别目标水果的颜色、形状和纹理特征。虽然简单、成本低，但是只能提供二维信息，而且光线的变化会影响成像结果。D’ESNON 等[12]使用一个B/W 相机检测水果的几何特征。EDAN 等[13]开发了一种多单目摄像机系统，它由两个B/W CCD摄像机组成，用于检测和定位田间西瓜。双目立体视觉利用颜色、形状和纹理特征识别水果，但需要对传感器进行标定，图像匹配非常耗时，而且在测量中，有一定的误差。SUN 等[14]设计了双目立体视觉方案，将两个摄像机间隔一定距离并形成一定角度，用两幅图像匹配同一场景。通过三角剖分得到水果对象的三维地图。XIANG 等[15]还研究了一种基于双目立体相机获取深度图的聚类番茄识别方法。在采集距离为300～500 mm 时，簇状番茄的识别准确率为87.9%。广东省现代农业装备研究所蒋先平团队与华南理工大学张勤团队融合人工智能和多传感器技术，共同研发了基于两套移动平台和双目视觉系统的番茄采摘机器人，采用基于深度学习的视觉算法，引导机械手臂完成识别、定位、抓取、剪切、放置的任务，是一个高度协同的自动化系统，采摘成功率可达90%以上，研制的两款采摘机器人（A 型、B 型）目前已进入优化与示范推广阶段。如图5 和图6 所示。

图5 番茄采摘机器人（A型）与双目立体摄像头

图6 番茄采摘机器人（B型）与双目立体摄像头

三维激光利用三维重建方法对目标果实进行定位，在光照变化的情况下获取水果的三维位置，但是需要处理复杂、庞大的图像数据。热成像利用目标水果与背景红外辐射的差异来识别目标水果，可用于不同光照条件下的目标果实检测，特别是在夜间效果更佳。由于叶片的物理结构和特性，比果实积累热量少，辐射速度快，有果实的植物冠层温度分布可用于果实检测[16]。BULANON 等[17]也使用热红外摄像机在白天和晚上检测柑橘。利用图像处理技术，根据热图中果实的最大温差，成功地分割出果实。BULANON 等[18]在前人研究的基础上，提出了一种改进的结合热图像和可见光图像的水果检测方法。光谱成像利用不可见波长提取的特征识别目标水果，虽然可以检测绿色或重叠的水果，但是成像处理非常耗时，传感器成本高。

1.5 视觉识别算法

识别算法是影响视觉识别系统性能的关键因素。大量的文献报道了各种各样的识别算法，都已经被用于机器人收获水果。这些识别方法可以分为无监督分类、监督分类。

无监督分类中常用的是K-means 聚类，它是一种广泛使用的无监督分类方法。它根据输入数据集之间的固有距离将它们分割成不同的簇，并使物体和各自簇中心之间的距离最小[19]。WACHS 等[20]使用热图像和彩色图像检测青苹果。采用基于L* a* b颜色空间的“a”和“b”通道的K-means 聚类[21]对两幅图像中的苹果进行分割。然后进行形态学操作和CHT 去除噪声，提高分类精度。

监督分类中，贝叶斯分类是一种基于贝叶斯定理的概率分类器，它根据先验知识和概率分布进行统计解释。贝叶斯分类器规则基于贝叶斯最小化风险、最小化概率误差或最大化后验概率[22]。CHINCHULUUN 等[23]分别基于色调、饱和度、值(HSV)色彩空间的‘S’和‘I’成分以及亮度(Y)和色度(IQ) (YIQ)色彩空间的‘S’和‘I’成分，使用贝叶斯分类器进行橘类图像分割。KNN 聚类是一种监督学习方法，广泛应用于分类和回归研究中。利用已有的训练样本将未知的特征向量分类为K 个最近邻中具有最常见属性的类。对K 个最近邻的多数投票用于分类[24]。KURTULMUS 等[25]利用KNN 聚类分类对不同水果进行分类。LINKER 等[26]使用KNN 分类器对青苹果进行分类。通过基于颜色和纹理信息的种子区域检测和生长区域检测，进一步改进了苹果表面检测结果，然后将每个区域的轮廓分割成圆弧，从而可以识别出苹果。

基于颜色、形状等特征的传统目标检测方法简单但精度低、鲁棒性差、速度慢；机器深度学习方法复杂，需要大量数据支持，但其精度高、鲁棒性好。基于机器学习的目标检测方法可以分为两类：One-stage 类型的目标检测算法和Two-stage 的目标检测算法，并且随着近年来计算机硬件与GPU 的快速发展，涌现了大批性能优异的目标检测算法，例如R-CNN、SSD、YOLO 等[27]目标检测算法。其中RetinaNet、YOLOv3 属于 One-Stage 的目标检测算法；Faster R-CNN、R-FCN、FPN、Mask R-CNN 属于Two-Stage 的目标检测算法[28,29]，这些算法可大幅提高视觉识别的鲁棒性和准确性。广东省现代农业装备研究所与华南理工大学张勤等分析了传统识别方法和基于深度神经网络的方法，结合两者之间优势，提出了基于YOLOv3 的番茄串识别定位方法。该方法需要先收集大量番茄串图片数据，构建番茄串的YOLOv3 模型；通过训练好的模型对番茄串和其果梗进行快速识别，完成果梗粗分割；在粗分割目标果梗基础上，采用K-means 聚类法、形态学、骨骼化等处理，提取果梗的骨骼线，确定采摘点图像位置，完成细分割；针对果梗纤细导致其深度获取质量差问题，提出大邻域二次均值法，通过对目标果梗区域有效深度进行二次均值处理，得到采摘点图像坐标和深度信息。本算法在广东省现代农业装备研究所与华南理工大学合作研发的串收番茄采摘机器人中已得到成功应用，经过试验测试，果实识别率达到94.80%，果梗识别率达到97.78%。

2 挑战与未来发展方向

采摘机器人在多种果蔬采摘作业中有良好的表现，但是还未能达到高效、准确采摘的要求，在果蔬采摘机器人的发展过程中依然存在着多种挑战：①果蔬采摘机器人的视觉定位系统精度不高。成熟果实与非成熟果实的区别度不高、枝叶等障碍物的遮挡、光照条件的影响以及果实与茎叶的缠绕等环境因素，影响了视觉定位系统的辨识准确率。采摘机器人的视觉定位系统是影响采摘成功率的关键因素。②果蔬采摘机器人的避障运动成功率低。在瓜果蔬菜的采摘过程中，果蔬采摘机器人处于一个非结构化的环境，果实与枝叶的生长具有差异性和一定的随机性，不仅果实与茎叶有一定的重合，采摘机械臂的灵活性和自由度也是采摘机器人进行避障运动的关键因素。此外，图像处理与分割算法的成功率、机械结构的合理性、运动控制系统的稳定性、运动规划算法的高效性都会影响果蔬采摘机器人的采摘成功率。③果蔬采摘机器人的经济效益有待提高。受到设备与作业环境的影响，采摘机器人的采摘效率较低，与人工采摘效率相比依然没有明显的优势。另外，果蔬采摘机器人的制造与维护成本较高，与普通的工业机器人相比，果蔬机器人的作业环境更加多变，其机械结构、软硬件设备等多为非标定制设备，成本高，研发周期长，维护成本高。如何缩短研发周期，减少成本与维护费用，提高采摘效率，增加作业收益，依然是目前最大的挑战之一。

为了应对果蔬采摘机器人的多种挑战，未来果蔬采摘机器人的主要发展方向可分为以下6 点：①提高果蔬采摘机器人视觉识别系统的感知能力。改进传感技术，研究多传感器融合的高精度图像处理算法，提高对目标果实的辨识精度与定位精度，可以利用RGB-D 摄像头与其他形式的传感器配合，获取采摘目标的多重信息，利用深度学习或其他先进算法优化处理，进一步提高果蔬采摘机器人对采摘环境的感知能力。②提高果蔬采摘机器人运动规划系统的避障能力与采摘效率。在非结构环境下，采摘机器人根据环境与果实的特点，以视觉系统获取的信息为基础，实时规划可行的无碰撞运动路径，并通过优化提高采摘效率。另一方面，根据特定的采摘要求，在对采摘机器人的结构设计方面，进行运动学与动力学建模，并通过物理仿真分析系统优化模型参数，改进采摘结构，进一步提高采摘成功率。③研发可拼接的功能性模块。在不同的采摘任务背景下，通过更改特定的功能模块，提高采摘机器人的可拓展性，可大幅缩短研发周期，降低研发成本与维护成本。④开发机械手末端库。不同季节不同的果蔬选用合适采摘末端，提高采摘机器人的利用率。⑤作业环境的宜机化。农机与农艺相融合，研究果蔬怎样塑形以适应机器人采摘、制定适应机器人采摘的果蔬规范化种植标准、温室大棚建造标准等。⑥人机协作。如果操作者能提供一定程度的支持，在困难的采摘区域，如枝叶遮挡比较严重的区域等，辅助探测果实和茎杆的位置和方向，并实时纠正机器所犯的错误，系统的总体速度和精度可能会得到一定的提高。

3 结语

本文对果蔬采摘机器人的应用进行了综述，从采摘机械臂、末端执行器、移动机构、视觉系统和算法等多个角度，或单方面，或总体对采摘机器人进行了全面而细致的研究。在平原地区的大规模种植业与设施农业中，由于其环境的规范化，相应的采摘机器人研发工作取得了突破性的进展，并有部分采摘机器人得以推广和应用。采摘效率是机器人的一个重要指标，现阶段的采摘机器人由于过分追求采摘速度，依然存在采摘过程中损伤果实的问题，果实采摘后还需处理和筛选才能符合上市的基本条件；对于南方丘陵山地及小面积设施农业种植区域，采摘机器人仅在单个方面有突出的发展势头，例如视觉系统与算法的研发，但整机仍停留在实验室的试验阶段，由于其受制于成本、技术和作业环境等诸多因素，未能大规模商业化应用。随着果蔬种植规模化、宜机化的推进，采摘机器人的研发前景将会更加广阔，但同时由于果蔬品种繁多、形态各异、环境复杂，种植业发展水平也良莠不齐，导致采摘机器人的研发难度进一步提升，这也是制约采摘机器人进一步发展的重要影响因素。