温室黄瓜采摘机器人系统设计

张帆 张帅辉 张俊雄 袁挺 李伟

|摘要|为了提高黄瓜采摘智能化水平、降低人工采收劳动强度，设计了温室黄瓜采摘机器人系统。阐述了机器人系统硬件构成，提出了系统控制方案。针对黄瓜物理特性差异大、果皮脆嫩易损伤、果实叶片相互遮挡等问题，设计了具有果实遮挡探测功能的柔性采收末端执行器，可实现对果实的无损抓持和对果梗的准确切割。针对黄瓜采摘环境光照复杂多变和近色系果实目标识别问题，提出了基于光谱图像的近色系黄瓜识别方法，可实现自然环境下果实与背景的有效分割。经机器人采摘作业测试，系统整体性能及各模块运转良好，具备一定的实用和推广价值，为农业机器人进入自然环境作业提供一种借鉴手段与实现模式。

引言

黄瓜是设施农业生产中主要作物之一，设施栽培面积约占其总种植面积的47.85%[1]，收获及采后处理时间约占黄瓜生产全部时间的50%，且收获过程枯燥、繁重，工人需经受比室外温度高30%、湿度高90%的恶劣作业环境的考验。为了减轻工人劳动强度、提高采收作业的质与量，设计开发黄瓜采收作业机器人势在必行。

20世纪60年代，日本、荷兰、美国、西班牙等国家开始研究果蔬自动化采摘相关技术和装备，采摘对象涉及草莓、黄瓜、番茄等果蔬品种。日本的Kondo等[2-3]研制的黄瓜采摘机器人主要由视觉传感器、六自由度机械臂、末端执行器和移动装置组成，采摘成功率约60%，单果采摘平均耗时16 s;荷兰的Van Henten等[4-5]研发的黄瓜采摘机器人，移动平台以0.8 m/s速度行走于温室铺设的轨道，采摘机械臂采用三菱七自由度工业机械臂，采用夹持方式夹紧果实，用高压电极切断果梗，果实识别率为95%，采摘成功率为80%，单果采摘平均耗时45 s。此外，草莓采摘机器人[6-7]、甜椒采摘机器人[8-10]、番茄采摘机器人[11-13]、水果采摘机器人[14]等试验样机也被研制出来。尽管采摘机器人具有较高市场前景，但由于作业环境和作业对象的复杂性，尚未实现产业化应用。

技术难点

大部分采摘机器人能够实现基本的采摘功能，但在果实识别、自主导航、避障规划及采摘末端等方面仍存在较大的提升空间。

近色系果蔬识别难点

黄瓜果实与植株同为绿色，属近色系，不宜通过颜色信息区分目标与背景或判断果实成熟度。解决近色系果实目标识别成为黄瓜采摘机器人难点问题之一。本文提出了基于光谱图像的近色系黄瓜目标识别方法，根据近红外图像中黄瓜果实与茎、叶的不同表达，利用不同光谱图像内作物灰度分布差异进行融合，可实现自然光照环境下黄瓜果实与背景的有效分割识别，解决了果实特征提取、品质成熟度判定、目标信息空间匹配等问题。

果蔬精准采收难点

黄瓜果实脆嫩、挂果随机，特别存在果实相互遮挡、茎叶遮挡果实等情况，这直接影响采摘成功率、果实破损率[12]。解决果实采摘信息遮挡探测与柔性抓取也成为黄瓜采摘机器人难点问题之一。本文提出了具有探測果实采摘遮挡信息功能的黄瓜采收柔性末端执行器，主要由两个气动软体关节组成，在保持一定柔性的同时也兼顾刚度，可实现黄瓜采摘机器人在复杂多变的采摘作业环境中对果实的准确、无损伤抓持。

系统构成

黄瓜采摘机器人作业于温室非结构环境下，是一种融合多传感技术的高度协同自动化系统，主要由自主移动平台、视觉伺服系统、采摘末端执行器组成，可实现黄瓜种植垄间的自主导航运动，完成黄瓜果实信息获取、成熟度判别、遮挡信息判断，进而确定收获目标的三维空间信息，引导六自由度机械臂与柔性末端执行器完成果梗切割位置探测和柔性自适应抓取采收，最终实现黄瓜作物的机器人化自主采摘作业，其硬件构成如图1所示。

自主移动平台

经调研，温室路面不平整，地面存在1～3 cm的起伏及部分角度为10～20°的小坡，轮式移动平台在行走过程中易颠簸且带入泥沙，为此采用越野履带式移动平台可有效提升车体平稳性。导航摄像头安装于移动平台前端，实时获取导航信息，通过差速控制机器人行走，平台续航时间2 h，导航精度5 mm[16]。

视觉伺服系统

视觉伺服系统由双目系统和采摘机械臂组成。双目系统获取采摘信息，对采摘环境和采摘目标进行实时感知及实时决策。采摘机械臂进行路径规划，将采摘末端执行器运送到采摘点，并通过手眼协调，提高采摘机器人对复杂环境的适应能力。

采摘末端执行器

采摘末端执行器具有夹持果实、推开遮挡叶片、果梗检测和剪切果梗的功能，其机械结构根据黄瓜的形状特点进行设计，两个气动柔性手指构成的夹持机构、旋转气缸构成的剪切机构降低了果实损伤率、提高了采摘成功率。

控制原理

温室黄瓜采摘机器人由视觉信息获取系统、采摘信息处理系统、运动执行系统3大模块组成信息获取与控制系统结构，如图2所示。

机器人系统信息传输流程，根据信息内容，又可分为导航信息系统与采摘信息系统两大模块。

导航信息系统通过导航摄像机实时获取路面图像信息，将图像数据传输至中央控制器。中央控制器调用导航控制程序，计算获得车轮电机驱动器转向所需的导航控制参数，最终通过控制车轮电机转速实现导航转向。

采摘信息系统通过双目摄像机采集黄瓜图像，中央控制器调用采摘控制程序对图像进行处理，计算黄瓜采摘点三维坐标信息，并发送至机械手控制器。机械手控制器将一部分信号转换为机械臂关节驱动器可识别的运动参数，由机械臂关节电机完成目标三维定位;另一部分信号由末端执行器单片机转换为电平信号，发送至末端执行器电磁阀，超声传感器检测到采收位置，通过末端执行器气缸的张合动作完成果梗切割与夹持。

机器人采摘信息系统发现可采摘黄瓜后向导航信息系统发送停车指令，在移动平台停止前行后，进行后续采摘动作流程。

采摘流程

机器人采摘流程如图3所示，系统启动后，机器人自主循线行走，开启果实信息获取系统的单个摄像机动态搜索视场内适宜采摘的黄瓜果实，检测到后立即停车，通过双目立体测距算法对采摘目标进行初定位。机械臂引导末端执行器运动至初定位位置后，推挡机构往上运动，推开叶片，使果实和果梗充分可见，同时红外传感器进行实时监测，进行采摘点二次定位。随后由柔性手指抓取黄瓜果柄，切刀切断果梗。最后，机械臂引导末端执行器运动至果实筐上方，释放果实，机械臂复位，完成一个采摘循环。之后采摘机器人将继续循线行走，重复执行采摘流程，直到行走至终点停止。

末端执行结构设计

黃瓜采摘末端执行器根据果实形状、表面特性进行设计，由叶片推挡机构、果梗剪切机构、果梗检测机构、直线导轨滑台和软体手几部分组成（图4），具有自适应果梗剪切、无损伤抓持和去叶片遮挡3大功能，末端执行器工作情况如图5所示。

自适应果梗剪切功能

在理想状态下，黄瓜果实形状为细长圆柱状，因重力作用果实自然垂下，果梗位于果实最上端。而实际情况是果实粗细不一、长短各异，果梗位置无法准确定位。为适应不同长度果实的果梗准确切割，将柔性手指、机械臂末端、直线导轨基座固定连接，再将果梗检测机构、果梗剪切机构、直线导轨滑台固定连接，柔性手指与剪切机构之间的位置关系随直线导轨的移动而变化。该设计可实现非结构环境下黄瓜果实的仿形，柔性手指自适应夹持黄瓜重心位置，直线导轨向上移动，果梗检测机构检测果梗，直至导轨将剪切机构运动至果梗位置，用摆动气缸刀片切断果梗，完成果实与植株分离。

无损伤抓持功能

适合机器人采摘的黄瓜果实，重量约100～250 g、直径约30～40 mm。黄瓜表皮娇嫩、表面凹凸不平，夹持时因表面凸起处受力大而导致局部破损。采用软体手指夹持黄瓜，在保持一定柔性的同时也兼顾刚度，能有效贴合果实表面，果实表面受力均匀，以实现无损夹持。

去遮挡功能

除黄瓜果实形态不一之外，叶片对黄瓜果实的遮挡问题也会大幅降低果梗剪切的成功率。针对该问题团队设计了叶片推挡机构，可随导轨上升、推开叶片，使果梗部分清晰可见，提高果梗检测机构的检测成功率和果梗剪切机构的剪切成功率，进而提高采摘成功率。

视觉系统设计

黄瓜采摘机器人视觉系统由视觉系统硬件和视觉识别算法构成，具有果实识别和果实三维定位功能。视觉系统硬件包含人工光源和双目近红外相机两部分（图6），近红外相机拍摄固定波段的光谱图像用于黄瓜识别，进而根据双目测距原理获得黄瓜三维空间位置，有效解决自然环境下多变光照适应问题和近色系黄瓜识别问题。

解决光照多变适应问题

由于温室光照条件复杂多变，存在背光、逆光和侧光等多种光照情况，使用卤素射灯作为主动光源，减少了自然强光照射、叶片阴影噪声等不确定因素的影响，使得输入图像更加稳定，更有利于目标信息的有效感知。

解决近色系果实识别问题

黄瓜颜色与背景颜色为近色系，普通彩色图像不利于分割果实和背景，利用果实和茎叶对不同波段的光谱反射率不同转化为图像上的灰度差异，采用基于多光谱图像的融合技术，利用其在时空上的相关性和信息上的互补性，可进一步增加图像分割、目标提取的精确性、可靠性和对外界环境的抗干扰能力。黄瓜采摘果实视觉识别算法中，针对690 nm和830 nm黄瓜光谱图像特征，采用归一化线性极差（NRGD）进行图像融合，经图像增强、图像分割、阈值优化、噪声处理后，可将黄瓜果实与背景成功分离（图7）。

系统参数

黄瓜采摘机器人系统经第三方检测，其技术指标如表1所示。实验结果表明黄瓜采摘机器人视觉系统定位最大误差为-7 mm，X轴和Y轴定位误差均在±2 mm范围内，该误差远小于果实直径及末端执行器手指开度，可满足采摘需求。相比于国外同类机器人，本设计的黄瓜采摘机器人在识别成功率、采摘成功率和单果耗时3个方面都具有一定优势。

结论

本文针对温室环境下黄瓜机器人采摘所面临的近色系果实识别、光照条件多变、果实形态不一、果实叶片相互遮挡等问题，设计了温室黄瓜采摘机器人并对其进行了系统集成，通过第三方检验机构检测，机器人视觉识别与定位、移动平台自主导航、机械臂空间运动、末端执行器抓持与切割等环节执行状况良好，技术指标满足机器人采摘示范应用要求，为智能化装备真正进入自然采收环境奠定了技术基础。

参考文献

[1] 丰收邦.直击：全国5900万亩设施蔬菜主产区分布情况！[DB/OL]. 2018-01-17， https：//www.sohu.com/a/217341748_750909.

[2] Arima S，Kondo N.Basic studies on cucumber harvesting robot[J].Proceedings of ARBIP95， Japan Society of Agricultural Machinery，1995（1）：195-202.

[3] Arima S，Kondo N.Cucumber Harvesting Robot and Plant Training System[J].Journal of Robotics and Mechatronics，1999，11（3）：208-212.

[4] Henten E J V， Hemming J， Tuijl B A J V，et al.An Autonomous Robot for Harvesting Cucumbers in Greenhouses[J].Autonomous robots，2002，13（3）：

241-258.

[5] Henten E J V， Tuijl J V，Hemming J，et al.Field Test of an Autonomous Cucumber Picking Robot[J].Biosystems Engineering，2003，86（3）：305-313..

[6] Qingchun F， Xiu W ， Wengang Z，et al.A New Strawberry Harvesting Robot for Elevated-trough Culture[J].International Journal of Agricultural and Biological Engineering，2012，5（2）：1-8.

[7] Feng G，Qixin C，Yongjie C，et al.Fruit location and stem detection method for strawberry harvesting robot[J].Transactions of the Chinese Society of Agricultural Engineering，2008.

[8] Lehnert C， Sa I，Mccool C，et al.Sweet pepper pose detection and grasping for automated crop harvesting[C].2016 IEEE International Conference on Robotics and Automation （ICRA）. IEEE， 2016.

[9] Vitzrabin E，Edan Y.Changing Task Objectives for Improved Sweet Pepper Detection for Robotic Harvesting[J].IEEE Robotics and Automation Letters，2017，1（1）：578-584.

[10] Hemming J ， Bac C W ， Van Tuijl B A J， et al. A Robot for Harvesting Sweet-Pepper in Greenhouses[J]. International Conference of Agriculture Enginneering， 2014：1-8.

[11] 刘继展，李萍萍，倪齐，等.番茄采摘机器人真空吸盘装置设计与试验[J].农业机械学报，2010，41（10）：170-173+184

[12] 梁喜凤，金超杞，倪梅娣，等.番茄果实串采摘点位置信息获取与试验[J].农业工程学报，2018，34（16）：163-169.

[13] Zhao Y ， Gong L ， Liu C ， et al. Dual-arm Robot Design and Testing for Harvesting Tomato in Greenhouse[J]. IFAC-PapersOnLine， 2016， 49（16）： 161-165.

[14] Chiu Y C ， Chen S ， Lin J F . Study of an Autonomous Fruit Picking Robot System in Greenhouses [J].Engineering in Agriculture Environment & Food，2013，6（3）：92-98.

[15] Bac C W ， Hemming J ， Van Tuijl B A J ， et al. Performance Evaluation of a Harvesting Robot for Sweet Pepper[J]. Journal of Field Robotics， 2017， 34（6）：1123-1139.

[16] 紀超，冯青春，袁挺，等.温室黄瓜采摘机器人系统研制及性能分析[J].机器人，2011，33（6）：726-730.

*项目支持：国家高技术研究发展计划（863计划）资助项目“设施农业装备的数字化设计与智能控制技术”（编号2013AA102406）。

作者简介：张帆（1992-），女，云南楚雄人，博士研究生，主要从事机器视觉、农业机器人、机器学习研究。

**通信作者：袁挺（1981-），男，浙江舟山人，副教授，博士，主要从事机器视觉、农业机器人、农业智能装备研究。

[引用信息]张帆，张帅辉，张俊雄，等.温室黄瓜采摘机器人系统设计[J].农业工程技术，2020，40（25）：16-20.