祝前峰,陆荣鑑,鲁 峻,李奉顺
(南京林业大学机械电子工程学院,江苏 南京 210037)
荔枝是我国“南国四大果品”之一,无论是种植面积还是产量,我国荔枝均居全球首位。2017年我国大陆地区荔枝种植面积占全球种植面积的52.60%,而产量则占全球总产量的61.34%;2018年荔枝总产量首次突破300万t大关,较2017年增幅 54.82%;2020年荔枝种植面积约54.03万hm2,荔枝总产量255.35万t,较2019年增幅38.15%。受限于荔枝对温度和湿度等环境的要求,我国荔枝种植主要集中在广东、广西、海南、福建、四川和云南六个省份,其中广东和广西无论是种植规模还是产量占全国的比重均超过20%。另外经过不断的发展,荔枝的品种不断得到改良,妃子笑和黑叶种植居多,由华南农业大学陈厚彬研究员和苏钻贤技术员等人通过大量调查分析而成的我国荔枝产量与主要荔枝产区分布情况如图1所示。由此可见荔枝已经成为我国南方重要的经济作物,每年的产量均在200万t以上,仅种植环节所产生的直接产值就可以达到280多亿元,而从事荔枝产业的从业人员人数更是超过100多万,尤其是广东、广西和海南等欠发达县市的农户依靠荔枝种植实现了脱贫致富、乡村振兴[1-8]。
图1 我国荔枝产量与主要荔枝产区分布
荔枝采摘期较短,如果成熟荔枝得不到及时采摘,荔枝的含水量将逐渐下降,表皮发生褐变。因此,对成熟荔枝的及时、无损、高效地采收至关重要,其对后续荔枝的冷藏、运输、加工和销售都有直接影响[9]。现今人工采摘仍是荔枝采收的主要形式,果农依靠双手或者借助辅助工具完成采摘,但随着城镇化的不断发展,越来越多人选择进城务工,造成了农忙时节劳动力匮乏的现象,人工成本急剧增长,据统计采摘支出约占生产总成本的50%~70%,因此发展机械化采收具有较强的实用价值和现实意义。机械化采收克服了传统采摘劳动强度大、人工成本高、采摘效率低、工作环境差等缺陷,是将来果实采摘的发展趋势[10-13]。
我国最主要的荔枝采摘方式仍是人工采摘,人工采摘依靠果农双手折断或者用剪刀剪断荔枝的结果母枝,实现果实串与树枝的分离进而完成采摘,而高处的果实常常需要借助梯子或辅助装置完成采摘,具有一定的危险性,如图2所示。
图2 人工采摘荔枝
为了降低从业人员的劳动强度,科研人员设计一些辅助人工采摘装置,如电动式修枝机和气动式修枝机在果实采摘中的应用[14-15],自动修枝机结构示意图如图3(a)所示,按下开关内部构件驱动动刀片旋转,而定刀片不动,果枝剪断后复位。剪枝机在果柄是枝干类的水果如荔枝、龙眼等果类的应用大大降低了果农剪切结果母枝时体力的消耗,降低了劳动强度,提高了采摘效率。例如,杨鑫霖等设计了一种可伸缩同步剪夹式荔枝采摘装置如图3(b)所示(专利号为201822026676.4)[16],该设计适用于采摘高处的荔枝,将采摘杆伸长至结果母枝下,按下活动把手通过牵引装置实现夹紧机构和剪切机构同时工作,在夹紧的同时进行剪切,待到剪切完成后果实串仍被夹住,在一定程度上实现了无损采摘;再如李晓星等设计了一种荔枝采摘器如图3(c)所示(专利号为2018206453 36.7)[17],活动把手与拉绳相连,拉绳通过两个定滑轮,拉绳末端与左旋转刀片尾部相连,而右刀片固连在支撑架上,按下活动把手实现左右刀片的相对运动完成荔枝果串采摘,刀具下设有网兜兜住被剪切下的荔枝串。
图3 人工采摘荔枝辅助装置
传统人工采摘劳动强度大、人工成本高、采摘效率低、工作环境差,在一定程度上限制了荔枝产业的发展。对荔枝高效、无损采摘的需求推动了机械式采摘的不断发展,许多研究人员发明设计了多款荔枝采摘机械,其动力源由电动机、汽油机或柴油机提供。
姜焰鸣等[18]研发设计了一种滚筒梳剪式荔枝采摘机,如图4所示。该采摘机由汽油机提供动力源,通过传动装置控制空心套筒的旋转,而套筒上对称分布有4个齿形部件,如图4(b)所示,每个齿形部件又由齿形板和橡胶板构成,如图4(c)所示。在图4(c)中1为齿形板,其齿形两侧皆开有刀刃,2为橡胶板。采摘时,果农双手持此机构靠近果实串,驱动开关套筒旋转,橡胶板将较粗的枝条弹离梳理装置,使得较细的枝条和结有果实的枝条进入橡胶板的齿间,随着套筒的进一步旋转,无果细枝进一步被梳理出去而有果枝条经过齿形板的齿间被刀刃切割,果实落入下方的收集装置,完成整套采摘流程。该采摘机械在一定程度上会对周边枝叶产生破坏且难以保证果实的完好率,其结构有待进一步改善。
图4 滚筒梳剪式荔枝采摘机
李竞、岑光杜等[19-20]研发设计了机电一体荔枝采收机,如图5所示。该机可前后移动和上下升降,通过垂直旋转轴可实现夹持、剪切和传送结构在水平方向上的转动,通过蜗轮蜗杆传动控制夹持、剪切和传送结构在竖直面内的俯仰运动,整机工作范围较广。设计的夹持机构如图5(b)所示,由电动机、夹具、连杆、丝杠、丝杠螺母副和定位板构成,电机和夹具固连在定位板上,电机驱动丝杠旋转进而带动丝杠螺母副前后运动,丝杠螺母副上装有连杆,连杆驱动夹具实现夹具的夹紧和松开;设计的剪切机构如图5(c)所示,该结构由两个电机组成,一个通过带传动控制刀具的旋转,另一个电机与丝杠相连,丝杠上装有丝杠螺母副,丝杠螺母副与刀具移动架相连,通过电动机的旋转控制刀具的前后移动;设计的传送机构如图5(d)所示,传送机构由电动机、收集框、支撑臂、滑轮、拉绳和滑块等组成,滑块与收集框焊接在一起,通过一对滑轮和滑块实现收集框的升降。整机工作流程是先调整采收机位置靠近果串,夹持机构夹住结果母枝,然后驱动剪切结构完成切断果梗,传送机构运动到相应位置,夹持机构松开,果实落入采收框中,完成采摘。
图5 机电一体荔枝采收机结构简图
李斌等[21]基于荔枝树枝能量传递特性设计了一款去梗式振动荔枝采摘机,如图6所示。该机由背持架、汽油机、软轴、手持杆和末端采摘器等组成,如图6(a)所示,末端采摘器由定梳排、动梳排和偏心装置组成,如图6(b)所示。当汽油机启动后经过离合器,将运动传递给软轴,软轴带动偏心装置偏转,实现动梳排的左右摆动,而定梳排对果实串起到定位限位作用,动梳排的左右摆动击打果实串,当果实串的惯性力大于与果梗相脱离的阻力时实现果-梗分离,完成采摘。经试验调整相应的工作参数、定梳排间距和动梳排摆角,荔枝的采摘效率可以达到 4.1 kg/min,破损率为 5.05%。
图6 动-定梳排组合式荔枝采摘机构
李斌、李君等[22-23]在之前振动荔枝采摘机的研究基础上,设计了新型梳排振动式荔枝采摘机,如图7所示。该机由动力供应装置、移动行走机构和采摘机构等组成,其采摘机构由曲柄双摇杆和柔性交错梳排组成。机器启动液压马达带动曲柄双摇杆结构运动,两摇杆左右往复摆动,带动安装于左右轴上的柔性交错梳排组运动,在一定摆动频率和力的作用下完成枝条与果梗分离,实现荔枝采摘。李斌等经过大量试验得到最优参数下荔枝采摘的效率为1.94 kg/min,破损率为3.14%。
图7 交错梳排式荔枝采摘机
机械式采摘仍是半自动化采摘,只不过人不是采摘的主力,动力源由机器提供,但果农仍要花费大量精力投入其中,如机器依靠人眼进行识别定位、人手持或驱动机器到达采摘点、依靠人完成果实的收集和搬运等等,因此需要研制更加自动化、智能化的采摘机器人,进一步把果农从繁重的体力劳动中解放出来。现在荔枝采摘机器人的研究主要集中在机器人机器视觉的研究、机器人运动控制系统的研究和末端执行器的研究与设计等方面[24-25]。
荔枝采摘机器人采摘的关键是准确识别出荔枝串并给机械手提供精确的采摘点空间位置,机器视觉承担了此项重要任务[26]。大量的研究人员不断改进视觉识别定位算法,加入神经学习网络等以期降低内在和外在因素的干扰,提高识别的准确性、响应速度和定位的精确性。熊俊涛等[27]针对荔枝采摘过程中产生的扰动设计了振动实验平台,模拟采摘时因机械手本身或自然环境产生振动机器视觉对扰动荔枝的识别定位,研究人员对双目摄像机控制系统进行二次开发,定时采集图像,0.25 s采集一次共采集10次,将所有采集的照片由RGB颜色空间转化为HSI颜色空间,采用FCM法分割出荔枝的果梗与果实,利用Hough变化直线拟合确定荔枝果梗采摘区域,最后确定距离果梗上端点1/3处为采摘点,计算同一串果实所有图像采摘点的平均值,最后三维重建确定采摘点空间坐标,研究人员通过大量试验分析此方法空间定位的深度误差小于 6 cm。陈燕等[28]提出了荔枝采摘机器人在大视场下对荔枝果实的识别和预定位,所谓大视场即双目相机的可视范围大大增加,不局限于单串荔枝的识别定位,研究人员想要实现采摘机器人在工作时识别多串荔枝的空间位置信息用来指导机械臂的运动轨迹规划,寻找最优采摘路径,大大提高采摘的效率;陈燕等在他人研究基础上设计了具有34层密集卷积层的荔枝串检测网络YOLOv3-DenseNet34,以左目相机的识别结果作为模板,在右目相机识别的图像上做荔枝串的模板匹配工作,将得分最高的点作为匹配点,由于计算量巨大且容易出现匹配错误,提出了同行顺序一致性约束的匹配方法,最后根据双目机器视觉系统三角测量的原理来计算出荔枝串的空间坐标;陈燕等经过大量的试验分析得出机器人在3 m的检测距离下,其预定位与实际位置的最大绝对误差为36.602 mm,其与实际位置的平均绝对误差为23.007 mm,与实际位置平均相对误差为0.836%,基本满足预定位要求。莫宇达等[29]基于 Sylvester 方程变形将Eye-in-Hand眼手标定法应用于荔枝采摘机器人的机器视觉中,由于受到外界环境、机械臂本身和前一次采摘完产生的扰动等多因素干扰,实际采摘点将发生变化不会停留在图像采集时的瞬间,莫宇达采用Eye-in-Hand眼手标定可在大范围搜索荔枝串,在一定距离内实时测量荔枝串采摘点的空间位置,经过大量的试验荔枝串采摘成功率为 76%,在视觉系统准确识别并定位采摘点后的成功率为92.3%。
机器人运动控制系统的研究现已紧密地与机器视觉相关联,机器视觉为轨迹规划提供目标,轨迹规划在一定程度上依赖于机器视觉。采摘对机械臂运动控制提出了快速、准确、平稳、高效的要求,许多研究人员朝着这个方向不断努力。赵庆波等[30]将模糊PID算法引入采摘机器人机械臂关节角度的调整,从而提高了控制系统的稳定性和准确性。滕举元等[31]针对六自由度采摘机器人进行了运动轨迹规划和仿真,基于SimMechancis运动仿真系统进行了摆线轨迹规划的仿真,首先在Solidworks三维建模导入MATLAB中得到仿真模型,利用Simulink的S函数来编写相应的逆运动学算法和轨迹规划算法,经过大量仿真,机械臂的运动过程平稳、无冲击,运动特性较好。陈姗姗等[32]基于磁引导开展了采摘机器人的行走运动控制研究,以磁引导传感器为导航,行进的速度和转角采用双PID控制法,试验表明采摘机器人可快速定位到预设路线,跟踪误差与预设定路线相比在±30 mm以内,而在稳定状态下的直线段误差仅在±5 mm 以内。张翔等[33]基于六自由度采摘机器人展开轨迹规划的研究,他们分别对比了三次多项式、五次多项式、4-3-4多项式等轨迹规划法的位移、速度、加速度等特性,分析各自运动系统的准确性、平稳性,经过对比五次多项式的轨迹规划方法最优。
末端执行器是与果实或果实串直接接触的机构,末端采摘器的设计直接决定了果实的品相,因此末端采摘器的利用率和采摘后手爪对果实的损伤程度都是限制采摘机械大规模使用的主要原因[34]。无损采摘是末端执行器所面临的首要难题,其次需要满足适用范围广、采摘效率高、环境影响小等要求,目前大量研究人员深入研究末端执行器和软体机械手以期实现上述要求[35]。陈燕等[36-38]设计的一款夹剪一体式荔枝末端采摘器如图8(a)所示,其将末端采摘器安装于6自由度机械臂末端,测试机器人和采摘器的工作特性。该末端采摘器由单电机驱动,在电机的驱动下左右两齿轮啮合运动带动与齿轮相连的左右摆杆运动,摆杆滚子压迫左右刀背闭合实现果梗的剪切,同时刀片的下部设有两手指,其中刚性手指设有凹槽,柔性手指为平面,有利于更好地夹持,在一定程度上可降低果实的损伤率。采摘完成后电机反转齿轮带动摆杆恢复到初始位置,而左右刀片在复位扭簧的回弹力作用下复位,左右两手指松开果实串。叶敏等[39]设计的末端采摘器如图8(b)所示,其同样分为柔性指和刚性指,刚性指内侧有V型槽,这样与结果母枝接触时,形成了3个有效接触点,可看做3指夹持。叶敏等经过大量的试验发现,夹持力为15 N时,夹持成功率可达到100%。谈建豪等设计的圆盘锯片式荔枝采摘末端执行器如图8(c)所示,其夹持电机带动轴端锥齿轮旋转,通过一对锥齿轮的啮合运动带动丝杠旋转,丝杠上两机械手依靠螺纹副与丝杠相连,丝杠的正反转控制两手指的开与合,待到手指夹住荔枝串,切割电动机工作带动圆盘锯片开始旋转,电磁铁立即通电通过拉杆拉动采摘手支撑架向刀具方向移动切断母枝,果-梗分离后切割电动机停止旋转,同时电磁铁立即断电,采摘手支撑架复位,末端执行器移动到相应的回收位置,夹持电机反转两手指反向运动果实串落入回收装置,完成整个采摘过程。
图8 形式多样的荔枝末端采摘器
辅助采摘机械在一定程度上降低了果农的劳动强度,提高了采摘效率,但这也仅局限于人手可触及的工作范围,在采摘高处的果实时采用伸缩杆,人眼识别定位荔枝串结果母枝的空间位置,按下活动手把等驱动末端采摘器完成夹剪,手动收回伸缩杆,松开夹具将果实放入回收筐中完成采摘。末端采摘器的工作原理类似于“剪刀”,其剪切力的大小没有被进行过理论性研究分析,有的辅助装置可实现夹剪一体但是细长的支撑杆能承受多重的果实串没有相应的理论分析,同时每采摘一次都要将采摘的果实放入收集装置,循环往复,在一定程度上不如使用云梯等设备的采摘效率高,所以为了追求高效,果农不惜冒着危险攀爬果树,靠双手或近距离设备如电动剪枝机等完成高处荔枝的采摘,鲜有使用伸缩杆等较繁杂的辅助装置。因此,为了满足荔枝采摘的具体实际需求,辅助采摘装置仍需不断改进结构,丰富功能。
荔枝果串的准确识别和精准定位是荔枝采摘机器人面临的一大难题。首先扰动是影响识别定位的一大重要因素,扰动分为外在环境扰动和机器本身扰动两种,外在扰动如自然界的风、雨等,而内在扰动如机械臂本身运动产生的振动和前一次采摘完对果树产生的扰动,这些扰动使得荔枝串采摘点的空间坐标发生改变,而不是图片采样时果串所停留的瞬时位置,这样势必会造成识别定位不准确[40-41];其次自然环境的影响,采摘时天气的阴晴、自然光线的强弱、迎光还是背光、周围景物与荔枝果梗的相似度等等都对识别产生较大的影响,需要不断改进算法予以优化[42-43];另外果实和果树自身的影响,其中果实由于受光照不同而着色不均匀、荔枝表面褐变和存在伤疤、荔枝串成熟度不一致、果实串之间的遮挡等等,还有荔枝树枝叶茂密对果实串的遮挡、枝叶在果实串留下阴影、果实被枝叶覆盖等等,这些因素都加剧了识别的难度[44-47]。而定位是否准确高度依赖于机器视觉识别精度,所以仍需对机器视觉进行大量研究,才能实现快速、有效、精准抓取荔枝果串。
无论是采摘机械还是更加智能化的采摘机器人,其结构设计都存有一些设计缺陷或考虑不足,行走机构不能适应非结构化的荔枝果园,荔枝主要种植地区为山地、丘陵等地貌,对行走机构提出了平稳、快速的要求,行走机构的平稳性直接影响机器视觉的识别精度和定位的准确性;其次末端采摘器,其动力源一般有两个,一个为夹持电机,另一个为切割电机,造成了不必要的动力源浪费,同时增加了机械振动从而造成了定位误差,还有末端采摘器设计欠考虑,大多采用圆锯片或者梳排式对周围的环境造成一定损伤,对果实的完好率也有一定影响[48];机械臂较为复杂,为了获得较大的工作空间和范围采用多自由度关节型机器人,机械臂运动和复位时间占总采摘时间50%以上[49],同时基于莫宇达等的研究表明相机空间立体定位的精度与机械臂运动次数的增加有关,最终影响采摘点的空间位置;回收装置要么没有设计要么就十分草率,没有进行系统化、理论化的设计,忽视了回收装置对果实完好率的影响。综上所述,我国荔枝采摘机械结构设计仍需不断优化和改进,以满足荔枝的发展和果农的生产需求。
之所以将无损采摘单独叙述,是因为果实的完好性直接决定了后期的储藏、运输、加工和销售,决定了农户辛勤劳作的回报。荔枝富含水分,若发生采摘损伤会造成果皮褐变和水分流失。而在整个采摘过程中对荔枝损伤可能出现在以下几个环节:夹持过程中没有控制夹紧力的大小,夹具夹持力过大使结果母枝的植物组织发生破坏,影响结果母枝后续的发芽生长;荔枝成熟度不一,机器视觉系统识别率不高盲目地将未成熟荔枝采摘,会造成减产;末端执行器采用圆锯片或梳排式会对荔枝产生一定的机械损伤和振动冲击损伤;机械臂回收过程中与枝干等发生划擦和碰撞;然而最容易忽视的是收集过程,采摘器夹具松开,果实下落的高度以及下落接触的材料对果实的完好率有着重要的影响。这些都是需要注意和未来需要改进的方向,这是实现高效、无损荔枝采摘的关键。
为了适应丘陵、山地、平原等非结构化的荔枝果园,采摘机械整体应朝着小型化的方向发展;机械臂应满足“够用原则”,并非自由度越多其采摘效率就越高[50-51];合理布置电机,优化结构设计,减少电机数目,一方面降低机器能耗负担,另一方面降低电机对识别定位的扰动影响。末端执行器结构设计尤为重要,末端采摘器应不局限于对单一水果进行采摘,其通用性与实用性不断增强,如成亮等[52]基于欠驱动原理设计的自适应、多功能水果采摘末端执行器;末端执行器与传感器技术相结合控制夹持力的大小,如叶敏等设计的拟人指夹持结构;末端执行器应不断降低对环境的影响,末端执行器的切割机构应由旋切式逐步转为剪切式,如陈燕等设计的夹剪一体式荔枝采摘器。另外科研人员也开始注重回收装置的设计和材料的选用,蒋志林[53]开展了不同下落高度和不同接触材料对荔枝损伤和保鲜的影响。由此可以看出荔枝采摘机械不断追求各个部件的结构优化以谋求整体结构的最优化,进而实现高效、无损采摘。
控制系统分为机器视觉系统和运动控制系统,两者具有不可分割的关系,机器视觉系统为运动控制系统提供目标和方向,两系统快速、稳定地配合是高效、无损采摘的关键一环。机械视觉不断朝着高效率、高精度、自动化和智能化方向发展,陈燕等展开了大视场多串荔枝的预定位研究,设计了34层密集卷积层的神经检测网络YOLOv3-DenseNet34应用于视觉识别,神经网络的引入大大提高了检测识别的能力和速度;郭艾侠等[54]将Harris与SIFT算法相融合用于荔枝采摘点的识别定位;熊俊涛等[55]选用YIQ 颜色模型在夜间识别荔枝果串,把Otsu 与 FCM 算法结合实现夜间荔枝串的识别,经过大量试验,其成功率可达到95.3%;孙宝霞等[56]将机器视觉引入采后荔枝的品质检测,为果实分级提供依据;熊俊涛等[57]利用机器视觉在识别定位的同时对荔枝品质进行检测;方华丽等[58]将无线传感技术和机器视觉相结合,机器视觉既承担导航作用又承担果实的识别定位等等。运动控制系统同样朝着高度自动化、快速响应、智能避障等方向发展,孙贤钢等[59]基于机械视觉研究开发的采摘机器人可自动导航到达目的地完成采摘工作;何捷[60]将计算机系统和视觉系统结合来规划行走路径,采用PID算法提高导航的精度;黄轶文等[61]将蚁群算法应用到机器人运动控制达到了运动平滑、可靠性高和稳定性强的效果;司艳伟等[62]基于5次B样条函数进行采摘机器人轨迹规划,并和七次样条插值轨迹比较进行不断优化,优化后的运动时间缩短了6.62 s,各关节的振动冲击也明显减小;仲崇迪等[63]开展了采摘机器人避障控制系统的研究,将机械臂连杆和果实简化为圆柱与球碰撞,将机械臂连杆与树枝树干的碰撞简化为圆柱与圆柱的碰撞,分析产生碰撞的条件和规避的方法等等。由此可以看出控制系统的自动化和智能化程度在不断地提高,深度学习和人工智能将开启荔枝采摘的新篇章。
随着我国对农业的不断重视,农机与农艺都得到长足的发展,大量的研究人员投入到各个领域开展农业机械化研究。就荔枝而言,华南农业大学南方农业机械与装备关键技术教育部重点实验室展开了全局性、深层次、高技术的研究,但是距离正式商用化、民用化、普及化仍具有较大的差距,机器工作的不稳定性、不可靠性和不确定性仍待解决,不能满足科研人员和果农的相关要求,所以目前中国的荔枝果园仍采用较传统的人工采摘模式。另一方面机器工作的不稳定性、不可靠性和不确定性来源于果园的非结构化设计,果园内地势起伏不一、园内品种繁杂、种植杂乱无规则和树形不一等等都给机械化采收带来困难,因此需要对农艺提出相关要求,合理安排种植排数、间距,并对荔枝树进行合理的修剪,人为将果实分散有利于机器视觉识别与定位和机械臂的采收,如澳大利亚科学家K.Johansen和 T.Raharjo[64]的研究表明对荔枝果树进行修剪可促进新枝芽生长,对荔枝的结果有积极作用,减少了遮光影响增加了荔枝产量,同时使摘果更加容易,K.Johansen和 T.Raharjo利用无人机和多光谱RPAS图像来评估荔枝人工林树形结构从而指导修剪工作,值得国内农艺借鉴。因此,在一段时间内,我国的农机与农艺相协调发展是一个必然趋势,只有因地制宜、结合实际才能发挥机械化采收的巨大魅力。
我国荔枝无论是产量和还是种植面积均居全球首位,需要机械化采收来满足荔枝产业高效、无损的采摘需求。自动化、智能化的采收装备可大大降低果农的劳动强度,甚至在不久的将来能实现无人化采收。目前受限于农艺和相关技术的发展,荔枝采摘机械仍存在结构功能单一、稳定性与可靠性差、识别和定位不准确以及无损采摘难以实现等缺点,但是大量研究人员朝着这些方向不断努力,结构设计的不断改进和软件算法的不断优化,荔枝采摘机械必将朝着小型化、自动化、智能化、高精度、高效率、低成本等方向发展,达到降低人工成本、改善作业环境、提高采摘效率、提高荔枝品质、增加果园收入等目标前进,为乡村振兴助力。