孙艳霞,陈燕飞,金小俊,于佳琳,陈 勇
(1.南京交通职业技术学院 轨道交通学院,南京 211188;2.南京林业大学 机械电子工程学院,南京 210037;3.北京大学现代农业研究院,山东潍坊 261325)
茶叶源于中国[1]。其中,产量、出口量和消费量最大的茶类为绿茶[2],名优绿茶的产值占茶叶总产值的50%以上[3]。根据芽叶状态的不同,高档名优绿茶的鲜叶可以分为3 类:完整单芽、一芽一叶和一芽两叶[4]。当前茶叶嫩芽依靠人工进行选择性采摘,采摘成本已超过生产总成本的60%[5]。国内外现有的采茶机械大都采用整体式的采摘原理,难以区分茶梢芽叶及其老嫩,选择性差,且芽叶破损严重,仅适宜采收鲜叶外形要求不高的大宗茶。近年来,国内外针对名优绿茶智能采摘的难题,开展了相关研究,取得诸多进展,但仍有一些问题尚待解决。名优绿茶智能化采摘,核心在于如何在非结构化的茶田环境下对茶叶嫩芽进行有效识别,定位采摘点并完成采摘动作。主要围绕嫩芽智能识别、采摘点定位以及机器人本体研制3 个方面[6]。
将新梢从茶蓬中识别出来,再将嫩芽从新梢中识别出来,是嫩芽识别的目标。新梢是枝条的一部分,嫩芽又是新梢的一部分,颜色连续渐变、界限不明晰,且芽叶交错遮挡,将新梢、嫩芽逐层从背景中识别出来,问题难度逐步增加。从复杂的自然背景中识别出嫩芽是实现智能采摘的先决条件。杨福增等以“午子仙毫”茶叶为研究对象,在室内白色背景下拍摄单株茶叶枝条图像,基于颜色与形状特征实现了部分嫩梢的识别[7]。WANG 等[8]研究了结合颜色和区域生长的茶叶图像分割算法,对色差较明显的茶叶品种,能分割出老叶和新梢。ZHANG 等[9]利用改进的BG算法对嫩芽与茶树冠层进行区分。ABESINGHE等[10]提出了一种基于Haar-cascade 分类器的嫩芽识别方法,该研究主要针对两叶一芽的茶芽。韦佳佳等开展了自然环境下茶叶嫩芽识别方法的研究[11],分别在RGB、YIQ、Lab、HSI 以及YCrCb 5 种颜色空间下利用色彩因子对嫩芽进行分割,试验表明,这些色彩因子均可在自然环境下对茶叶嫩芽进行有效识别。
基于颜色或形状特征的嫩芽识别方法所用特征相对单一,且对光照条件及茶芽背景较为敏感。近年,研究人员陆续开展了基于人工智能技术的嫩芽识别和检测方法。孙肖肖等[12]首次将深度学习中的目标检测算法应用到嫩芽识别研究,试验结果表明,相较于传统图像处理技术,深度学习对复杂背景下的茶叶嫩芽识别率更高。许高建等[13]开展了基于Faster R-CNN 模型的嫩芽识别方法,识别率为85.14%。LI 等[14]利用YOLO 模型在RGB-D 图像上检测茶芽(一芽一叶)区域,精度可达93.1%。
实验室白色背景下的茶叶嫩芽形态比较理想,能获得较高的识别率。而自然环境下,茶叶背景多变,受天气、光线、茶叶生长状态及茶叶姿态的影响,嫩芽识别更为复杂。在自然背景中识别出茶叶嫩芽是智能采茶机器人的第一步也是关键一步。随着人工智能技术的发展,基于深度学习的嫩芽识别研究逐渐取代传统图像处理技术,为实现智能采摘提供了研究基础[15]。
采摘单芽、一芽一叶或者一芽二叶,分别对应不同的采摘点。由于茶蓬背景复杂且芽叶相互交错遮挡,采摘点深度信息的获取极具挑战性。国内对嫩芽采摘点的精准定位开展了初探性研究。张浩等[16]率先提出了一种基于主动计算机视觉的茶叶嫩梢定位方法,采用光栅投影技术获取嫩梢三维坐标,再通过图像处理探寻嫩梢质心点,该质心点即视为嫩梢中心点,而在实际采摘中,通常将嫩芽与茶枝的交汇点作为采摘点。YANG 等[17]基于YOLO-v3 构建了嫩芽采摘点识别模型,通过检测一芽一叶和一芽两叶区域,确定芽叶与茶枝交汇点的位置,试验结果表明采摘点定位准确率超过90%。CHEN 等[18]同样基于深度学习开展了针对高山茶叶的采摘点定位研究,利用区域卷积神经网络和全卷积网络,采摘点定位准确率为79%。
茶园现场环境复杂,实现名优茶自动采摘难度大,能否准确定位采摘点关系到茶叶的品质,因此采摘点的定位是茶叶采摘的核心和关键点。由于嫩芽的形态、颜色等物理特征差异性大,且分布交错密集,利用传统的图像处理技术很难对采摘点进行定位,随着人工智能技术的日渐成熟,基于深度学习的人工智能技术越来越多地应用于采摘点研究。
国外对茶叶的外形、嫩度和观赏性等要求不高,对名优茶采摘机械研究较少。KRISHANTHA等[19]研究了能够选择性采摘嫩芽的便携式机械,但对嫩芽的识别仍然依赖人眼判断。日本虽然实现了茶园生产的高度机械化,但是其研制的采茶机械主要用于大宗茶。国内农业机器人技术起步较晚,复杂非结构化的农业环境使得机器人应用相对困难[20],目前尚无成熟适用的产品。采茶机器人一个重要的研究内容为机器人本体的研制,包括行走机构、采摘机构以及末端执行器。行走机构的设计旨在适应茶园复杂变化的环境;采摘机构决定茶叶采摘的工作空间以及采摘的稳定性;末端执行器则确定嫩芽的摘取方式,对嫩芽是否损伤有着直接的影响。
我国南北方茶园地势差异大,南方多为开阔的大规模茶园,地势相对平坦;北方茶园规模小,地势陡峭,大部分为小面积的平坦地或山间开辟的梯田。同时,由于地域差异,南北方的土质也不尽相同。因此,采茶机器人行走机构的设计需要考虑不同土质和田间环境。
3.1.1 四轮小车行走机构
汪琳等[21]设计了一款基于SCARA 机械手的采茶机器人,以四轮小车为机器人行走机构,如图1所示,行走机构以不锈钢管作为支撑,并采用L型角撑板对支撑柱加固,提高了车体结构的刚度和稳定性。郝淼[22]设计的机器人移动控制平台,如图2所示,采用四轮设计,每个轮子装有独立轮毂电机,茶叶采摘过程中,机器人横跨茶垄。四轮小车行走机构结构简单、轻便、节能,在平坦的茶园平稳性优,易于移动和转向控制,相对更适用于地势平坦的南方茶园。
图1 SCARA 机械手的采茶机器人Fig.1 Tea plucking robot with SCARA manipulator
图2 四轮采茶机器人Fig.2 Four wheel tea plucking robot
3.1.2 履带式行走机构
图3所示为杨化林等设计的名优茶采摘机器人[23],主要由3 部分组成:机械结构、视觉识别系统和运动控制系统,履带机构可以平稳地运行于茶树之间,同时车身系统采用电力驱动代替燃油机,在一定程度上减少了负载,使行走机构更为轻便。秦广明等[24]开发了一款自走式4CZ-12智能采茶机器人,如图4所示,采用液压履带高地隙作业底盘为机器人的行走机构,采摘机械手位于车身前端,该机器人包含智能嫩芽识别及控制系统,可实现名优茶叶无人自动采摘。宋扬扬等[25]同样研究了一款基于履带式行走机构的采茶机,由履带底盘、传动机构和采茶机头等机构组成,如图5所示,该机器人以履带底盘为载体,搭载采茶机实现茶叶采摘,但需要人工辅助前进和转向。与四轮结构相比,履带式的行走机构可适用于多种地形和土质,行走平稳性更优。但结构复杂,机构重量大,转向性能弱。
图3 采茶机器人Fig.3 Tea plucking robot
图4 4CZ-12 机器人Fig.4 4 CZ-12 robot
图5 采茶机Fig.5 Tea plucking machine
3.1.3 轨道式行走机构
轮式及履带式行走机构都不可避免受茶园地形影响而产生颠簸。为克服这一问题,临安举办的全自动采茶机演示会上展出了一款轨道式采茶机[26],行走机构为铺设固定于地面的轨道,其余装置则横跨于茶树上方。轨道式行走机构不会随地形地势的变化发生颠簸,但整体结构大,铺设轨道工程量大,且只能应用于预铺轨道的茶园,适用度低。
3.2.1 并联机构
高凤等[27]开展了名优茶采摘机器人并联采摘机构的研究,并研制了样机,如图6(a)所示,采摘机构由4 个执行臂组成,通过球铰连接,能够始终保持平行四边形的运动特征。范元瑞等[28]也研究了基于并联采摘机构的自动采茶机,如图6(b)所示,整体结构包括动静两平台、驱动臂、从动臂、执行电机及末端执行机构等,该研究同时开展了虚拟仿真分析。并联机构的特点是刚度大,结构稳定,运动精度高,整体结构轻便,运动惯性小。但也存在工作空间小,空间求解复杂等问题。
图6 采茶机器人并联采摘机构Fig.6 Parallel plucking mechanism for tea plucking robot
3.2.2 升降机构
当前采摘机构的研究主要为并联机构。但并联机构结构复杂,不易设计。汤一平等[29]研制了一款升降式采摘机构,由电动机、滚珠丝杠、滑块以及减速器等组成,伺服电动机驱动升降采摘机构运动,滑块为直线导轨上的运动副,通过滚珠丝杆的转动沿直线导轨上下运动。升降式机构结构相对简单,但反应速度慢,工作空间小。
采摘末端执行器的研究多集中于果蔬采摘[30],图7所示为ZHU 等[31]设计的一款嫩芽采摘末端执行器,通过法兰固定在并联机械手的移动平台上,利用齿轮传动、钢丝绳驱动2 个特殊形状的刀片完成剪切。尚凯歌研究了一款类似“剪刀”结构的茶叶采摘手爪,如图8所示,通过微型气缸驱动四杆机构,从而控制执行器刀片的剪切动作。原艳芳等[32]设计了一款图9所示的末端执行器,整体结构为曲柄滑块剪切机构,剪切后的茶叶通过真空装置,从内筒的两端吸入容纳箱。范元瑞[33]设计了一款指型采摘器,利用电磁铁驱动滑块摆杆机构,实现推杆的往复运动,从而控制指端摆杆的开合,达到采摘的目的,如图10 所示。
图7 剪切机构Fig.7 Shearing mechanism
图8 采摘手爪Fig.8 Plucking claw
图9 末端执行器Fig.9 End effector
图10 指型采摘器Fig.10 Fingertip of the picker
目前末端执行器采用的剪切式采摘设计,存在着过度机械损失问题。手工采摘一芽一叶或者一芽二叶时,一般采用“提手采”方法。新梢并不是被指甲掐断,而是被拇指和食指指肚轻巧地掰断下来[34]。为符合制作高档次名优绿茶对鲜叶标准的要求,末端执行器的设计需要尽量模仿手工折断新梢的动作。刘俊锋等[35]研制了一款仿人工采摘的“提手采”仿生采摘指,如图11 所示,该采摘指以提拉气缸及夹持气缸为驱动装置,控制采摘指的定位、固定和提拉等动作,采摘指模拟人工采茶动作,先定位采摘点,再将茶叶的茎拉断。
图11 仿生采摘指Fig.11 Bionic plucking finger
智能采茶机器人关键性技术的研究包括嫩芽识别、采摘点定位以及机器人本体设计。现有技术虽有突破,但仍存在嫩芽识别精度差、定位不准和采摘损伤芽头等问题。对于嫩芽识别,当前研究仅能识别出包含嫩芽的区域,不能精准定位一芽一叶或一芽两叶。采摘点定位方面,目前诸多研究并无有效深度信息的介入,如何在茶叶非连续性的表面进行三维建模,并获取理想精度的深度信息是采摘点定位研究下一步面临的重要问题。茶园环境复杂,现有的算法实时性较差,样机效率低,无法满足实际生产需求。因此,智能化采茶关键技术的研究具有重要的意义,所涉及的机械、电子、自动控制和人工智能等领域的技术都极具挑战性。同时,复杂多扰动环境下,大数量、柔性易损和密集交错的多目标智能识别、精准定位与无损采摘,不仅是茶叶生产的个性技术问题,也是相关学科领域具有普遍意义的共性科学难题。