邢钦淞,丁素明,薛新宇,崔龙飞,乐飞翔,李鹰航
(1. 农业农村部南京农业机械化研究所,南京市,210014; 2. 中国农业机械化科学研究院集团有限公司,北京市,100083)
农田杂草是指生长再农田中的一切非人工种植的植物,已成为危害农业生产的重要因素。我国主要的传统除草方式为人工除草和化学除草。人工除草需要消耗大量的体力、精力,但除草效果十分有限。而大量喷洒除草剂虽起到了对杂草的抑制作用,但易造成环境污染,不符合可持续发展理念[1]。因此,农田除草机器人应运而生。农田除草机器人在解决劳动力短缺、提高生产效率、减轻环境污染等方面发挥了重要作用。
农田除草机器人是一种以杂草为操作对象,以完成农业生产任务为主要目的,集传感器技术、监测技术、人工智能技术、通讯技术、图像识别技术以及自动导航控制技术等多种前沿科学技术于一身的智能农业机械[2]。美国、西欧等发达国家已经在除草机器人关键技术及推广应用上取得了重要进展,我国也开展了相应的探索研究。本文从智能导航、苗草识别、除草执行系统3个方面评述了当前的研究进展,这3个方面是智能除草机器人研究的最主要环节,并且在此基础上展望了智能除草机器人的发展趋势以便为我国智能除草技术的发展提供参考。
智能除草机器人主要包括智能导航系统、苗草识别系统、除草执行系统3个子系统。其主要工作流程如下:在田间,通过智能导航系统控制机器人前进路线并定位目标分布;苗草识别系统则获取、处理苗草信息;除草执行系统根据苗草识别系统所传递出的苗草信息进行定点、定量的完成除草作业。
美国日本等发达国家从20世纪60年代就开展了对除草机器人的研究,我国起步较晚。整体而言,目前在除草机器人的研究呈现出商品化、信息化和全球化的特点[3]。当前国内外已有很多学者对除草机器人的苗草识别、智能导航、除草执行机构展开了研究,如Trygve等[4]研发了除草机器人Adigo和陈勇团队[5]研发的除草机器人利用机器视觉进行苗草识别,并采用化学喷药方式去除杂草。还有Bakker[6]研发的多功能自动除草机器人,利用DGPS组合机器视觉导航系统进行沿行导航,并采用化学施药方式去除杂草。丁巍[7]研究了GPS在田间的定位导航方法,实现除草机器人能够根据杂草位置进行精确导航。表1为部分国家智能除草机器人在文献报道上的技术指标。后续章节将从智能除草机器人主要子系统的研究现状展开分析。
表1 部分国家智能除草机器人现状Tab. 1 Current situation of intelligent weeding robot in some countries
智能导航技术是农业机器人的关键技术,是智能农业机器人在具体农业生产场景中完成群体性工作、目标定位等多项工作的基础,是自动作业的关键。智能导航系统导航方式主要基于光、声、图像等信息介质及特性[3],常用的导航方式包括:激光导航、惯性导航、超声波导航、视觉导航及GPS导航等。表2主要列举了当前文献报道的导航技术的原理及优缺点。
表2 导航技术分类及优、缺点Tab. 2 Navigation technology classification and advantages and disadvantages
目前农业装备中,GPS导航和视觉导航应用最广,因此后续小节主要介绍GPS导航及视觉导航的研究与应用现状。
全球导航卫星系统简称GNSS(Global Navigation Satellite System)包括美国的全球定位系统(GPS)、欧洲的伽利略卫星导航系统(GALILEO)、俄罗斯的全球导航定位系统格洛纳斯(GLONASS)还有中国的北斗卫星导航系统(BDS)。其中美国的GPS全球定位系统在农业机械导航领域应用最广,具有不限人群、全天候、精度较高等特点。但GPS导航需要预先规划精确的路径,在作业区域发生改变或无法预先知道的情况下无法使用[13-14],且受环境影响严重。
美国对农业机械导航技术的研究开展最早。Stoll等[14]以自行式草料收获机为试验对象,将GPS作为唯一的定位传感器,进行自动驾驶实验,研究系统在不同试验条件下的性能,发现在各工况下标准偏差都优于100 mm,直线行驶侧面偏差变化范围为25~69 mm。Kise等开展了基于RTK-GPS导航技术的拖拉机控制系统研究。经试验得出,当拖拉机速度为6.5 km/h,沿着幅度为2.5 m、波长为30 m的正弦曲线自动运行时,RMS误差为6 cm,最大误差为13 cm。斯坦福大学研究人员[15]将RTK-GPS应用于农机导航中,并使用四个单通道GPS传感器为拖拉机提供位姿信息,航向响应小于1°。
除美国外,其他国家也开展了对GPS导航技术的研究。日本国家农业研究中心农业机械和系统研究小组[16]利用GPS和IMU对改造后久保田SPU650水稻收割机进行导航试验,经试验可得出,插秧精度横向平均偏差小于3 cm,横向最大偏差不超过4 cm。新西兰Corpe等[17]在综合考虑天气条件、地形与障碍、完全性的等多种因素的基础上,研发了一款集有多种传感器可实现环境信息检测的基于GPS的农业机器人。荷兰的Bakker等[18]在甜菜地开展了基于RTK-DGPS的农业机器人平台的自主导航研究,田间试验精度达到了厘米级。
国内在农业机械领域GPS导航研究起步相比较欧美发达国家起步较晚,但是发展非常迅速,已取得一系列成果。罗锡文等[19]对自动导航技术开展研究,以东方红X-804拖拉机为基础,开发了基于RTK-DGPS的自动导航控制系统,在拖拉机行进速度为0.8 m/s 时,直线跟踪的最大误差小于0.15 m,平均跟踪误差小于0.03 m。丁毅[20]提出了一套基于GPS/DR的组合导航系统,应用于除草机器人,改善了之前除草机器人信号易中断的缺点,提高了导航精度。黎永键等[21]针对农业机械导航控制精度问题,设计了东方红X-804 型拖拉机的自动导航系统,该系统运用了RTK-DGPS定位和双闭环转向控制技术。经试验,路径跟踪误差平均值小于1.9 cm,标准差小于4.1 cm。
目前对于GNSS导航的研究应用广泛、技术成熟。农业机械导航系统中普遍使用具有厘米级定位精度的RTK-GPS(real-time kinematic GPS)[22]。配有GNSS的农业机械在田间作业时候可大大改善作业质量、提高作业效率,但在环境复杂、枝叶高大茂密的情况下易造成GNSS信号丢失。其中,由我国自主研制的北斗卫星导航系统(BDS)将成为农业机器人田间导航定位的新方向。
机器视觉(machine vision)主要用计算机来模拟人的视觉功能,从客观事物的图像中提取信息,进行处理并加以理解,最终用于实际检测、测量、控制[22]。相比较于GPS导航,视觉导航灵活性更好、信息量大、功能多。视觉导航的主要任务是从图像中识别作物行同时检测轨迹路径,为确定机器的相对位置提供依据[23]。
国外对视觉导航的研究起于20世纪80年代,英国和美国在此领域研究较早。1996年Marchant等[24]对除草机器人视觉导航展开了研究,研发出一种灰度带通滤波器。经试验表明,当除草机器人行进速度为1.6 m/s时,横向定位误差为15.6 mm。1999年Lee等[25]基于机器视觉研发了一款智能除草机器人。该机器人配有两个摄像头,分别进行导航和识别杂草。2005年Kise等[26]针对田间农业车辆导航研发了一种基于双目立体视觉的行检测算法。田间试验表明,基于立体视觉的该导航系统能够准确定位杂草田作物行距并引导拖拉机精确地沿着直线和曲线行行驶。2014年Hiremath等[27]针对农业机器人鲁棒性问题,提出了基于粒子滤波的视觉导航算法,经试验证明该算法的鲁棒性较好,能够使机器人准确在田间行走。2017年Garcia等[28]基于机器视觉,在拖拉机前部安装摄像机,开发了一种新的方法检测作物和杂草生长初期玉米田中的作物曲线行和直线行,奠定了自动导航的基础。
国内对视觉导航的研究起于20世纪90年代。2006年张方明[29]针对田间车辆自动导航技术展开研究,提出了基于机器视觉的田间自动导航系统。2013年孟庆宽等[30]为解决作物行检测算法速度慢、易受外界干扰等问题,提出了一种新的基于线性相关系数约束的作物行中心线检测方法。2019年王毅等[31]为解决在果园环境中导航线提取易受其他条件影响的问题,利用深度学习技术,提出了一种新的提取果园道路导航线的方法。2020年关卓怀等[32]为解决水稻收获时路径规划问题,利用机器视觉技术,提出一种新的路径提取方法。首先利用相机对原始图像进行畸变校正和高斯滤波,基于2R-G-B模型,对图像进行二值化处理和分割,得到二值图像后。做形态学的开闭运算,最后利用曲线拟合法,提取作物区域的边界。
视觉导航在智能农业机械领域已经取得了广泛的应用,如智能施药、智能除草、智能收割等,但由于田间环境复杂多变,在精确采集图像上仍有部分困难,存在一定的鲁棒性,相比较于卫星导航,技术成熟度不够。
准确、智能的将田间杂草与作物区分出来是除草机器人智能化精准田间作业的前提。对于农田杂草的识别研究已经广泛开展,识别方法主要包括人工识别法、光谱分析法、光谱成像法、机器视觉识别法。其中人工识别法是世界上大多数国家进行杂草识别的最普遍的方法,该方法有明显的缺点,如工作效率低下、劳动强度大、难于大规模采用、成本较高等,将被逐渐淘汰。目前杂草识别主要利用机器视觉技术,因此后续小节主要对机器视觉识别法进行介绍,对光谱分析法、光谱成像法简要概述。表3主要列举了光谱分析法、光谱成像法、机器视觉识别法的原理及优缺点。
表3 苗草识别技术分类及优缺点Tab. 3 Classification and advantages and disadvantages of seeding grass identification technology
光谱分析法主要是根据在一定波段内,作物、杂草、土壤背景的电磁辐射反射率不同来实现杂草识别,该方法具有操作性强、实时性好、算法简单易学等特点。光谱分析技术根据波段主要可分为可见光谱分析技术、近红外光谱分析技术、中红外光谱分析技术等[33-34]。Wang等[35]设计了一种基于光谱的杂草传感器,并且在实验室和野外进行了测试,杂草实时识别率高于70%。国外可区分杂草和土壤的光谱传感器已经商业化,如荷兰研发的Weed-IT系列杂草检测传感器等。但区分绿色作物与杂草的光谱传感器仍处在研发阶段。
光谱成像法融合了光谱技术与图像技术,可同时获得样本的物理特性和化学特性,即利用光谱特征对内在信息描述和图像对外在特征的提取进行综合,进而实现苗草识别。光谱成像技术根据波段多少不同,可分为多光谱成像技术、高光谱成像技术。
高光谱波段相比较多光谱波段较多,数量可达上百个,谱带较窄。高光谱成像的光谱分辨率更高,但是空间分辨率较低。高光谱成像技术成本较高、处理速度较慢,一般用于基础研究。多光谱成像技术一般要求能够快速获取图像并且简单处理以及快速决策响应。相比较高光谱成像技术,多光谱更适合田间普及应用。陈树人等[36]以苗期杂草稻和水稻为试验对象,利用高光谱成像技术进行识别稻田苗期杂草稻。首先分别获取杂草稻和水稻的高光谱图像,对其进行滤波处理后,筛选特定波长下的特征图像,之后进行特征提取,建立神经网络判别模型。经试验,高光谱成像技术可以快速识别苗期杂草稻。朱登胜等[37]提出了一种基于多光谱成像技术的杂草识别新算法。以豆苗和杂草为试验对象,经试验,杂草识别正确率为90.5%,该方法可快速有效识别两种杂草(牛筋草,空心莲子草)。
随着科学技术的不断发展,计算机视觉技术逐步应用到各个领域。在20世纪80年代,计算机视觉技术开始应用到农业应用领域。目前基于图像的机器视觉技术已经在农业领域取得了一系列研究成果。其中对于田间杂草的识别主要是利用机器视觉技术,通过计算机等硬件拍取、传送、运算、处理和输出光信号等一系列过程来实现的。智能田间除草机器人的研究发展离不开机器视觉技术。
数据采集、图像预处理、图像特征提取、分类器分类是利用机器视觉技术识别苗草的4项基本步骤。任何识别技术都要落实到识别物的具体特征,其中对杂草的识别主要是对作物及周围杂草的形态特征、颜色特征和纹理特征来提取。
利用形状特征识别算法较简单,相比较于对颜色和纹理特征的提取来说,简化了算法,提高了效率,关键点要找到具有RST不变性的形状特征因子(即对于图像的旋转、比例、平移变化都是恒定的)[38]。形态特征可分为形状特征和矩特征两类。形态特征参数主要包括面积、周长、长度、宽度等参数,根据这些常规参数,可以提取衍生的无量纲形状特征参数,如分散度(compactness)、叶状(location)、伸长度(elongation)、圆度(roundness)等[39]。矩特征常用的有质心、等效椭圆的长轴和短轴、环度(cir)、朝向比(aspect ratio)、中心距等[40]。张健钦[41]对杂草的投影面积、最大叶长和最大叶宽3个形状特征进行提取,经试验得出,该方法可以实现对玉米苗期田间86%杂草的正确识别。颜色特征是所有图像特征中最显著、最稳定、最容易被感知的特征,具有很强的鲁棒性,但是对于颜色差异不明显的情况,常需要结合其他特征来识别。目前常用的描述颜色特征提取方法主要有颜色直方图、颜色矩、颜色熵、颜色相关图、颜色集等[42]。毛文华等[43]提出了一种基于株心颜色的玉米田间杂草识别数字图像处理新方法,该方法利用玉米植株苗期叶片颜色是深绿色,株心区域颜色是浅绿色的生长发育特征,通过颜色饱和度提取株心区域。经试验得出,玉米田间杂草的识别率平均为84%。纹理特征相比于颜色特征和形态特征是一种更为细致的特征信息,分析算法更为复杂,是一种能反映区域内像素灰度分布的重要属性。统计法是描述特征纹理的最常用的方法,目前常见的统计纹理特征方法主要有局部二值算子(LBP)、灰度共生矩阵法(GLCM)、直方图法[44]。王怀宇等[45]玉米田间常见杂草进行图像预处理后,对图像进行纹理特征筛选,利用支持向量机(SVM)进行分类,分别进行基于灰度矩阵、统计矩阵及二者综合的识别,经试验得出,将二者综合的识别率最高,可达到97.33%。
除草方式对除草效果至关重要,目前主要存在五种除草方式,包含人工除草、生物除草、化学除草、热除草、机械除草,图1对除草方式进行了汇总,表4对除草方式原理及优缺点进行介绍。根据杂草在田间相对于作物的生长位置,可分为行间杂草与株间杂草。由于只有极少数作物种植在行间,杂草与作物易于区分且易于清除杂草。株间杂草与作物交织在一起,密度较大,甚至有些作物与杂草颜色、形态上十分相近,除草难度大。因人工除草、生物除草、化学除草、热除草具有明显缺点,因此后续主要对机械除草进行介绍。行间除草相对于株间除草来说发展已经相对成熟。行间除草相对容易,因而除草机械执行部件设计主要针对株间除草。
图1 除草方式划分Fig. 1 Classification of weeding methods
表4 除草方式原理及优缺点Tab. 4 Principles and advantages and disadvantages of weeding methods
主动除草是指能够根据获取的杂草与作物信息通过控制系统的实时控制,改变转动速度等参数,有选择地进行清除杂草。被动除草指除草装置随移动平台移动过程中,除草执行部件末端与地面产生摩擦而带动除草。如图2所示,奥斯纳布吕克大学和亚马逊Werke共同研发的爪齿式除草部件由几根均匀分布的爪齿组成。在进行除草作业时,利用GPS导航系统控制前进路径,利用机器视觉伺服系统控制除草爪齿的运动轨迹。奥地利Hatzenbichler研发的指状除草机专用于株间除草。该指状除草刀随移动平台的前进而刺入土壤,通过与地表摩擦不断破碎土壤,从而达到除草目的,属于被动除草的一种。吉林大学王洪昌设计了一种基于东北鼢鼠前爪第3趾特征的用于苗间除草机械仿生除草铲,该除草铲的刃口设计为高斯函数型曲线,具有优良的力学性能。仿生学理论与农业机械设计相结合,为国内农业机械的研制提供了新的思路和方法。目前常见的株间除草机械执行部件有指状除草刀[47]、垂直式[48]和水平毛刷式[49]、锄铲式[50]、旋转锄刀、爪齿式[51]、旋转锄式[52]、弹齿式[53]、摆动锄刀式[54]等。表5对各除草机械执行部件特点、缺点进行介绍。
(a) 爪齿式
(b) 指状除草刀
(c) 锄铲式图2 常见除草机械执行部件Fig. 2 Actuators of common weeding machines
表5 机械除草执行部件特点及缺点Tab. 5 Mechanical weeding actuator features and disadvantages
除草机器人具有作业环境复杂多变性、作业对象娇嫩性、使用对象特殊性、作业季节性的特点,一定程度上限制了智能化除草机器人的推广和应用。结合国内外除草机器人的研究现状,在现有研究思路与方法上,对智能除草机器人现存问题及发展趋势总结概括为以下几点。
每种导航技术都有各自明显的独特性和局限性,如GPS导航技术虽然精度高、技术成熟,但受环境影响严重;超声波导航技术虽然结构简单、成本低,但是导航定位精度低等。单独应用一种导航技术越来越难以满足精确自主导航的要求,在某些场合会出现定位精度低、不适用、误差大等现象。不同的导航系统的组合可以形成信息的互补。因此在未来农业机械导航中,应针对不同的应用场合选择适合的导航技术组合形式。
目前对于苗草识别的大多数研究是在静态及存在可控光照等可采集高质量图像的环境基础上进行的,而田间实际采集图像时,存在机械振动、光照强度变化等因素,这些不确定因素对苗草识别产生一定的误差。同时为了进一步精确识别定位田间苗草,往往采用复杂视觉识别算法,但是会相应降低系统实时性,针对杂草密度大等田间复杂情况,系统算法耗时过长。对于复杂田间环境下,图像处理技术针对采集的图像质量不高以及视觉识别算法处理实时性的问题有待进一步研究。杂草分类工作需要进一步增强。不同杂草对作物危害不同。特别针对危害性大的、耐药性强的杂草利用图像分类技术进行靶向施药,以便于杂草治理与环境管控。
我国株间除草技术相对国外研发较晚,大多在国外株间除草技术的基础上进行模仿和优化,而且大多处于实验室阶段,不能进行田间实验。并且机械末端执行机构的研发过于简单,国内外将研发重心主要放在了末端执行机构运动控制以及苗草识别上,忽视了对于机械末端执行机构的研发,而机械末端执行机构直接与田间苗草接触,直接影响除草效果及作物产量等。对于株间除草末端执行机构的研发还需要进一步深入。机械结构是机电一体化的基础,是系统所有功能要素的机械支持结构。除草机器人机械结构不仅决定着除草机器人的外观,以及决定着除草机器人运动的灵活性、田间作业的可靠性及工作效率性。在满足除草机器人功用和性能的基础上,要尽可能使机构轻量化、集成化、小型化,使作业效率高效化,尽可能完善该作业目的的解决方法或找到解决该作业目的的最优方案。
综上所述,国内外已经开展了大量的针对智能化田间除草机器人的研究。本文介绍了国内外典型除草机器人及其作业方式,并且就其关键技术展开讨论和优缺点比较,内容涵盖智能导航、苗草识别、除草执行系统领域。最后在上述分析比较的基础上对现有关键技术存在问题进行总结分析并对未来发展趋势进行展望。
发达国家对于智能除草机器人的研发较早,在解放人类劳动、减轻环境污染等方面发挥了巨大的作用。我国对于智能除草机器人研发起步较晚,技术水平与发达国家有一定差距。我国政府应加大对于农机的扶持力度,引导除草机器人向智能化、自动化、精准化方向进一步发展,增强实用性、普及性而不是只停留在实验室阶段。智能除草机器人的研发面对我国人口老龄化、环境污染破坏、人工作业效率不高等问题具有重要意义。