杨征鹤,杨会民,喻 晨,陈毅飞,周 欣,马 艳,王学农
(1.新疆农业大学机电工程学院,乌鲁木齐 830052;2.新疆农业科学院农业机械化研究所,乌鲁木齐 830091)
【研究意义】我国的设施蔬菜的种植面积400×104hm2[1],新疆的设施蔬菜栽培面积也达到3.57×104hm2[2]。在温室密闭、高温高湿的环境会导致病虫害发病重、繁殖快和防治困难,严重时损失高达50%以上,目前主要采取的措施是化学防治,但是使用农药的频次高、剂量大,每667 m2农药使用量为大田作物的十几倍,甚至更多[3]。农药有效利用率仅20%~40%[3]。随着自动化、信息化技术以及传感器技术应用于精准施药和智能机械的研发,发达国家的农药利用率已经提高到50%~60%的水平[5]。目前我国的施药技术和药械与外国相比存在一定差距[6-7]。使用自动对靶喷药技术对我国设施蔬菜进行变量施药,可减少农药污染。【前人研究进展】自动对靶喷药技术的发展主要经历了2个发展阶段[8]:第一阶段是能够引导喷药机器人在合适的路径上进行目标作物检测,从而进行的施药;如何雄奎等[9]研制的果园自动对靶静电喷雾机,通过红外传感技术探测靶标的有无,并使用静电喷雾技术,从而达到最佳的施药效果。第二阶段是随着导航技术、传感器技术和病虫害识别技术的发展,需要施药机器人自主判别靶标的有无、作物冠层的大小、目标作物病虫害及长势等特征,并按需喷药[10],这种作业方式提高了农药使用率。Yang等[11]研制的杂草自动识别施药机,使用摄像机采集作物信息,处理器区分出杂草与作物,并且能够根据杂草的数量决定施药量。【本研究切入点】采用自动化程度更高的自动对靶喷药机器人来代替人工施药,减少药物浪费和药物污染。温室环境复杂,在喷药潮湿的环境中,激光、视觉等传感器会受到影响,影响喷药机的正常工作。各类控制系统有着处理延迟、实时性差的劣势,与人工施药相比有着难以弥补的差距。病虫害识别技术的发展限制,使得病虫害检测技术在线指导自动喷药设备按需施药成为一个暂时的技术难点。目标作物冠层枝叶稠密程度的检测是对靶喷药过程中的难点,如何精确检测出作物的稠密程度,从而确定喷药量,还需要深入的研究。研究采用文献分析的方法,综述国内外设施农业蔬菜自动对靶喷药技术现状与分析。【拟解决的关键问题】收集、整理和分析国内外研究文献,总结自动对靶喷药技术的研究现状,自动设施蔬菜自动对靶喷药技术研究进展,为设施蔬菜自动对靶喷药技术的深入研究提供理论基础和科学依据。
收集国内外设施蔬菜自动对靶喷药技术的相关文献,分析目前自动对靶喷药技术并汇总及系统综述。
采用相关文献及实地调研。
2.1.1 国外导航技术
近年来农业导航传感器数量迅速增加,自主移动机器人系统采用全球定位系统(GPS)、视觉技术、激光距离扫描仪等不同的传感器作为主要的传感系统,并结合一些如里程表、惯性测量单元(IMU)、数字罗盘和陀螺仪等作为辅助传感器,以补充主要的传感系统。
基于GPS导航技术已经应用到广泛的农业作业中去。为提高传统GPS导航系统的精度,开发了差分全球定位系统(DGPS)和实时运动学全球定位系统(RTK-GPS)。已有学者使用RTK-GPS作为农业车辆转向系统的唯一定位传感器[12]。但这种导航技术存在一定的局限性,因此,GPS导航技术常与其他传感器结合,以提供更准确的导航信息。Eaton等[13]使用RTK-GPS与惯性测量单元相结合,Nagasaka等[14]使用RTK-GPS与光纤陀螺仪相结合,以提高导航精度。Norremark等[15]研制了一种无人驾驶除草机,除草机的控制系统由RTK-GPS导航系统与倾斜传感器组成,这种基于GPS导航系统能够实现在预设的平行于作物行线的路径上实现自动导航,且误差较小。使用GPS导航最常见的问题包括卫星信号的干扰,多路径问题和来自其他射频源的干扰。
视觉技术具有成本效益和提供大量信息的优点,为农业机器人提供转向信号,在农业中的应用变得越来越普遍。Okamoto等[16]研究了一种基于彩色CCD相机的除草中耕机自动跟随控制系统,该系统利用作物行图像来确定中耕机与目标作物行之间的偏移量,偏移量的预测提高了行跟踪的精度。Benson等[17]开发了一种基于机器视觉的单色摄像机谷物收割机导航系统。该制导算法基于作物切边的横向位置,能够准确定位作物行距。Nissimov等[18]使用Kinect传感器进行温室中的障碍物检测。其中Kinect传感器由红外激光发射器、一个红外摄像头和一个RGB摄像头组成,提供了同步的颜色和深度信息。障碍物检测决策是利用像素点的斜率、强度和相邻点的信息来进行的,并且利用颜色和纹理特征对可疑的障碍物进行分类。该方法有较好的成本优势,但是在障碍物被遮挡时误差较大。Delfin等[19]提出了一种基于视觉技术的定位算法,利用虚拟机和拓扑结构来寻找最合适当前视觉信息的关键图像。另外配备了可视化路径规划器,当一个新的障碍物被机器人的RGB-D摄像机检测到时,虚拟机会更新,会重新规划路线。经试验评估该导航方案具有良好的导航性能。
激光导航原理是利用三角测距原理,测量周边物体与激光发射器之间的距离,然后实现路径规划。激光传感器有着高分辨率和获取信息量大等优点,并且能够在不同的天气和环境下进行可靠工作。Reiser等[20]利用水平激光仪,借助高精度全站仪在作物行中进行导航。Yokota等[21]开发了一种自动机器人,利用激光扫描仪收集周围作物生长和产量的空间信息。Weiss等[22]利用三维激光雷达传感器对植物和地面进行检测和分割,实现自主农业机器人的定位、测绘和导航。Houssein等[23]提出了一种结合人工势场在温室中进行自主导航的方法。采用安装在机器人前段的单个激光雷达传感器,利用SLAM(同步定位与映射)进行姿态估计,并利用APF控制器保证了自主导航。试验结果表明,基于此方法导航的机器人能够适应作物生长引起的结构变化,并且能够在人的在场下安全操作。图1
注:1.移动平台;2.自动驾驶仪;3.工控机;4.接收器;5.摄像头;6.超声波传感器;7.激光雷达传感器
2.1.2 国内导航技术
中国农业大学的杨世胜等[24]研发了一种电磁诱导农用喷雾机器人。开发了喷雾机器人位置检测传感器和磁标志传感器,实现了机器人的自动行走,并且在道路上安装了行首与行尾和切换标志。这种导航方式比较适合温室这样比较密闭的环境使用。图2
贾士伟等[25]对温室机器人的道路边缘检测与路径导航进行了研究。该研究主要利用二维激光雷达检测道路边缘,利用基准道路宽度来进行伪道路的剔除,进而生成导航调速控制指令。试验表明,该温室机器人对于作业道路要求较高,在凹凸不平的路面上适应能力较差。图3
山东农业大学的张群等[26]提出了一种运用视觉导航温室机器人路径识别算法。运用单目摄像机获取番茄种植环境的图像信息进行处理,把图像转化为二值图像,根据目标作物的位置来获取导航离散点,进而通过Hough变换得到导航路径。试验结果表明,机器人能够对于道路信息提取的正确率达到95.7%,且基于机器人对于连续动态图像分析,该路径识别方法具有较好的实用性和适用性。
1.1一般资料选取了2015年1月至2016年1月我院的375例异常血液样本作为对照组,同期选取了正常血液样本350例作为观察组,对这些样本进行了血涂片检验,观察组共有192例男性和183例女性,患者年龄19岁到79岁,平均(44±12.97)岁。对照组有181例男性和169例女性,年龄20至81岁,平均(45±13.01)岁。两组一般性资料对比不存在统计学差异性,能够进行对比分析。
Jiang Jin等[27]提出了一种基于视觉信息导航技术方案。将视觉信息作为路径处理的信息源,根据所建立的路线,在遇到障碍物的过程中,算法实时调整轨迹,满足移动机器人智能控制的目的,试验结果表明,该系统能够充分获取障碍物信息,保证了机器人运动的实时性和准确性,但是在机器人控制的过程中,系统的实时性、目标特性的多样化、路面的不确定性等问题还有待于进一步的研究。
图2 电磁诱导系统示意Fig.2 Schematic diagram of electromagnetic induction system
注:1.激光测距仪;2.显示器;3.驱动电机;4.前轮;5.后轮
2.2.1 国外病虫害检测技术
遥感技术是农业工程中检测病虫害信息的重要手段,但是遥感技术获得的病虫害信息均为大尺度信息,主要用于大范围的管理决策,而不是针对田间实时变量喷雾[29],且并不适用于温室环境。国外对于病虫害识别技术研究较早,且有着较为完善的可见光数据库。传统的图像识别技术主要包括降噪、腐蚀、增强、对图像各个颜色空间特征和纹理特征的提取和建模等。Schor等[30]研发了一套室内辣椒机器人病虫害检测系统,用于对辣椒白粉病和番茄病的联合检测。系统由RGB(红绿蓝)照相机和激光传感器组成,利用阈值分割并进行图像处理,再基于主成分分析和变异系数进行病虫害的检测。传统识别方法在实际的使用中非线性数据的建模识别成功率较低,导致识别成功率并不高[31]。现在病虫害识别技术逐渐采用红外光谱和高光谱成像,这种技术可以很好的反映出被测物的外部特征、内部化学特征含量和生理结构的变化,更容易在早期识别出被测物是否发生病变及化学成分的变化。美国内布拉斯加大学的Pandey等[32]利用高光谱成像技术量化玉米和大豆植物体内的各种元素的含量,利用每种植物的反射光谱,建立偏最小二乘回归模型以将光谱数据与化学数据相关联。测试结果的含水率、宏量元素、微量元素的准确率分别在93%、69%~92%、19%~86%。
为解决传统农作物病虫害识别过程中建模、识别成功率低的问题,一些学者提出了基于深度学习的农作物病虫害识别技术,深度学习的建模方法相较于传统的图像处理手段省去了大量的预处理手段,只需要将图像裁剪成合适尺寸即可以进行图像识别,缩短了识别时间且大幅度提高识别准确率。Tian等[33]提出了小麦4种主要病害:白粉病、小麦锈病、叶枯病和条纹状小麦锈病的检测方法。通过获取病态小麦的3种特征:颜色特征、纹理特征和形状特征,并将其作为3种相应分类器的训练集。该系统主要分为3个主要步骤:数据采集、特征提取和分类器设计。并采用多分类器系统(MCS),可以提供更高的分类精度。Mohanty等[34]分析了在数据库中的54 306幅植物叶子的图像,其中包括了14种作物和26种疾病,首先将图像大小调整为256×256像素,执行模型优化和预测。其中最佳建模方式为利用 GoogLeNet卷积神经网络结构,对彩色图像进行迁移学习训练,且其他建模方式的准确率也达到了90% 以上。
2.2.2 国内病虫害检测技术
国内对于病虫害的研究相比国外较晚一些,但我国学者也进行了大量的研究,目前常使用的是比较传统的识别方法。柴阿丽等[35]利用作物颜色、纹理、形状特征参数建立了番茄病虫害识别模型,识别的准确率达到了94%。秦淑芳等[36]研究了甘蓝型油菜叶片图像虫害程度的检测方法。主要采用空间彩色空间模型的方法分割图像,再对图像进行二值化与去噪处理,只保留叶片区域的二值图像,最后提取叶片图像中的8个特征参数,经过特征的选择与组合得到虫害程度的有效特征。但这种方法在采集叶片图像时只采集了1次没有采集到足够的不同虫害的叶片图像,且在实际的生产过程中,单一株植物的不同叶片的虫害程度也有所不同,该方法也不再适用。
浙江大学的Zhao等[37]使用高光谱成像技术来确定黄瓜叶中叶绿素和胡萝卜素的含量,并通过其含量来判断是否感染角叶斑点。张善文等[38]提出了一种基于卷积神经网络的黄瓜叶部病虫害识别方法。主要建立了1个包含6种黄瓜病害的15 500多幅的训练叶片图像数据库,根据病害叶片图像的复杂性,利用卷积神经网络从该数据库中自动学习黄瓜病害叶片图像的属性特征,再利用分类器进行分类。试验结果表明,与基于特征提取的传统病害识别方法相比,该方法的识别性能较高,但是需要大量的训练时间。邹永杰等[39]提出了1种基于机器学习的番茄病虫害检测方法。通过提取有病虫害和无病虫害的番茄样本的方向梯度直方图特征(HOG)和局部二值模式特征(LBP),然后结合SVM(支持向量机)分类器训练样本得到检测模型,其中HOG特征和LBP特征能够分别很好的描述番茄叶的边缘和纹理特征,且2个特征能够在一定程度上互补,提高了番茄叶病虫害检测的成功率。
2.3.1 国外对靶喷药技术的研究现状
对靶喷药技术是基于传感器通过机器视觉技术、超声波技术、激光技术等信息采集设备,根据目标存在情况自动喷药。国外对自动对靶喷药技术研究早,其主要的研究是以最佳的施药效果和最小的环境污染为目标[40-41]。Liorens等[42]使用常规定容喷雾法与变速喷雾法进行了对比,结果表明,根据目标作物的大小及稠密程度进行的变速喷雾法可以平均节省58%的喷雾量,而且可以获得相似或者更好的叶片积存。证明了可变速率喷雾技术可以有助于精准施药。Komasilovs等[43]对温室中喷药机器群体优化成本效率问题进行了研究,学者分析了3种传感器:激光测距仪、距离测量和定位使用的无线电信标和接收器、基于视觉信息的距离测量传感器。研究表明,基于无线电信标和接收机的距离测量只适用于检测任务,且成本较高,视觉距离测量和激光测距仪更受青睐分别占到调查对象的71%和26%。
机器视觉是机器人识别技术中应用最广泛的,主要由1个或多个视觉摄像机、光源、图像采集卡等构成,结构较简单。可以获取二维、三维图像,可以根据获取图像中的颜色、纹理、形状等主要的形态特征来分析识别目标作物,但是其成像的效果容易受到光照的影响,造成成像不清晰,从而影响机器识别[44]。Giles等[45-47]提出了1种基于机器视觉引导和可调喷嘴的精密带式喷药方式。通过CCD(电荷耦合器)摄像机获取目标作物的图像信息,并通过改变处于作物上方喷头的方向和宽度,来进行变量喷药。在番茄和生菜上进行系统测试表明,与传统喷药方式相比喷雾施用率可降低66%~80%,在目标植物上的喷雾沉积效率可提高2.5~3.7倍,在土壤上的非目标喷雾沉积减少了72%~90%,并且可以显著减少喷雾飘移。
Utstumo等[48]研发了一种基于机器视觉的除草机器人。机器视觉获取作物周围的杂草信息,计算机将杂草进行分类并根据杂草的数量和种类进行按需施药。机器人采用滴注式施药,配备28个喷嘴,横向间距为6 mm。试验表明,与普通喷洒相比,可以节省73%~95%的药量,大大减少了药物浪费,但是其效率较低,实用性并不高。图4
超声波测距传感器可以非接触式测量远处物体的距离,理论上该传感器可以用于测量目标靶的到喷头之间的距离,进而估算目标靶的外形轮廓和体积[49-50]。Maghsoudi等[51]运用超声波传感器实时获取目标作物的距离和体积信息,并基于冠层体积变化进行喷雾,在喷雾效果类似的情况下,平均节省了34.5%的药量。Miranda-Fuentes等[52]设计了基于超声波传感器阵列式的风送式对靶喷雾机,通过在风机前安装不同高度的超声波传感器,每个传感器对应一组喷头,通过检测靶标冠层的存在与无,从而控制喷头的开关,从而达到减少药物喷洒,提高冠层内部喷雾沉积率的效果。
Francisco等[53]为解决温室作物中药物残留问题,提出了一种基于超声波传感器的温室喷药机。喷药机由超声波传感器、电磁阀、控制设备和喷淋设备组成。超声波传感器检测到0~0.5 m范围内的目标时,忽略其他距离更远的物体,同时电磁阀开启,进行喷药操作。试验表明,该系统大约能够节省21%的喷雾液体。超声波的主要优点是价格低廉,主要的缺点是超声波较大的发散角限制了测量的分辨率和准确性。图5
激光主动视觉技术也是现在比较常用的技术,激光雷达高频率发射出脉冲激光束,根据反射回来的激光回波点云,测量周围物体各点的距离,也可用于测量目标靶的外形和体积信息[54-56]。Gregorio等[57]使用激光雷达系统对喷雾漂移进行监测。Chen等[58]研制了1种激光引导变速喷雾器。该喷雾机主要通过激光传感器对目标作物进行三维测量,控制系统根据传感器的测量结果,控制喷头沿深度、宽度和高度的3个冠层提供均匀的喷雾覆盖和沉积,减小了目标作物周围不同位置、空气和地面的喷雾损失。激光主动视觉系统具有较高的识别率,获取的信息也比较多,往往应用于大型的果树对靶喷药机中。激光主动视觉系统成本偏高,也限制了其广泛的应用。
Rafiq等[59]设计了一款温室环境下使用的自主喷药机器人。机器人沿着热水管道进行来回移动,从而省去了复杂的导航系统。机器人主要由控制单元、运动底盘和喷雾单元3个部分组成,当机器人经过放置在地面上的反光标记时,泵就会启动和关闭,以实现对温室植物的选择性喷洒。图6
图5 温室喷药机作业示意图Fig.5 Greenhouse spray machine schematic diagram
图6 基于管道导航的温室喷药机器人Fig.6 Greenhouse spraying robot based on pipeline navigation
2.3.2 国内对靶喷药技术
陈勇等[60]提出了一种自动调节的喷头组合及射程的智能喷雾机器人,通过脉宽调制实现可变量施药。胡天翔等[61]提出了一种基于构件化的智能对靶喷雾机软件系统。使用双目视觉技术进行信息的提取与测量,设计和实现不同构件的功能,并进行集成。试验表明,整个系统能够很好的满足智能对靶喷雾机的需求。
我国学者也研发了一些自动对靶喷药机器人,但这些喷药机大多还处于实验室阶段。目前我国设施蔬菜的施药还是依靠人工来进行完成。靳文停等[62]设计了1种履带式温室智能喷药机器人。主要由喷药系统、履带底盘、控制系统及传感器等几部分组成。机器人主要通过安装的摄像头360°旋转,进行采集目标作物环境信息,机器人采用单片机为控制系统进行处理信息,并利用滚珠丝杠进行高度以及幅宽的调节,以增加药液的覆盖率。采用微型定时防腐蚀桨叶来进行药液的搅动,以防止药液沉淀堵塞喷头。图7
赵慧芳等[63]研发了一种温室自走喷药机,主要由喷药装置、行走装置、控制装置组成。喷药机由人工遥控控制,可以自动换向,不断往复,通过控制喷药装置的风扇的转向,调节喷药的方向,喷药装置使用可以调节的喷雾密度,解决了普通喷药方式难以达到的无死角喷药,但这种喷药方式需要人工的干预,自动化程度较低。
张俊雄等[64-65]设计了一种温室对靶喷雾机器人。机器人主要由移动平台、三自由度机械臂、变量喷嘴以及病虫害诊断系统组成。机器人系统采用双目系统,每台摄像机采集的区域为1.2 m×1.2 m。靶标信息获取以后,上传到控制系统,控制系统由二级CPU的主从式的控制方式,上位机为工控机,主要完成的是目标作物中病虫害信息的采集以及喷药条件的判断。下位机主要由PCL组成,能够在外界复杂的工作环境下稳定工作,主要负责三轴机械臂的运行,处理器将采集到的图像分成0.2 m×0.2 m为每1个单元,每1个单元对应1个喷嘴,根据检测到图像中的病虫害信息,实现对靶精量施药的目的。机器人设计了病虫害监控系统,能够实现发现病虫害、定位病虫害位置、对靶喷药一系列的工作。机器人底座平台需设计在特定的轨道上,轨道需安装在机器人工作的场合,轨道的使用增加了机器人的使用成本,限制了其大规模的使用。图8
注:1.喷药杆;2.喷药嘴;3.滚珠丝杆幅宽调节装置;4.自主导航摄像头;5.高度调节装置;6.循迹避障传感器;7.药箱;8.水泵;9.电机;10.控制装置;11.履带底盘
注:1.移动平台;2.导轨;3.剪叉式吊架;4.Y向平移直线导轨;5.X向伸缩直线导轨;6.回转腕关节;7.摄像机;8.喷杆
3.1利用电子技术和传感器技术来进行检测目标靶的有无、作物冠层的大小、作物病虫害及长势等特征,实现按需施药,其中导航技术、病虫害识别技术及对靶喷药技术是自动对靶喷药技术的核心技术。目前导航技术将朝着基于深度学习的障碍物检测技术与智能避障策略的方向发展,以实现农业机械的智能化[28]。
3.2自动对靶喷药技术需要进一步提高工作效率。提高目标作物的识别率,可以通过提高识别设备的硬件水平、优化算法等方法进行,利用基于高光谱和深度学习的病虫害检测技术,可以提高目标作物病虫害检测效率。
3.3目标作物信息的获取以及对目标植物枝叶稠密程度的判断是当前喷药技术面临的主要问题。在其他因素不变的情况下,枝叶越稠密,药量需求也就更大,研发更高效、精准的喷药方式对于自动对靶喷药技术的发展有着重要的意义。
3.4温室环境密闭,人工施药过程中会对人体产生较大的危害。温室作物密度大,空间占有率高,信息叠加程度较高,大田作业环境下的机器人难以适应。随着设施农业向大型化、现代化、高新技术化发展,已经有许多的采摘机器人、除草机器人、修剪机器人等应用到实际的生产中去。
国外主要利用GPS、视觉和激光雷达等技术并结合传感器进行导航,我国学者也研发了电磁诱导式、基于机器视觉的温室路径识别算法以及基于激光雷达的道路边缘检测方法等温室导航方法。不同的国家地区根据不同情况,选择不同的导航方法。在实际的作业中,GPS导航技术在果园或温室的环境中,信号会受到阻挡,影响导航效果。视觉技术和激光导航技术可以很好的克服这一问题,与GPS导航相比,两者收集的信息丰富、完整,范围较广,更加灵活,实时性和精确性也有提高。因此,根据不同的作业环境,采用多种导航技术相结合的环境感知系统,提高导航的准确性。
国外可见光识别技术已经相当成熟,基于红外光谱技术和高光谱技术和基于深度学习的病虫害识别技术已经开始应用于实际的生产工作中去,国内现阶段主要采用的是图像识别技术,我国学者也在高光谱和基于深度学习的病虫害识别技术进行了一定的研究,取得了一定的成果。可见光成像技术只有在作物外观发生病变或者发生肉眼可见的病虫害时才能取得比较好的识别效果,并不能在作物已经患病但还没有表征的时候检测出来,引入红外成像和高光谱技术可以实现对作物内部结构和化学成分发生改变做出预警,实现早期的病虫害防治,以减少病虫害带来的影响。基于深度学习的图像处理技术可以将复杂背景下的图像进行分类识别,并且具有较高的准确率,与红外光谱技术和高光谱技术结合将是未来病虫害识别的发展方向。
国外对于对靶施药技术的研究较早,技术较为成熟,其研发的自动对靶喷药设备大多针对于果园环境,对于温室设施蔬菜等小型的自动对靶施药机研究成果较少。采取的技术主要为基于机器视觉、激光主动视觉和超声波技术,并配合一些其他传感器使用,对喷药装置进行控制,技术较为成熟,且部分样机已经产品化。采用机器视觉技术获取靶标病虫害位置信息,对喷头进行单独控制,以达到精准对靶施药的效果。目前对靶喷药技术主要面临的问题有在外界强烈光线的照射下,植物的反射率会增加,图像颜色会失真,在变化的环境下,该数据不能用于物种识别和分类;另一个问题是作物的稠密程度获取,由于植物叶片的相互覆盖,喷药机器人难以对不同位置的药液需求量进行计算,从而导致喷药的效果差;最后一个是目标作物的不同的成长状况所带来的影响,不同的生长状况会出现作物颜色、形状的不同,会造成光谱反射率变化,从而造成不同的识别结果,进而影响喷药。