刁智华,刁春迎,魏玉泉,毋媛媛,钱晓亮,刘玉翠
(1.郑州轻工业学院,电气信息工程学院,郑州 450002;2.河南省信息化电器重点实验室,郑州 450002)
精准施药机器人关键技术研究进展
刁智华1,2,刁春迎1,2,魏玉泉1,2,毋媛媛1,2,钱晓亮1,2,刘玉翠1,2
(1.郑州轻工业学院,电气信息工程学院,郑州 450002;2.河南省信息化电器重点实验室,郑州 450002)
精准施药机器人是在及时获取作物病害信息的基础上,对病害部位进行准确的定量衡量,并根据其差异性采取变量施药,实现按需施药。精准施药机器人关键技术包括有针对性的作物病害识别技术、精准施药技术及自主行走技术,自主行走是基础,病害检测和精准施药是核心。根据目前的研究进展,综合阐述了精准施药机器人的技术分类及应用,总结了现有技术的局限性及重点需要解决的问题,并提出了未来精准施药机器人的发展方向。
机器人;精准施药;病害识别;图像处理
我国是一个农业大国,据相关数据统计,每年的农作物病害面积多达2亿hm2,造成巨大的经济损失。每年用于病害使用的农药约25万t(有效利用率仅为20%~30%),这些农药在作物上的分布极不均匀,真正施在病害部位的仅占0.02%左右,其余的农药都散布在水域、农田、空气中,造成严重的水土资源污染、生态系统失衡;或者喷洒到未受病害的作物上,使农产品农药残留量增加,导致农产品品质下降及人们的健康受到威胁等问题[1]。农业操作如喷洒农药、病害检测十分繁琐,特别是当喷洒农药时会采取过多的预防措施,如穿合适的衣服、戴口罩和手套等,这些措施可以避免农药对他们造成伤害,但也不能完全避免。因此,在这样的情况下,使用精准施药机器人给出了最好的解决方案。
施药机器人的发展经历了两个阶段:2000年以前为机械电器自动化阶段;2000年至今为加入人工智能、机器视觉等新技术的自动化阶段。发展初期,施药机器人仅是用于机械施药,如M.seelinger等[2]设计了基于摄像机空间操作方法的视觉导航施药机器人系统,采用等离子移动喷嘴,减少了机器人的运行时间和高成本,使机器人在合适的轨迹移动,达到了一个高水平的6自由度机械手臂的控制精度,但还没有对作物实现病害识别的精准施药系统。随着各种新技术的发展,施药机器人的缺陷在应用中逐渐凸显,新形势下迫切需要可以实现自主检测病害、自主移动及变量施药的精准施药机器人,能够在平原、实地行间或温室自主移动。使用精准施药机器人以智能化技术替代劳动力,对提高农业的效率和生产率具有重要的推动作用。本文首先对现存的精准施药机器人的技术分类及应用进行了综合阐述,然后总结了现有技术的局限性及重点需要解决的科学问题,最后提出了未来精准施药机器人的发展方向
自20世纪80年代发达国家开始研究农业机器人后,相继出现了采摘、嫁接、施药机器人;但早期的施药机器人各方面性能低、智能化程度不高,没有针对性的病害检测系统和精准施药系统。后来,由于人工智能、机器视觉等新技术的发展及应用,有效促进了施药机器人的自动化和精准化研发。在精准施药机器人研发方面,包括病害识别、精准施药及自主行走等关键技术。
1.1 病害识别技术
机器人的检测系统是用来收集目标区域的信息,对其进行分类、病害症状的识别及危害程度评价,并进行施药的系统,适用于各种传感技术,如机器视觉、光谱反射率及遥感等。精准施药机器人的技术核心在于及时准确地获取作物病害区域的信息,在早期发现并准确定位作物病害,可提高施药处方决策和综合防治的针对性和准确性。作物病害自动识别相关的问题在近20年受到了密切的关注,到目前为止提出的技术主要包括机器视觉检测和光谱检测两种方法。
1.1.1 机器视觉检测
过去大多数情况下,作物病害识别是人工进行的,通过人工测量或使用显微镜;但是,这需要有经验的专业人士,且有些作物的许多病害症状是非常相似的,通过肉眼很难分辨,难以达到精准的效果。机器视觉是用计算机模拟人类视觉的一门科学,可以理解为图像处理和图像分析。作物因其感染不同的病原体在作物上出现不同纹理、颜色和形状的病斑,机器视觉就是通过这些病斑的不同特征来识别病害,主要步骤包括作物图像采集、病斑分割、病害特征提取和识别等。
图像采集是图像处理的第一步,其把目标物的模拟信号转换成数字信号传给计算机进行实时处理。典型的数字图像采集系统如图1所示[3]。摄像机拥有自动控制镜头的光圈,可以结合所有类型的图像传感器。图像采集的质量很重要,提高质量可以显著减少图像处理和计算机视觉算法的开发工作。
1.摄像机 2.环状光源 3.光照箱 4.被测对象 5.载物台 6.计算机 7.图像采集卡
图像的病斑分割面临的一项重大挑战是在复杂的结构特征中找出感兴趣的部分,应对这一挑战常用的病害分割方法是随机纹理模型,即描述作物不同大小、形状区域的结构特征。这种方法以快速、准确分割得到了广泛的使用,但对复杂结构特征的系统分割精度较低。为解决图像分割的难度,国内外研究者提出了各种解决方案,并取得了部分研究成果。在国外,Pasqua等[4]提出了一种高性能的基于GPU并行广义松弛法的图像分割方法,使用并行线性代数子程序的并行软件模块实现了快速、准确的图像分割。S.Biswas等[5]提出了一种基于曲线拟合的多项式平滑图像分割方法,比现有的方法分割效果更加明显。R.S.Medeiros等[6]提出了一种基于多尺度随机纹理外观模型的图像分割方法。实验结果表明:所提出的图像分割方法能在复杂结构特征的情况下做出准确的分割。在国内,李冠林等[7]提出了一种基于K-means硬聚类算法(HCM)的彩色图像分割方法,对病害图像的彩色分割和二值化分割效果比较明显。刁智华等[8]提出一种在复杂背景下的图像分割方法,实验结果表明:该算法能有效的分割出棉花害螨病斑,准确率可达97.83%。刘涛等[9]利用mean shift图像分割法分割出水稻的叶部病斑,显著提高了相似病害的识别度。
图像特征提取作为图像处理应用的基本组成部分,通常用提取的特征来表示图像,病害识别中作物的形态特征包括叶形、颜色、叶长、株高及叶基角等。针对图像特征提取,国内外研究者相继提出一些新的方法并将其应用于实践中。在国外,A.ElAdel等[10]提出了一种基于快速β小波网络的图像特征提取方法,实验结果证明该方法能够快速地提取出图像的特征。M.Ponti等以图像量化的降维方法对图像的颜色和纹理特征进行了提取,实验表明:量化在保持和提高系统的准确性上简化了图像特征提取,减少了系统的复杂性。Azadeh等提出了一种非参数线性特征提取方法并将其应用于高光谱图像的分类,实验结果表明:该方法在特征提取和分类精度上有比其他方法更高的性能。在国内,邵庆等[11]以小麦条锈病为研究对象,采用微分边缘检测和迭代阈值分割来提取小麦病斑部位的形状特征。毋媛媛等[12]将7个Hu不变矩参数定义为形状特征并引入新的参数,对作物病害的形状特征进行了提取。
图像识别由于其潜在的应用已成为一个非常活跃的研究课题,独立分量分析是常用的方法,但昂贵的成本一直阻碍着它的进展。近年来,国内外研究者提出了更加方便、快捷、精确的方法,并且得到了迅速发展与应用。在国外,K.A.Vakilian等[13]采用基于人工神经网络的图像处理算法对黄瓜病害进行了识别,实验结果表明:该装置通过检测叶片的症状能够识别出黄瓜的真菌病害。Jyoti等[14]提出一种彩色图像识别方法并将其应用于柑桔分类,成功率高达98%。在国内,彭吴琦等[15]使用MatLab对小麦叶部图像依次进行彩色图像转换为灰度图像、绘制灰度图像直方图并确定分割阈值及灰度图像二值化等操作反映病害分布情况,根据病害覆盖率识别作物病害程度。王献峰等[16]取用不同环境下的病害叶片图像,采用属性约简法提取病害叶片的5个环境特征和病斑颜色、形状、纹理等35个统计特征,利用最大隶属度准则识别出了病害叶片的病斑类别。刘君等[17]使用偏微分方程水平集模型法和EM算法准确地实现了作物病害的自动识别。王美丽等[18]将小麦病害图像经过颜色空间转换来提取病害的颜色和形状特征,分析采集的大量样本图像得到作物病害的特征值范围,进而对未知样本进行病害识别。
1.1.2 光谱检测
光谱检测的依据是作物在受到病害威胁时会根据感染病菌的不同吸收不同波段的光线且发出不同的光谱,随着传感器波段的增多,光谱的波段更加细化、精确,基于光谱的检测技术日益兴起与成熟,它以快速诊断、精准识别在病害识别上得到迅速发展。
目前,在光谱检测方面,国内外研究者们取得了部分研究进展,并将其应用于实际病害识别中。在国外,Kobayashi.T等使用多光谱技术对不同时期的水稻进行多光谱技术分析,实现了对水稻病害程度的识别。J.Jiang等对冬小麦的冠层反射光谱进行了调查,结果表明:高光谱指数能够反映出冬小麦感染条锈病的严重程度。Shafri等使用高光谱信号进行棕榈油病感染检测,可以检测出灵芝棕榈油病感染程度,但早期检测仍然具有存在挑战。Y.m.Shi等采用傅里叶变换红外光谱法对玉米丝黑穗病孢子进行了快速检测和识别,结果表明:傅里叶变换红外光谱法可以检测出真菌孢子的信息。在国内,曹入尹等[19]以小麦条锈病为例设计了高光谱波谱库和动态波谱库,为病害种类的识别和受害程度的鉴定建立了波谱参考。徐晓鸥等[20]对带有两种病菌的豌豆样品进行红外扫描,发现两种病菌豌豆光谱差异明显,分别有不同的特异性峰位。王斌等[21]利用高光谱成像技术对梨枣进行识别分类,结果对梨枣的腐烂、病害识别率达90%以上。You等[22]根据作物叶片出现病害时声发射出现畸变识别出作物的病害区域,建立了一种新型的模糊施药控制系统,该系统能够依据声发射频次分布规律判断植物病害程度。
1.2 精准施药技术
精准施药技术是通过多种技术手段,根据不同作物病害部位和正常部位的差别进行感染程度判别和定位后把农药精量、准确地施撒到目标上,只针对受害作物区域喷药,在正常作物上面不喷或尽量少喷,达到真正意义上的精确而又按需施药的目的。20世纪90年代,许多发达国家开始研究农药精准喷雾技术,如美国加利福利业大学戴维斯分校研制的基于视觉传感器对成行作物实施精量喷雾系统。20世纪80年代,我国便开展了农作物生产管理的农业专家系统的研究工作,90年代许多应用成果已达实际应用水平。
随着精准农业的发展,精准施药技术以显著提高农药利用率、极大减轻环境污染、保证作物品质及降低食品安全隐患等优势,在国内外得到了大力发展与广泛应用。在国外,D.Kozlowski等设计了自动控制的六脚并联机械臂精准施药机器人,实验结果表明:并联机械手解决了复杂的精准施药问题。S.Arima等提出了一种基于作物信息获取的多操作精准施药机器人,达到了传感、控制和数据管理3种功能的融合。在国内,胡天翔等[23]提出了基于模块化的智能对靶喷雾机软件系统,实验表明:该软件系统能更好地满足智能对靶喷雾机的需要。XU等[24]设计了一种基于DSP和FPGA的精准施药机器人,实验结果表明:该装置的速度和精度都能很好地满足精准施药机器人的要求。耿长兴等[25]设计了PLC控制的精准施药机器人系统(见图2),在3种病情等级上对机器人进行了试验,药液节省率达到60%以上。陈勇等[26]提出了自动调节喷头组合及射程的智能喷雾机器人,通过脉宽调制实现了可变量施药。柳平增等[27]设计了精准施药动态仿真测控系统(见图3),现场应用结果表明:系统运行稳定可靠,信息检测精度高且传输准确,具有较强的实用性和推广价值。
1.移动平台 2.轨道 3. 病害诊断系统 4.作物植株 5.喷头吊杆
精准施药中决定精准的参数有喷头性能及药液沉积率等,如何提高喷头的性能及药液的沉积率是提高精准施药技术的关键因素。喷头是药液的直接执行者,喷嘴的流量范围必须满足各种层次作物的要求;此外,喷嘴的喷射宽度必须要满足足够宽的几何形状的变化。因此,施药角度和流量必须能够调整,以满足作物层次和几何形状变化的各种要求。针对施药机器人的喷头,沈从举等[28]利用三维CAD软件设计了3D雾化喷头,极大地提高了农药的利用率。茹煜等[29]对无人机喷头进行性能试验,发现旋转液力雾化喷头能达到最佳的喷雾效果。药液沉积率是精准施药作业中确定药液吸收率的关键参数,在以往的研究中,通过假定喷雾形状为椭圆锥形来建立药液沉积率模型,如高斯分布、柯西分布与概率分布等。然而,上述模型的建立大多采用基于喷雾实验的建模方法,不仅需要大量的试验数据来验证实验结果,而且浪费了大量的时间和资源,效率和精度都很低。因此,如何在实际操作的基础上快速建立药液沉积速率模型仍然是一个值得关注的问题。S.YU等[30]对精准施药机器人的喷雾沉积速率进行了建模与预测,通过实验得到,遗传算法在药液沉积速率上的建模优于贝叶斯归一化算法。马伟等[31]设计了提高药液沉积率的风送式变量施药机器人,利用风量传送药液达到精确喷雾、减少漂移及增加药液沉积率的目的。
1.模拟小车 2.雾量分布测量端口 3.雾量分布试验台
1.3 自主行走技术
施药机器人在作物间的移动是要解决的基本问题,作物间的间隙小而不平,有垄行、沟壑等阻碍。自主行走是机器人根据所设置的轨迹或根据传感器的指令自主进行前进、停顿及拐弯等的技术,是精准施药机器人必不可少的一部分。
针对施药机器人的移动,国内外的研究者进行了大量的研究且取得了部分研究进展,并将其应用于机器人的行走中。在国外,Ion等人设计了一种模块化结构的自主移动机器人,实验结果表明:机器人移动时的方向和感知能力较好,具有较高的自主度。B.Bonev等提出一个便携式四腿机器人自主行走的校准方法。实验结果表明,机器人在实现自主行走过程中能实现精确的定位响应。D.Belter等提出一个自主行走机器人的自适应运动规划方法,模拟运动表明:机器人能够在崎岖的地形下高效率地自主行走。Zaidner等提出了一种新导航算法的精准施药机器人,利用机器人平台的仿真和基于现场视频数据可视化验证实现了机器人的自主移动。在国内,Wang等[32]设计了基于PID自动控制的四轮车载式温室精准施药机器人系统,温室实验表明:该施药机器人实现了自主移动施药。张宾等[33]设计了基于轨道自动行走的四轮喷雾机器人小车,能够根据传感器自动完成行走、停止及升降等。牛雪梅等[34]设计了基于滑模变结构控制的施药机器人,实验结果表明:该机器人能够按照实际运动轨迹平稳作业。
在近几十年,基于病害识别的精准施药机器人技术已经取得了很多技术上的突破,但发展历程还很短,很多检测技术设施还处于研究试验阶段,整体技术不够完备。本文总结了基于病害识别的精准施药机器人技术各个方面的研究现状及发展,提出以下两个方面的重点、难点问题及一些解决方案。
2.1 病害识别技术问题
1)难以从复杂的作物生长环境中精确识别作物。作物的生长一般伴有着多种层次的杂草,杂草的颜色和作物颜色难以分辨,为图像处理增加了难度。
2)对于相似病害的识别率很低,研究的较少。多种病害混合的现象在作物的生长中是比较常见的,一片叶子上可能出现几个形状相似、颜色相近的病斑,现有的技术无论是基于机器视觉还是光谱检测,对于精确识别相似病害还存在着严重的不足。
3)检测病害信息时,选取的角度单一,不能全面检测。一般作物感染病害时,症状会出现在其茎部、叶部、根部或叶部的背面,作物生长时上方叶片会遮住下方叶片、茎及根,进行检测时只能检测到部分的症状,阻碍了对作物的全面检测。
2.2 施药问题
1)现有的施药技术对雾滴的控制程度不高。雾滴小、质量轻,喷雾时会随着风向转动,对于何种风力使用何种液压没有明确的标准,雾滴偏移会造成药物浪费和环境污染。
2)精准施药设备自动化程度不高,性能低。施药设备大到整个机械系统小到一个喷头,自动控制程度并不高,根据环境变化能力弱,没有自动修复能力,很多时候需要人工辅助。
目前,精准施药机器人无论是技术还是设备方面还处于发展初期,具有巨大的发展空间。根据对精准施药机器人的关键技术研究得出,如何提高复杂环境下作物的分辨率、相似病害的识别率、作物病害的多角度选取、病害程度的标准划分、图像处理的代码优化,以及如何提高精准施药技术对雾滴的控制率、施药装备的自动化程度和药液的回收率是今后精准施药机器人发展的方向。
作物病害检测、精准施药和自主行走技术,是精准施药机器人发展的关键及核心技术。通过对作物病害信息的获取、处理和对作物进行精准施药的仿真与调控及机器人的自主行走等关键问题的深入研究,获得了一批先进的信息获取、理解与应用的方法和技术,为精准农业的发展提供了有力支撑。精准施药机器人在农业中的应用不仅大大提高了工作效率,且减少了农药浪费、保护了环境,为实现复杂的变量喷洒提供了可能,或将有利于改变传统农业劳动力人口需求过多的状况,推动农业向简约化、精准化及可持续化发展。
[1] 赵春江,陈天恩,陈立平,等.迁飞性害虫精准施药决策分析方法研究[J].农业工程学报,2008,24(S2):149-155.
[2] M Seelinger,E Gonzalez-Galvan, M Robinson.Towards a robotic plasma spraying operation using vision[J].IEEE Robotics & Automation Magazine, 1998,5(4): 33-38.
[3] 王海超,高雄,陈铁英,等.农作物病害检测中光谱和图像处理技术现状及展望[J].农机化研究,2015,37(10):1-7,12.
[4] Pasqua D.Ambra, Salvatore Filippone.A parallel generalized relaxation method for high-performance image segmentation on GPUs[J].Journal of Computational and Applied Mathematics, 2016, 293(29): 35-44.
[5] Soumen Biswas, Dibyendu Ghoshal, Ranjay Hazra.A new algorithm of image segmentation using curve fitting based Higher order polynomial smoothing[J].Optik-International Journal for Light and Electron Optics, 2016, 127(20): 8916-8925.
[6] R S Medeiros, J Scharcanski, A Wong. Image segmentation via multi-scale stochastic regional texture appearance models[J].Computer Vision and Image Understanding,2016, 142: 23-36.
[7] 李冠林,马占鸿,黄冲,等.基于K_means硬聚类算法的葡萄病害彩色图像分割方法[J].农业工程学报,2010,26(S2):32-37.
[8] 刁智华,王欢,宋寅卯,等.复杂背景下棉花病叶害螨图像分割方法[J].农业工程学报,2013,29(5):147-152.
[9] 刘涛,仲晓春,孙成明,等.基于计算机视觉的水稻叶部病害识别研究[J].中国农业科学,2014,47(4):664-674.
[10] Asma ElAdel, Mourad Zaied,Chokri Ben Amar.Fast beta wavelet network-based feature extraction for image copy detection[J].Neurocomputing,2016,173:306-316.
[11] 邵庆,张楠,路阳.小麦病害图像识别处理及形状特征提取研究[J].农机化研究,2013,35(8):35-37,42.
[12] 毋媛媛,刁智华,王会丹,等.作物病害图像形状特征提取研究[J].农机化研究,2015,37(1):64-67.
[13] Keyvan Asefpour Vakilian,Jafar Massah.An artificial neural network approach to identify fungal diseases of cucumber (Cucumis sativus L.) plants using digital image processing[J].Archives of Phytopathology and Plant Protection,2013,46(13):1580-1588.
[14] Jyoti Jhawar.Orange Sorting by Applying Pattern Recognition on Colour Image[J].Procedia Computer Science,2016,78:691-697.
[15] 彭吴琦,赵坤坤,焦倩雪,等.基于图像处理的农田作物病害识别研究[J].福建农业,2015(6):115.
[16] 王献锋,张善文,王震,等.基于叶片图像和环境信息的黄瓜病害识别方法[J].农业工程学报,2014,30(14):148-153.
[17] 刘君,王振中,李宝聚,等.基于图像处理的作物病害自动识别系统的研究[J].计算机工程与应用,2012,48(13):154-158,180.
[18] 王美丽,牛晓静,张宏鸣,等.小麦叶部常见病害特征提取及识别技术研究[J].计算机工程与应用,2014,50(7):154-157.
[19] 曹入尹,陈云浩,黄文江.面向作物病害识别的高光谱波谱库设计与开发[J].自然灾害学报,2008,17(6):73-76.
[20] 徐晓鸥,吴志毅,陈曦,等.2种豆类植物病原细菌的红外光谱检测与鉴定[J].浙江农业科学,2014(2):233-235.
[21] 王斌,薛建新,张淑娟.基于高光谱成像技术的腐烂、病害梨枣检测[J].农业机械学报,2013,44(S1):205-209.
[22] GuodongYou, XiuqingWang, ShifengYang. Precision Spraying System of Crops Disease Stress Based on Acoustic Emission[J].Journal of Computers,2011,6(4):635-642.
[23] 胡天翔.智能对靶喷雾机软件系统设计与集成研究[D].南京:南京林业大学,2009.
[24] Zhengdong Xu, Wenhao He,Kui Yuan.A real-time position and posture measurement device for painting robot, Electric Information and Control Engineering(ICEICE)[C]//2011 International Conference on, Wuhan,2011.
[25] 耿长兴,张俊雄,曹峥勇,等.温室黄瓜病害对靶施药机器人设计[J].农业机械学报,2011,42(1):177-180.
[26] 陈勇.自动施药机器人及可变量控制系统研究[D].南京:南京林业大学,2005.
[27] 柳平增,周立新,傅锡敏,等.精准施药动态仿真测控系统的设计[J].计算机测量与控制,2008,16(3):318-320.
[28] 沈从举,贾首星,孟祥金,等.基于SolidWorks的气泡雾化施药喷头3D设计与建模[J].江苏农业科学,2014, 42(1):359-362.
[29] 茹煜,金兰,周宏平,等.航空施药旋转液力雾化喷头性能试验[J].农业工程学报,2014,30(3):50-55.
[30] S Yu,L Cao.Modeling and prediction of paint film deposition rate for robotic spray painting[C]//2011 IEEE International Conference on Mechatronics and Automation, Beijing,2011.
[31] 马伟,冯青春,王秀,等.温室智能装备系列之:六十七出风口自调节风送变量喷药机器人开发及试验[J].农业工程技术:温室园艺,2015,(10):24, 26.
[32] Wang Fujuan.Control system design of spraying robot[C]//2010 International Conference on Computer and Communication Technologies in Agriculture Engineering, Chengdu,2010.
[33] 张宾,陈志清,宋健.自走式喷雾机自动控制系统的研制[J].农机化研究,2004(6): 115-118.
[34] 牛雪梅,高国琴,鲍智达,等.基于滑模变结构控制的温室喷药移动机器人路径跟踪[J].农业工程学报,2013,29(2):9-16.
Progress in Research on the Key Technology of Precision Spraying Robot
Diao Zhihua1,2, Diao Chunying1,2, Wei Yuquan1,2, Wu Yuanyuan1,2, Qian Xiaoliang1,2, Liu Yucui1,2
(1.Electric Information & Engineering College, Zhengzhou University of Light Industry, Zhengzhou 450002,China; 2.Henan Key Lab of Information Based Electrical Appliances,Zhengzhou 450002,China)
Precision spraying robot is based on timely access to information on crop diseases, the disease position is measured accurately, and take the variable spraying according to the difference, to achieve on-demand application. The key technologies of precision spraying robot include targeted crop disease recognition technology, precision applying pesticide technology and independent walking technology, which is based on independent walking, disease detection and precision spraying is the core. According to the current progress, the paper introduces the technology of classification and application of precision spraying robot, and summarizes the limitations of existing technology and the scientific issues to be solved, finally the future development direction of precision spraying robot is put forward.
robot; precision spraying; disease recognition; image processing
2016-09-26
河南省科技厅科技攻关项目(162102110118);河南省高等学校重点科研项目(15A413006);国家自然科学基金项目(61501407)
刁智华(1982-),男,河南夏邑人,副教授,博士,硕士生导师,(E-mai)diaozhua@163.com。
S233.3
A
1003-188X(2017)11-0001-06