农业自动化喷雾机械标靶害虫自动识别系统的研究

张　震，高　雄，陈铁英，王海超

(1.内蒙古农业大学 机电工程学院，呼和浩特 　010018；2. 内蒙古农牧业机械技术推广站，呼和浩特　010010)



农业自动化喷雾机械标靶害虫自动识别系统的研究

张震1，高雄1，陈铁英2，王海超1

(1.内蒙古农业大学 机电工程学院，呼和浩特 010018；2. 内蒙古农牧业机械技术推广站，呼和浩特010010)

摘要：农业喷雾对象的识别和定位是农业自动化喷雾机械研究中的核心技术之一。对病虫害甘蓝进行精准喷洒农药，实现病虫害准确自动识别成为关键。为此，利用机器视觉的欧氏距离甘蓝夜蛾虫害自动识别检测系统，结合由Qualityspec光谱仪组成的光谱成像系统，对甘蓝正常叶片和遭受甘蓝夜蛾虫害的甘蓝叶片的颜色特征和光谱特征进行分析,并采用机器视觉分割阈值选取中的Otsu算法和自适应波段选择方法提取出了颜色差异的最佳几何阈值和两种叶片的特征波段。试验结果表明:综合机器视觉和光谱技术能够实现甘蓝夜蛾虫害的自动且准确的识别，准确率可达94%。因此，建立机器视觉和光谱技术综合识别体系，可为农作物病虫害自动防治喷雾机器人的研制奠定基础，以达到农作物病虫害实时识别和及时治理的目的。

关键词：农业自动化；喷雾机械；机器视觉；光谱成像系统；甘蓝夜蛾；自动识别；特征波段

0引言

近年来，农作物的农药残留问题越来越突出;而农作物生长中，引起作物减产的最重要原因是病虫害。目前，在农业上，因农药残留而导致的农产品食用安全与因病虫害导致农业大量减产这一矛盾日益尖锐。为了缓和这一矛盾，必须实现智能化喷雾。如何在保证病虫害及时有效治理的前提下，有效地减小农药残留带给人们带来的危害，针对不同病虫害感染区域有选择性地进行合理喷雾，是确保作物产量和品质的关键。针对自然环境下机器视觉识别率低的缺点，本研究将机器视觉技术和光谱技术相结合应用到病虫害检测中，为农作物病虫害自动防治喷雾机器人的研制奠定基础，以实现智能化喷雾。

近年来，国内外专家学者运用机器视觉技术和光谱成像技术在农业领域中进行了相关的研究，并取得了一定成果。由美国加利福尼亚大学开发的基于机器视觉的杂草自动识别和喷雾控制系统，其系统可根据杂草密度和长势，精确控制除草剂剂量，实现了精准喷雾，减小了环境污染。研究提出的有关植物和杂草的图像识别、决策控制算法可在3.7m×0.43m的范围内分辨出植物、杂草和土壤，并在0.37s内做出喷雾决策[1]。韩国釜山国立大学的Yan Li等研究了采用立体视觉实现温室植物病虫害检测和自动喷雾系统。该系统采用双目视觉利用植物叶片和虫害区域不同颜色特征进行图像分割，并以质心点为匹配目标，获得虫害位置的信息进行喷雾[2]。

南京林业大学的郑加强等利用机器视觉设计了农药精确对靶喷雾系统，通过对采集的图像进行基于相对色彩因子的树木图像分割获得绿色目标，对分割图像测量获取目标的形态和位置特征，然后由喷雾执行系统完成喷雾作业[3]。为了实现精准喷雾，马凯对树木灰度图像使用特征提取与区域相关的立体匹配算法进行视觉匹配，并完成了图像三维重建[4]。通过对水稻冠层光谱与地上生物量相关分析，王秀珍等得出红谷反射率最小值、绿峰反射率最大值、红边波长、红边振幅及多种组合方式与生物量显著相关;经过试验分析得出采用蓝边面积和红边面积构建比值植被指数构建的生物量估算模型效果最好[5]。为了有效防治冬小麦病虫害，乔红波等运用高光谱检测冬小麦病虫害，通过试验分析得出小麦冠层光谱反射率随百株蚜量和病情指数的变化规律[6]。

1试验材料与路线

1.1　试验材料与仪器设备

本试验研究选用内蒙古农业大学试验基地试验田种植的“京丰一号”系列、生长时间为60天左右、外叶6～8片、叶长约15cm、宽约20cm的甘蓝作为试验对象，选取完好的甘蓝菜叶和遭甘蓝夜蛾浸染的甘蓝菜叶各50片。

试验用到的机器视觉图像识别硬件系统由专用CCD照相机、专用计算机、特制光源、专用图像采集卡及试验对象(甘蓝菜叶)等组成[7]，如图1所示。其中，机器视觉图像识别软件系统主要由MatLab软件编辑程序组成，来实现对甘蓝夜蛾虫害图像识别和标记。试验中光谱成像系统使用美国ASD公司(Analytical Spectral Devices)生产的Qualityspec光谱仪，使用Matlab软件进行数据处理。

1.专用CCD照相机　2.特制光源　3.特制光照箱

1.2　试验技术路线

试验技术路线如图2所示。

图 2　试验流程

2试验过程

2.1　机器视觉图像和光谱的采集

机器视觉图像采集是将试验对象甘蓝菜叶放置在特制光照箱的载物台白色硬纸板上，为了减小因光线不足和不均匀给采集图像质量带来的影响，在光照箱内部的4个顶角处安置4个白色光源。图像采集使用专用CCD照相机，其主要参数如下：型号 DS-UM501-H SENSOR，尺寸1/2.5，CMOS彩色，有效像素 2592H×1944V(5M)。将专用CCD照相机设置在光照箱顶部80 cm中心处，对试验对象甘蓝菜叶垂直拍摄进行图像采集。光谱采集是用Qualityspec光谱仪进行甘蓝叶片光谱测定，其采集波段为444～676 nm,每间隔4nm进行一次扫描，光谱分辨率为10nm。光谱采集时间选择在光照充足且均匀，平均温度为22.5℃，北京时间10:00-14:00之间进行。采集时探头垂直向下，距甘蓝叶片0.5m左右，探头视场角为20°,每个样点测量5次光谱，平均后作为采样光谱，光谱测定前进行标准参考白板校正。

2.2　对机器视觉图像和光谱预处理

经过机器视觉图像硬件和软件系统采样、量化，得到24位甘蓝菜叶真彩图像。为了提高甘蓝菜叶图像数据处理的效率和准确度，在对甘蓝菜叶真彩图像进行分析和处理时，必须要把真彩甘蓝菜叶图像变换为灰度图像。使用MatLab图像处理软件对真彩甘蓝菜叶图像进行转换，可获得R、G、B等3个通道的灰度图像，如图3所示。试验发现：在B通道中遭甘蓝夜蛾浸染的区域与甘蓝菜叶完好部位的灰度成分差别比较明显，而其余两个通道图像灰度成分差异不明显，所以选用B通道的灰度图像进行后续的机器视觉图像识别和标记。

图3　数字化图像灰度化处理甘蓝夜蛾图像结果

灰度图像直方图是反应图像各灰度值统计特性与图像灰度值的一种函数关系，其统计一幅图像中各个灰度级出现的个数或概率，表征一幅图像的灰度级内容，适用于图像灰度变换和图像分割等处理过程中[8]。灰度图像直方图x轴表示图像中各像素点的灰度等级，y轴表示各个灰度级上图像各个像素点出现的个数。运用MatLab软件获得甘蓝菜叶的灰度图像三通道直方图，如图4所示。

图4　三通道灰度图像直方图

Qualityspec光谱仪在农业检测识别领域中应用十分广泛。在本研究中，光谱仪采集样品的光谱信号后，采用自适应波段选择的方法来提取完好甘蓝叶片和遭甘蓝夜蛾浸染的甘蓝叶片的特征值波长。该方法的数学算法模型中的指数可表示为

(1)

其中，Indexi是第i幅图像的指数大小；Si为第i个波长的标方准差；Ri-1,i是第i个波长与第i-1个波长的相关系数。同理，第i个波长与第i+1个波长的相关系数，用Ri,i+1表示。式(1)中的标准方差Si可表示为

其中，M为采集图像的行像素；N为采集图像的列像素；fi,和μi分别为采集图像的第i帧像素和第i帧像素平均值。式(1)的Ri,j可表示为

(3)

其中，E{}为图像像素的数学期望。为了解决光谱数据具有的波段数目多、波段宽度窄、数据量庞大等缺点给图像的解译带来的困难, 本试验研究采用自适应波段选择方法，充分考虑了光谱图像波段的信息量和波段间的相关性。

2.3　机器视觉图像和光谱的特征提取

为了将标靶甘蓝菜叶目标区域从机器视觉背景图像中分离出来，本试验研究采用一种自适应的阈值确定的方法—最大类间方差法，也称大津法，简称OTSU。最大类间方差法根据图像的灰度特性，将图像分成背景和目标两部分。其阈值分割图像如5所示。

欧几里得度量(euclidean metric)[9]是一个通常采用的距离定义，指在m维空间中两个点之间的真实距离，或者向量的自然长度，用每个变量值差的平方和再平方根表示。在三维数据空间中，欧几里得度量计算公式为

(4)

其中，p为甘蓝菜叶机器视觉图像任意点；q为甘蓝菜叶机器视觉图像的平均颜色向量；1、2、3代表3个颜色分量的坐标值。在1张图像中，欧氏距离变换是指将前景色中的像素的值转化为该点到达最近的背景色中的像素点的距离。欧氏距离变换在数字图像处理中的应用范围很广泛，尤其对于图像的骨架提取，是一个很好的参照[10]。本试验选择合理的分割阈值，采用欧氏距离变换对甘蓝夜蛾机器视觉图像进行提取和标记。提取和标记图像如图6所示。

图5　阈值分割后的图像

图6　提取标记后甘蓝夜图像

农作物叶片中叶绿素对光波的吸收和反射是形成农作物光谱特征的关键因素。试验对象甘蓝菜叶的光谱数据中存在一个共同性，主要表现为：在波长454、554、660nm附近出现两个明显的吸收带和一个反射率为百分之二十几的反射峰。表1是采用自适应波长选择方法，利用式(2)和式(3)求出不同波段区间中具有代表性部分波长的相关系数[11]。由表1可以看出：波长672nm 和460nm与其他波长的R值均较小，而波长536、620、624nm与其他波长的R值均较大。

表 1完好甘蓝叶片部分不同波长的相关系数

Table 1Correlation coefficient of different wavelengths of intact cabbage leaves

波长/nm6206246286326366404600.420.480.500.510.520.545360.620.890.910.790.800.936201.120.910.830.870.860.816240.781.111.021.051.011.07672-0.12-0.18-0.20-0.19-0.16-0.26

本试验采用由Qualityspec光谱仪组成的多光谱系统和MatLab软件求得表1数据之后，利用式(1)和式(2)计算出完好甘蓝菜叶不同波长的指数值和遭甘蓝夜蛾浸染的甘蓝菜叶不同波长的指数值，并用MatLab软件绘出Index杆状图，如图7和图8所示。由完好甘蓝菜叶不同波长指数图可以看出：波长536、616、620、624nm附近波长指数值较大，表示这些波长所含光谱信息量就比较大，所以完全可以把536、616、620、624nm作为完好甘蓝菜叶最优特征波长。由遭甘蓝夜蛾浸染的甘蓝菜叶不同波长指数图可以看出：波长540、544、560、568、672nm附近波长指数值较大，表示这些波长所含光谱信息量比较大，所以完全可以把540、544、560、568、672nm作为遭甘蓝夜蛾浸染的甘蓝菜叶最优特征波长。

图7　完好甘蓝叶片指数图

图8　遭甘蓝夜蛾浸染的叶片指数图

为了验证试验所得特征波长分别为完好甘蓝菜叶和遭甘蓝夜蛾浸染的甘蓝菜叶的最优特征波长，现在利用欧几里得度量法对甘蓝菜叶进行聚类分析。扫描完好甘蓝菜叶和遭甘蓝夜蛾浸染的甘蓝菜叶，得到的光谱波长灰度值作为聚类分析的标准集，然后将上述特征波段数据作为样本集，求出样本集与标准集的欧氏距离(见表2)，依据欧氏距离大小来进行聚类分析。

表2甘蓝叶片特征值波长聚类分析所获得欧氏距离

Table 2The Euclidean distance of the characteristic wavelengths of cabbage leaves in clustering analysis

波长/nm与健康叶片欧氏距离与虫害叶片欧氏距离5366.5014.2154016.100.0554410.051.5256014.509.6856813.058.526160.050.5262011.7114.556240.051.6767215.335.85

由表2可知：样本集中遭甘蓝夜蛾浸染的甘蓝菜叶的特征波长数据与标准集中遭甘蓝夜蛾浸染的甘蓝菜叶的光谱波长灰度值的欧氏距离，远小于其与标准集中完好甘蓝菜叶的光谱波长灰度值的欧氏距离；而样本集中完好甘蓝菜叶的特征波长数据与标准集中遭甘蓝夜蛾浸染的甘蓝菜叶的光谱波长灰度值的欧氏距离，远大于其与标准集中完好甘蓝菜叶的光谱波长灰度值的欧氏距离。所以，把波长540、544、560、568、672nm作为遭甘蓝夜蛾浸染的甘蓝菜叶的最优特征波长，把波长536、616、620、624nm作为完好甘蓝菜叶最优特征波长是完全正确的。

3试验结果及分析

使用机器视觉欧氏距离算法和Qualityspec光谱仪组成的光谱成像系统对50片没有病变和甘蓝夜蛾虫害的完整甘蓝菜叶及50片完好的有甘蓝夜蛾虫害的甘蓝菜叶进行机器视觉图像和光谱特征分析识别，结果如表3所示。

表3　实验结果

试验结果显示：利用机器视觉欧氏距离识别检测系统和由Qualityspec光谱仪组成的光谱成像系统进行信息融合对甘蓝夜蛾虫害进行识别，具有识别率较高及准确等优点，因此本方法更适用于虫害的检测，同时也为农业自动化喷雾机器人研制奠定了基础。

参考文献：

[1]邬国良.植保西安:技术简明教程[M].兰州:西北农林科技大学出版社,2009: 248-250.

[2]Yan Li. Vision guided insect handling system,modeling and simulation[J].Proceedings of the Annual Pittsburgh Confe rence,1990,21(5):1995-2001.

[3]郑加强,周宏平,徐幼林,等.农药精确对靶喷雾及其系统设计[J].农业工程学报,2005,21(11):62-70.

[4]马凯.基于立体视觉的树木图像深度信息提取研究[D].南京：南京林业大学,2007:8-10.

[5]王秀珍，黄敬峰，李云梅，等. 水稻地上鲜生物量的高光谱遥感估算模型研究[J].作物学报,2003,29(6):815-821.

[6]乔红波.麦蚜、白粉病危害后冬小麦冠层的测量与分析[D].北京:中国农业科学院,2004：32-35.

[7]王海超.甘蓝菜青虫害自动识别系统的开发与试验研究--基于机器视觉[J].农机化研究,2015,37(1):205-206.

[8]岑喆鑫.基于计算机视觉技术的黄瓜叶部病害自动诊断研究[D].北京:中国农业科学院,2008：22-25.

[9]何东健,耿楠,张义宽，等.数字图像处理：2版[M].西安:西安电子科技大学出版社,2008:55-100.

[10]萧湘.骨髓细胞图像分割方法研究[D].长沙：中南林业科技大学,2010:30-32.

[11]赵春晖,陈万海.高光谱遥感图像最优波段选择方法的研究进展与分析[J].黑龙江大学：自然科学学报,2007,24(5):592-602.

Research on Automatic Identification System of Target Pests in Agricultural Automation Spraying Machine

Zhang Zhen1， Gao Xiong1， Chen Tieying2， Wang Haichao1

(1.College of Mechanical and Electrical Engineering，Inner Mongolia Agricultural University, Hohhot 010018, China;2.Inner Mongolia Agricultural and Animal Husbandry Machinery Technology Extersion Station, Hohhot 010010, China)

Abstract：The spray object recognition and localization is one of the core technology of automatic spray mechanization research. For precision spraying pesticide plant diseases and insect pests of cabbage, the accurate and automatic identification of plant diseases and insect pests of cabbage becomes the key. Therefore, using machine vision automatic identification of the Euclidean distance of cabbage moth pests detection system, combined with spectral imaging system composed of qualityspec spectrometer, Cabbage normal blade and suffer from the cabbage moth pests of cabbage leaf color features and spectral characteristics were analyzed. The best geometric threshold of color difference and characteristic bands of two kinds of leaves were extracted, using the Otsu threshold value image segmentation algorithm and adaptive band selection method. The test results show that the technology compositing image processing with spectrum can realize automatic and accurate identification of Cabbage moth pests, accuracy reaching 94%. Therefore, the establishment of comprehensive image processing and spectroscopy identification system can lay the foundation for the development of the automatic control of spray robot, in order to achieve the purpose of crop diseases and pests identification and real-time treatment.

Key words：agricultural automation; spraying machine; machine vision; spectral imaging systems; cabbage moth; automatic recognition; characteristic wave band

中图分类号：S49;S24

文献标识码：A

文章编号：1003-188X(2016)08-0126-05

作者简介：张震(1986-)，男，河南商丘人，硕士研究生，(E-mail)2483617865@qq.com。通讯作者：高雄(1957-)，男，呼和浩特人，副教授，硕士生导师， (E-mail)gao0927cn@ aliyun.com。

基金项目：国家自然科学基金项目(41161045)

收稿日期：2015-07-31