基于无人机数字图像与高光谱数据融合的小麦全蚀病等级的快速分类技术

乔红波, 师 越, 司海平, 吴 旭,郭 伟, 时 雷, 马新明, 周益林

(1.河南粮食作物协同创新中心,河南农业大学信息与管理科学学院,郑州 450002; 2.植物病虫害生物学国家重点实验室,北京 100193)

基于无人机数字图像与高光谱数据融合的小麦全蚀病等级的快速分类技术

乔红波1,2*, 师 越1, 司海平1, 吴 旭1,郭 伟1, 时 雷1, 马新明1, 周益林2

(1.河南粮食作物协同创新中心,河南农业大学信息与管理科学学院,郑州 450002; 2.植物病虫害生物学国家重点实验室,北京 100193)

小麦全蚀病是检疫性的土传病害,对小麦生产危害极大,对其发生的监测是治理的根本。遥感技术可实时、宏观地监测病害发生发展,尤其是将光谱信息与高分辨率数字图像进行融合,可直观、精准地对病害识别和分类。本文基于计算机视觉技术,通过光谱数据与高分辨率数字图像结合的方法,对小麦全蚀病等级进行快速分类。首先,通过ASD非成像光谱仪获取小麦全蚀病的光谱信息,提取全蚀病特征光谱,建立光谱比。其次,利用无人机获取的实时田间数码图像,对其颜色特征进行重量化。最后,利用基于支持向量机的决策树分类对图像视场中的不同全蚀病等级进行分类。结果表明,4个全蚀病等级的分类精度均大于86%(Kappa＞0.81),平均运算时间小于30 s。通过与实地调查的小麦全蚀病的白穗率等级做比对,验证分类结果的准确性,结果表明该方法基本可以实现对小麦全蚀病等级的实时监测。

小麦全蚀病; 计算机视觉技术; 快速多分类; 颜色模型; 支持向量机

基于颜色特征的图像融合,强调光谱比和颜色特征之间的对应,并不突出像元的对应,在处理上避免了像元重采样等方面的误差。由于它强调对颜色特征和光谱比进行关联处理,把特征分为有意义的组合,因而它对特征属性的判断具有更高的可信度和准确性,围绕辅助决策的针对性更强,且数据处理量大大减少,有利于实时处理[1011]。

本研究的目的是发展一种基于支持向量机分类树的小麦全蚀病等级的快速分类技术。首先,利用非成像光谱仪(ASD Hand Held,ASD Inc,以下简称ASD非成像光谱仪)获取小麦全蚀病冠层的高光谱数据,建立特征谱段的光谱比。其次,利用无人机设备获取航拍数码图像,并建立基于HSV色彩空间的颜色特征模型。最后通过基于支持向量机的决策树分类,实现对图像中小麦全蚀病等级的快速分类。

1 材料与方法

1.1 试验设计

1.1.1 试验区域

试验于2013年4月到6月在河南省原阳县(114.09°N,35.14°E)进行,供试小麦品种为‘郑麦366’,2012年10月播种。利用12.5%硅噻菌胺悬浮剂3个浓度梯度(1∶250,1∶500,1∶1 000)拌种,每浓度3个重复。于收获前2周测定其冠层的高光谱数据和航拍数码图像,并对试验区域进行抽样调查,每个点调查1 m2区域内的小麦,记录小麦全蚀病白穗率。试验期间,田间平均温度为19.4℃。

1.1.2 冠层光谱测定和航空图像采集

本研究中所有数据均在无云的晴天进行收集,采集时间在10：00到13：00之间,试验利用ASD非成像光谱仪获取小麦全蚀病成像光谱数据。利用无人机进行航空图像的拍摄。

ASD非成像光谱仪的光谱范围为350～1 000 nm,视场角为25°,数据传输方式为USB 2.0,将采集到数据直接存储在便携式计算机中,并对遥感图像中的机内暗电流,零响应偏移进行校正[12]。在ENVI 5.0的环境下,采集的高光谱数据通过基于地面控制点(ground control point,GCP)的正射校正算法的有理多项式系数(rational polynomial coefficient,RPC)进行几何校正。通过暗像素法(dark object subtraction,DOS)进行辐射校正,每个波段的阈值均设为1%。航拍设备包括一架配备数码相机(Sony Nex-5)的小型无人机以及一个控制台。图像拍摄角度与地面垂直,高度100 m,图片分辨率为4 912×2 760像素,储存格式为TIFF(图1)。

1.2 光谱可分性检验与特征谱段比

1.2.1 特征光谱可分性检验

光谱的可分性检验用于检验主成分特征波段的显著性,光谱的可分性通过计算特征波段的反射率均值间的Jeffries-Matusita距离来判断其可分性。Jeffries-Matusita距离的取值范围为[0,2],本研究中设置阀值为1.85,即当波段间的Jeffries-Matusita距离大于1.85的时候,即认为两个波段是可分的[13]。

1.2.2 特征波段比

正常小麦在510～580 nm的绿波段呈现反射峰,在630～690 nm的红波段呈现吸收谷,这种“峰谷现象”是正常小麦光谱曲线的典型特征[14]。而小麦全蚀病的主要特征是出现“白穗”,通过小麦冠层的白穗率来衡量全蚀病等级,其光谱的“峰谷现象”不再明显[15-16]。

1.3 HSV颜色特征模型

1.3.1 颜色分量重量化

利用有效的数据标签来选取训练样本可以有效地增加分类精度,减少训练时间。本研究利用16∶4∶4的量化方案(表1)对图像的色调、饱和度和亮度(hue,saturation and value;HSV)进行重量化,建立颜色特征模型[17]。量化后的颜色特征具有更高的检索效率,并使图像中的像素按其颜色特征进行排列,从而建立有效的特征检索标签。

图1 试验区域示意图以及航空拍摄图像示例Fig.1 The aerial photo of the study areas in Yuanyang County,Henan,China

1.3.2 颜色特征索引的建立

对于图像中的像素矩阵,利用公式(1)对量化后的HSV颜色分量进行融合,得到颜色特征的第一个特征向量T1。再利用量化后的3个颜色分量的均值μH、μS、μV,方差σH、σS、σV,和三阶矩mH、mS、mV,建立9个特征索引T2～T10

[17]。

式中,DH,DS,DV是色调(H)、饱和度(S)、亮度(V)量化后的值。QS和QV分别是饱和度和亮度的量化的等级数。

1.3.3 基于特征索引的颜色聚类

对于两个像素矩阵A和B,Ti(A)和Ti(B)是其对应的颜色特征索引。利用公式(2)可以求出第i个特征的相似性：

式中{A+B}是矩阵A和矩阵B中的不重复像素的总和。{|Ti(A)-Ti(B)|＞α}表示矩阵A与B中对应元素相减后其绝对值大于αi的元素个数,这里αi为相似度的参数。

再利用公式(3)计算像素矩阵A和矩阵B的总相似度,从而确定两个矩阵的颜色聚类。

这里T是颜色特征索引的个数,本研究中T= 10。SIMI的范围是[0,1]。SIMI越大相似性越强。

表1 HSV色彩空间的量化方案Table 1 Quantification scenario of HSV color space

1.4 支持向量机(SVM)与决策树分类

1.4.1 支持向量机

本研究在Matlab 2013a的环境下,使用径向基核函数(radial basis function,RBF)作为训练样本xi,xj间支持向量分类机的核函数,支持向量机采用风险最小化原理,在样本误差最小化的同时减小模型误差的上界,避免了过学习现象[18]。通常,分类问题都是非线性的,而非线性问题可以通过变换转化为高维空间的线性问题,在变换后的高维空间中求最优解[19]。支持向量机通过核函数解决了问题从低维向高维影射的过程。公式4为RBF核函数,其参数γ=0.004 59,惩罚系数为100：

1.4.2 决策树分类

本研究将决策树分类分为两层。首先,将无人机获取的图像转换为像素单元的矩阵,其次,利用绿、红波段比对每个像素进行预分类,最后,通过支持向量机对两个子类进行再分类(图2)。在运算过程中加入计时器,测量计算时间与训练样本规模之间的关系。

1.4.3 分类精度

将分类结果与实地调查数据对比,得到分类精度的混淆矩阵(confusion matrix),并通过公式(5)计算其稳定性指标(Kappa值)[20]：

式中：r是混淆矩阵的总列数;xii是混淆矩阵的第i行、第i列的像元数量;xixi是第i行和第i列总像元数量;N是整个图像的总像元数量。

图2 决策树分类的流程图Fig.2 Flow diagram of decision tree classification

2 结果与分析

2.1 光谱可分性检验

光谱可分性分析对红、绿、蓝三个特征光谱的显著性以及可分离的程度进行对比(表2)。结果表明,在阀值=1.85的条件下,红、绿波段间具有显著的可分性(即Jeffries-Matusita距离均显著的大于1.85),这表明红、绿波段能够反映不同小麦全蚀病等级的光谱特征。

表2 小麦全蚀病光谱的红、绿、蓝波段光谱可分性检验Table 2 Spectral separability about the bands of red, greed and blue of wheat take-all

2.2 图像重量化结果

应用16∶4∶4重量化方案对无人机获取的数字图像进行重量化,量化后各颜色的分布直方图如图3所示。从结果中可以看出,量化后的颜色明显呈现出4个聚类特征,其DN值为19～25(白色),36～41(淡黄色),51～55(黄绿色),64～68(绿色)。

图3 重量化后的颜色分布直方图Fig.3 Histogram of the color features after quantization

2.3 分类结果及精度

利用ASD光谱数据建立波段比的参考值,并与田间调查的小麦全蚀病白穗率对比,结果表明,绿波段与红波段比值大于或等于1时,小麦白穗率在0～50%之间,小麦冠层颜色呈绿色或黄绿色;波段比小于1时,白穗率在50%～100%之间,小麦冠层颜色呈淡黄色或白色。

为了便于计算机视觉识别,并提高数据处理速度,本研究输出的分类图像为灰度图。利用4个灰度级来表示4个全蚀病的等级在决策树分类的第一层中,利用波段比对各个图像像素进行预分类,分类结果如图4a所示。在第二层决策中,在每一个颜色聚类中选择1 000个像素点作为训练样本,然后利用支持向量机进行再分类,结果如图4b所示,在视场内的小麦田地中,正常小麦(白穗率为0～10%)占视场内小麦的14.56%,不同白穗率的全蚀病小麦占85.44%,其中轻度发病的小麦(白穗率为10%～50%)广泛分布在严重发病的小麦中间(白穗率为50%～90%),二者分别占29.53%和26.06%,死亡小麦(白穗率为90%～100%)在图像中呈区域分布,占29.85%。

利用该分类算法在内存为4 GB DDR3、CPU型号为intel core i7 860的微型计算机上,对所采集的15幅经校正的航拍图像进行分类,经过对不同训练样本规模进行对比评价,发现训练样本数量大于1 000像素的时候,分类精度高于85%,其最短计算时间为23.1 s,最长计算时间为31 s,平均计算时间约为29 s。通过混淆矩阵及Kappa值来评价分类精度(表3),评价结果表明,所有类别的Kappa值均大于0.8,表明分类效果良好。健康小麦和死亡小麦的分类精度最低,其主要原因是健康小麦与轻度病害小麦、死亡小麦与严重病害小麦间的颜色特征差异不显著,容易造成错分。

图4 决策树分类第一层(a)及第二层(b)结果Fig.4 Results of first(a)and second (b)stages of the decision tree

表3 决策树分类的混淆矩阵及Kappa值Table 3 Confusion matrix and Kappa value of the decision tree

2.4 分类结果的验证

为了进一步验证图像的分类结果,利用田间抽样调查的全蚀病等级数据,与分类图像对应区域进行对比。结果表明,田间小麦白穗率在10%以内,分类结果吻合,为健康;白穗率在10%～50%之间的为轻度全蚀病;其中2处试验小区调查的白穗率为66%和69%,其分类结果应为严重,按照颜色模型的结果,其分类结果为死亡,因此,严重病害的小麦和死亡小麦间还存在一定的误分。

3 讨论

本文通过ASD非成像光谱仪获取高光谱数据进行波段可分性分析,研究小麦全蚀病的绿、红波段比特征,再利用航拍数码图像高分辨率的特性对图像像素进行快速的多分类。从获取的数据看,ASD非成像光谱仪获取的数据能更准确地反映不同全蚀病小麦白穗率的光谱特征,原因是其拥有更高的波谱分辨率[21]。通过本研究可以证明光谱数据与高分辨率数字图像进行数据融合的可行性,利用该方法对不同小麦全蚀病的像元进行训练和分类,可以大大减少计算量,提高分类速度。

遥感图像数据融合是遥感对地监测研究的热点,但以往的研究多偏向于不同遥感器的成像光谱数据之间的融合[22-23]。但由于仪器操作专业性强、计算周期长、图像分辨率有限(大于20 m),在我国小而分散的耕作模式下,尤其在中部平原地区,很难将成像光谱设备直接利用于作物病害的监测活动中。本研究通过从光谱中提取特征波段的波段比,并作用于高分辨率的数码图像,对全蚀病发病区域不同田块的发病程度进行非监督的快速多分类。在实际的小麦全蚀病病情的评估过程中,降低了对人为主观经验的要求,提高了病情的识别度和计算速度。

4 结 论

本文利用颜色模型对小麦全蚀病进行分类与监测,主要得出如下结论：

1)通过对不同小麦全蚀病等级的波段提取,确定波段比阈值。并利用波段比进行预分类,结果表明不同全蚀病等级的小麦波段比差异较显著。

2)本研究采用支持向量机的算法,把颜色特征引入到训练样本的提取及训练目标的设计上。该算法一方面考虑分类目标的特征差异,另一方面兼顾计算速度。与传统监督分类算法相比,该方法的分类精度大于86%,并大幅减少了监督分类的时间,为病害的实时监控提供指导。

[1] Cook R J.Take-all of wheat[J].Physiological and Molecular Plant Pathology,2003,62(2)：73-86.

[2] Clapperton M J,Lee N O,Binet F,et al.Earthworms indirectly reduce the effects of take-all(Gaeumannomyces graminis var.tritici) on soft white spring wheat(Triticum aestivum cv.Fielder)[J]. Soil Biology and Biochemistry,2001,33(11)：1531-1538.

[3] 孙海燕,李琦,杜文珍,等.不同杀菌剂拌种防治小麦全蚀病研究[J].植物保护,2012,38(3)：155-158.

[4] Graeff S,Link J,Claupein W.Identification of powdery mildew(Erysiphe graminis sp.tritici)and take-all(Gaeumannomyces graminis sp.tritici)disease in wheat(Triticum aestivum L.)by means of leaf reflectance measurements[J].Central European Journal of Biology,2006,1(2)：275-288.

[5] 宋晓宇,王纪华,薛绪掌,等.利用航空成像光谱数据研究土壤供氮量及变量施肥对冬小麦长势影响[J].农业工程学报, 2004,20(4)：45-49.

[6] Otazu X,González-Audicana M,Fors O,et al.Introduction of sensorspectral response into image fusion methods.Application to wavelet-based methods[J].IEEE Transactions on Geoscience and Remote Sensing,2005,43(10)：2376-2385.

[7] 顾清,邓劲松,陆超,等.基于光谱和形状特征的水稻扫描叶片氮素营养诊断[J].农业机械学报,2012,43(8)：170-174.

[8] 李霖,佘梦媛,罗恒.ZY-3卫星全色与多光谱影像融合方法比较[J].农业工程学报,2014,30(16)：157-165.

[9] Mirik A,Michels GJ,Kassymzhanova-Mirik S,et al.Using digital image analysis and spectral reflectance data to quantify damage by greenbug(Hemiptera：Aphididae)in winter wheat[J].Computers and Electronics in Agriculture,2006,51(1/2)：86-98.

[10]Jin Xiaoying,Davis C H.An integrated system for automatic road mapping from high-resolution multi-spectral satellite imagery by information fusion[J].Information Fusion,2005,6(4)：257-273.

[11]Xie Xing,Liu Mengliang,Wang Leiguang.A remote sensing image segmentation method based on spectral and texture information fusion[C]∥Proceedings of the 2009 Sixth International Conference on Information Technology：New Generations,USA：IEEEE,2009：22-27.

[12]Spank U,Bernhofer C.Another simple method of spectral correction to obtain robust eddy-covariance results[J].Boundary-Layer Meteorology,2008,128(3)：403-422.

[13]Tolpekin V A,Stein A.Quantification of the effects of land-coverclass spectral separability on the accuracy of Markov-random-fieldbased superresolution mapping[J].IEEE Transactions on Geoscience and Remote Sensing,2009,47(9)：3283-3297.

[14]鞠昌华,田永超,朱艳,等.小麦叠加叶片的叶绿素含量光谱反演研究[J].麦类作物学报,2008,28(6)：1068-1074.

[15]乔红波,马新明,程登发,等.基于TM影像的小麦全蚀病危害信息提取[J].麦类作物学报,2009,29(4)：716-720.

[16]蔡健荣,王建黑,陈全胜,等.波段比算法结合高光谱图像技术检测柑橘果锈[J].农业工程学报,2009,25(1)：127-131.

[17]冀亚丽,程小平,康海东,等.具有鲁棒性的彩色图像检索方法[J].测绘学院学报,2005,22(3)：194-196.

[18]Liu Y,Zhang B,Wang L,et al.A self-trained semisupervised SVM approach to the remote sensing land cover classification [J].Computers and Geosciences,2013,59：98-107.

[19]Maulik U,Chakraborty D.A self-trained ensemble with semisupervised SVM：Anapplication to pixel classification of remote sensing imagery[J].Pattern Recognition,2011,44(3)：615-623.

[20]Ben-David A.Comparison of classification accuracy using Cohen’s Weighted Kappa[J].Expert Systems with Applications,2008,34(2)：825-832.

[21]Herold M,Gardner M E,Roberts D A.Spectral resolution requirements for mapping urban areas[J].IEEE Transactions on Geoscience and Remote Sensing,2003,41(9)：1907-1919.

[22]徐佳,关泽群,何秀凤,等.基于传感器光谱特性的全色与多光谱图像融合[J].遥感学报,2009,12(1)：97-102.

[23]刘哲,郝重阳,刘晓翔,等.多光谱图像与全色图像的像素级融合研究[J].数据采集与处理,2003,18(3)：296-301.

(责任编辑：杨明丽)

调查研究

Investigations

Fast multi-classification of wheat take-all levels based on the fusion of unmanned aerial vehicle digital images and spectral data

Qiao Hongbo1,2, Shi Yue1, Si Haiping1, Wu Xu1, Guo Wei1, Shi Lei1, Ma Xinming1, Zhou Yilin2

(1.Collaborative Innovation Center of Henan Grain Crops,College of Information and Management Science,Henan Agricultural University,Zhengzhou 450002,China;2.State Key Laboratory for Biology of Plant Diseases and Insect Pests,Beijing 100193,China)

Wheat take-all will lead to a disaster in wheat production without timely monitoring and management. Traditional remote sensing approaches in wheat take-all have failed to fast and accurately recognize the multi-level disease conditions due to relatively coarse spatial resolution and the experience-based features selection.This study developed a method to achieve the fast multi-classification of wheat take-all based on the computer vision and the data fusion technology.Firstly,ASD Hand Held sensor was used to extract the spectral feature ratio.Then the color model was established to quantify the UAV aerial photo.Finally,the wheat take-all were classified using the decision tree which based on the support vector machine(SVM).The results showed that an overall accuracy was greater than 86%(Kappa＞0.81)for classifying all of take-all levels,and computation rate was less than 30 seconds,which is meaningful for automatic real-time monitoring of take-all conditions.

wheat take-all; computer vision technology; multi-classification; color model; SVM

S 435.1,S 127

A

10.3969/j.issn.0529-1542.2015.06.029

2014-10-11

2015-01-13

国家自然科学基金项目(31301604);河南省科技攻关项目(122102110045);植物病虫害生物学国家重点实验室开放课题(SKLOF201302)

小麦全蚀病是严重危害小麦的一种土传性病害。小麦的整个生长期,其根部和茎基部都很容易受到病菌侵害[1]。小麦全蚀病传染性很强,整个发病周期从局部发病发展到大片死亡不到4年,全蚀病

*通信作者 E-mail：qiaohb@126.com发展后期造成小麦植株成簇枯死形成“白穗”,麦田穗粒数及千粒重下降,发病轻微区域导致减产30%～40%,严重区域减产50%以上甚至绝收[24]。高光谱遥感数据能准确反映田间不同程度小麦全蚀病的光谱差异,从而准确提取其发生程度和范围[5]。但由于高光谱遥感技术存在数据量大,计算周期长,空间分辨率有限等缺点,难以直接应用于实际的作物病害监测。而数字图像可以有效地提高空间分辨率,有利于地物信息的快速分类[67]。基于高分辨率数字图像和高光谱数据的图像融合技术可以有效地提高作物病害监测分类的运算速度和精度,例如,国内李霖等利用ZY-3卫星2.1 m全色/5.8 m多光谱分辨率平面图像进行数据融合,结果表明融合后数据的空间分辨率有所提高,而且保持了原始数据的光谱信息[8];国外Mirik等利用数字图像与光谱反射率相融合的分析方法对冬小麦受麦蚜破坏的程度进行了监测评估[9]。