王思乐 杨文柱 卢素魁
摘要:为实现对大田作物长势的智能监控,对监控图像中绿色植物的识别方法进行了研究,提出了一种基于HSV和颜色离差决策树的绿色植物识别方法。将采集的图像从RGB颜色空间转换到HSV颜色空间,实现图像颜色属性与亮度属性的分离,解决由于自然光拍摄条件产生的图像亮度变化问题;通过构建基于HSV和颜色离差的决策树,实现绿色植物与玉米秸、麦秸、地膜、黄土、红土、黑土、灰烬等背景元素的分离,解决由于大田拍摄环境造成的图像背景复杂问题。试验结果表明,本方法能够正确识别大田作物长势监控图像中的绿色植物,能够较好地适应野外大田环境造成的图像亮度变化和复杂背景。
关键词:大田作物;绿色识别;决策树;HSV;颜色离差
中图分类号: TP391.41文献标志码: A文章编号:1002-1302(2015)11-0478-05
收稿日期:2015-04-17
基金项目:国家国际科技合作专项(编号:2013DFA11320)。
作者简介:王思乐(1971—),男,河北保定人,讲师,主要从事计算机应用与模式识别方向研究。E-mail:fontain@163.com。
通信作者:杨文柱,教授,硕士生导师。E-mail:wenzhuyang@hbu.edu.cn。1研究背景
精细农业的核心是实时获取农田区块的土壤和农作物信息、诊断作物长势,并对地块进行准确的灌溉、施肥、喷药等农业活动,最大限度地提高水、肥和杀虫剂的利用效率,获得最佳的经济效益和生态效益[1-3]。
大田作物长势分析是精细农业的一个重要研究内容,目的是为施肥、灌溉、杀虫等农业活动提供准确的决策依据。遥感和基于田间相机的监控[4-9]是实现作物长势分析的2种主要途径。遥感利用卫星或飞机获取作物的长势图像,而基于相机的监控则通过直接在田间设置观测摄像头获取作物的长势图像。遥感的分辨率较低,但观测面积大,比较适合进行大区域的作物长势监控;基于相机的监控分辨率较高,却观测面积有限,适合进行地块级的精确监控。本研究选择基于田间相机的监控方式,通过对田间相机采集的作物长势图像进行分析,找出图像中的绿色植物,为后续的作物长势分析提供基础数据。
大田作物的长势监控图像拍摄于野外环境,因此图像的亮度、对比度等容易受天气、时间的影响;大田环境复杂,土壤颜色多变,且土壤表面可能覆盖麦秸、玉米秸、秸秆灰烬、地膜等,这些因素都使得从监控图像中正确识别出其中的绿色植物变得极其困难。
为解决上述难题,很多科学家正在积极研究如何在复杂的大田作物长势监控图像中准确地识别出其中的绿色植物[10-15]。目前较典型的方法是基于可见光谱因子的方法,如超绿因子法(the Excess Green index,简称ExG),超绿减红因子法(the Excess Green minus Excess Red index,简称ExGR),植被指数法(the Vegetative index,简称VEG),植被颜色指数抽取法(the Color Index of Vegetation Extraction,简称CIVE),综合指数法(the Combined index,简称COM)等[16]。
基于可见光谱因子的识别方法这样的事实,即在归一化的RGB颜色空间中,绿色植物总是拥有比其他元素更大的绿色因子。得到图像的绿色因子矩阵后,通过阈值分割就能得到其中的绿色植物。基本原理如下:
通过计算图像中每个像素的可见光谱因子,得到1个与图像大小相同的矩阵;将这个矩阵看作灰度图像,对它进行阈值分割,就可以得到图像中的绿色植物。
上述方法都假设图像具有正常的对比度,图像中的绿色植物为明亮的绿色,且背景只有单一的土壤,但事实上这个假设并不总是成立。实际拍摄的大田作物图像,其对比度受天气和拍摄时间的影响很大,比如晴天时亮度和对比度较高,而阴天时较低;植物的颜色也不总是明亮的绿色,而是与作物生长状态(如健康、患病、缺肥、干旱、虫害等)密切相关;图像的背景也不仅仅是单一的土壤,大田的土壤可能是黑土、黄土或红土,土壤表面可能覆盖着麦秸、玉米秸、灰烬或地膜等。上述因素导致基于可见光谱因子的方法在某些情况下失效,因此亟需寻找一种能够适应大田环境的绿色植物识别方法。
2材料与方法
大田玉米苗图像见图1,由索尼相机拍摄,拍摄地点在河北省保定市满城县-玉米农田。分别选择了晴天、阴天2种天气状况进行拍摄,拍摄包括单一土壤背景、带有灰烬的土壤背景、带有麦秸的土壤背景、带有玉米秸的土壤背景4种情况,拍摄时间为2014年6月,2次拍摄间隔大约为1周,第1次拍摄时为晴天,第2次拍摄时为阴天。通过观察发现,图像中玉米苗的颜色有从深绿色到亮绿色的变化,且还包括反光情况。
采集的图像为3 264×6 488的RGB彩色图像,存储格式为JPG格式。
3图像元素的HSV分布分析
为解决基于可见光谱因子的绿色植物识别方法容易受图像亮度变化的影响,选择在HSV(Hue,Saturation,Value)颜色空间进行绿色识别。在该颜色空间,某物体的颜色属性不受亮度变化的影响[18]。在一般情况下,绿色的色调值范围一般在60~180之间。在理想情况下,仅通过判断像素的色调值就能断定该像素是否为绿色像素。但大田中拍摄的玉米苗图像,其颜色从深绿到亮绿不等,取决于玉米苗的生长状态、拍摄时间、拍摄时的天气状况等各种因素。除此之外,大田的复杂背景也使得绿色植物的识别变得异常困难。因此,有必要分析大田作物长势监控图像中各种图像元素的色调H、饱和度S、亮度V的分布情况,为绿色作物识别提供判断依据。
选择玉米苗图像中的深绿、嫩绿、反光的玉米苗,黑色、黄色、红色的土壤,灰烬、地膜、麦秸、玉米秸等10种典型元素作为分析对象,其色调H、饱和度S、亮度V的典型分布曲线见图2至图4 。
从图2可以看出,玉米苗的色调值在35~135之间,玉米秸的色调远大于135,意味着通过色调可以很容易地区分玉米苗、玉米秸。地膜、黄土、红土的色调远小于35,表明通过色调也可以轻易地区分玉米苗与地膜、黄土、红土。但对于麦
秸、灰烬、黑土,它们的色调与某些玉米苗的色调很接近,甚至存在交叉,因此,仅通过色调就不能区分玉米苗和麦秸、灰烬、黑土了,必须综合其他属性。
从图3、图4可以看出,尽管麦秸的色调与玉米苗接近甚至存在交叉,但它们的饱和度、亮度却存在较大差异。通过综合判断色调、饱和度、亮度可以区分玉米苗和麦秸。至于灰烬和黑色土壤,利用HSV属性已经无法将其与玉米苗正确分开。考虑到灰烬和黑色土壤都具备灰度图像特征,而玉米苗具有彩色图像特征,可以利用这种差异性将玉米苗跟灰烬和黑色土壤区分开。
4图像元素的颜色离差分析
在RGB颜色空间中,具有灰度图像特征的像素意味着它们具有几乎相等的R、G、B值。在RGB彩色空间形成的立方体中,具备R=G=B特征的立方体对角线,称为“灰度轴”;在灰度轴上的像素是纯灰色像素。所有具有彩色特征的像素,在RGB颜色空间的分布,都或多或少地偏离了灰度轴。
定义RGB颜色空间中任意像素p在灰度轴上的映像为Ep:
Ep=(Rp+GP+Bp)/3。(8)
定义RGB颜色空间中任意像素p偏离灰度轴的程度为“颜色离差”,用Dp表示:
Dp=|Rp-Ep|+|Gp-Ep|+|Bp-Ep|。(9)
不同图像元素的颜色离差分布曲线见图5。从图5可以看出,所有绿色的玉米苗都具有较大的颜色离差,而灰烬和黑色土壤的颜色离差较小,这使得我们利用颜色离差区分绿色玉米苗与灰烬、黑色土壤成为可能。
5基于决策树的绿色识别方法
通过上述分析可知,利用图像的H、S、V属性和颜色离差建立决策树,可以正确区别绿色的玉米苗和其他背景元素。构造的决策树见图6。
图7中的判断条件为玉米苗识别的经验值,为体现方法的一般性,将本方法形式化地描述如下:
5.1玉米秸、地膜、黄土、红土的去除
令H、S、V分别表示图像的色调、饱和度、亮度。定义去除了玉米秸、地膜、黄土、红土后的色调分量H1 如下:
式中:h1 是绿色植物的最小色调值,h2是绿色植物的最大色调值。
5.2麦秸的去除
尽管麦秸的色调范围与绿色植物的色调范围重叠,但它们有不同的饱和度和亮度。定义去除了麦秸后的色调分量H2 如下:
式中:h1w是麦秸的最小色调值,h2w是其最大色调值,s1w是其最小饱和度值,s2w是其最大饱和度值,v 是其最小亮度值。
5.3灰烬、黑土的去除
尽管灰烬和黑土通过H、S、V属性无法与绿色植物精确区分,但由于灰烬和黑土具有灰度图像特点,而绿色植物具有彩色图像特点,从而使得利用颜色离差区分它们成为可能。定义通过颜色离差去除掉灰烬和黑土像素的色调分量H3如下:
H3=0D式中:D 是颜色离差,Td是用于区分绿色植物与灰烬和黑土的阈值。
5.4绿色植物的识别
将经过上述处理的色调分量看作灰度图像,对其进行阈值分割,就得到了代表绿色植物的目标图像G:
式中:h1是绿色植物的最小色调值,与公式(10)中的含义相同。
6结果与分析
本试验使用在不同环境状况下采集的大田玉米苗图像作为材料(图1),对本方法进行了验证,同时与基于可见光谱因子的绿色植物识别方法进行了对比。
算法利用Matlab实现,Matlab版本为R2009b。计算机的操作系统为Windows 7,计算机处理器为Intel Core i5,内存容量为4 GB。
6.1本方法的识别结果
利用本方法对图1中的大田玉米苗图像进行识别,结果见图7。
试验结果表明,本研究提出的方法可以正确识别出图像中的玉米苗,而不论拍摄时的天气如何,也不管背景多么复杂。
6.2大津法(Otsu方法)识别结果
大津法(也称作Otsu法,最大类间方差法)是最常用的图像分割方法。从大津法对图1所示图像的分割结果(图8)可以看出,所有图像都未能正确分割。结果表明,大津法不适合处理野外拍摄的大田作物图像。
6.3基于可见光谱因子的识别结果
ExG、ExGR、VEG、CIVE、COM 对图1中图像的部分识别结果见图9。试验结果表明,可见光谱因子法可以正确识别大部分图像中的绿色植物,但也存在部分无法正确识别的图像,其中ExG、CIVE无法正确处理背景含有麦秸的图像,EXGR、COM无法正确处理背景中含有麦秸和灰烬的图像(图9)。VEG无法正确处理图1中的所有图像。
7结语
针对野外拍摄的大田作物长势监控图像由于受光照强度、背景等影响难以正确识别问题,对大田作物长势监控图像中绿色植物的识别方法进行了初步探索。使用基于HSV属性和颜色离差的决策树实现了绿色植物的识别。试验结果表明,本方法能够正确识别大田作物长势监控图像中的绿色植物,比其他识别方法更能适应野外环境造成的亮度变化和复杂背景。
不足之处是所用的决策树判定条件是试验获得的经验值;如何自动选择判定条件是下一步需要研究的工作。
参考文献:
[1]王凤花,张淑娟. 精细农业田间信息采集关键技术的研究进展[J]. 农业机械学报,2008,39(5):112-121,111.
[2]刘向锋,孟志军,陈竞平,等. 作物病虫害信息采集与远程诊断系统设计与实现[J]. 计算机工程与设计,2011,32(7):2361-2364,2408.
[3]Pierpaoli E,Carli G,Pignatti E,et al. Drivers of precision agriculture technologies adoption:a literature review[J]. Procedia Technology,2013,8 (8):61-69.
[4]Yu Z H,Cao Z G,Wu X,et al. Automatic image-based detection technology for two critical growth stages of maize:emergence and three-leaf stage[J]. Agricultural and Forest Meteorology,2013(174/175):65-84.
[5]Xiang H T,Tian L. An automated stand-alone in-field remote sensing system (SIRSS) for in-season crop monitoring[J]. Computers and Electronics in Agriculture,2011,78(1):1-8.
[6]Duveiller G,Baret F,Defourny P. Remotely sensed green area index for winter wheat crop monitoring:10-Year assessment at regional scale over a fragmented landscape[J]. Agricultural and Forest Meteorology,2012 (166/167):156-168.
[7]Yang C H. A high-resolution airborne four-camera imaging system foragriculturalremotesensing[J].ComputersandElectronicsin
Agriculture,2012,88:13-24.
[8]Yuping M,Shili W,Li Zhang,et al. Monitoring winter wheat growth in North China by combining a crop model and remote sensing data[J]. International Journal of Applied Earth Observation and Geoinformation,2008,10(4):426-437.
[9]Lee K J,Lee B W. Estimation of rice growth and nitrogen nutrition status using color digital camera image analysis[J]. European Journal of Agronomy,2013,48:57-65.
[10]韩文霆,李敏,陈微. 作物数字图像获取与长势诊断的方法研究[J]. 农机化研究,2012(6):1-6.
[11]Fernandez-Pacheco D G,Escarabajal-Henarejos D A,Conesa J,et al. A digital image-processing-based method for determining the crop coefficient of lettuce crops in the southeast of Spain[J]. Biosystems Engineering,2014,117(SI):23-34.
[12]Wang J,Li X,Lu L,et al. Estimating near future regional corn yields by integrating multi-source observations into a crop growth model[J]. European Journal of Agronomy,2013,49:126-140.
[13]张志斌,罗锡文,臧英,等. 基于颜色特征的绿色作物图像分割算法[J]. 农业工程学报,2011,27(7):183-189.
[14]李志臣,姬长英,安秋. 基于颜色特征的作物与背景分割的对比研究[J]. 东北农业大学学报,2008,39(9):117-124.
[15]齐平. 基于图像处理的杂草识别研究[D]. 成都:西华大学,2010.
[16]Montalvo M,Guerrero J M,Romeo J,et al. Automatic expert system for weeds/crops identification in images from maize fields[J]. Expert Systems With Applications,2013,40(1):75-82.
[17]Romeo J,Pajares G,Montalvo M,et al. A new Expert System for greenness identification in agricultural images[J]. Expert Systems With Applications,2013,40(6):2275-2286.
[18]Chaves-Gonzalez J M,Vega-Rodriguez M A,Gomez-Pulido J A,et al. Detecting skin in face recognition systems:A colour spaces study[J]. Digital Signal Processing,2010,20(3):806-823.张东虞,曹卫彬,杨弈卓. 基于模糊自整定PID控制的奶牛饲喂装置温控系统的设计[J]. 江苏农业科学,2015,43(11:492-494.