劳东青,李发永,曹洪武
(1. 塔里木大学信息工程学院,新疆 阿拉尔 843300;2. 塔里木大学水利与建筑工程学院,新疆 阿拉尔 843300;3. 塔里木大学现代农业工程重点实验室,新疆 阿拉尔 843300)
近年来,随着兵团红枣种植规模的迅速扩大和种植需水量的节节攀升,根据作物缺水信息实施精量控制灌溉成为了南疆农林业节水领域的重要焦点之一。由于作物的水分散失主要由叶片承担,作物缺水会促使叶片在颜色、形状上产生一定的变化,如颜色变黄、变暗、叶面积减小等[1]。图像采集设备具有比人眼更精细的分辨能力,能更客观地描述肉眼难以辨别出来的形态、颜色、纹理等统计特性,代替人眼对目标进行识别、跟踪、测量等[2]。由于信息检测简便、快捷、无破坏性,计算机视觉技术被誉为现代无损检测技术之一[3],在黄瓜、棉花、土豆、万寿菊、鲜烟叶、玉米、葡萄、小麦、茶叶等作物水分检测中得到了一定的研究与应用[4-14]。
在基于计算机视觉的作物水分检测研究中,常常提取作物图像的RGB和HIS彩色空间颜色特征或灰度特征,与作物叶片的水分状况进行相关性分析,建立含水率估算模型。蔡鸿昌等应用直方图法提取黄瓜叶片颜色特征,以G/(R+G+B)和(G-R)为自变量建立了黄瓜叶片干基含水率与比叶重的估算模型[4]。于常乐和孙瑞东等在黄瓜叶片水分亏缺检测研究中,发现基于图像灰度梯度的估算模型也能较好地预测叶片含水率[5,6]。王方永等在其研究中发现(G-R)与棉花水分含量及水分含量指数的相关性最好,基于(G-R)的棉花水分含量及水分含量指数预测模型的预测精度分别达到了90.71%和91.02%[7]。R Zakaluk和R Sri Ranjan通过图像处理与分析技术建立了土豆叶水势的人工神经网络预测模型,结果表明叶水势的预测值与实测值相差无几[8]。徐腾飞等比较分析了不同含水率的叶片图像的灰度特征变化,以区分效果明显的灰度均值建立了玉米叶片含水率预测模型,模型相关系数R2达到了0.701 7[11]。江朝晖等以越冬期小麦冠层可见光图像为研究对象,建立了基于图像特征的含水率检测模型,模型相对误差均值低至1.290%[13]。以上研究表明,应用计算机视觉技术进行作物水分状况诊断是可行的。结合作物水分亏缺临界点,相关研究成果还可辅助指导田间精量灌溉,缓解用水紧缺矛盾。
基于计算机视觉的枣叶含水率估算的前期研究表明,(G-R)、H与叶片含水率之间呈现显著的负相关关系,可用于枣叶含水率的预测估算[15]。为提高模型预测精度,对图像去噪及分割算法在枣叶含水率估算中的影响进行了探讨,以确定最适于枣叶图像的图像预处理方法。
试验于2014年7月在塔里木大学精准农业重点实验室的自动化节水灌溉实验基地进行(40°20′47″~41°47′18″N,79°22′33″~81°53′45″E)。该区年均气温 10.8 ℃,1月份平均气温-8 ℃,7月份平均气温25 ℃;年均降水量40.1~82.5 mm,年均蒸发量 1 976.6~2 558.9 mm;日照时间2 855~2 967 h,太阳总辐射量544.115~590.155 J/cm2,无霜期205~219 d。
供试对象为骏枣植株。试验小区面积为40 m2,灌溉方式为滴灌。根据红枣在各个生育时期占整个生育期需水比例分配每次滴水量,滴灌定额为300 m3/(hm2·次)。全生育期共灌水14次,全生育期灌溉定额为4 200 m3/hm2。
采用有效像素高达1620万的尼康D7000单反相机进行图像采集。每次采集均应用自动曝光模式控制曝光时间和色彩平衡,图像分辨率采用3 696×2 448,统一存储为JPG格式。图像采集在田间自然光条件下进行,在试验小区范围随机挑选16片较为伸展的叶片进行编号、拍摄。拍摄前,调整摄像者、树枝和叶片的位置,以免产生阴影。拍摄时,将样本叶片放置于白板上并使白板与叶片保持水平;为保证每次拍摄的光照强度基本一致,在距样本叶片垂直高度为0.3 m处垂直拍摄。
将原始图像导入到Photoshop CS6中,综合运用裁剪工具和魔棒工具剔除叶片之外的复杂背景,使图像只保留叶片部分。
枣叶含水率测定采用传统的烘干法。烘干前后,用精度为0.000 1 g的DENVER TP-214分析天平分别称量叶片的鲜重(Fg,g)和干重(Dg,g)。叶片放入烘干器皿,置于烘干箱(光明101型电热鼓风干燥箱)内105 ℃杀青半小时,保持70 ℃恒温烘干至叶片恒重。枣叶含水率可由公式(1)计算得出。
(1)
图像在采集、传输、量化等过程中可能会受到各种噪声源的干扰,导致图像质量下降,影响图像处理与分析的准确性。常用的图像去噪算法主要有均值滤波和中值滤波。均值滤波是一种将模板中所包含的像素的平均值作为模板中心像素灰度值的线性滤波算法[16],其算法简单、抑制噪声能力较强,但去噪时会使图像变得模糊(尤其在图像边界和细节处)[17]。中值滤波则是一种非线性图像滤波去噪技术,其基本思想是将模板中的像素点按灰度值大小升序排列,取位于中间的灰度值作为中心像素点的灰度值[16]。中值滤波能有效抑制噪声,且在降噪同时还能较好地保护图像的边缘信息,对滤除脉冲干扰噪声尤其有效[18]。
图像分割是指把图像分成各具特性的区域并提取出感兴趣目标的技术和过程[19]。当目标与背景在灰度上有较大差异时,适合采用阈值分割法[20]。
对枣叶图像进行灰度化处理,结果见图1和图2。由图1可知,叶片区域与背景区域在灰度上有明显区别。但因自动曝光模式或拍摄光照、拍摄角度误差的缘故,叶片区域中局部产生白色高光区域。白色高光区域灰度级偏大,理论上会影响叶片图像的颜色特征值,从而影响图像分析的准确性。而由图2可知,叶片区域和背景区域在灰度直方图上各自形成了一个波峰,两波峰之间有明显的波谷。综上可见,枣叶图像分割适于采用阈值分割法。
图1 枣叶灰度图
最大类间方差法、迭代法、基于灰度直方图的双峰法是常见的阈值分割算法。最大类间方差法(Otsu)根据图像的直方图来选取最优阈值,能较好地把大的目标从背景中提取出来,但在提取微小目标时准确性较差[21]。迭代法基于逼近思想获取最佳阈值,能区分目标和背景的主要部分,但却不能很好地区分图像的细微处[22]。基于灰度直方图的双峰法对于目标和背景在灰度直方图上各自形成波峰且有明显波谷的情况具有较好的分割效果,但应用双峰法需要一定的图像先验知识,具有较大的局限性[22]。双峰法不适用于单峰的直方图图像分割;当直方图中双峰差别过大,或双峰峰谷宽广且平坦时,图像分割效果也不甚理想[23]。
为了更全面地比较图像去噪及分割算法对数据分析的影响,对2种去噪处理和3种阈值分割处理组合条件下提取的颜色特征与叶片含水率进行相关性分析。由于叶片区域与图像背景形成的双峰之间有长且较为平坦的波谷(见图2),为比较波谷阈值取值不同对基于双峰法的图像分割的影响,分别在波谷左侧阈值为0.670 0和波谷右侧阈值为0.952 9处进行分割。具体图像预处理方案见表1。
图2 枣叶灰度直方图
根据相关性分析结果中F检验的显著性水平P值的大小,筛选出与枣叶含水率关系显著的颜色特征,应用回归分析法建立枣叶含水率估算模型。
表1 图像预处理方案
为便于图像分析与特征提取,设计、开发基于MATLAB平台的枣叶颜色特征提取系统,通过该系统可以获取枣叶图像的灰度直方图、阈值分割后的二值化图,以及与含水率相关程度较高的颜色特征值[24]。
图像去噪效果可通过人眼观察或图像统计差别来评估。前者只适用于去噪效果明显的图像,后者能通过均方误差(MSE)、峰值信噪比(PSNR)等捕获原始图像与去噪图像的细微差别。MSE用于描述去噪图像所包含的噪音能量,其值越大,噪声越多,去噪效果越差;PSNR则描述了去噪图像中信号与噪音之间的比例关系,其值越大,去噪效果越佳[25]。
图1所示的枣叶原始灰度图中,仅凭肉眼观察不到明显的噪声。对枣叶图像分别进行滤波模板大小为3×3的中值滤波和均值滤波(结果见图3)。从图3可知,去噪后的叶片灰度图边缘保持完整,叶片脉络清晰,但与图1相比,叶片脉络则略显模糊。此外,由去噪后重构的灰度图可知,两种滤波算法的去噪效果区分不明显,人眼难以比较优劣。
图3 中值滤波和均值滤波去噪效果比较
从图3中的MSE和PSNR计算结果可知,经两种滤波算法处理后计算所得的MSE的值都很小,而PSNR的值都很大,可见两种滤波算法的去噪效果都不错。若仅从MSE和PSNR两项指标考量,中值滤波算法的去噪效果较好。
分别对未经去噪的枣叶灰度图进行最大类间方差法、迭代法和双峰法图像分割,二值化处理结果见图4所示。由图4可知,三种阈值分割算法都能很好地将叶片区域与背景区分开来,保留叶片形状的完整性,不同的是对叶片内部高光区域的处理程度。从基于灰度直方图的双峰法的两种阈值处理结果可知,所取阈值越大,叶片内部的高光区域保留越多;而当阈值取值接近灰度直方图水平波谷的最左侧时,高光区域被从叶片内部识别、分割出来[见图4(a)和图4(b)]。从图4(c)和图4(d)的分割结果来看,通过最大类间方差法和迭代法计算所得的阈值也在水平波谷的左侧,其值相近,且都能很好地将高光区域识别出来,仅根据图4分割结果,难以判断哪种算法更优。
图4 未经去噪的叶片灰度图的图像分割效果
对经过中值滤波和均值滤波处理的枣叶图像进行基于最大类间方差法的图像分割(结果见图5)。由图可知,在阈值相同的情况下,经由两种滤波算法去噪后的图像分割效果相差甚微,但能观察到经由均值滤波去噪后的图像分割效果更明显,而经由中值滤波去噪的图像能够保留更多细节。
同样,对经过中值滤波和均值滤波处理的枣叶图像进行迭代分割(结果见图6)。由图6可知,经由均值滤波去噪后的图像分割效果更明显,且能保留叶片脉络细节。
图5 最大类间方差法分割效果比较
图6 迭代法分割效果比较
在基于计算机视觉的枣叶含水率诊断前期研究中,(G-R)、H、r、G/R、(g-r)(其中,r、g分别表示R/(R+G+B)和G/(R+G+B))被发现与叶片含水率的相关性较高。因此,主要讨论12种图像预处理方案下这5类特征与枣叶含水率的相关程度。分析结果见表2。
表2 12种图像预处理方案的相关性分析结果
由表2可知:枣叶含水率与(G-R)、H、G/R、(g-r)之间都呈现负相关关系,与r则呈现出正相关关系;H值受图像预处理操作的影响不大;不管采用何种图像预处理操作,(G-R)、H与枣叶含水率之间都呈现出显著的相关关系,可用于建立枣叶含水率估算模型;当枣叶图像采用均值滤波去噪、迭代分割预处理操作时,不仅(G-R)和H,G/R也与枣叶含水率之间呈现出了显著的相关关系,且此时的(G-R)与枣叶含水率之间的相关系数绝对值最高,达到了0.811 8。
此外,N7、N8和N9的相关性分析结果也证明了图像中的高光区域对数据分析结果有影响。不消除高光区域的影响,(G-R)、r、G/R、(g-r)与叶片含水率之间的相关性分析结果都会有所下降。因此,要对枣叶图像进行图像分割以便准确提取图像颜色特征。N2、N5、N8和N11的相关性分析结果则表明了枣叶图像中所包含的噪声在人工剔除图像复杂背景后已不明显,即使不去噪,(G-R)、H与枣叶含水率的相关程度也能达到显著性水平。但当对枣叶图像采用迭代分割处理时,应用均值滤波对图像进行去噪处理能够较显著地提高(G-R)与枣叶含水率的相关性水平,并能使G/R与枣叶含水率的相关程度达到显著性水平(表2,N6处理)。
采用均值滤波去噪、迭代分割预处理后,(G-R) 、H和(G/R) 3个颜色特征同时与枣叶含水率之间呈现出显著的相关关系,且此时的(G-R)与枣叶含水率之间的相关系数绝对值最高,因而采用N6处理后的数据建立枣叶含水率估算模型。
基于(G-R)和H的叶片含水率回归模型:y1=0.866 9-0.001 8×(G-R)-0.086 6×H,R2=0.811 1,P=0.0155。基于(G-R)、H和G/R的叶片含水率回归模型:y2=0.951 9-0.003 4×(G-R)-0.253 3×H+0.153 9×(G/R) ,R2=0.965 2,P=0.002 2。若对枣叶图像仅进行迭代分割处理,不去噪,采用N5处理后的数据建立枣叶含水率模型:y3=0.870 3-0.001 7×(G-R)-0.091 3×H,R2=0.806 8,P=0.016 4。其中,y1、y2、y3分别代表基于不同图像预处理方案建立的叶片含水率估算模型,(G-R)为叶片区域中绿光与红光的差值,H为叶片色调,G/R为绿光与红光的比值;R2表示回归模型的相关系数;P表示F检验的显著性水平。
从模型的R2和P值可知,3种回归模型都达到了显著水平,可用于叶片含水率预测,但y1、y2的模型精度均高于y3的,证明了对图像进行滤波去噪能够提高模型的预测能力;而y2的回归效果明显优于y1,达到了极显著水平,说明G/R在枣叶含水率估算中不容忽视,应用均值滤波和迭代分割进行图像预处理,能够极显著地提高模型的估算能力。
众多研究表明,应用计算机视觉技术进行作物水分无损检测是可行的。前人研究对象多为黄瓜、棉花、土豆、万寿菊、鲜烟叶、玉米、葡萄、小麦、茶叶等。本试验以南疆特色作物——骏枣植株作为研究对象,研究结果表明,基于计算机视觉的骏枣叶片含水率估算能够满足无损检测的模型精度要求。
颜色作为图像最直观的视觉特征,在基于计算机视觉的作物水分检测研究中应用甚广。已有研究中,常以G/(R+G+B)、(G-R)、灰度梯度、r、g、H等颜色特征建立作物水分检测模型。试验通过对2种图像去噪算法和3种阈值分割算法在枣叶水分检测中的影响进行了探讨,结果表明,对枣叶图像进行均值滤波和迭代分割处理后,G/R能够极显著地提高枣叶含水率估算模型的预测能力。
在照明充足条件下采用单反相机采集的照片虽然噪声相对较少,但试验证明,经过降噪处理后建立的枣叶含水率回归模型的预测能力要优于未经降噪处理的,说明在基于计算机视觉的作物水分检测中,适当的降噪处理是必要的。
通过多种图像去噪及分割算法在枣叶水分检测中的影响研究,验证了经过均值滤波和迭代分割处理后枣叶图像的(G-R)、H和G/R特征值用于枣叶含水率估算有极好效果,但试验所用图像去噪及分割算法还存在一定的局限性,试验中也缺少与现有含水率诊断方法的比较分析,后续研究中可针对这两方面进行更为深入的探讨与分析。
(1)中值滤波和均值滤波的去噪效果在效果图上区分不明显,但从MSE和PSNR的计算结果可知两种滤波算法的去噪效果都很好,且前者更优。
(2)因自动曝光模式、光强或拍摄角度造成的枣叶图像中的高光区域对图像分析结果有影响,应用最大类间方差分割和迭代分割都能较好地将高光区域识别、分割出来,仅从图示分割结果,难辨优劣。
(3)(G-R)、H与枣叶含水率之间恒呈现出显著的相关关系,且H值受图像预处理操作的影响不大。但当枣叶图像采用均值滤波去噪、迭代阈值分割处理时,(G-R)与枣叶含水率的相关性水平得到了较显著地提高,达到了0.811 8。此时,G/R与枣叶含水率之间也呈现出较显著的相关关系。
(4)在枣叶图像采用均值滤波去噪、迭代法分割处理和不去噪、直接进行迭代分割处理的前提下,提取(G-R)、H和G/R的值分别建立枣叶含水率的二元线性回归模型和三元线性回归模型,模型的R2和P值分别达到了( 0.811 1, 0.015 5 )、(0.965 2, 0.002 2 )和( 0.806 8, 0.016 4)。说明3个回归模型皆成立,可用于枣叶含水率预测,且以自变量(G-R)、H和G/R建立的三元线性模型的回归效果最优,达到了极显著水平。
(5)去噪算法对颜色特征-叶片含水率相关性分析结果的影响较小。但当对枣叶图像进行均值滤波去噪、迭代分割处理时,模型回归效果要优于不去噪、直接进行迭代分割处理的效果,说明对图像进行滤波去噪能够提高模型的预测能力;以 (G-R)、H和G/R为自变量建立的三元线性回归模型的回归效果达到了极显著水平,表明G/R在枣叶含水率估算中不容忽视,应用均值滤波和迭代分割进行图像预处理,能够极显著地提高模型的估算能力。
参考文献:
[1] 彭 文, 李庆武, 霍冠英, 等. 基于计算机视觉的植物水分胁迫状况监测方法[J]. 科学技术与工程, 2013,13(9):2 313-2 317.
[2] 曲 赟,吴玉洁, 刘 盼. 计算机视觉技术在农作物病虫草害防治中的研究进展[J]. 安徽农业科学, 2011,39(9):5 570-5 571.
[3] 吴 琼, 朱大洲, 王 成, 等. 农作物苗期长势无损监测技术研究进展[J]. 农业工程, 2011,1(4):19-25
[4] 蔡鸿昌, 崔海信, 高丽红, 等. 基于颜色特征的叶片含水率与比叶重估算模型初探[J]. 中国农学通报, 2006,22(8):532-535.
[5] 于常乐. 基于图像处理的叶片含水量的无损检测研究[D]. 长春: 吉林大学, 2005.
[6] 孙瑞东, 于海业, 于常乐, 等.基于图像处理的黄瓜叶片含水量无损检测研究[J]. 农机化研究, 2008,(7):87-89.
[7] 王方永, 王克如, 王崇桃, 等. 基于图像识别的棉花水分状况诊断研究[J]. 石河子大学学报, 2007,25(4):404-407.
[8] R Zakaluk, R Sri Ranjan. Artificial neural network modelling of leaf water potential for potatoes using RGB digital images: a greenhouse study[J]. Potato Research, 2007,(4):255-272.
[9] 宋亚杰. 基于机器视觉的作物水分无损检测及评判模型研究[D]. 重庆: 西南大学,2008.
[10] 甘露萍, 谢守勇. 基于计算机视觉的烤烟鲜烟叶含水量无损检测及MATLAB实现[J]. 西南大学学报(自然科学版),2009,31(7): 166-170.
[11] 徐腾飞, 韩文霆, 孙 瑜. 基于图像处理的玉米叶片含水率诊断方法研究[J]. 干旱地区农业研究, 2013,31(1):95-100.
[12] 劳东青, 李发永. 基于图像处理的葡萄叶片含水率诊断初探[J]. 节水灌溉, 2015,(3): 5-7.
[13] 江朝晖, 杨春合, 周 琼, 等. 基于图像特征的越冬期冬小麦冠层含水率检测[J]. 农业机械学报, 2015,46(12):260-267.
[14] 贾广松. 基于茶鲜叶表明可见特征与含水率变化模型研究[D]. 杭州: 浙江工业大学, 2016.
[15] 劳东青, 陈立平, 李发永,等. 基于计算机视觉的枣叶含水率估算模型[J]. 江苏农业科学, 2015,43(4):384-386.
[16] 杜丽美. 几种常见的图像去噪算法研究[J]. 山西大同大学学报(自然科学版), 2012,28(5):7-9.
[17] 董玲娇. 车牌图像预处理研究[J]. 机电工程, 2009,26(6):107-109.
[18] 梁义涛. 大田害虫实时检测装置及其图像预处理技术的研究[D]. 郑州: 郑州大学, 2004.
[19] 吴学明. 图像分割的算法研究[D]. 成都:成都理工大学, 2006.
[20] 黄长专, 王 彪, 杨 忠.图像分割方法研究[J]. 计算机技术与发展, 2009,19(6):76-79.
[21] 李宝顺, 王 玮, 包亚萍, 等. 一种邻域均值加权最大类间方差的阈值分割法[J]. 小型微型计算机系统, 2014,35(6):1 368-1 372.
[22] 姬 伟, 陶 云, 赵德安, 等. 基于CLAHE的苹果树树枝迭代阈值分割方法研究[J]. 农业机械学报, 2014,45(4):69-74.
[23] 赖有华, 叶海建. 几种阈值分割法在工程图自动识别中的应用[J]. 江西理工大学学报, 2006,27(4):31-33.
[24] 劳东青, 王宗祥, 王冠军. 基于MATLAB的叶片图像分析系统研究[J]. 节水灌溉, 2015,(9):101-104.
[25] 李蕴奇. 基于小波变换的图像阈值去噪及其效果评估[J]. 东北师大学报(自然科学版), 2012,44(1):60-66.