许 鑫,李海洋,冯洋洋,马新明,沈帅杰,乔新昱
(1.河南农业大学 信息与管理科学学院,河南 郑州 450002; 2.河南粮食作物协同创新中心,河南 郑州 450002; 3.河南农业大学 农学院,河南 郑州 450002)
小麦是我国最重要的口粮之一,小麦生产直接关系到国家粮食安全和社会稳定。小麦基本苗的调查和计数是确保小麦高产稳产的最基本农艺活动,是预测小麦产量的重要参数[1]。目前小麦基本苗测定主要有2种方法,一是确定1 m长度的双行小麦标本区,数出总苗数,获取小麦的平均行距,计算基本苗数量[2-3];二是选取若干点,每点对应于1 m2方格的中心查计方格内苗数,求这些点苗数的平均值,换算为基本苗数量[4]。采用人工计数的方法需要耗费大量的人力、物力和时间,还受寒冷天气条件影响,而且数据准确度受人为因素影响大。因此,迫切需要一种快速、准确的小麦基本苗计数方法来解决上述问题。
随着信息技术的发展,手机等移动设备已成为获取数据的重要手段,采用便携移动设备对小麦基本苗采样点进行拍照,利用机器视觉和图像处理技术,对小麦基本苗计数是一种新的计数方法。目前图像处理和机器视觉技术等信息技术已广泛应用于农业生产[5],常见的应用包括作物病虫害诊断与识别[6-8]、田间杂草识别[9-11]、生物量估算[12-13]、营养状况诊断[14-15]、植株和果实识别计数[16-18]等。FERNANDEZ-GAIIGEO等[19]利用拉普拉斯滤波器和中值滤波去噪,使用局部最大峰值进行麦穗计数,LIU等[20-21]利用无人机图像获取小麦出苗均匀性和缺苗信息,实现了1~3叶期小麦基本苗的识别计数。但目前的目标计数研究对环境和设备要求较高,缺乏操作简单、快速识别小麦基本苗的技术方法。因此,利用机器视觉与图像处理技术,研究小麦基本苗图像获取过程中的拍摄器材、拍摄角度和拍摄时期等关键问题,开发小麦基本苗图像特征分割与检测识别方法,以期为小麦基本苗的快速识别计数提供技术支撑。
试验于2017、2018年在河南省安阳、许昌、漯河三地进行,以矮抗58、豫麦49-198、西农509、周麦27为供试材料。为了贴合实际生产,尽可能多地收集不同情况下的图像特征来提高识别精度,试验设置品种和施氮水平2个因素,氮肥选用尿素(含氮量为46%),设置4个施氮水平,分别是0、120、225、330 kg/hm2(纯氮),氮肥基追比为6∶4。试验采用裂区设计,氮肥为主区,品种为副区,试验主区长13 m、宽10 m,小区面积130 m2,重复3次。为了便于取样及田间操作,每个小区之间设置1 m宽的通道。播种采用播种机,20 cm行距,播量为180 kg/hm2,全生育期浇越冬水、拔节水,其他管理措施同一般高产田。
使用4个5 cm×10 cm白卡片作为地面标志物放置在小麦一米双行区域4个角,在图像上标记出一米双行所在区域(图1)。拍摄设备选取智能手机、单反相机和平板电脑3种拍摄器材,像素分别为1 200万、1 800万和800万像素。采用俯视角30°和45°2种拍摄方式。取样时间是2017年10—11月、2018年10—11月。试验采集有效的麦苗图像975张,其中平板电脑拍摄81张1~2叶期照片,单反相机拍摄314张1~2叶期照片,智能手机拍摄580张,其中1~2叶期俯视角30°拍摄110张、45°拍摄240张共350张,3~4叶期230张。选取3种设备拍摄的麦苗图像各50张,用于图像分割精度比较,智能手机拍摄图像随机选取俯视角30°和45°各100张用于对比拍摄角度对分割精度的影响,随机选择20张1~2叶期,15张3~4叶期图像用于图像识别结果与人工计数结果对比,其他的图像用于特征提取,以便提高识别精度。
图1 标志物实拍
由于拍摄器材和环境会造成拍摄过程中图像中存在噪点,需要对图像进行滤波去噪。利用中值滤波和椒盐滤波2种滤波算法[22-25],针对高斯白噪声选取高斯滤波算法[26]对小麦基本苗图像进行去噪。利用图像中的地面标志物和图像阈值分割技术,获取标志物的轮廓信息,实现一米双行区域自动识别定位,在此基础上提取一米双行中的小麦基本苗,与原图进行掩膜,得到一米双行区域,如图2所示。
图2 一米双行区域分割
为了分析小麦基本苗的图像特征,先后采用了RGB、HSV与LAB 3类颜色空间阈值分割和K-means聚类分割算法[27-29]对麦苗图像进行特征分析与图像分割,以区分麦苗与背景区域,便于麦苗特征提取,图像分割效果如图3所示。
图3 麦苗图像聚类分割
对小麦一米双行区域分割后的图像进行横向投影,把小麦行分割为2个一行的麦苗图像,以纵向投影提取各行麦苗连通域,对每一个连通域掩盖上部角点,留下的下端角点代表小麦主茎基,1个角点代表1株小麦,最后利用Harris角点检测算法[30-32]检测角点,把检测出的角点个数相加,计算出一米双行小麦基本苗数目,麦苗的检测识别效果如图4所示。
a:提取连通域;b:上角点掩盖;c:角点检测结果
图像分割的好坏直接影响麦苗识别的精度,对图像的分割效果的评价需要把图像分割效果量化,量化图像分割算法好坏的方法有ROC曲线、Dice重合率、基于GT图像法。本研究选取基于GT图像法来评价图像分割的优劣。其主要量化分割精度(SA)计算如公式(1)所示。
(1)
其中,Rs代表实际分割面积,Ts是实际误分的面积。
对选取的50张小麦基本苗图像,先通过人工提取小麦像素区域,然后用公式(1)分别计算K-means聚类分割和HSV、LAB、RGB颜色空间阈值分割4种不同的分割算法精度,结果如图5所示,4种分割方法的分割精度均在0.90以上,但LAB和RGB颜色空间阈值分割算法对于不同的图像分割精度波动大,说明LAB和RGB颜色空间阈值分割算法稳定性相对较差,而HSV颜色空间阈值分割算法精度明显好于LAB和RGB颜色空间阈值分割算法,其分割精度保持在0.96以上,而K-means聚类分割算法精度稳定且分割精度基本保持在0.98以上,说明K-means聚类分割算法优于其他3种方法。
图5 LAB、RGB、HSV和K-means分割算法精度对比
对3种设备拍摄的图像进行K-means聚类分割,利用公式(1)计算分割精度,结果如图6所示,3种拍摄器材的分割精度均保持在0.95以上,三者没有明显的区别,说明单反相机、智能手机和平板电脑3种拍摄器材不是影响小麦基本苗识别的主要因素。
图6 智能手机、单反相机、平板电脑分割精度对比
对随机选取的2种拍摄角度图像进行K-means聚类分割,利用公式(1)计算分割精度,如图7所示,俯拍30°的图像分割精度要明显低于俯拍45°的图像,这与LIU等[20]用无人机拍摄识别麦苗的研究结果一致,原因在于30°俯拍角距离地面过高,小麦茎部被叶子遮挡,有碍于小麦连通域的特征提取。
图7 俯视角30°和45°拍摄分割精度对比
如表1所示,在1~2叶期小麦基本苗识别精度在0.97以上;3~4叶期,由于叶子数目增多的干扰,麦苗之间重叠粘连造成图像识别难度加大,相比1~2叶期,识别精度有小幅度下降,但是仍然保持较高的识别精度,精度达0.95以上。
表1 1~4叶期小麦基本苗图像识别结果与人工计数结果对比
进一步采用回归分析对麦苗图像识别结果和人工计数进行相关性分析,如图8所示,图像识别的麦苗数量与人工统计的麦苗数具有较高的线性相关性,其中1~2叶期麦苗识别的R2为0.99,3~4叶期麦苗识别的R2为0.93,说明本研究方法与人工计数高度相关。
图8 1~4叶期小麦基本苗图像识别与人工计数线性拟合图
本试验系统研究了不同拍摄时期、拍照设备和拍照角度对小麦苗期麦苗识别的影响,对原始图像通过地标进行目标区域裁剪,然后采用K-means聚类分割算法图像进行特征提取,利用Harris角点检测算法对小麦苗茎基部端点进行识别,1~2叶期麦苗识别精度在0.97以上,3~4叶期识别精度在0.95以上,说明对麦苗的识别应该在小麦出苗至三叶期以前进行能够达到最好的效果,三叶期后随着小麦植株叶片数的增加和相互遮挡造成识别精度有所下降。结果表明,以移动设备俯视角45°拍摄小麦图像,采用K-means聚类分割算法提取图像特征,利用Harris角点检测算法对小麦基本苗进行计数是可行的。
本试验研究方法为小麦基本苗的识别提供了一套相对简单低廉、易操作实现的技术方案,可以提高现有人工调查基本苗的效率,利用智能手机拍摄图像进行麦苗识别可以替代现有的无人机、相机等高昂设备,能够有效降低技术使用门槛,对于实现小麦基本苗的快速计数具有重要意义,未来可以利用本研究的技术方案建立基于移动设备的小麦基本苗识别系统来提高工作效率,但本研究的方案仍需基于地面标志物来确定拍摄范围,在将来的研究中可以考虑利用增强现实和机器视觉技术来实现拍摄范围的实时量算,同时也可以结合机器学习技术对麦苗的数量进行识别,从而进一步提高技术的适用性。