任星光, 段 纳, 程 义, 苗 珍
(1. 江苏师范大学 电气工程及自动化学院, 江苏 徐州 221116; 2. 江苏蒲公英无人机有限公司, 江苏 徐州221000; 3. 南京科沃云计算信息技术有限公司, 江苏 南京 210000)
基本苗是指单位面积上植株个体的总数,是诸多经济作物的重要指标[1].基本苗与不同生育期分蘖、叶龄、株高、次生根条数、干物质累积量、抽穗期叶面积和成穗有着密不可分的关系.因为基本苗与苗木生长周期中的各个参数都有直接和间接的关系[2],所以对基本苗进行统计是农业生产中必不可少的一个环节.然而,现有的基本苗统计方法大多是通过农业作业者采用人工方法测量,对于面积较小的农田易于达到预期效果;但是对于面积较大的农田,此方法不仅会消耗大量的人力成本,而且测得的结果不准确.这种统计方法需要大量的人工成本,并且人员在田间活动,可能会造成幼苗的损伤.
机器视觉是一种利用计算机模拟人类视觉的技术,广泛用于图像信息的提取与物体识别[3].随着计算机算力的提高和视觉算法的不断发展,机器视觉在越来越多的领域扮演重要角色,在传统行业的现代化转型过程中发挥重要作用[4-6].机器视觉在农业中的应用是最为成功的案例之一.机器视觉是促进农业信息获取的重要手段,在国内外的农业应用领域得到充分的发展,例如种子质量检测、无人机自主撒药、田间杂草识别、病虫害识别和种子优选等.
机器视觉对提高农业生产效率、促进农业生产质量有重要的意义,可以预测农业产量,及时更改施肥策略从而改善产量.与工业机器视觉相比,机器视觉在农业中的应用环境更为复杂[7-8],这也是机器视觉在农业应用时应着重突破的技术难点.
文中为解决传统水稻基本苗统计效率低的问题,拟设计一种基于机器视觉的水稻基本苗统计方法,给出图像的RGB空间与HSV空间;分析图像处理基本方法;给出试验过程与结果并验证算法的有效性.
RGB空间是日常生活与科学研究中最为常见的图像表达方式,RGB空间由3个通道的组合来表示一幅图片,分别是R(红)、G(绿)、B(蓝).在RGB空间中,任何颜色可以表示为3种基础颜色的线性组合,连续的颜色变换往往需要3个基本颜色同时变换,颜色的变化不能特别直观地表现出来.在日常生活中,得到的图片往往易于受到光线明暗的影响,对亮度较为敏感.在RGB空间中R、G、B这3个分量都与亮度有关,只要图片亮度发生了改变,3个分量的值都要发生变化.由于人眼对于3种颜色分量的反应并不是线性的,在单色中人眼对红色最不敏感,反之对蓝色最敏感,所以RGB空间的均匀性并不优越;如果颜色的相似性直接通过欧拉距离来度量,结果会与人眼视觉偏差较大.对于某种颜色,人眼很难推断出其分量或者所在区间,因此RGB空间适合显示系统却不适合图像处理.
HSV空间与RGB空间一样都是由3通道组成,分别是H(色调)、S(饱和度)、V(明度)[9-11].与RGB空间相比,HSV空间可以直观地表达色彩的色调、饱和度和明暗[8].
RGB空间向HSV空间转化的关系式为
R′=R/255,G′=G/255,B′=B/255,
Cmax=max(R′,G′,B′),Cmin=min(R′,G′,B′),
Δ=Cmax-Cmin,
(1)
则色调的计算式为
(2)
饱和度计算式为
(3)
明度计算式为
V=Cmax,
(4)
式中:R′、G′、B′分别表示红、绿、蓝3通道进行量纲一处理所得到的结果;Cmax、Cmin分别表示3通道的最大、最小值;Δ表示色彩取值范围.图1是同一图像分别在RGB空间和HSV空间的显示.
图1 同一图像在不同空间的显示
在对基本苗的统计中,由于苗木与背景颜色的差距较大,通过在HSV空间中选取阈值范围就可以粗略获取有价值的区域,其中阈值选择见表1.
表1 HSV空间色彩阈值选择表
续表
由于水面倒影等自然因素的影响,直接通过阈值选择的方法会引入大量的噪声信号;这些噪声信号会严重干扰对苗木的统计,甚至导致统计与真实数量完全不符合的情况,所以要通过一些有效方法去除这些噪声.一般常用的去噪方法有中值滤波、高斯滤波和均值滤波.滤波操作是用一定大小的卷积核对图像进行滑窗处理,并用卷积得到的结果代替原有像素的值,其中卷积核的大小通常为奇数.在计算中通常使用图2所示卷积模板.
图2 5×5高斯核卷积模板
将高斯函数
(5)
代入参数计算得到模板中各个元素,其中x,y分别是横向和纵向位置到中心位置的距离;σ为该高斯核的方差,卷积核的方差越大,模糊效果越好.高斯滤波核的大小影响处理后图片的平光滑程度,卷积核越大模糊效果越好,同时图像也会丢失更多细节.与中值滤波相比,高斯滤波可以更好地对高斯噪声进行滤波处理.中值滤波很容易破坏图像的边缘,但文中方法并不需要关注图像的边缘.中值滤波方法使用可选大小的滤波窗口,并且用滤波窗口中排序后的中值代替像素点.图3给出了高斯滤波和中值滤波所得到的图像.
图3 经过滤波得到的图像
图1a的RGB空间图像作为原图,采取中值滤波以后,虽然去除了大量、孤立的噪声信号,但是一些稍大的斑块不能去除,这些斑块在后续的统计工作中可能会被错误地识别成基本苗,而图像的腐蚀操作可以解决这一问题.腐蚀运算是用一个模板对目标图像进行卷积操作,扫描图像中每一个点,并且将卷积模板与原图像进行与运算.膨胀操作与腐蚀操作类似,卷积模板与原图像进行或运算.图4给出了图像的腐蚀与膨胀示例.
图4 图像的腐蚀与膨胀
因为基本苗的统计是在种子发芽初期,植株还未长成一片,在图片上呈现一个个独立的个体,这时可以用连通域的方法对图片中的植株进行划分(若目标已具有黏连性可以运用其他算法对其进行削弱).连通域提取是指将图像中一个个孤立的连通域两两区别,并将连通域逐个标记出来.提取连通域的方法很多,扫描两遍法和种子填充法最为常用.种子填充法是指选取前景中的一个像素,将该像素相邻的前景像素归为该种子像素所代表连通域,如图5所示.扫描两遍法是按行和列两次扫描图像从而提取连通域的方法.第1次扫描后,前景像素点会被赋予标记,但是相同的连通域会包含不同的标记;进而第2次扫描,将同一连通域内的标记统一,如图6所示.
图5 种子填充法
图6 扫描两遍法
文中选用由植保无人机在徐州某地区水稻农田获取的图像进行试验,图7a是水稻农田RGB空间的图像,为了易于获取兴趣区域,将原图像转化为HSV空间的图像(图7b).
图7 水稻农田图像
RGB空间和HSV空间所表示的是同一图像,但是为了区分,OpenCV和其他的图像处理开源库都将HSV空间图像以相应的三通道信息在RGB空间中显示.考虑到水稻幼苗为绿色,所以只要提取绿色区域为文中的兴趣区域,通过查阅表1得到兴趣区域,如图8a所示.这样得到的图像包含大量孤立的脉冲噪声信号,通过中值滤波去除这些噪声得到图8b,经过腐蚀和碰撞最后得到易于提取的连通域图8c.最后通过连通域提取得到结果.
图8 不同处理方法得到的图像
由图8c可见,其中的连通域数目为21,而图7a中的基本苗也是21,可见文中方法可有效识别基本苗.
在算法实现的过程中,需要注意的是在对二值化的兴趣区域进行滤波、腐蚀和膨胀操作的时候,操作窗口不宜太小方可保证上述操作的效果和效率.
文中利用色彩空间理论设计了一种基于机器视觉的基本苗统计方法.通过将图像转换为HSV空间后得到兴趣区域.通过对图像连通域的提取,得到的连通域数目与基本苗一致.未来考虑将视觉系统搭载于无人机平台,减少苗木遮挡带来的误差;另一个有意义的课题是利用生成对抗网络对图像修正补偿.