黄 琼,杨红云,肖小梅
水稻稻穗图像的分割方法研究
黄 琼1,杨红云2*,肖小梅2
(1. 江西农业大学 计算机与信息工程学院,江西 南昌 330045;2. 江西农业大学 软件学院,江西 南昌 330045)
针对成熟期稻田光照不均匀、复杂的土壤背景噪声以及稻叶颜色混淆问题,研究利用Otsu和K-means法分别对局部稻穗图像和稻田图像进行稻穗分割,并与最大熵、迭代阈值以及区域生长法的分割效果图进行哈希相似度对比。在进行局部稻穗图像分割时,K-means和其他4种算法相比,分割相似度可达90%;在进行稻田图像分割时,Otsu和其他4种算法相比,分割相似度可达90.94%。试验结果表明两种算法能实现稻穗有效提取,为后期稻穗品质评估和稻田产量预测研究提供可靠依据。
水稻稻穗;图像分割;Otsu算法;K-means算法;哈希算法
水稻产量预测和品质评估是评价农业生产的重要指标,目前人工判断水稻产量和品质的方法需要耗费大量劳动力,同时会因人的主观因素产生误差。随着计算机视觉的快速发展,将图像处理应用在水稻产量预测和质量评估方面可以解放劳动力,提高工作效率。图像分割是图像处理的基础,因此对稻穗图像进行识别分析的重要前提是能准确分割稻穗图像。稻穗图像准确分割提取的参数能反映水稻的品质情况和产量高低,它是获取稻穗特征、进行稻穗样本产量计数、自动识别稻穗病虫害和水稻营养状况以及生育期自动检测的前期基础,能为水稻高产育种栽培管理研究提供科学依据,同时也能为农业机械识别系统提供重要参数,是设计农业机械系统的重要基础。
目前,图像分割广泛应用在农业方面。迟德霞等[1]提出了结合EXG因子和Otsu算法的水稻秧苗图像分割法,该方法噪声敏感度高,分割效果易受噪声干扰。Kurtul-mus F等[2]提出了通过去除干扰像素和提取潜在区域结合的方法识别玉米雄穗图像,该方法对于光照不均匀的田间环境识别效果不佳。陈含等[3]使用Sobel算子对麦穗图像进行边缘检测,通过与加权平均法、G分量法和最大值法处理后的图像进行对比,发现Sobel算子耗时最少。茅正冲等[4]提出了基于改进K-means和二维Otsu的算法,对不同环境的玉米雄穗图像进行分割,结果表明改进算法对生长环境具有很强的鲁棒性。段凌凤等[5]首先对大田图像分块,然后利用卷积神经网络SegNet对分块子图进行分割,解决了稻穗边缘严重不规则问题,同时提高了计算速度。
本文充分利用K-means和Otsu两种算法不受图像亮度和对比度的影响、易于实现的特点,对局部和整体两种不同角度的稻穗图像进行分割。最后在试验结果中给出了Otsu、最大熵、迭代阈值、区域生长以及K-means5种算法分割效果图和哈希相似度。通过K-means和Otsu算法分割稻穗图像可以解决在光照不均匀条件下稻穗和混淆稻叶、复杂田间背景难以分割问题。
本文随机选取5块不同的水稻田,利用相同的图像采集设备对水稻田间随机拍摄局部稻穗图像和稻田稻穗图像各20幅。试验采用的稻穗图像来源于稻粒饱满的成熟期水稻,在阳光充足的自然光照条件下进行采样,同时选取局部和稻田两种不同视角图像进行研究,使试验具有有效性和全面性。
阈值分割算法思想是通过比较选定阈值和灰度值大小来决定目标像素和背景像素,最终将灰度图像转换为二值图像。其中,确定阈值是阈值分割中最重要的步骤,本文将利用Otsu,最大熵,迭代阈值三种算法来确定阈值。
1.2.1 Otsu算法 Otsu算法思想是先通过初始阈值将图像分割成目标像素和背景像素,再通过公式(1)计算图像的类间方差值g:
式中,0为背景像素占总像素的比例,1为前景像素占总像素的比例,0为背景像素的平均灰度,1为前景像素的平均灰度,为图像平均灰度值。当存在使类间方差达到最大值的阈值时,该阈值为Otsu的最佳阈值。
1.2.2 最大熵算法 最大熵的“熵”在图像分割中是指信息熵,被用来描述消息来源的不确定性。熵值越大,说明信息不是同一类的可能性越大。其算法过程是通过熵的定义计算前景和背景像素的熵值,当前景熵和背景熵之和达到最大值时,该阈值就是分割点。
1.2.3 迭代阈值法 迭代阈值分割算法是通过多次计算来求取最佳阈值,算法流程如下:
Step1.求图像平均灰度值,设为初始阈值0;Step2.使用初始阈值将图像分割为目标和背景像素,分别求出两者的平均灰度值,为1,2;Step3.求1和2的平均值设为新阈值;Step4.比较和0,若两者相等,则是迭代值域的最优阈值;反之,则令0=,重复Step2-3,直到得到最优阈值。
在图像处理中,边缘是信息变化明显之处。基于边缘分割算法思想是通过连接图像的边缘像素点构成一个边界,从而分割图像。本文采用Sobel算法来寻找边缘像素。
1.3.1 Sobel算子 利用原始图像和Sobel的,滤波器做卷积计算,根据(2)式可求出方向的灰度梯度D:
根据(3)式可求方向的灰度梯度D:
式中,表示原始图像。
为提高效率,采用(4)公式来估计最终梯度|D|,所求的最终梯度就是边缘像素:
式中,表示综合灰度梯度。
区域生长算法思想是把类似特性(如颜色、纹理、灰度级等)的像素点形成区域。区域生长算法流程如下:
Step1.手工选取若干种子点,在种子点领域(8领域或4领域)中进行扩展;Step2.评判标准是,当某个像素点满足生长准则时,便被纳入种子点区域,反之,不纳入;Step3.当不存在符合参加种子点区域的其它像素点时,生长便会停止。
聚类是一种将相似事物分类到同一集群中的算法。聚类不像分类能事先已知目标,所以它是一种无监督学习。
K-means中的K表示有K个聚类,means表示每个聚类中数据值均值。聚类算法的主要思想是选取中心点进行聚类,通过迭代方法更新中心点,直到聚类效果最佳时便停止迭代,算法流程如下:
Step1.选取每个聚类的集群点;Step2.算出图像中某个点到各个集群点的距离,比较各个距离的远近,将该点放到最小距离的集群点的集群中;Step3.新的集群点是每类集群中所有点的坐标的平均数值;Step4.通过Step2-Step3的迭代更新后,如果满足迭代条件,停止更新迭代。
图像分割评价方法可以分为:无监督和有监督评价法[6]。无监督评价法是通过计算各种图像参数,从而评价分割算法的好坏;有监督法是通过比较算法分割结果图与人工分割标准图的相似程度可以判断算法的好坏。
本试验采用有监督评价法,使用工具人工标记出稻穗图像的标准图,并通过感知哈希算法计算分割结果图和人工标记图的相似度。
感知哈希算法[7-8]的原理是先通过离散余弦变换压缩图片以获取低频信息;然后综合图像特征,给图像生成特定“指纹”;最后比较两个图像指纹,若“指纹”越接近,则说明两张图像相似度越高。
本试验分别采用Otsu、最大熵、迭代阈值、Sobel算子、区域生长和K-means法对分别稻田稻穗图像和局部稻穗图像进行了分割对比,图1和图2分别对应局部稻穗图像和稻田稻穗图像不同方法处理的结果:(a)原始彩色图像、(b)基于Otsu算法分割效果图、(c)基于最大熵算法分割效果图、(d)基于迭代阈值算法分割效果图、(e)基于Sobel算法分割效果图、(f)基于区域生长算法分割效果图、(g)基于K-means算法分割效果图、(h)人工标记图像。通过将5种方法的分割效果图对比人工标注图,求出各个方法的平均分割相似度如表1所示。
表1 各分割算法平均相似度对比
通过比较各个算法的分割效果,可以看出:
如图1的局部稻穗图像中,通过Otsu、迭代阈值、最大熵算法求得的阈值分别是121、118、132:Otsu和迭代阈值法易受混淆稻叶影响,存在枯黄稻叶分割过度现象。如图2的稻田稻穗图像中,通过Otsu、迭代阈值、最大熵算法求得的阈值分别是104、99、118,最大熵算法对偏黄稻叶分割过度;Otsu和迭代阈值法能准确分割稻穗,但Otsu分割效果更好,能抑制杂乱的大田背景,并不受图像亮度影响,对于光照不均匀的稻穗也能完整分割出来,相较于其它算法,Otsu算法选取的阈值最佳。
Sobel算法对于两种稻穗图像来说存在欠分割现象,只能勾勒出稻穗基本边缘轮廓,不能完整将稻穗颗粒分割出来。
区域生长分割需要人机交互选取种子点,易受主观影响,实现过程繁琐,局部稻穗图像中,部分稻穗没有被标记为目标像素;稻田图像中,中间偏黄稻叶被归类为稻穗。
对于K-means算法,稻穗图像分割目标是提取稻穗,去除背景,所以本文选择稻穗目标和背景像素两个聚类。分割局部稻穗图像时,K-means能准确地分割稻穗和背景;分割稻田稻穗图时,少数复杂的田间背景没有被归为背景像素。
图1 局部稻穗分割结果
图2 稻田稻穗分割结果
综上所述:在局部稻穗图像中,分割效果最好的是K-means,分割相似度可达90%,相对生长区域算法来说,不需人工标记种子点,便于实现,能够克服图片中存在的复杂背景难以分割问题,在局部稻穗图像和稻田稻穗图像中分割效果较好,具有良好的适应性;在稻田图像中,Otsu的分割效果最好,分割相似度可达90.94%,它既能在光照不均匀、稻穗稻叶相互遮挡的条件下区分稻穗和稻叶,还能去除稻田中其他泥土背景,从而将稻穗分割出来。
本文综合多种经典算法分析,采取哈希算法进行各个算法的相似度计算,比较算法性能,阈值分割方法实现简单,其中Otsu适用于局部稻穗图像分割,能克服图片的光亮度影响;边缘分割方法存在欠分割现象,只能分割出稻穗轮廓,适用于往后谷粒周长测量;区域生长分割需要人工选取种子点,容易受主观因素从而影响分割结果,不适用于两种稻穗图像分割;聚类方法便于实现,能准确区分稻穗像素和背景像素,适用于局部稻穗图像分割。
本试验利用Otsu算法和K-means算法计算量小,在分割时易于实现,不受图片亮度和对比度的影响的特点,对背景复杂,光照亮度不均匀的稻田稻穗图像和局部稻穗图像进行分割,结果表明:将Otsu和K-means两种算法分割效果图与其他3种分割算法分割效果图对比后发现Otsu和K-means两种算法分割效果较好,能够克服光照不均匀问题,完整地将稻穗和复杂的稻叶泥土等背景分割开,性能明显优于其他算法。两种算法对稻穗图像分割来说有较好的适应性,对往后稻穗产量计数,稻穗品质评估具有很大的指导意义以及能够为往后优良育种提供重要参数。
[1] 迟德霞, 张伟, 王洋. 基于EXG因子的水稻秧苗图像分割[J]. 安徽农业科学, 2012, 40(36): 17902-17903.
[2] Ferhat K, İsmail K. Detecting corn tassels using computer vision and support vector machines[J]. Expert Systems with Applications, 2014, 41(16): 7390-7397.
[3] 陈含, 吕行军, 田凤珍, 等. 基于Sobel算子边缘检测的麦穗图像分割[J]. 农机化研究, 2013, 35(3): 33-36.
[4] 茅正冲, 刘永娟. 基于颜色特征的玉米雄穗图像分割[J]. 传感器与微系统, 2017, 36(2): 131-133.
[5] 段凌凤, 熊雄, 刘谦, 等. 基于深度全卷积神经网络的大田稻穗分割[J]. 农业工程学报, 2018, 34(12): 202-209.
[6] 施佩荣, 陈永富, 刘华, 等. 基于分割评价函数的多尺度分割参数的选择[J]. 遥感技术与应用, 2018, 33(4): 628-637.
[7] 张慧. 图像感知哈希测评基准及算法研究[D]. 哈尔滨: 哈尔滨工业大学, 2009.
[8] 牛夏牧, 焦玉华. 感知哈希综述[J]. 电子学报, 2008, 36(7): 1405-1411.
[9] Salil K, Nisarg T. Mastering openCV android application programming[M]. 北京: 电子工业出版社, 2016.
[10] 张志斌, 罗锡文, 臧英, 等. 基于颜色特征的绿色作物图像分割算法[J]. 农业工程学报, 2011, 27(7): 183-189.
[11] 范梦扬, 马钦, 刘峻明, 等. 基于机器视觉的大田环境小麦麦穗计数方法[J]. 农业机械学报, 2015, 46(S1): 234-239.
[12] Adrian K, Gary B. Learning OpenCV 3: computer Vision in C++ with the OpenCV Library[M]. 北京: 清华大学出版社, 2016.
[13] Otsu N. A threshold selection method from gray-level histogram[J]. IEEE Trans, 1979, SMC-9: 62-66.
[14] 任磊. 棉花图像分割算法研究[D]. 乌鲁木齐: 新疆大学, 2013.
[15] 史倩, 吴开华. 区域生长的轮对图像分割[J]. 中国图象图形学报, 2012, 17(9): 1122-1127.
[16] 易三莉, 张桂芳, 贺建峰, 等. 基于最大类间方差的最大熵图像分割[J]. 计算机工程与科学, 2018, 40(10): 1874-1881.
[17] 吴焕丽, 崔可旺, 张馨, 等. 基于改进K-means图像分割算法的细叶作物覆盖度提取[J]. 农业机械学报, 2019, 50(01): 42-50.
[18] Xiong X, Duan L F, Liu L B, et al. Panicle-SEG: a robust image segmentation method for rice panicles in the field based on deep learning and superpixel optimization[J]. Plant Methods, 2017, 13(1): 1746-4811.
[19] Elaziz M A, Bhattacharyya S, Lu S F. Swarm selection method for multilevel thresholding image segmentation[J]. Expert Systems with Applications, 2019, 138(138): 0957-4174.
[20] 茅正冲, 刘永娟. 一种玉米雄穗图像分割方法[J]. 控制工程, 2018, 25(10): 1892-1897.
[21] 熊雄. 基于深度学习的大田水稻稻穗分割及无损产量预估研究[D]. 武汉:华中科技大学, 2018.
[22] Jothiaruna N, Joseph Abraham Sundar K, Karthikeyan B. A segmentation method for disease spot images incorporating chrominance in comprehensive color feature and region growing[J]. Computers and Electronics in Agriculture, 2019, 165(165): 1688-1699.
[23] 刘俊, 马燕, 陈坤. 一种改进的基于区域生长的彩色图像分割方法[J]. 计算机应用与软件, 2012, 29(11): 288-291.
[24] Tremeau A, Bolel N. A region growing and merging algorithm to color segmentation[J]. Pattern Recognition, 1997, 30(7): 1191-1203.
[25] Pavlidis T, Liow Y T. Integrating region growing and edge detection[J]. IEEE Transactions on Pattern Analysis and Machine Intelligence, 1990, 12(3): 225-233.
Research on Segmentation Methods of Rice Ear Images
HUANG Qiong1, YANG Hong-yun2*, XIAO Xiao-mei2
(1. College of Computer and Information Engineering, Jiangxi Agricultural University, Nanchang 330045, China; 2. College of Software, Jiangxi Agricultural University, Nanchang 330045, China)
Aiming at the problems of uneven light in the mature paddy field, complex soil background noise, and the confusion of rice leaf colors, the Otsu and K-means methods were used to segment the partial rice ear images and the rice field images, respectively. These two methods were used to compare with the maximum entropy, iterative threshold and the segmentation effect map of the region growth method to get the hash similarity. K-means had a segmentation similarity of 90% compared with other four algorithms in partial rice ear image segmentation. Otsu had a segmentation similarity of 90.94% compared with other four algorithms in rice field image segmentation. The experimental results showed that the two algorithms could achieve effective extraction of rice ears, and provided a reliable basis for the evaluation of rice ear quality in the later period and the research of rice field yield prediction.
rice ears; image segmentation; Otsu algorithm; K-means algorithm; hash algorithm
S126
A
2095-3704(2020)01-0090-06
2020-01-04
国家自然科学基金项目(61562039)
黄琼(1997—),女,硕士生,主要从事图形图像处理研究,406274397@qq.com;*通信作者:杨红云,副教授,nc_yhy@163.com。
黄琼, 杨红云, 肖小梅. 水稻稻穗图像的分割方法研究[J]. 生物灾害科学, 2020, 43(1): 90-95.
10.3969/j.issn.2095-3704.2020.01.18