苹果幼果图像的分割与识别算法研究

李　卓，杨子敬，郝建唯，高宏伟

(沈阳理工大学 信息科学与工程学院 辽宁 沈阳 110159)



苹果幼果图像的分割与识别算法研究

李卓，杨子敬，郝建唯，高宏伟

(沈阳理工大学 信息科学与工程学院 辽宁 沈阳 110159)

摘要：以苹果的幼果为研究对象，在自然环境下采集其可见光图像，研究幼果图像分割与识别的算法。对幼果图像进行预处理，利用Otsu法对图像进行有效分割。在预处理的基础上，对苹果幼果图像进行识别。利用改进后的连通域标记算法对预处理后的苹果幼果图像进行标记并标号，进一步去除不符合要求的小面积，减少干扰。然后对图像进行轮廓提取，利用圆形度这一形状特征量识别出苹果幼果，并进行自动标记。实验结果证明了相关算法的正确性和有效性。

关键词：苹果幼果；图像分割；识别；连通域标记；圆形度

传统的对于自然光状态下的果蔬进行分割和识别的图像处理方法，绝大多数是利用果实和树叶之间的颜色，通过直方图的曲线阈值分割算法把不同于叶子颜色的果蔬从绿色的叶子中分离出来，进一步对果蔬进行识别。1995年，意大利的Buemi[1-4]研制出在温室中应用的针对西红柿进行自动化采摘的系统。这种系统中的视觉部分运用能够得出HIS成分的相机对图像进行获取，运用图像的色调和饱和度分割图像，利用在相同拍摄场景下拍摄的两幅不同图像信息进行空间匹配操作来获取其三维数据，可以成功识别90%的成熟西红柿。2001 年，Bulnaon D.M.等[2]依照LCD (Luminance and Color Difference of red)模型和色度模型(Chromaticity Model)对在多种强度自然光照射下Fuji苹果来判识，在图像分割方面运用多阈值算法，识别的正确率大约为80%。张铁中等[5-8]在2003年利用绝大多数水果在需要收获的时候，水果自身的颜色和整个果树叶子的颜色两者有较大的区别，但是相同类型的水果自身颜色比较一致的特点，提出了一种适合在对水果进行采摘的，基于色彩空间参照表的，分割方面的算法。

本文以未成熟的苹果幼果为研究对象，对未成熟的青色幼果进行图像拍摄，采用CPU类型为AMD炫龙II M540，2G内存的PC机，基于Matlab和DM6437图像处理试验箱设计了对幼果图像进行分割与识别的程序，并通过了实验验证。

1　苹果果实图像的分割

苹果幼果处理流程图如图1所示。

对于自然条件下采集到的苹果幼果果实的颜色和其背景色相似程度很大，难以把果实从背景中分离出来。根据这一情况，利用Otsu分割算法并结合其他的图像处理算法对图像中的目标和背景进行合理的分割，提高分割的准确度。

Otsu法是一种自适应的阈值分割算法，该算法的自适应能力强，能够很好地降低分割错误率，该方法利用图像自身的灰度特点把原图像分割成为前景与背景两个部分。当前景与背景之间的类间方差越小，则证明分割的前景和背景的差别也就越小，当一部分目标错分成背景或者部分背景图像错分成目标，则都会引发这两个部分之间的差距变小。

图1　苹果幼果处理流程图

对于图像I(x,y)，前景图像(即目标)与背景图像的分割阈值设为T，前景像素在总的像素数的比重设为ω0，平均灰度μ0，背景像素在总的像素数的比重为ω1，平均灰度为μ1。图像总的平均灰度设为μ，类间方差设为g。

图像尺寸为M×N，像素灰度值小于阈值T的总数为N0，像素灰度值比阈值T大的像素数为N1，如果背景图像比较模糊，那么有

(1)

(2)

N0+N1=M×N

(3)

ω0+ω1=1

(4)

μ=ω0μ0+ω1μ1

(5)

g=ω0(μ0-μ)2+ω1(μ1-μ)2

(6)

将式(4)代到式(6)，得到等价公式：

g=ω0ω1(μ0-μ1)2T

(7)

利用遍历的办法获得使类间方差为最大的阈值T，即为所求。本文所使用的阈值为74。

2　苹果果实的识别

2.1　连通域求取

对初步分割的图像进行进一步的果实的识别，利用改进的连通域标记方法和圆形度这一特征量对幼果进行识别，从而从背景中将果实识别并标记出来。

连通域标记指的是把待处理图像中的，对于遵循某类连通规定(四邻域连通、八邻域连通或m邻域连通)的像素点标记归为同一类目标[9]，构建一种较为合适的数据结构，来对图像中各个像素点所拥有的标号进行存储，并且存储和它相关的其他信息[10]。

文中改进的连通域标号分为两个阶段：第一个阶段，将二值图像进行扫描取得一个临时标号，此时必定会出现一种情况，即不同的连通域标号指的是同一区域。因此此时的像素连通域标号叫做待标号合并；第二阶段，对等价连通域标号进行归一，即运用共同的连通域标号代替第一个阶段的待标号合并，目标连通域标号是指这个阶段的像素点连通域标号，即为最后的标号。

假设某像素点f(x,y)，则f(x-1,y)、f(x+1,y)、f(x,y-1)、f(x,y+1)是它四个周围邻域。如果merge(x,y)为f(x,y)这个像素点的连通域标号。如果f(x,y)开始扫描时，已经结束了f(x-1,y)和f(x,y-1)扫描，merge(x-1,y)和merge(x,y-1)是已知数。所以在四邻域内，f(x,y)像素点的连通域标号merge(x,y)只与像素点f(x-1,y)、f(x,y-1)以及像素点的连通域标号merge(x-1,y)、merge(x,y-1)相关，如式(8)所示。

(8)

标记共同连通域与处理等价标号是该算法实现的难点。扫描完二值图像能得到一个连通域临时标号，很多等价标号存在于其中，即存在大量的冲突标号。将各个连通域临时标号的连通域共同标号用一维数组记录下来，临时连通域标号作为数组的下标，共同连通域标号即为其值。如果标号有冲突时，要对等价的连通域标号进行合并，即扫描一遍共同连通域数组，把等价标号的共同连通域标号标记为相同。

2.2　轮廓边缘提取

轮廓边缘的提取包括寻找下一边界点和跟踪边缘两方面，前一方面的工作是寻找到边界上的一个已知点，从该点开始搜索下个边缘点；后一方面的工作是在追踪边界同时对过程进行监控和记录下必要的信息。

本文运用改进后的轮廓边缘提取算法，以8邻域连通链码进行边缘提取，具体算法如下：

(1) 检查开始条件

检查边界有两个起始前提：第一、要有个起始的边缘点；第二、是否找到一个新的边界点bFindPoint并判断该边界点是否重新回到了起始点。

(2) 检测过程

步骤一、从merge表中的第一个数，即编号为1的图像进行遍历。首先从左下角开始对merge表进行扫描，找到merge表中第一个为1 的像素的位置，设定为起始扫描点，以这个像素点为起点，按照顺时针的方向，先扫描该起始点左上方向的像素点，判断其在merge表中的是否标号为1；

步骤二、如果该像素对应在merge表中的标号为1，则再以这个点为新的起始点进行扫描，扫描方向为原扫描方向逆向旋转两个方向，即扫描该像素点的左下角方向为第一个扫描的方向，再按照顺时针的方向依次进行扫描；对应的记录像素数的数组自动加1，来计算边界像素的个数；

步骤三、如果第一个扫描像素点的左上方的像素点对应在merge表中的标号不为1，则顺时针继续扫描merge，直到扫描到标号为1的像素点，再按照步骤二所述进行下一像素的扫描；

步骤四、如果扫描merge表中的最后一个像素的坐标值与起始扫描像素的坐标值一致，证明merge表中标号为1的目标图像的边界已经找完，数组中累加的边界像素点的个数即为merge表中标号为1的目标图像的边界的周长。接着继续按上述步骤继续扫描merge表中标号为2的边界数，以此类推，直至扫描完merge表中的所有的标号。

2.3　基于圆形度的幼果识别

由于本文处理的苹果图像背景比较复杂，苹果幼果的颜色和叶子的颜色几乎一样，很难从颜色和纹理方面进行判别。大多数学者一般都是对苹果的形状和叶子进行处理。无论是在苹果的圆形度、复杂度和伪体积上都和叶子有明显的区别。本文以圆形度对苹果和叶子进行区分。

圆形度是作为一种衡量该形状与圆形相似的一个度量，即

(9)

式中：P代表目标的周长；A代表目标的面积。如果目标体是标准圆形，C为1；当物体是长方形或是形状非常复杂时，C的值会很小。

经过以上的圆形度的计算，能把不是苹果果实的区域变成背景色，而只留下苹果果实的区域，这样就能把苹果果实从复杂的背景中分离出来。

3　实验结果与分析

针对真实采集的图像进行了实验，图2为采集到的苹果幼果图像；图3为二值化处理后的图像；图4为删除小面积后的图像；图5为Otsu算法分割结果。连通域标记的结果图如图6所示，不同的连通域用不同的颜色表示。将各个连通域的边缘轮廓用白色线条标记，得到连通域的边缘如图7所示。计算得到的12个连通区域的周长，如表1所示。

表1　12个连通域的周长

图像中的12个连通域的总面积以及每一个的圆形度值分别如表2、3所示。

表2　12个连通域对应的面积

表3　12个连通域的圆形度数值

根据以上的圆形度计算，以圆形度0.8为阈值，即符合要求的圆形度应该满足0.8

图9～13为利用DM6437图像处理试验箱所得到的结果。

经过大量的实验，结果表明该分割识别苹果幼果的方法识别率在70%左右，其中没有得到很好分割与识别的原因在于：(1)光源选择不好，在强光源的情况下，苹果幼果自身的反光影响了幼果的识别；(2)叶子的遮挡，由于叶子遮挡住幼果，导致幼果没能很好地分割出来。

图2　采集到的苹果幼果图像

图3　二值化后的图像

图4　删除小面积后的图像

图5　阈值为74的Otsu算法分割结果

图6　对连通域进行标记图

图7　获取各连通域边缘像素

图8　苹果分割与识别最终效果图

图9　DM6437图像处理试验箱

图10　拍摄的苹果幼果原图像

图11　二值化处理后的效果图

图12　Otsu分割后的图像

图13　最终分割出来的效果图

4　结论

对苹果幼果果实进行图像处理，首先对二值图像进行连通域的标记；其次根据标记的连通域对各个连通域进行分析去除过大或过小的连通域，使目标区域，即苹果图像所表示的区域更加清晰，减少后续处理所需要的时间；然后运用改进后的链码算法，提取目标区域的边缘信息并且利用边缘信息计算出各个区域的周长；最后利用圆形度对各个区域进行处理，最终将苹果果实从复杂的背景图像中分割出来，完成了苹果图像的分割与识别，为后续进一步研究苹果幼果自动套袋技术奠定了基础。

参考文献：

[1]Buemi F M Massa，G Sandini.A robotic system for greenhouse operations[C].In 4th Workshop on Robotics in Agriculture*IARP，Tolouse，1995:172-184.

[2]崔勇.农业机器人的研究与应用浅探[J].南方农机，2008，(1)：35-37.

[3]田素博.国内外农业机器人的研究进展[J].农业机械化与电气化，2007，(2)：3-5.

[4]沈明霞，姬长英.农业机器人的开发背景及技术动向[J].农机化研究，2000，(2)：31-35.

[5]Schertz C E，Brown G K. Basic considerations in mechanizing citrus harvest[J].Transactions of the ASAE，1968，11(2)：343-346.

[6]Kondo N′ Nishitsuji，Ling P P，Ting K C. Visual feedback guided robotic cherry tomato harvesting[J].Transactions of the ASAE，1996，39(6)： 2331-2338.

[7]张瑞合，姬长英，沈明霞，等.计算机视觉技术在番茄收获中的应用[J].农业机械学报，2001，32 (5)： 50-53.

[8]张铁中，林宝龙，高锐.水果采摘机器人视觉系统的目标提取[J].中国农业大学学报，2004，9(2)：68-72.

[9]Sonka M，H lacac V,Boyle R.Image Processing,Analysis，and Machine Vision(2nd,ed)[M].北京：人民邮电出版社，2002.

[10]Bulgarelli A，Stefano L D. A Simple and Effeient Connected Component Labeling Algorithm[C].In：Proc of the 10th International conference on Image Analysis and Processing，Venice，Italy，1999:322-327.

(责任编辑：马金发)

Segmentation and Recognition Algorithms for Image of Young Apple

LI Zhuo,YANG Zijing,HAO Jianwei,GAO Hongwei

(Shenyang Ligong University,Shenyang 110159,China)

Abstract：Apple′s young fruit is taken as research object,and key segmentation technologies and recognition of young fruit images are studied,the images are captured in visible light of natural environment and image processing methods of segmentation and recognition of the apple′s fruit are researched based on knowledge of image processing.Firstly,in order to preprocess the apple images,the image is effectively segmented through the Otsu segmentation algorithm.Secondly,on the basis of pretreatment,the image of apple′s fruit is recognized.The preprocessed apple images are marked and labeled with the improved connected components labeling algorithm which removes small areas that do not meet the requirements to reduce the interference,and then the image contour is extracted.The apple fruit is identified and automatically marked by the shape characteristics of circular degree.The algorithms are proved to be effective and correct by experimental results.

Key words：apple′s young fruit;image segmentation;recognition;connected components labeling;circularity

中图分类号：TP317.4

文献标志码：A

文章编号：1003-1251(2015)01-0034-06

通讯作者：

作者简介：李卓(1991—),男,本科生；高宏伟(1978—), 男, 副教授,博士, 研究方向：计算机视觉、智能控制.

基金项目：机器人学国家重点实验室开放课题(2012017);沈阳理工大学计算机应用技术重点学科开放基金;沈阳理工大学大学生创新创业训练计划资助项目

收稿日期：2014-03-24