基于极值的重叠苹果识别方法研究

胡婵莉，赵德安，赵宇艳，陈　玉，贾伟宽，姬　伟

(1.江苏大学 电气信息工程学院，江苏 镇江　212013；2.常州信息职业技术学院，江苏 常州　213164)



基于极值的重叠苹果识别方法研究

胡婵莉1，赵德安1，赵宇艳2，陈玉1，贾伟宽1，姬伟1

(1.江苏大学 电气信息工程学院，江苏 镇江212013；2.常州信息职业技术学院，江苏 常州213164)

摘要：针对采摘机器人对重叠果实无法识别采摘问题，提出了一种基于极值的重叠苹果识别定位方法。首先，利用色差法对图像进行分割；然后采用OTSU分割和孔洞填充提取轮廓；最后利用一种快速计算圆内的点到边缘最小距离的算法找到局部极大值，从而确定圆心和半径。实验表明：这种方法对提取的苹果轮廓较完整的情况定位效果较好，且实时性高，具有较强的实用性。

关键词：色差法分割；重叠苹果；极值；OTSU分割

0引言

在苹果采摘机器人视觉系统的研究中，对苹果的识别与定位是关键，其快速性和准确性直接关系到系统的实时性和可靠性。在自然条件下，苹果受树叶、枝干遮挡或者苹果间互相遮挡，会很大程度上影响识别效果和定位精度。

目前，国内外学者对重叠果实的定位进行了大量的研究,并取得了一定的成果[1-10]。Petros等[1]提出了结合分水岭算法与梯度距离的重叠染色体分割算法，对于重叠染色体的识别率可达到80.4%。Yu等[2]提出了基于数学形态学的粘连细胞图像分割、重建算法。王开义、张水发等[5]提出一种融合分水岭和改进马尔科夫随机场(MRF)的分割方法，对马铃薯丁粘连问题的分割正确率可达95%。谢忠红、姬长英等[6]利用色调分量的统计规律分离背景，采用链码跟踪法、方向编码、凹点及改进的Hough变换得到果实的圆心、半径。该方法可有效解决重叠果实分离和测量问题，但对于多果粘连重叠问题会造成识别丢失现象。蔡健荣、赵杰文[7]提出一种基于圆形Hough变换的遮挡果实特征提取方法，能够自适应调整搜索半径的区间和累加器的单元尺寸，并采用高斯算子对累加器数据进行平滑处理，设置领域系数，停止搜索阈值来避免假目标。该方法准确率较高，但在果实遮挡较严重时会导致误差较大。荀一、陈晓等[9]利用BP神经网络进行分割，由目标轮廓曲率的变化拟合出圆心、半径。该方法在近景苹果识别率较好，全景图像苹果则较差。

鉴于上述，本文提出利用极值方法进行重叠圆拟合，将色差法分割出的苹果目标进行OTSU分割提取轮廓；并利用一种快速计算圆内的点到边缘的最小距离的算法得到最小距离函数，则这个函数的局部极大值即为圆心，而极大值对应的距离即为半径，以此实现重叠果实的识别定位。

1图像分割及轮廓提取

图像分割是后续处理效果的决定因素之一，分割的效果直接对后续的处理有着决定性的影响。

1.1色差分割法

颜色信息是彩色图像最基本的属性之一，在RGB颜色空间下苹果图像的R分量图、G分量图及B分量图如图1所示。

(a)　苹果原图　　　　　　　 (b)　R分量

(c)　G分量　　　　　　　 (d)　B分量

通过观察R-G、R-B、G-B图像(见图2)可知，R-G图已较好地分割出苹果目标，只需进行轮廓提取即可进行苹果的拟合。

(a)　R-G图　　　　　　　　　(b)　R-B图

(c)　G-B图

1.2苹果轮廓的提取

为获得苹果的轮廓，需要对色差分割得出的苹果图像进行OTSU分割和孔洞填充。

(1)

(2)

(3)

(4)

从最小灰度值到最大灰度值遍历T，当T使得式(5)最大时，T即为分割的最佳阈值。则有

σ2=w0·(u0-uT)2+w1·(u1-uT)2

(5)

苹果图像的OTSU结果如图3所示。由图3可以看出：分割出的苹果轮廓仍存在孔洞，需要进行孔洞填充。

(a)　OTSU分割　　　 　　　　　 (b)　孔洞填充

2基于极值的重叠圆定位算法

苹果的轮廓可以看成是类圆形，所以可以采用圆拟合方法来实现苹果的识别定位。

2.1圆心的确定

圆内的点到边缘的最小距离是确定圆心的关键，找出这个最小距离函数的局部极大值即找到了圆心。但是，如果直接计算每个轮廓内的点到边缘的距离必定会包含大量的数据，而且该计算过程会非常耗时，占用大量的存储空间，如此便造成程序的实时性变差。因此，本文采用文献[17]中的快速生成距离函数方法解决该问题。此方法只需对图像轮廓内像素点进行4次扫描，即可准确地计算出所有轮廓内点离边缘的最小距离值。

定义4个扫描迭代方向：

(x+,y+)方向扫描为从左到右，从上到下；

(x-,y+)方向扫描为从右到左，从上到下；

(x+,y-)方向扫描为从左到右，从下到上；

(x-,y-)方向扫描为从右到左，从下到上。

方法的具体实现过程如下：

2)对{(x+,y+),(x-,y+),(x+,y-),(x-,y-)}4个方向扫描苹果轮廓，每次扫描时，更新每个像素点E(不含标记为Visited的点)的距离值Dk。更新方法如下：

(1)(x+, y+) 方向。对于每一个轮廓内像素点E(i,j)，比较其左、上两邻接点(i-1,j)与(i,j-1)的距离值：若其中较小的距离值min加1后小于扫描点E(i,j)的距离值，则扫描点E(i,j)的距离值为min+1；否则扫描点E(i,j)的距离值不变。

(2)(x-, y+) 方向。对于每一个轮廓内像素点E(i,j)，比较其左、下两邻接点(i+1,j)与(i,j-1)的距离值：若其中较小的距离值min+1后小于扫描点E(i,j)的距离值，则扫描点E(i,j)的距离值为min+1；否则扫描点E(i,j)的距离值不变。

(3)(x+, y-) 方向。对于每一个轮廓内像素点E(i,j)，比较其右、上两邻接点(i-1,j)与(i,j+1)的距离值：若其中较小的距离值min+1后小于扫描点E(i,j)的距离值，则扫描点E(i,j)的距离值为min+1；否则扫描点E(i,j)的距离值不变。

(4)(x-, y-) 方向。对于每一个轮廓内像素点E(i,j)，比较其右、下两邻接点(i+1,j)与(i,j+1)的距离值：若其中较小的距离值min+1后小于扫描点E(i,j)的距离值，则扫描点E(i,j)的距离值为min+1；否则扫描点E(i,j)的距离值不变。

上述4个方向都扫描后，轮廓内每个点与其4临接点都比较过，取最小值，从而得到一个最小距离函数。由此画出其三维曲面图，如图4所示。

图4　距离函数三维曲面图

由图4可以得出距离函数含有2个局部极大值，即轮廓内的2个圆心，证明此方法有效地找到了圆心坐标。

2.2半径的确定

由最小距离函数得到的局部极大值点所对应的坐标为苹果轮廓的圆心，而此极大值处对应的最小距离即为苹果轮廓的半径。

3对比方法

为了验证极值法的有效性和实时性，本文还提出采用腐蚀法和Hough变换方法对重叠苹果进行对比实验。

由于两个圆重叠时，信息会互相干扰，因而可以采用腐蚀方法将两个圆的圆心分开。该方法基本思想为：对图像不断进行形态学腐蚀处理，使两个圆逐渐分开，直到图像中的轮廓变为单个像素点，则这个像素点即为轮廓的圆心。半径采用圆心到边缘最小距离确定。腐蚀方法处理效果如图5所示。

(a)　原二值图　 　　　　　　 (b)　2次腐蚀

(c)　20次腐蚀　　　　　　　(d)　30次腐蚀

从图5可以看出：随着腐蚀次数的增加，原先重叠的两个圆逐渐分开。实验结果表明该方法能够较好地找到重叠苹果的圆心，但实时性不高。

文中用到的Hough变换为标准的Hough变换方法。其基本思想是将图像空间中的边缘点映射到参数空间中，然后将在参数空间中得到的所有坐标点元素对应的累加值进行累加统计，根据累加值判断圆的大小和圆心所在位置，在笛卡尔坐标系下圆的方程为

(x-x0)2+(y-y0)2=R2

(6)

要确定x0、y0、R需要一个三维的参数矩阵P(x0,y0,R)。x0、y0、R这3个参数生成了一个带有立方单元和累加器P(x0,y0,R)的三维参数空间。这个过程是增加x0,y0解出满足式(5)的R。R的解为

(7)

同时，更新对应于三元组(x0,y0,R)相关单元的累加器，最后累加器P中累加极大值Pmax(x0,y0,R)所对应的坐标便是圆心坐标(x0,y0)。

4实验结果与分析

本实验采用的仿真软件是MatLab2011b，分别对图6(a)和(b) 进行了Hough变换方法、腐蚀方法和极值法的仿真对比实验。图6(a)是一幅分辨率为462×300的彩色图片，图6(b)是一幅分辨率为827×592的彩色图片。由于Hough变换方法计算量大，直接用原图进行拟合运行时间过久，因而本文先对两幅原图降分辨率处理，使之降为原来的1/4后再进行Hough圆拟合。3种方法的实验结果如表1所示。

由图6的对比结果可以看出：极值法能准确地找到苹果的圆心，且对半径的检测效果较精确，重叠苹果的拟合效果好，能够达到采摘机器人对精度的要求。从表1可以得出：相比Hough变换方法和腐蚀方法，极值法具有明显的速度优势，能够达到采摘机器人对实时性的要求。但是，极值法也存在缺陷，即在苹果边缘不完整的情况下会出现误差较大的拟合偏移，导致定位不准，因而对此情况需要先进行图像修补再进行拟合。

(a)　原图1　　　　　　　 (b)　原图2

(c)　Hough变换 　　　　　　　(d)　Hough变换

(e)　腐蚀方法 　　　　　　　 (f)　腐蚀方法

(g)　极值法　　　　　　 (h)　极值法

ms

5总结

1)利用色差法进行分割可以有效且快速地分割出苹果目标。

2)采用OTSU阈值分割可以较好分割出苹果轮廓，再进行孔洞填充可使轮廓更完整。

3)利用极值法能够准确地找到苹果轮廓的圆心和半径，该方法能够较好地实现重叠苹果的分离定位。

实验结果表明：极值法在重叠圆的遮挡不是特别严重且边缘较完整的情况下效果较好，且在精度和速度上优于Hough变换和腐蚀方法，能够满足采摘机器人对准确性和实时性的要求，具有较强的实用性。

参考文献：

[1]谢忠红,姬长英.基于凹点搜索的重叠果实定位检测算法研究[J].农业机械学报,2011,42(12): 191-196.

[3]Hongpeng Yin, Simon X Yang.Ripe tomato recognition and localization for a tomato harvesting robotic system [C]//2009 International Conference of Soft Computing and Pattern Recognition，2009.

[4]蔡健荣,赵杰文.基于圆形Hough变换的遮挡果实特征提取[C]//中国农业机械学会2006年学术年会论文集，2006.

[5]彭辉,吴鹏飞.基于视差图像的重叠果实图像分割算法[J].农业机械学报,2012,43(6): 167-173.

[6]荀一,陈晓.基于轮廓曲率的树上苹果自动识别[J].江苏大学学报：自然科学版，2007,28(6):461-464.

[7]丛培盛,孙建忠.分水岭算法分割显微图像中重叠细胞[J].中国图象图形学报,2006,11(12):1781-1784.

[8]张铁中,陈利兵,宋健.基于图像的草莓重心位置和采摘点的确定[J].中国农业大学学报,2005,10 ( 1) : 48 -51.

[9]Petros K, Aristidis L, Dimitrios I, et al. Identifying touching and overlapping chromosomes using the watershed transform and gradient paths[J].Pattern Recognition Letters, 2010, 31(16): 2474-2488.

[10]Yu Dongguang, Tuan D P, Zhou Xiaobo. Analysis and recognition of touching cell images based on morphological structures[J].Computers in Biology and Medicine, 2009, 39(1): 27-39.

[11]Adelina-Iulia Sarpe, Craiova,Romania.Image Segmentation withClustering K-Means and Watershed Transform [C]//2010 Second International Conferences on Advances in Multimedia, 2010.

[12]Bibhas Chandra Dhara, Bhabatosh Chanda. A Fast Interactive Image Segmentation to Locate Multiple Similar-colored Objects [C]//2011 Third National Conference on Computer Vision, Pattern Recognition, Image Processing and Graphics, 2011.

[13]Rong Xiang, Yibin Ying, Huanyu Jiang. Research on Image Segmentation Methods of Tomato in Natural Conditions[C]//2011 4th International Congress on Image and Signal Processing,2011.

[14]李光，王朝英，侯志强.基于K均值聚类与区域合并的彩色图像分割算法[J].计算机应用,2011,30(2):354-358.

[15]王开义，张水发.基于分水岭和改进MRF的马铃薯丁粘连图像在线分割[J].农业机械学报,2013,44(9)：187-192.

[16]陈科尹, 邹湘军.基于视觉显著性改进的水果图像模糊聚类分割算法[J].农业工程学报,2013,29(6): 157-166.

[17]董吉文，杨海英，张冰.水平集方法中符号距离函数的快速生成[J].计算机工程与应用,2009,45(34):180-182.

Research on Localization Method for Overlapped Apples Based on Maxima

Hu Chanli1，Zhao De’an1，Zhao Yuyan2，Chen Yu1，Jia Weikuan1，Ji Wei1

(1.School of Electrical Information Engineering,Jiangsu University，Zhenjiang 212013,China；2. Changzhou Institute of Information Technology，Changzhou 213164,China)

Abstract：In natufral scenes, the apple picking robot can not recognize overlapped apples. To solve this problem, an overlapped apple recognizing and locating algorithm was proposed in this paper.First, an image is segmented by chromatic difference method. Then OTSU segmentation and holes filling was used to get the outline of the apples. In the end, the center point and radius was determined by a fast calculating method, in which the minimum distance of the points in the circle to the edge of the circle was calculated and the local maximal value was found. The experiment results showed that this method worked very well when the outline of the apples is complete, and the real-time performance and practicability was very good.

Key words：chromatic difference method； overlapped apples； maxima； OTSU segmentation

文章编号：1003-188X(2016)03-0042-05

中图分类号：S126；TP391.41

文献标识码：A

作者简介：胡婵莉(1987-)，女，浙江温州人，硕士，(E-mail)hu0041@126.com。通讯作者：赵德安(1956-)，男，江苏常州人，教授，博士生导师，(E-mail)dazhao@ujs.edu.cn。

基金项目：高等学校博士学科点专项科研基金联合资助项目(20133227110024)

收稿日期：2015-03-05