融合K-means聚类分割算法与凸壳原理的遮挡苹果目标识别与定位方法

2019-09-10 07:22江梅孙飒爽何东健宋怀波
智慧农业(中英文) 2019年2期

江梅 孙飒爽 何东健 宋怀波

摘   要:自然场景下苹果目标的精确识别与定位是智慧农业信息感知与获取领域的重要内容。为了解决自然场景下苹果目标识别与定位易受枝叶遮挡的问题,在K-means聚类分割算法的基础上,提出了基于凸壳原理的目标识别算法,并与基于去伪轮廓的目标识别算法和全轮廓拟合目标识别算法作了对比。基于凸壳原理的目标识别算法利用了苹果近似圆形的形状特性,结合K-means算法与最大类间方差算法将果实与背景分离,由凸壳原理得到果实目标的凸壳多边形,对凸壳多边形进行圆拟合,标定出果实位置。为验证算法有效性,对自然场景下的157幅苹果图像进行了测试,基于凸壳原理的目标识别算法、基于去伪轮廓的目标识别方法和全轮廓拟合目标识别方法的重叠率均值分别为83.7%、79.5%和70.3%,假阳性率均值分别为2.9%、1.7%和1.2%,假阴性率均值分别为16.3%、20.5%和29.7%。结果表明,与上面两种对比算法相比较,基于凸壳原理的目标识别算法识别效果更好且无识别错误的情况,该算法可为自然环境下的果实识别与分割问题提供借鉴与参考。

关键词:苹果识别;遮挡目标;凸壳原理;伪轮廓;K-means聚类算法

中图分类号:TP391.4                  文献标志码:A             文章编号:201903-SA003

江  梅, 孙飒爽, 何东健, 宋怀波. 融合K-means聚类分割算法与凸壳原理的遮挡苹果目标识别与定位方法[J].智慧农业, 2019, 1(2): 45-54.

Jiang M, Sun S, He D, Song H. Recognition and localization method of occluded apples based on K-means clustering segmentation algorithm and convex hull theory[J]. Smart Agriculture, 2019, 1(2): 45-54.(in Chinese with English abstract)

1  引言

果實目标的精准识别是实现农业机械智能化的重要前提[1,2]。在自然场景下,果实目标多处于枝叶遮挡环境之中,导致目标缺失,识别与定位难度较大,实现自然场景下遮挡果实的准确识别与定位,已成为智能机械采摘作业发展的重要研究方向[3-5]。

国内外众多学者在果实目标识别领域已经开展了大量的研究工作,现有识别算法基本可以分为两类。一是利用果实自身颜色特性,结合灰度阈值分割的算法。例如黄小玉等[6]提出判别区域特征集成算法与颜色等相结合的识别算法,有效解决了近景色与果叶遮挡问题,识别率达91.7%;钱建平等[7]提出一种基于R/B值和V值的混合颜色空间识别算法,在小幅度降低识别成功率的同时大幅度降低误识率,误识率降低6.4%;针对果叶大面积遮挡,Wang等[8]提出了一种基于凸壳原理的苹果目标识别算法;司永胜等[9]利用归一化红绿色差(R-G)/(R+G)和随机圆环算法对不同光照下苹果图像进行识别分割,识别率高达92%;熊俊涛等[10]提出了基于双边滤波的Retinex图像增强并结合HSI和YCbCr颜色模型的分割算法,避免光照对结果的影响,分割正确率为90.9%。二是利用形状纹理等属性特点实现识别定位。李寒等[11]结合果实纹理和形状特性提出了基于FCNN和霍夫圆变换的识别算法,可有效应对光线、遮挡等影响,检测正确率为86.7%;Sun等[12]提出融合模糊集理论与流形排序法的方法,针对枝叶遮挡、果实与背景色相近的果实进行识别,准确率达90.87%;Seng和Mirisaee[13]提出一种基于最近邻分类并结合果实形状、大小及颜色的识别算法,识别准确率较高;Rakun等[14]将果实颜色、纹理、3D形状三种特性结合实现果实目标识别定位;宋怀波等[15]提出一种基于凸壳原理的遮挡苹果目标识别算法,平均定位误差为4.28%;杨庆华等[16]采用Hough变换结合果实颜色与形状特征实现果实目标识别,识别成功率为90%。

自然场景下的果实识别与定位除了易受枝叶遮挡干扰外,还会受到光照、果实成熟程度等因素影响。大部分研究仅针对于其中某个或某两个因素开展,算法的环境适应性较低。鉴于此,本研究提出基于凸壳原理结合K-means颜色聚类分割算法的识别方法,该算法不仅可应用于枝叶遮挡的情况,还可对受到光照及着色不均等多重因素影响的果实进行识别与定位。

2  测试图像及算法运行环境说明

为测试算法有效性和环境适应性,采集了157幅图像作为测试样本。在自然条件下进行果实识别,影响因素主要为光照、颜色(成熟度)、背景和枝叶遮挡程度。测试图像涵盖这4种影响因素,具体分类如表1所示。光照因素按照果实表面有无高亮与阴影区域进行分类;颜色与成熟度相关,深红色和红色都属于着色良好,苹果表面含有青色或白色区域属于着色不完全;果实轮廓或果实表面被遮挡三分之一,属于严重遮挡;果实背景按照枝叶、天空、土壤归为三类。

本研究算法运行于Microsoft Windows 10操作系统,Matlab R2016a版本软件,内存12G,硬盘空间239G。

3  基于凸壳原理的目标识别算法

基于凸壳原理的目标识别算法包括苹果目标提取、卷包裹凸壳算法处理和圆拟合定位三部分。首先提取苹果目标,利用凸壳原理处理得到更接近真实果实面积的凸壳多边形,最后使用最小二乘法对其进行圆拟合,实现果实目标定位。

3.1  苹果目标提取方法研究

苹果目标提取是进行目标识别定位的前期准备。为了获取果实目标,对原图进行图像增强后,利用K-means聚类算法得到目标的大致位置,然后进行目标预处理操作达到去除冗杂干扰信息的目的。

3.1.1  图像增强

图像采集过程中会引入噪声点,导致部分传递信息损失,需要对其进行图像增强。高斯滤波可有效抑制图像噪声,因此本研究选择高斯滤波去除图像噪声,增强有用信息、抑制无关信息,达到图像增强的目的。图1(a)为原图,含有被枝叶遮挡的果实区域和因光照造成的光斑及阴影,图1(b)是经过高斯滤波去噪后的图像,图像变得较平滑。

3.1.2  基于K-means聚类分割算法的苹果目标分割

K-means聚类算法是一种无指导学习算法,通过迭代搜索将单一数据划分为指定的簇[17]。假设要将目标聚成k类,则K-means聚类算法步骤如下:

1)选取k类的初始聚类中心分别为:Z1(1),Z2(1),…,Zk(1);

2)在第n次迭代时,对样本集{Z}用如下方法分类:对i,j=1,2…k,i≠j,若||Z-Zj(n)||<||Z∈Zi(n)||,則Z∈Sj(n);

3)令由2)得到的新类中心为Zj(n+1),使得                                   达到最小;

4)对于所有的j=1,2,…,k,若Zj(n+1)=Zj(n)则迭代结束;否则,n=n+1,转到步骤2)继续执行。

在K-means聚类算法中,分类数k会对图像聚类效果产生影响。本研究中聚类数k设为3,将图像分为果实、枝叶和土壤/天空三类。图1(b)进行K-means颜色聚类处理的结果如图2所示,背景与果实目标已初步分割,提取出了未被枝叶遮挡的果实部分。

3.1.3   目标预处理

K-means聚类算法处理后得到的目标图像含有枝叶等冗杂信息可能导致后续处理步骤出错,需要转换为二值图像并做进一步处理,为后期分割果实目标做准备工作,这个过程称为目标预处理过程,具体步骤如图3所示。利用最大类间方差算法对图2中的果实与背景作进一步分割,分割后的结果见图3(a),目标图像中含有因光斑导致的孔洞、边缘毛刺和小面积未连通区域等。为避免后续步骤出错,需对图3(a)进行图像填充、图像开运算及去除未连通小区域等预处理,处理结果见图3(b),孔洞和非目标小区域被消除,图像边缘变平滑,确保了识别算法后期处理运行的准确高效。

3.2  卷包裹凸壳算法处理

凸壳是包含目标的最小凸集,其顶点必为边界点集中的点。平面点集的凸壳问题在图像处理领域应用极为广泛[18],本研究采用卷包裹凸壳算法[19]进行目标凸壳的提取,凸壳多边形围绕目标区域覆盖了部分因枝叶遮挡等因素未识别出的目标区域,与目标图像更为接近,便于得到更准确的定位结果。算法原理如下:

(1)对目标图像边缘进行标记,按照标记大小顺序逐一提取其凸壳;

(2)搜寻给定标记值的目标轮廓点集S中纵坐标最小的点p1,过点p1做水平直线 ,令p1为凸壳的初始顶点;

(3)绕p1点逆时针旋转直线L将首先触及到的S中的点p2作为凸壳的第二个顶点,线段p1p2则构成凸壳的第一条边;

(4)重复(3),直到使L绕顶点pn按逆时针旋转回到p1,则线段pnp1构成凸壳的第n条边;

(5)由封闭折线p1p2,p2p3,…,pn-1pn,pnp1构成的凸多边形就是点集S的凸壳。

图3(b)目标图像中含有因光照、枝叶遮挡和颜色特性导致未识别出的目标区域,和真实图像相差很多。为了更大程度还原果实目标区域,由卷包裹凸壳算法处理图3(b)目标图像得到凸壳多边形,如图4所示蓝色线段即为凸壳多边形。对比之下,凸壳多边形即图4凸壳处理结果目标面积与位置更接近原始图像图1(a)。

3.3  圆拟合定位

利用凸壳原理得到目标区域之后,进行圆拟合处理,实现苹果目标定位。曲线拟合采用最小二乘法,通过凸壳多边形各点到未知拟合圆边缘对应点的距离平方和的最小化,求出未知拟合圆半径圆心的最佳匹配值。对凸壳多边形进行曲线拟合处理,为方便观察凸壳多边形与圆曲线的拟合程度,将其在直角坐标系中显示如图5(a),横纵坐标表示该点的像素坐标,根据黑色凸壳多边形各点拟合得到蓝色拟合圆。将拟合圆在原图中显示,识别与定位效果如图5(b)所示,本算法处理目标图像最终得到蓝色拟合圆,这个圆与苹果真实轮廓基本重合,被枝叶遮挡的果实区域也被识别出来,算法受到各种因素影响较小,识别效果较好。

4  对比方法

为对比并验证本文算法的目标识别效果,提出两种对比方法,基于去伪轮廓的目标识别方法和全轮廓拟合目标识别方法。

4.1  基于去伪轮廓的目标识别算法

基于去伪轮廓的目标识别算法包括目标图像前期处理和去伪轮廓后果实目标的圆拟合两部分。目标前期处理得到果实目标的全轮廓后,去除伪轮廓并用最小二乘法进行圆拟合,实现果实目标定位。

(1)目标图像前期处理

目标图像前期处理旨在得到凸壳拟合圆的圆心与目标全轮廓,为后续去伪轮廓拟合做准备。经3.1节获取苹果目标图像之后,对目标图像分别进行2步处理:

a. 对目标图像进行凸壳多边形拟合得到圆心,具体处理方式前文已经详述,此处不再赘述。

b. 利用边界跟踪算子提取目标边界,此边界为目标全轮廓。

(2)去伪轮廓后果实目标的圆拟合

目标图像前期处理得到凸壳拟合圆的圆心与目标全轮廓后,需要去除伪轮廓并进行圆拟合定位。由图5(b)可以看出凸壳拟合圆的圆心基本在果实目标的中心位置,枝叶遮挡等因素造成的伪轮廓,一般为凹陷部分,与圆心距离较近。本算法中伪轮廓的判定准则为:目标轮廓点到圆心的距离小于各轮廓点到圆心距离均值的0.9倍,即为伪轮廓点。按照判定准则,图6(a)中蓝色轮廓为伪轮廓,目标全轮廓由蓝色伪轮廓和红色非伪轮廓组成,该算法去除了大量的伪轮廓,仅有一小部分未能识别去除。

去除所有伪轮廓点并拟合其余轮廓点,实现目标定位。为方便观察,将去伪轮廓拟合结果在坐标系中显示,如图6(b)所示,红色去伪轮廓段与黑色拟合圆曲线大部分重叠,拟合程度较好。

4.2  全轮廓拟合目标识别算法

获取果实目标后,提取其边界轮廓,将目标全轮廓进行圆拟合,对图6(a)的拟合结果如图7所示,蓝色目标全轮廓拟合得黑色圆,由于伪轮廓点影响,定位结果存在偏差,并不精确。

5  测试结果与分析

5.1  评价指标

为测试算法的有效性及适应性,对157幅苹果目标图像进行了测试。为了进一步验证本文算法的有效性,采用重叠率OI[20]、假阴性率FN[8]和假阳性率FP[15]三个指标评价。

重叠率OI是真实苹果面积(S)与拟合圆(S1)的重叠面积(S1∩S)占真实苹果面积的比例,体现真实苹果与拟合圆的重合程度,该值越高,拟合识别定位的准确度越高。重叠率OI[20]的计算公式如(1)所示。

(1)

假阴性率FN[8]是真实苹果目标的面积与重叠面积的差值(S-|S1∩S|)占真实苹果面积的比例,表示未被识别出的真实苹果区域的大小程度。该值越小,说明未被识别出的目标面积越小,拟合定位效果越好,计算公式如(2)所示。

(2)

假阳性率FP[15]是拟合圆面积与重叠面积的差值(S1-|S1∩S|)占真实苹果面积的比例,表示拟合圆所定位的区域中不是真实目标的程度,即误识程度。假阳性率FP值越小,则拟合圆中非真实果实的面积越小,误识程度越低,计算公式如(3)所示。

(3)

其中利用Photoshop软件处理获取真实苹果目标面积。拟合圆面积、重叠面积、假阴面积及假阳面积用MATLAB运行代码得到,面积的单位均为像素数。

5.2  试验结果

在前文所述的运行环境下,用本研究提出的算法和两种对比算法处理157幅测试图像,每幅图像的平均运行时间分别为12.2s、14.4s和12.0s,运行速率较慢,算法有待优化以提高运行效率。

所有测试结果如图8所示,图中横坐标是图像序号,纵坐标是测试指标数值,可直观地反映各个图像的指标值。经过计算,基于凸壳原理的目标识别算法、基于去伪轮廓的目标识别算法和全轮廓拟合目标识别算法的重叠率均值分别为83.7%、79.5%和70.3%,假阴性率均值分别为16.3%、20.5%和29.7%,假阳性率均值分别为2.9%、1.7%和1.2%。总体而言,与两种对比算法相比较,本研究提出的算法可有效实现自然场景下的果实识别,识别与定位结果更精确。

本研究按照影响因素将测试图像分为四大类,其中果实表面含高亮与阴影与无高亮阴影相比,三种算法的重叠率平均下降了6%;颜色为红色的苹果图像指标结果在三种着色分类情况中最好;未遮挡果实图像由本研究算法处理得到的重叠率均值为89.6%,遮擋程度为1/3的图像重叠率均值为85%,遮挡程度超过1/3的图像重叠率均值为78.5%;由于聚类数为3,当背景仅为枝叶时,三种算法识别定位效果与另两种背景相比稍差。三种算法针对不同分类图像测试得到的假阳性率均值大致相同,该值较为稳定。

本研究方法与两个对比方法的部分测试过程如图9所示,蓝色拟合圆、粉色拟合圆和绿色拟合圆分别由基于凸壳原理的目标识别算法、基于去伪轮廓的目标识别算法和全轮廓拟合目标识别算法处理得到,直角坐标系中黑色轮廓为伪轮廓。从图9中可以看出,结合K-means聚类算法与大津阈值法能较好的将果实从背景中分割出来,识别与分割的准确程度较高。与两种对比算法相比,基于凸壳原理的目标识别算法的拟合圆与苹果轮廓最贴合,该算法定位准确度最高。

5.3  结果分析与讨论

部分参考文献提出的方法识别率高达85%以上[6,9-12,16],但出错率较高且存在受制因素[7,10]。自然条件下进行果实识别,影响结果的主要因素有光照、颜色(成熟度)和枝叶遮挡,在果实与背景分割时可能导致部分果实目标区域未被识别。本算法中凸壳多边形会覆盖由此造成的果实目标缺失区域,更大程度的还原果实目标,减少自然因素影响,使环境适应性更高且无识别错误情况,对图像光照、颜色和枝叶遮挡程度等均能适应并良好识别。

(1)遮挡程度是影响本研究算法重叠率和假阴性率的重要因素。由试验结果可知,遮挡程度为1/3的图像重叠率均值较未遮挡情况下降了约6%,遮挡程度超过1/3的图像下降了11.1%。若枝叶遮挡程度较低,大部分真实轮廓被保留,获取的凸壳多边形能体现苹果部分轮廓特征,则

拟合效果较好。若遮挡面积过大,果实目标的

凸壳多边形与真实果实轮廓相差较大,拟合效果较差。

(2)本研究算法利用拟合圆定位,但苹果轮廓并非绝对圆形,拟合圆中会包括果柄果蒂等不规则部分,导致假阳性率升高。

(3)影响结果的另一因素是光照。在提取果实目标时,光照造成的果实阴影部分无法被识别出或者识别不全,分割得到的目标图像与原始图像相差较大导致后续拟合效果较差,定位准确性较低。

(4)自然场景下果实的精准定位是智能农业机械采摘的关键环节,本研究以自然场景下的苹果图像为测试对象,以K-means聚类分割算法为基础并融合凸壳原理,提出基于凸壳原理的目标识别算法,将果实定位问题转化为圆拟合问题。

(5)基于凸壳原理的目标识别算法重叠率为83.7%,分别高出两种对比算法结果的4.2%、13.4%;本研究算法和两种对比算法的假阳性率都较低,分别为2.9%、1.7%和1.2%;基于凸壳原理的目标识别算法的假阴性率最低,为16.3%;

(6)苹果遮挡程度与光照是影响识别效果的主要因素。如何减小遮挡与光照影响,使拟合圆更贴合果实真实轮廓尚需深入研究。

参考文献

[1]   Xu L, Lv J. Recognition method for apple fruit based on SUSAN and PCNN[J]. Multimedia Tools and Applications, 2018, 77(6): 7205-7219.

[2]   Rizon M, Yusri N A N, Kadir M F A, et al. Determination of mango fruit from binary image using randomized Hough transform[C]. Eighth International Conference on Machine Vision. International Society for Optics and Photonics, 2015, 9875(3): 1-5.

[3]   Preter De A, Anthonis J, Baerdemaeker De J. Development of a robot for harvesting strawberries[J]. IFAC-Papers On Line, 2018, 51(17): 14-19.

[4]   He Z, Xiong J, Lin R, et al. A method of green litchi recognition in natural environment based on improved LDA classifier[J]. Computers and Electronics in Agriculture, 2017, 140(8): 159-167

[5]   Pothen Z S, Nuske S. Texture-based fruit detection via images using the smooth patterns on the fruit[C]. IEEE International Conference on Robotics and Automation, 2016: 5171-5176.

[6]   黄小玉, 李光林, 马 驰, 等. 基于改进判别区域特征融合算法的近色背景绿色桃子识别[J]. 农业工程学报, 2018, 34(23): 142-148.

Huang X, Li G, Ma C, et al. Green peach recognition based on improved discriminative regional feature integration algorithm in similar background[J]. Transactions of the CSAE, 2018, 34(23): 142-148.

[7]   钱建平, 杨信廷, 吴晓明, 等. 自然场景下基于混合颜色空间的成熟期苹果识别方法[J]. 农业工程学报, 2012, 28(17): 137-142.

Qian J, Yang X, Wu X, et al. Mature apple recognition based on hybrid color space in natural scene[J]. Transactions of the CSAE, 2012, 28(17): 137-142.

[8]   Wang D, Song H, Tie Z, et al. Recognition and localization of occluded apples using K-means clustering algorithm and convex hull theory: a comparison[J]. Multimedia Tools and Applications, 2016, 75(6): 3177-3198.

[9]   司永胜, 刘刚, 高瑞, 等. 苹果采摘机器人果实识别与定位方法[J]. 农业机械学报, 2010, 41(9): 148-153.

Si Y, Liu G, Gao R, et al. Recognition and location of fruits for apple harvesting robot[J]. Transactions of the CSAM, 2010, 41(9): 148-153.

[10]  熊俊涛, 邹湘军, 王红军, 等. 基于Retinex 圖像增强的不同光照条件下的成熟荔枝识别[J]. 农业工程学报, 2013, 29(12): 170-178.

Xiong J, Zou X, Wang H, et al. Recognition of ripe litchi in different illumination conditions based on Retinex image enhancement[J]. Transactions of the CSAE, 2013, 29

(12): 170-178.

[11]  李寒, 張漫, 高宇, 等. 温室绿熟番茄机器视觉检测方法[J]. 农业工程学报, 2017, 33(增刊1): 328-334.

Li H, Zhang M, Gao Y et al. Green ripe tomato detection method based on machine vision in greenhouse[J]. Transactions of the CSAE, 2017, 33(Supp.1): 328-334.

[12]  Sun S, Wu Q, Jiao L, et al. Recognition of green apples based on fuzzy set theory and manifold ranking algorithm[J]. Optik, 2018, 165, 395-407.

[13]  Seng W C, Mirisaee S H. 2009 International Conference on Electrical Engineering and Informatics-A new method for fruits recognition system[J]. IEEE 2009 International Conference on Electrical Engineering and Informatics (ICEEI) - Bangi, Malaysia (2009.08.5-2009.08.7), 2009: 130-134.

[14]  Rakun J, Stajnko D, Zazula D. Detecting fruits in natural scenes by using spatial-frequency based texture analysis and multiview geometry[J]. Computers and Electronics in Agriculture, 2011, 76(1): 80-88.

[15]  宋怀波, 何东健, 潘景朋. 基于凸壳理论的遮挡苹果目标识别与定位方法[J]. 农业工程学报, 2012, 28(22): 174-180.

Song H, He D, Pan J. Recognition and localization methods of occluded apples based on convex hull theory[J]. Transactions of the CSAE, 2012, 28(22): 174-180.

[16]   杨庆华, 刘灿, 荀一, 等. 葡萄套袋机器人目标识别方法[J]. 农业机械学报, 2013, 44(8): 234-239.

Yang Q, Liu C, Xun Y, et al. Target recognition for grape bagging robot[J]. Transactions of the CSAM,

2013, 44(8): 234-239.

[17]  Zheng X, Lei Q, Yao R, et al. Image segmentation based on adaptive K-means algorithm[J]. EURASIP Journal on Image and Video Processing, 2018, 2018(1): 68.

[18]  赵军, 曲仕茹. 平面点集凸壳的快速算法[J]. 计算机工程与应用, 2009, 45(1): 56-58.

Zhao J, Qu S. Efficient convex hull algorithm for plane point set[J]. Computer Engineering and Applications, 2009, 45(1): 56-58.

[19]  周启海. 论二维点集或线段集凸壳生成算法改进与优化的同构化方向[J]. 计算机科学, 2007, 34(7): 216- 218, 247.

Zhou Q. On an isomorphic direction of improving and optimizing an algorithm for determining the convex hull of 2D point set or line segment set[J]. Computer Science, 2007, 34(7): 216-218, 247.

[20]  宋怀波, 张传栋, 潘景朋, 等. 基于凸壳的重叠苹果目标分割与重建算法[J]. 农业工程学报, 2013, 29(3): 163-168.

Song H, Zhang C, Pan J, et al. Segmentation and reconstruction of overlapped apple images based on convex hull[J]. Transactions of the CSAE, 2013, 29(3):163-168.

Recognition and localization method of occluded apples based on K-means clustering segmentation algorithm

and convex hull theory

Mei Jiang1,2,3, Sashuang Sun1,2,3, Dongjian He1,2,3, Huaibo Song1,2,3*

(1. College of Mechanical and Electronic Engineering, Northwest A&F University, Yangling, 712100, China;

2. Ministry of Agriculture Key Laboratory for Agricultural Internet of Things, Yangling, 712100, China;

3. Key Laboratory of Agricultural Information Perception and Intelligent Services, Yangling 712100, China)

Abstract: Accurate segmentation and localization of apple objects in natural scenes is an important part of wisdom agriculture research for information perception and acquisition. In order to solve the problem that apples recognition and positioning are susceptible to occlusion of leaves in natural scenes, based on the K-means clustering segmentation algorithm, the object recognition algorithm based on convex hull theory was proposed. And the algorithm was compared with the object recognition algorithm based on removing false contours and the full-contour points fitting object recognition algorithm. The object recognition algorithm based on convex hull theory utilized that apples were like circle, combining K-means algorithm with Otsu algorithm to separate fruit from background. The convex polygon was obtained by convex hull theory and fit it circle to determine the position of the fruit. To verify the effectiveness of the algorithm, 157 apple images in natural scenes were tested. The average overlap rates of the object recognition algorithm based on convex hull theory, the object recognition algorithm based on removing false contour points and the full-contour points fitting object recognition algorithm were 83.7%, 79.5% and 70.3% respectively, the average false positive rates were 2.9%, 1.7% and 1.2% respectively, and the average false negative rates were 16.3%, 20.5% and 29.7% respectively. The experimental results showed that the object recognition algorithm based on convex hull theory had better localization performance and environmental adaptability compared to the other two algorithms and had no recognition error, which can provide reference for occluded fruits segmentation and localization in the natural scenes.

Key words: apple recognition; occluded object; convex hull theory; false contour points; K-means clustering algorithm