基于两级分割与区域标记梯度Hough圆变换的苹果识别

张彦斐，刘茗洋，宫金良，兰玉彬

·农业信息与电气技术·

基于两级分割与区域标记梯度Hough圆变换的苹果识别

张彦斐1，刘茗洋1，宫金良2※，兰玉彬1

（1. 山东理工大学农业工程与食品科学学院，淄博 255049；2. 山东理工大学机械工程学院，淄博 255049）

自然环境下果实的准确分割与快速识别是采摘机器人作业面临的难题之一。针对自然环境中的成熟苹果，该研究提出一种基于Otsu与分水岭相结合的两级分割算法与区域标记梯度Hough圆变换的苹果识别方法。首先，使用亮度自适应校正算法对表面亮度分布不均的苹果图像进行校正，增强图像的细节信息。结合果实颜色特征，提取YCbCr颜色空间的Cr分量图像作为预处理样本。然后，采用改进后的Otsu算法进行初次分割，得到苹果目标的二值图像，该算法通过引入形态学开-闭重建滤波去除大量背景噪声，通过缩减灰度级遍历范围提高分割速率。采用基于距离变换的分水岭算法进行二次分割，分离粘连果实区域，提取目标苹果的外部轮廓。最后，在轮廓外设置最小外接矩形标记有效区域，在标记区域内进行梯度Hough圆变换实现苹果目标的自动识别。对自然环境中采集的200幅苹果图像进行测试，并与传统梯度Hough圆变换方法进行对比，该文方法在顺、逆光下的识别准确率为90.75%和89.79%，比传统方法提高了15.03和16.41个百分点，平均识别时间为0.665和0.693 s，比传统方法缩短了0.664和0.643 s。所提的两级分割算法不仅可以从复杂环境中准确分割果实目标区域，而且可以从粘连果实区域中提取单个果实边界。利用区域标记的梯度Hough圆变换方法能够快速准确地对果实进行识别。研究结果能满足苹果采摘机器人对不同光照下目标识别速度和精度的要求，可为苹果等类球形果实的快速识别提供参考。

图像处理；分水岭；苹果识别；YCbCr；Otsu；梯度Hough圆变换

0 引 言

果实采摘机器人的发展日臻完善[1-2]，视觉识别系统作为采摘机器人的一部分，其目标检测的速度、准确率以及对周边环境的适应能力对机器人的工作效率和工作时长有较大影响[3-4]。近年来，基于深度学习的卷积神经网络（Convolutional Neural Networks, CNN）在目标检测方面性能卓越[5]，已经被广泛应用于复杂自然环境下水果检测[6-8]。卷积神经网络可以通过对各种特征信息进行学习，增强特征的泛化能力，但该方法需要足够大的训练集进行模型训练，耗时长[9]。从目标检测流程来看，基于深度学习的卷积神经网络模型可以分为两大类：一类是以YOLO网络[10-12]为代表的单阶段检测算法，另一类是以Faster R-CNN[13-14]、FCN[15]和Mask R-CNN[16-17]为代表的两阶段检测算法。两类模型均具有检测速度快、识别精度更高等特点，检测时长在几十到几百毫秒之间，识别准确率可达95%以上。卷积神经网络由传统的图像处理技术作为支撑，传统图像处理根据果实颜色特征与形状特征进行识别，也是农业采摘机器人视觉系统常用的技术方法[18-21]。其中，利用Otsu动态阈值分割算法与Hough变换形状检测算法相结合的方法在果实识别领域受到了国内外众多学者的重视。周文静等[22]选择归一化的红绿色差作为分割特征，分别采用KNN（K-Nearest Neighbor）和Otsu两种方法对红提葡萄果穗图像进行背景分割，通过圆形Hough变换准确识别果穗图像中的葡萄果粒。Lv等[23]对苹果颜色特征进行Otsu分割，采用边缘检测和改进的随机Hough变换对苹果进行识别。对于未遮挡状态下的苹果果实识别率为100%，枝叶遮挡状态下的苹果果实识别率为86%。Gongal等[24]提出一种基于Otsu阈值分割与圆形Hough变换相结合的苹果目标识别方法，识别准确率达79.8%。苗中华等[25]利用RGB空间的颜色作为目标识别的主要特征，提出一种改进算子的Otsu算法结合-means标记作用区域的方法，并通过边缘检测、分水岭算法，准确提取了番茄目标的边界。蔡健荣等[26]利用Ostu自适应阈值算法对2R-G-B色差分量图像分割后，提出一种基于自动设置成熟柑橘半径搜索范围的圆形Hough变换果实识别方法，对于完全裸露的果实，识别准确率可达95%。崔永杰等[27]利用Otsu法对猕猴桃果实的红绿色差分量进行分割，通过Canny算子提取边界，对边界图像进行椭圆形Hough变换，逐个识别出目标果实。

综上，在合适的颜色空间下先利用Otsu算法先进行分割再利用Hough变换进行目标识别的方法实用性强、应用范围广，可作为本研究的重要依据。但是自然环境中的光照变化和目标粘连等对图像质量及图像处理带来了诸多不利，直接利用Otsu分割得到的图像普遍质量不高，直接使用Hough变换识别目标，运算量大、耗时长，不利于机器人实时采摘。为此，本研究首先对采集到的光照不均匀图像进行校正，恢复图像的细节信息，然后提取YCbCr颜色空间中的Cr分量并运用改进的Otsu算法对苹果目标进行初步分割，得到目标果实区域，在此基础上，通过距离变换的分水岭算法进行二次分割，得到粘连果实及单个果实的边缘轮廓，最后在轮廓外设置最小外接矩形作为有效区域进行梯度Hough圆变换识别苹果目标，以实现复杂环境下苹果目标准确有效识别，保证算法的简单高效。

1 图像采集与预处理

1.1 图像采集

图像采集地点位于山东省淄博市沂源县山东理工大学与山东中以现代智慧农业有限公司联合创建的生态无人农场智慧果园，果树为标准化种植，果树品种为红富士。在苹果成熟期（9月中旬，此时果实已着色良好，与其他生长植被及树叶、树干等存在明显差异）使用信息采集机器人前置摄像机（NikonD90）分别在顺光和逆光条件下距果树600～800 mm进行多角度拍摄，图像采集卡（AC-VS009）将采集到的图像实时传递到计算机（Dell 笔记本）内存，图像格式为JPG，分辨率为1 000×666（像素），笔记本操作系统为Microsoft Windows10，在python3.8.8开发环境下，使用Visual Studio Code1.52.1软件进行编译分析。试验共采集200幅苹果图像，包括顺光、逆光、重叠、粘连、遮挡等多种情况。图像采集系统如图1所示。

图1 图像采集系统组成

1.2 图像预处理

1.2.1 光照不均匀图像自适应校正

由于受到果实、枝叶之间相互遮挡以及光照变化，导致苹果部分信息缺失（图2a、2b），对于果实目标的提取造成一定难度，因此对光照不均匀的图像进行校正，以改善图像局部亮度。首先，将输入的图像从RGB颜色空间转换到HSV颜色空间，保持图像的色调（H）和饱和度（S）不变，然后使用多尺度高斯函数对亮度（V）进行卷积得到光照分量，采用二维伽马函数作为校正函数，根据光照分量分布特性自适应调整二维伽马函数的参数，最后从HSV颜色空间转回至RGB空间[28]。校正后的图像如图2c、2d所示，该方法可有效改善图像光照不均的问题，提高图像质量，调整图像的色彩平衡，更好地突出图像的细节信息，为后续苹果目标的提取、分割、拟合奠定良好基础。

a.顺光a. Nature lightb. 逆光b. Backlight c. 顺光校正c. Nature light correctiond. 逆光校正d. Backlight correction

1.2.2 基于YCbCr空间Cr分量差异性的目标提取

合适的颜色空间是实现目标分割的基础。RGB颜色空间中3个分量相关性较高，不利于苹果目标的提取，而YCbCr颜色空间中的3个分量（亮度分量Y、蓝色色度分量Cb和红色色度分量Cr）彼此独立，且与RGB颜色空间存在较为简单的线性变换关系，故选择YCbCr颜色空间进行目标提取。

图3 YCbCr颜色空间各分量图

选择一张苹果与背景区别明显的图像，如图3a所示，将其转换至YCbCr颜色空间并提取各分量图，如图3b～图3c所示，由于成熟的苹果颜色主要以红色为主，所以Cr分量图中果实与背景之间有较为明显的灰度差异。在图3a中标记一条白色水平线贯穿苹果，作基于该线段水平方向上3个颜色分量灰度值剖面线图，如图4所示，Cr分量的灰度值剖面线中，苹果所在区域（500～680像素之间）的灰度值范围在150～200，而背景所在区域的灰度值范围在130～150，苹果区域的灰度值远高于背景区域的灰度值，说明Cr分量的苹果与背景之间的灰度差值可以作为后续苹果目标分割处理的重要依据。

图4 YCbCr颜色空间各分量灰度值剖面线图

2 苹果目标分割

为获取苹果目标区域，本研究采用改进Otsu分割算法对苹果目标进行初步分割，并结合基于距离变换的分水岭算法对存在粘连的苹果区域进行二次分割，得到苹果目标轮廓。

2.1 基于改进Otsu算法分割苹果目标

Otsu算法利用图像的灰度直方图，以目标和背景的方差最大来动态确定图像的分割阈值[29]，但Otsu算法在图像分割中仍存在一些缺点，比如：1）抗噪性低，导致分割后图像中夹杂噪声；2）在最佳阈值选取时，算法遍历灰度范围广，计算量大，分割时间长。本研究针对以上缺点进行改进，通过引入形态学开-闭重建滤波器压制背景噪声，通过缩减阈值选取区间加快分割速率。

2.1.1 形态学开-闭重建滤波去噪

形态学开-闭重建滤波器是一种基于数学形态学的非线性滤波，能够有效消除局部噪声，同时很好地保护目标的边缘轮廓。首先用腐蚀及开重建对Cr分量灰度图像进行处理，根据苹果形状特征，选用圆形结构对灰度图像做腐蚀运算，将得到的腐蚀图像作为标记图像，原灰度图像作为掩模图像，做形态学开重建运算，得到开重建运算后的图像I。开重建运算后的图像中还存在一些非规则区域的干扰，因此，接着采用膨胀及闭重建对其进行处理，先对开重建后的图像I采用圆形结构做膨胀运算得到图像I，再对I求补后作为标记图像，开重建运算后的图像I求补后作为掩模图像，作形态学闭重建运算，得到闭重建运算后的图像I。将I求补后得到形态学重建滤波后的图像。

图5为形态学开-闭重建滤波去噪前后的图像对比，由图5可知，该滤波器有效消除了图像背景中灰度变化较大的枝干区域，使背景区域的灰度更加均匀。

图5 图像形态学开-闭重建滤波去噪前后对比

2.1.2 缩小阈值选取范围

Otsu法基本思想如下：记原始图像的灰度级为，灰度级取值范围为[01]，图像中所有像素点的个数为，n为灰度值为的像素点数目，灰度值为的像素点出现的概率()=n/，假设存在阈值将图像所有像素分为：背景区域0（0≤≤）和目标区域1（<≤−1），则：

背景区域像素点占整图比例0()为

目标区域像素点占整图比例1()为

背景区域灰度均值0(t)为

目标区域灰度均值1()为

图像全局灰度均值为

Otsu法最大类间判断准则下的最佳阈值为：

此种计算方式遍历范围广，带来了一定冗余计算，为降低运算量，减少算法执行时间。本文提出：当苹果目标占图像像素点比例≥1/2时，其分割阈值位于[,]之间，当苹果占图像像素点比例＜1/2时，其分割阈值位于[,]之间，其中为图像全局灰度均值，为最小灰度值，为最大灰度值。证明如下：

定义全局灰度均值到背景灰度均值0和目标灰度均值1的距离分别为0和1，则

对图像的灰度级分布进行统计，得到灰度直方图，如图6所示。

由图4中Cr分量的灰度值剖面线图可知：苹果的灰度值较高，背景的灰度值较低，从而可以确定图6a和6b中的左侧灰度值较低、面积较大的峰为背景，右侧灰度值较高、面积较小的零散峰为苹果，由此判断苹果目标占图像像素点比例1()<1/2，背景部分占图像像素点比例0()＞1/2，即20()−1>0，又因背景灰度值较低，所以背景灰度均值小于全局灰度均值，即0()<，将式（3）、（4）、（5）代入，整理可得0()(+)−>0。综上所述，1−0>0，即1>0。故图像全局灰度均值到目标类灰度均值的距离大于到背景类灰度均值的距离，进而可知均值更靠近背景峰，由于直方图大致呈双峰，最佳阈值位于谷底附近，则最佳阈值范围在均值与最大值之间，即[,]之间。同理，若目标占整幅图的比例≥1/2，则最佳阈值位于[,]之间。

2.1.3 改进Otsu法的实现

根据上述分析，改进Otsu分割算法流程如图7所示，基本步骤如下：

1）引入形态学开-闭重建滤波去除图像中的噪声。

2）统计图像的灰度直方图，得到最小灰度值、最大灰度值和全局灰度均值。

3）设定灰度阈值为135（135为试验测试所得），将大于该值的灰度值像素点初步判断苹果，统计苹果像素点占整幅图像的比例。

4）若苹果目标像素点占整图比例≥1/2，则令的初始值为，根据最佳阈值选取公式（6），遍历灰度级，遍历范围为[，]，得到关于的函数；若<1/2，令的初始值为，根据公式（6），遍历灰度级，遍历范围为[，]，得到关于的函数。

5）使函数取得最大值时的值即为最佳阈值，根据最佳阈值进行苹果目标分割。

图7 改进Otsu算法流程图

图8为改进前后Otsu算法的分割效果对比，对比可知，改进后的Otsu算法能够填充苹果内部产生的细小孔洞，抑制背景枝叶中的噪声。

图8 改进前后Otsu分割效果对比

2.2 基于距离变换的分水岭算法提取粘连苹果轮廓

分割出的二值图中苹果外部轮廓会有一些毛刺凸起，受枝条遮挡严重的苹果内部会产生明显的裂痕。采用腐蚀与膨胀算法对图像进行形态学处理，平滑目标轮廓，填补苹果内部的缺口。结果如图9a和9b所示。

对于相互粘连的苹果，其内部轮廓仍无法获取。本文采用基于距离变换的分水岭算法[30]对粘连苹果进行分离。距离变换计算过程如下：

图9 形态学处理结果

根据距离变换公式得到距离图，图中每个非零点距离该点最近的零点的距离越远，则在图中显示越亮，将这些高亮的点或点集作为苹果的内部标记。通过膨胀二值图将苹果边界增加到背景，确保背景中的任何区域都是背景。从背景区域中减去内部标记区域获得未知区域，即为苹果的边界存在的区域，采用分水岭算法对其分割，完成粘连苹果目标的分离。分水岭算法分割过程及效果如图10所示。

3 基于区域标记梯度Hough圆变换识别苹果

利用梯度Hough圆变换可以准确识别出图中的苹果数目，但是该算法在整幅图像上进行遍历，运算量大，耗时长，且易产生误识别，为此本文对算法进行优化，通过在轮廓外设置最小外接矩形作为有效区域，并在有效区域内进行梯度Hough圆变换，以提高识别速率与准确率，优化后算法的实现步骤如下：

1）使用Sobel算子计算轮廓的梯度方向，沿着指向圆心的梯度方向画线段。

3）计算所有轮廓上的点到圆心的距离，即为可能的半径值。

6）对于符合条件的圆心与半径用加权平均法进行合并，得到唯一确定的苹果圆形。

图11为优化前后梯度Hough圆变换的识别结果，对比可知，优化前易识别出错误的圆，优化后能够减少误识别。在顺光和逆光图像中分别识别出20个苹果，其形心及半径信息见表1。

图11 优化前后梯度Hough圆变换识别结果

表1 苹果识别结果

4 试验结果与分析

4.1 不同分割方法的对比

为验证本文改进后Otsu算法的分割性能，利用改进前Otsu算法与-means算法作对比试验，选择4幅具有代表性的苹果图像（包括顺光、逆光、果实重叠、遮挡等情况）进行目标分割，结果如图12所示，分割时间见表2。

由图12和表2可以看出：在分割效果上，改进前Otsu算法与-means算法分割出的图像中夹杂较多的背景噪声，对苹果目标的提取造成一定干扰，而本文改进后的Otsu算法有效剔除了大量背景噪声，并对苹果目标原有的形状进行了保护。在分割时间上，3种方法的平均分割时间分别为2.101、2.518和1.458 s，相比于改进前Otsu算法和means算法，本文算法分别缩短了0.643和1.060 s。

图12 三种分割方法效果对比

表2 三种分割方法的耗时对比

4.2 分水岭算法的二次分割效果

为分离苹果目标相互粘连的区域，采用基于距离变换的分水岭算法进行二次分割，得到单个苹果目标的完整轮廓边界。结果如图13所示。图中部分粘连的苹果之间已经建立起精确连续的分割线，形成独立的闭合区域。

图13 分水岭算法提取苹果目标轮廓

4.3 不同识别方法的对比

为验证本文识别方法的有效性，利用传统的梯度Hough圆变换、文献[21]Hough圆变换作对比试验，识别效果如图14所示，识别准确率与识别时间结果见表3、表4。

由图14可知：传统梯度Hough圆变换方法由于在整幅图上进行遍历，存在一个苹果果实被识别为多个圆形的误识别现象。文献[21]中的Hough圆变换方法对于重叠及枝叶遮挡较少的果实可以准确识别，但是多果重叠、果实被枝叶遮挡较严重时会出现漏识别或定位不准的现象。本文方法在苹果区域外预先设置了最小外接矩形，约束其识别范围，故能够准确检测出图像中苹果目标所在的位置，避免了误识别、漏识别现象。

由表3和表4可知：传统梯度Hough圆变换的平均识别准确率为69.27%、平均识别时间为1.211 s，文献[21]的平均识别准确率为72.17%、平均识别时间为0.850 s，本文方法的平均识别准确率为90.22%、平均识别时间为0.643 s，较前两种方法，本文方法的平均识别准确率分别提高了20.95和18.05%，平均识别时间分别缩短了0.568和0.207 s。整体来说，本文方法在识别准确率与识别时间上均有一定优势。

图14 不同识别方法效果对比

表3 不同识别方法的识别准确率对比

表4 不同识别方法的识别时间对比

本文方法未准确识别的原因主要有：1）2个苹果重叠过于严重，识别为1个苹果。2）果实生长畸形，或者受光照影响而使果实边缘出现严重凹陷，导致无法准确识别。

为进一步验证3种方法在不同光照下的识别结果，对采集的200幅苹果图像进行测试（前100幅为顺光拍摄，后100幅逆光拍摄），方法1为传统梯度Hough圆变换，方法2为文献[21]Hough圆变换，方法3为本文梯度Hough圆变换。顺、逆光下3种方法的对比结果如图15所示，苹果识别准确率与识别时间见表5与表6。

由测试结果可知，相比于传统梯度Hough圆变换法与文献[21]Hough圆变换法，本文梯度Hough圆变换法针对不同光照下的苹果识别准确率较高、识别时间较短。由表5和表6可知，本文方法在顺光与逆光下的平均识别准确率为90.75%、89.79%，较前2种方法分别提高15.03、10.50个百分点和16.41、9.60个百分点。本文方法在顺光与逆光下的平均识别时间为0.665、0.693 s，较前2种方法分别缩短0.664、0.267和0.643、0.262 s。

本文方法在顺光下的识别准确率略优于逆光，原因在于光照校正算法作用于苹果图像上仅可以改善低照度图像亮度问题，但是不能完全消除弱光带来的影响，光照问题仍会对果实的分割与识别定位效果造成影响。综合来看，本文方法较其他方法识别准确率较高，时间较短，能够满足不同光照下机器采摘对苹果目标准确识别与快速处理的需求。

图15 顺、逆光下三种方法识别准确率与识别时间对比

表5 三种方法识别结果对比

表6 三种方法平均识别时间对比

5 结 论

1）为了实现复杂环境中苹果目标的快速准确识别，本研究以不同光照下随机生长的苹果目标为测试对象，对采集到图像进行光照自适应校正，改善光照条件不佳引起的图像质量问题，结合苹果颜色特征，选取Cr分量下的苹果图像进行改进后的Otsu算法分割，初步得到苹果目标，该分割方法有效抑制了背景区域中噪声，提升了分割速率。再通过分水岭算法建立粘连苹果内部的分割线，提取出单个苹果目标的外部轮廓，最后在轮廓外设置最小外接矩形标记苹果区域，在标记区域内进行梯度Hough圆变换，准确识别苹果目标。

2）所提的改进后的Otsu算法能够准确快速地分割出苹果目标区域，平均分割时间为1.458 s，较改进前Otsu算法和-means算法分别缩短了0.643和1.060 s。针对区域中苹果粘连的问题，再结合基于距离变换的分水岭分割算法进行二次分割，可实现粘连苹果的有效分离。

3）在不同光照条件下，采用最小外接矩形作为有效区域进行梯度Hough圆变换识别苹果均达到了较高的识别率，在顺光下的识别准确率为90.75%，平均识别时间为0.665 s，在逆光识别下的准确率为89.79%，平均识别时间为0.693 s。

本研究提出的苹果分割与识别方法，对于在不同光照下、枝叶遮挡及果实重叠的苹果目标识别具有较强的实用性，能满足采摘机器人对苹果识别和响应时间的要求。由于果园苹果姿态万千，对于遮挡严重的苹果目标采用基于距离变换的分水岭分割还有一定的局限性，如何有效地分离出遮挡的苹果，后期需要更深入的研究分析。此外，光照过强或过弱会对识别准确率造成轻微影响，完全克服光照的影响本文还尚未解决，后期也需要进行深度研究。

[1] 司永胜，乔军，刘刚，等. 苹果采摘机器人果实识别与定位方法[J]. 农业机械学报，2010，41(9)：148-153.

Si Yongsheng, Qiao Jun, Liu Gang, et al. Recognition and location of fruits for apple harvesting robot[J], Transactions of the Chinese Society for Agricultural Machinery, 2010, 41(9): 148-153. (in Chinese with English abstract)

[2] 王丹丹，宋怀波，何东健. 苹果采摘机器人视觉系统研究进展[J]. 农业工程学报，2017，33(10)：59-69.

Wang Dandan, Song Huaibo, He Dongjian. Research advance on vision system of apple picking robot[J]. Transactions of the Chinese Society of Agricultural Engineering (Transactions of the CSAE), 2017, 33(10): 59-69. (in Chinese with English abstract)

[3] Wei X Q, Jia K, Lan J H, et al. Automatic method of fruit object extraction under complex agricultural background for vision system of fruit picking robot[J]. Optik, 2014, 125(19): 5684-5689.

[4] 麦春艳，郑立华，肖昌一，等. 自然光照条件下苹果识别方法对比研究[J]. 中国农业大学学报，2016，21(11)：43-50.

Mai Chunyan, Zheng Lihua, Xiao Changyi, et al. Comparison of apple recognition methods under natural light[J]. Journal of China Agricultural University, 2016, 21(11): 43-50. (in Chinese with English abstract)

[5] Kamilaris A, Prenafeta-Boldu F X. Deep learning in agriculture: A survey[J]. Computers and Electronics in Agriculture, 2018, 147: 70-90.

[6] Ji J T, Zhu X, Ma H, et al. Apple fruit recognition based on a deep learning algorithm using an improved lightweight network[J]. Applied Engineering in Agriculture, 2021, 37(1): 123-134.

[7] Kang H W, Chen C. Fast implementation of real-time fruit detection in apple orchards using deep learning - ScienceDirect[J]. Computers and Electronics in Agriculture, 2020, 168: 105108

[8] Fu L H, Duan J L, Zou X J, et al. Fast and accurate detection of banana fruits in complex background orchards[J]. IEEE Access, 2020, 8: 196835-196846.

[9] 郑太雄，江明哲，冯明驰. 基于视觉的采摘机器人目标识别与定位方法研究综述[J]. 仪器仪表学报，2021，42(9)：28-51.

Zheng Taixiong, Jiang Mingzhe, Feng Mingchi. Vision based target recognition and location for picking robot: A review[J]. Chinese Journal of Scientific Instrument, 2021, 42(9): 28-51. (in Chinese with English abstract)

[10] 赵德安，吴任迪，刘晓洋，等. 基于YOLO深度卷积神经网络的复杂背景下机器人采摘苹果定位[J]. 农业工程学报，2019，35(3)：164-173.

Zhao De’an, Wu Rendi, Liu Xiaoyang, et al. Apple positioning based on YOLO deep convolutional neural network for picking robot in complex background[J]. Transactions of the Chinese Society of Agricultural Engineering (Transactions of the CSAE), 2019, 35(3): 164-173. (in Chinese with English abstract)

[11] 刘芳，刘玉坤，林森，等. 基于改进型YOLO的复杂环境下番茄果实快速识别方法[J]. 农业机械学报，2020，51(6)：229-237.

Liu Fang, Liu Yukun, Lin Sen, et al. Fast recognition method for tomatoes under complex environments based on improved YOLO[J]. Transactions of the Chinese Society for Agricultural Machinery, 2020, 51(6): 229-237. (in Chinese with English abstract)

[12] 赵辉，乔艳军，王红君，等. 基于改进YOLOv3的果园复杂环境下苹果果实识别[J]. 农业工程学报，2021，37(16)：127-135.

Zhao Hui, Qiao Yanjun, Wang Hongjun, et al. Recognition of apple fruit in complex orchard environment based on improved YOLOv3[J]. Transactions of the Chinese Society of Agricultural Engineering (Transactions of the CSAE), 2021, 37(16): 127-135. (in Chinese with English abstract)

[13] Fu L S, Feng Y L, Majeed Y, et al. Kiwifruit detection in field images using faster R-CNN with ZFNet[J]. IFAC-Papers OnLine, 2018, 51(17): 45-50.

[14] 熊俊涛，刘振，汤林越，等. 自然环境下绿色柑橘视觉检测技术研究[J]. 农业机械学报，2018，49(4)：45-52.

Xiong Juntao, Lui Zhen, Tang Linyue, et al. Visual detection technology of green citrus under natural environment[J]. Transactions of the Chinese Society for Agricultural Machinery, 2018, 49(4): 45-52. (in Chinese with English abstract)

[15] 王丹丹，何东健. 基于R-FCN深度卷积神经网络的机器人疏果前苹果目标的识别[J]. 农业工程学报，2019，35(3)：156-163.

Wang Dandan, He Dongjian. Recognition of apple targets before fruits thinning by robot based on R-FCN deep convolution neural network[J]. Transactions of the Chinese Society of Agricultural Engineering (Transactions of the CSAE), 2019, 35(3): 156-163. (in Chinese with English abstract)

[16] Yu Y, Zhang K L, Yang L, et al. Fruit detection for strawberry harvesting robot in non-structural environment based on Mask-RCNN[J]. Computers and Electronics in Agriculture, 2019, 163: 104846.

[17] Yang C H, Xiong L Y, Wang Z, et al. Integrated detection of citrus fruits and branches using a convolutional neural network[J]. Computers and Electronics in Agriculture, 2020, 174: 105469.

[18] 麦春艳，郑立华，孙红，等. 基于RGB-D相机的果树三维重构与果实识别定位[J]. 农业机械学报，2015，46(S1)：35-40.

Mai Chunyan, Zheng Lihua, Sun Hong, et al. Research on 3D reconstruction of fruit tree and fruit recognition and location method based on RGB-D camera[J]. Transactions of the Chinese Society for Agricultural Machinery, 2015, 46(S1): 35-40. (in Chinese with English abstract)

[19] 钱建平，杨信廷，吴晓明，等. 自然场景下基于混合颜色空间的成熟期苹果识别方法[J]. 农业工程学报，2012，28(17)：137-142.

Qian Jianping, Yang Xinting, Wu Xiaoming, et al. Mature apple recognition based on hybrid color space in natural scene[J]. Transactions of the Chinese Society of Agricultural Engineering (Transactions of the CSAE), 2012, 28(17): 137-142. (in Chinese with English abstract)

[20] 谢忠红，姬长英，郭小清，等. 基于改进Hough变换的类圆果实目标检测[J]. 农业工程学报，2010，26(7)：157-162.

Xie Zhonghong, Ji Changying, Guo Xiaoqing, et al. An object detection method for quasi-circular fruits based on improved Hough transform[J]. Transactions of the Chinese Society of Agricultural Engineering (Transactions of the CSAE), 2010, 26(7): 157-162. (in Chinese with English abstract)

[21] 冯俊惠，李志伟，戎有丽，等.基于改进Hough圆变换算法的成熟番茄果实识别[J]. 中国农机化学报，2021，42(4)：190-196.

Feng Junhui, Li Zhiwei, Rong Youli, et al. Identification of mature tomatos based on an algorithm of modified circular Hough transform[J]. Journal of Chinese Agricultural Mechanization, 2021, 42(4): 190-196. (in Chinese with English abstract)

[22] 周文静，查志华，吴杰. 改进圆形Hough变换的田间红提葡萄果穗成熟度判别[J]. 农业工程学报，2020，36(9)：205-213.

Zhou Wenjing, Zha Zhihua, Wu Jie. Maturity discrimination of “Red Globe” grape cluster in grapery by improved circle Hough transform[J]. Transactions of the Chinese Society of Agricultural Engineering (Transactions of the CSAE), 2020, 36(9): 205-213. (in Chinese with English abstract)

[23] Lv J D, Zhao D A Z, Ji W, et al. Recognition of apple fruit in natural environment[J]. Optik, 2016, 127(3): 1354-1362.

[24] Gongal A, Silwal A, Amatya S, et al. Apple crop-load estimation with over-the-row machine vision system[J]. Computers & Electronics in Agriculture, 2015, 120: 26-35.

[25] 苗中华，沈一筹，王小华，等. 自然环境下重叠果实图像识别算法与试验[J]. 农业机械学报，2016，47(6)：21-26.

Miao Zhonghua, Shen Yichou, Wang Xiaohua, et al. Recognition of mature oranges in natural scene based on machine vision[J]. Transactions of the Chinese Society for Agricultural Machinery, 2016, 47(6): 21-26. (in Chinese with English abstract)

[26] 蔡健荣，周小军，李玉良，等. 基于机器视觉自然场景下成熟柑橘识别[J]. 农业工程学报，2008，24(1)：175-178.

Cai Jianrong, Zhou Xiaojun, Li Yuliang, et al. Recognition of ripe citrus in natural scene based on machine vision[J]. Transactions of the Chinese Society of Agricultural Engineering (Transactions of the CSAE), 2008, 24(1): 175-178. (in Chinese with English abstract)

[27] 崔永杰，苏帅，王霞霞，等. 基于机器视觉的自然环境中猕猴桃识别与特征提取[J]. 农业机械学报，2013，44(5)：247-252.

Cui Yongjie, Su Shuai, Wang Xiaxia, et al. Recognition and feature extraction of kiwifruit in natural environment based on machine vision[J]. Transactions of the Chinese Society for Agricultural Machinery, 2013, 44(5): 247-252. (in Chinese with English abstract)

[28] 刘志成，王殿伟，刘颖，等. 基于二维伽马函数的光照不均匀图像自适应校正算法[J]. 北京理工大学学报，2016，36(2)：191-196，214.

Liu Zhicheng, Wang Dianwei, Liu Ying, et al. Adaptive adjustment algorithm for non-uniform illumination image based on 2D gamma function[J]. Transactions of Beijing Institute of Technology, 2016, 36(2): 191-196, 214. (in Chinese with English abstract)

[29] 孙俊，宋佳，武小红，等. 基于改进Otsu算法的生菜叶片图像分割方法[J]. 江苏大学学报（自然科学版），2018，39(2)：179-184.

Sun Jun, Song Jia, Wu Xiaohong, et al. Image segmentation method of lettuce leaf based on improved Otsu algorithm[J]. Journal of Jiangsu University(Natural Science Edition), 2018, 39(2): 179-184. (in Chinese with English abstract)

[30] 张文飞，韩建海，郭冰菁，等. 改进的分水岭算法在粘连图像分割中的应用[J]. 计算机应用与软件，2021，38(6)：243-248.

Zhang Wenfei, Han Jianhai, Guo Bingjing, et al. Application of improved watershed algorithm in adhesion image segmentation[J]. Computer Applications and Software, 2021, 38(6): 243-248. (in Chinese with English abstract)

Apple recognition based on two-level segmentation and region-marked gradient Hough circle transform

Zhang Yanfei1, Liu Mingyang1, Gong Jinliang2※, Lan Yubin1

(1,,255049,;2.,,255049,)

Apples are produced in the large quantities each year, particularly for as the largest economic fruit in China. It is highly required for the rapid picking within the harvesting period. Therefore, the automatic apple picking is essential to the apple harvesting in intensive farming. An accurate and rapid identification of fruit can be fundamental for the automatic picking. However, some environmental factors surrounding the fruit can pose a great interference in the fruit identification under the natural, complex, and variable backgrounds, such as the light intensity, occlusion, and overlap of the fruit. In this study, an apple recognition was proposed using two-level segmentation and region-marked Hough transform. Experimental results show that the robust and practical performance was achieved for the apple recognition under different illumination, branch and leaf occlusion, as well as the fruit overlap. Specific steps were as follows. Firstly, the front camera (NikonD90) of the information acquisition robot was used to capture from 600-800 mm away from the fruit tree under the conditions of nature natural light and backlight, respectively. The brightness adaptive correction algorithm was then used to correct the brightness of apple images with the uneven distribution of surface brightness, in order to enhance the image details. The Cr component images of YCbCr color space were extracted as the preprocessing samples to combine with the feature of the color of the apple. Secondly, the improved Otsu algorithm was utilized to obtain the binary image of the apple target for the initial segmentation, in order to accurately extract the contour of the target fruit under different growth states (mainly including single and double fruits with the overlap and occlusion). A morphological open-close reconstruction filter was also introduced to the Otsu algorithm to remove the background noise. The traversal range of the gray level was reduced to shorten the complexity and running time of the algorithm for the high segmentation rate. Thirdly, the watershed algorithm was combined to perform the secondary segmentation of the segmented fruit region using distance transformation. The conglutinated and overlapping apples were separated to effectively extract the apple target contour. Finally, the gradient Hough circle transformation was selected to identify the number of apples. But the algorithm traveled through the whole image for the computational complexity, time time-consuming, and easy to produce the false identification. Therefore, the minimum circumscribed rectangle outside the contour was set as the effective area for the gradient Hough circle transform in the effective area, particularly for the recognition speed and accuracy. The experimental results show that: 1) The improved Otsu algorithm was achieved in the higher segmentation accuracy of fruit targets, especially with the less segmentation time. The improved algorithm was also filled the tiny holes in the apple to suppress the noise in the background branches and leaves, further to more clearly segment the target region more than before. The average segmentation time was 1.458 s, which was 0.643 and 1.060 s shorter than the Otsu and-means algorithm before the improvement. In the adhesion of partial apple regions in the binary images, a watershed segmentation with the distance transformation was used for the quadratic segmentation to effectively separate the sticky apples for the full apple target boundary. 2) The gradient Hough circle transform was used to recognize the 200 apple images under different lighting conditions, where the recognition accuracy was 90.75% in the nature natural light and 89.79% in the backlight, which were improved by 15.03 and 16.41 percentage points, respectively, compared with the traditional. The average recognition time was 0.665 and 0.693 s, which was 0.664 and 0.643 s shorter than before. Therefore, the proposed algorithm can meet the requirements of apple-picking robots, in terms of recognition speed and accuracy. The findings can provide a strong reference for the fast recognition of spherical fruits, such as apples.

image processing; watershed; apple recognition; YCbCr; Otsu; gradient Hough circle transform

10.11975/j.issn.1002-6819.2022.19.013

S225.93

A

1002-6819(2022)-19-0110-12

张彦斐，刘茗洋，宫金良，等. 基于两级分割与区域标记梯度Hough圆变换的苹果识别[J]. 农业工程学报，2022，38(19)：110-121.doi：10.11975/j.issn.1002-6819.2022.19.013 http://www.tcsae.org

Zhang Yanfei, Liu Mingyang, Gong Jinliang, et al. Apple recognition based on two-level segmentation and region-marked gradient Hough circle transform[J]. Transactions of the Chinese Society of Agricultural Engineering (Transactions of the CSAE), 2022, 38(19): 110-121. (in Chinese with English abstract) doi：10.11975/j.issn.1002-6819.2022.19.013 http://www.tcsae.org

2022-06-06

2022-08-17

山东省引进顶尖人才“一事一议”专项经费资助项目（鲁政办字[2018]27号）；山东省重点研发计划（重大科技创新工程）项目（2020CXGC010804）；山东省自然科学基金项目（ZR202102210303）

张彦斐，博士，教授，研究方向为机器人与智能农机装备。Email：1392076@sina.com

宫金良，博士，副教授，研究方向为机器人与智能农机装备。Email：gjlwing@qq.com