自然场景图像中的重叠蜜柚识别及试验

林耀海，吕钟亮，杨长才，林培杰，陈芳育，洪嘉伟

自然场景图像中的重叠蜜柚识别及试验

林耀海1，吕钟亮1，杨长才1，林培杰2，陈芳育3，洪嘉伟1

（1. 福建农林大学计算机与信息学院，福州 350002；2. 福州大学物理与信息工程学院，福州 350116；3. 福建农林大学农学院，福州 350002）

重叠蜜柚目标的准确分离和蜜柚果梗的定位是实现采摘自动化必须解决的两个关键问题。现有的苹果、柑橘等重叠果实分离方法不适用于重叠蜜柚，且无果梗定位功能。针对以上问题，该研究提出了一种结合渐进式中心定位的重叠蜜柚分离方法和果梗定位方法。首先利用主成分分析方法提取蜜柚区域、滤除背景并对图像中的重叠蜜柚进行初步分离；接着，对重叠蜜柚区域采用渐进式中心定位方法得到各个蜜柚的中心；然后，利用区域边缘点到其相应的不同中心点的距离大小的变化规律实现重叠蜜柚的分离；最后，利用前述的中心点结合蜜柚的形状特征，定位出遮挡程度较小的蜜柚果梗。在50张自然场景下的图像上进行试验，结果表明在有阴影、小目标、遮挡和重叠等复杂环境下，该方法的平均识别率为94.02%。同时，对于果梗未被遮挡且离摄像头较近的蜜柚，也给出了准确的果梗区域。在利用蜜柚模型搭建的识别自动化试验平台上进行试验，结果表明采摘机器人能够有效识别并分离重叠蜜柚、定位果梗。该研究可为蜜柚采摘机器人准确识别重叠果实提供参考。

图像处理；识别；机器视觉；重叠蜜柚；主成分分析；渐进式中心定位；分离；果梗

0 引 言

2021年中国柚类产业总产值超过千亿元，已经成为南方地区农业农村经济发展的重要支柱产业之一。采摘是蜜柚种植生产工作中的重要环节之一，而当前蜜柚采摘方法是人工采摘，不仅耗时耗力，且存在安全隐患。通过使用智能机器人或者智能机械手臂实现蜜柚的自动识别和采摘既可提高蜜柚采摘效率，又能降低人工和时间成本。其技术关键点之一在于利用机器视觉方法识别出果树上果实位置，即把每个果实从复杂的背景图像中准确地分割出来。

近年来，随着计算机视觉技术的发展，国内外研究者在果实采摘机器人的视觉领域已经有较多研究[1-4]，所用方法主要为基于传统图像处理和基于深度学习。在基于传统图像处理的研究中，江梅等[5-8]利用颜色和形状等图像特征进行果实识别研究。李寒等[9]分析绿色番茄的纹理特征实现了绿色番茄的准确识别。Bu等[10]提出一种阴影消除方法提高识别率。采用深度学习方法进行识别研究所用到的框架有GA-RBF-LMS[4]、Mask R-CNN[1,11-12]、BP神经网络[13]、卷积神经网络[14]等。此外，也有对网络进行改进用于果实识别的，如Tian等[15]对YOLO-V3进行了改进，Kang等[16]提出了一种改进的深度神经网络DaSNet-v2。

上述研究虽然都取得良好的识别效果，但都存在一定的局限性。基于传统图像处理的研究都是针对单果的情况，而果园中广泛存在着果实相互遮挡的现象，这是影响传统方法果实识别率的重要因素。基于深度学习的方法虽然能够识别出图像中的重叠果实，但其本身存在着数据需求量大、获取困难，泛化能力受训练数据限制的局限性。因此，需要进一步研究分离重叠果实的方法。李寒等[17]结合局部极大值法和随机圆环变换检测圆算法进行目标提取，试验结果表明，该方法能够提取出多果粘连或被轻微遮挡的情况下的番茄目标。项荣等[18]利用边缘曲率剔除曲率异常的边缘点，然后对各剩余边缘分别进行圆回归实现重叠番茄的识别。冯娟等[19]针对光线变化和目标重叠问题研究了融合多源图像信息的果实识别方法。王丹丹等[20]采用K-means和Ncut算法相结合的方法实现了无遮挡双果重叠的分割和未被遮挡苹果完整轮廓的提取。徐越等[21]采用Snake模型与角点检测的方法实现了双果重叠的分割，但只针对无其他遮挡物的情况。He等[22]提出了一种深度边框回归森林方法对绿色水果进行检测。

上述重叠果实分离方法大多是针对双果的情况，且研究对象是诸如苹果、番茄之类的近圆形果实。然而，在从果园获取的图像中，除了双果重叠之外，同样存在着三果重叠的情况。本文针对自然场景图像中蜜柚的双果、三果之间相互黏连和相互遮挡的情况，对蜜柚识别和果梗定位展开研究，使用主成分分析提取蜜柚区域，采用渐进式中心定位得出蜜柚重叠区域的各个果实的中心，依据区域边缘点到相应两个中心点的距离大小的变化规律，可以实现重叠蜜柚分离，并利用得到的中心点和蜜柚的形状特征定位蜜柚果梗。最后，设计识别自动化试验平台，进一步验证本文所提方法的可行性。

1 获取蜜柚区域

从图像中滤除背景，获取图像中的蜜柚区域是蜜柚识别的重要步骤。果园中的蜜柚由于受到树枝、树叶的遮挡和蜜柚之间的相互遮挡，在图像上的形状呈现多样性，因此难以利用形状特征提取蜜柚区域。但是同一品种的成熟蜜柚之间具有颜色一致的特性，且果实颜色与枝干、叶片的颜色具有明显差异，因此可以利用颜色信息来提取蜜柚区域，本文采用主成分分析方法实现蜜柚区域的获取。

主成分分析（Principle Component Analysis，PCA）是一种数据降维方法，可以从多元事物中解析出主要影响因素，揭示事物本质，简化复杂的问题，其几何意义表现为坐标旋转，将原始数据旋转变换到新的坐标空间，在新的坐标空间中，每个坐标轴的方向是原始数据方差最大的几个方向，主成分分析的目的就是找出对应的旋转矩阵。

1.1 色彩空间分析

蜜柚像素点和背景像素点在RGB空间中的分布情况如图1a、1b、1c所示，蜜柚像素点在空间中呈带状分布，且在R、G、B这3个方向上均有较大的离散性。在RGB空间中采用阈值法对蜜柚图像进行分割得到的蜜柚区域将包含大量的非蜜柚像素点，如图1a。将蜜柚像素点和背景像素点从RGB空间旋转变换到蜜柚像素点的主成分空间后，像素点在主成分空间中的分布如图1d、1e、1f所示，空间变换后的蜜柚点云在第一主成分方向上的分布最为疏散，如图1e，在另外两个主成分方向上则分布集中，如图1f。在主成分空间中采用阈值法对蜜柚图像进行分割，能够将更多的背景像素点剔除，提高分割精度，如图1d。

1.2 背景滤除及重叠蜜柚初步分离

首先，采集少量的蜜柚区域像素点作为样本，利用PCA学习这些样本从RGB颜色空间变换到主成分空间的旋转矩阵和旋转变换后在各主成分方向上的分布区间，接着，利用旋转矩阵将待处理图像从RGB空间变换到蜜柚像素的主成分空间，空间变换后的蜜柚像素点主要分布在由PCA确定的蜜柚主成分区间内，背景像素点分布于蜜柚主成分区间之外，在主成分空间中对每个像素点进行判断分类，滤除不在区间内的背景像素点，背景滤除流程如图2所示，其中利用PCA学习旋转矩阵和蜜柚像素在主成分空间中的分布区间只需进行一次便可重复使用。最后，将滤除背景后的图像转换成二值图像，并使用开运算进行去噪，结果见图3。图3a为原始图像，图3b为采用PCA滤除背景的结果，蜜柚区域已经被完整提取出来，背景也基本都被滤除，仅有少量噪声。对图3b图像进行二值化并去除噪声后，得到图 3d。与基于RGB色彩空间的阈值分割法相比，利用PCA进行阈值分割时，能够通过样本学习到更适合分割蜜柚图像的空间和相应的分割阈值，具有更好的鲁棒性和背景滤除效果。

提取滤除背景后的图像边缘信息，得到边缘图3e，利用边缘信息对图3d中的重叠蜜柚进行初步分离，分离结果如图3f所示。初步分离的运算是，如果图3d中蜜柚区域的像素点在图3e中的对应点为边缘点，则在图3d中将其设置为背景。图3f中仍存在多个蜜柚区域相互黏连的情况，这是因为蜜柚果皮的颜色相近，在一些重叠位置难以提取出边缘，因此，单独利用边缘信息难以完美地实现重叠蜜柚的分离，需要做进一步的分离处理。

2 重叠蜜柚区域分离

2.1 重叠蜜柚区域判断

初步分离后的图像中包含多个独立的蜜柚区域，如图3f所示，在分离重叠蜜柚前先判断每块蜜柚区域是否包含多个蜜柚，对包含多个蜜柚的区域进行分离处理。

提取经初步分离的二值图像的轮廓，一张图像中包含多个蜜柚区域，因此提取的轮廓图中包含多个封闭轮廓，这些轮廓的像素点构成多个连通域。重叠蜜柚在重叠位置形成凹陷区域，任取凹陷区域轮廓上的三点，根据三点确定一个圆的性质，通过这三点确定一个圆心，这个圆心将落在蜜柚区域轮廓外部。

首先，遍历连通域上的每一个点，设置一定的步长再取两个点，用这3个点求得一个圆心，判断该圆心是否在对应的蜜柚区域内，在蜜柚区域内的为正常点，否则为异常点。多次任选同一轮廓上的2个正常点，判断这2个点形成的线段是否穿过非蜜柚区域，进而判断该蜜柚区域是否存在多个蜜柚。图4把蜜柚抽象成圆，说明重叠蜜柚区域的判断原理。由图4可见，重叠蜜柚的轮廓图上任意两点的连线有一定可能穿过非蜜柚区域，而单独一个蜜柚的轮廓图上任意两点的连线将完全位于蜜柚区域内部。

2.2 结合渐进式中心定位的重叠蜜柚区域分离方法

根据2.1节中对重叠蜜柚的判断结果对重叠蜜柚区域进行分离。目前常用的重叠果实分离方法有两种，第一种是利用重叠区域的凹陷点进行分离，这种方法容易受到枝叶遮挡的影响，第二种是采用圆拟合或者椭圆拟合进行分离，这种方法更加适用于外形为近圆形的果实。为了更好地分离重叠蜜柚，本文提出一种结合渐进式中心定位[23]的重叠蜜柚分离方法。

2.2.1 基于渐进式中心定位方法的蜜柚中心定位

渐进式中心定位是由林耀海等[23]提出的一种圆心定位方法，该方法结合了圆内弦的两个性质来定位圆形目标的圆心位置，性质如下：

性质1：是过圆内点的一条弦的中心，且不是这条弦的中心，那么比更靠近圆心；

性质2：1、2是圆内不同两点，与圆心距离分别为1、2；两点的中心与圆心的距离为，那么有≤max (1,2)。

结合性质1和性质2可知，过圆内点的一组弦，可以用这组弦的重心代替，不断地迭代，用一组弦的重心代替，即可逐步到达圆心。

本文将渐进式中心定位方法用于定位蜜柚的中心，图 5a示意了渐进式中心定位方法定位蜜柚中心的迭代过程。从上下左右4个方向对蜜柚区域进行渐进式中心定位，当只有一个蜜柚时，从4个方向的中心定位结果将趋同于一个点，如图5b，当蜜柚区域内有多个蜜柚时，最终将定位出多个点，分别对应多个蜜柚的中心，如图 5c。

2.2.2 蜜柚分离

当蜜柚区域包含多个蜜柚时，对该区域从上下左右4个方向进行渐进式中心定位将得到多个蜜柚中心点，利用相邻中心点到蜜柚区域轮廓的距离大小关系可以逐个确定分离点。图6分别描述了本文在2个蜜柚和3个蜜柚重叠情况下确定分离点的顺序。

确定分离点的几何原理如图7所示，分别记轮廓点到两个相邻蜜柚中心点的距离为1和2，大多数轮廓点到对应的蜜柚中心点的距离小于到另一个蜜柚中心点的距离，只有在靠近分离点附近的轮廓点才会出现距离相等或者大于到另一个蜜柚中心点距离的情况。因此，只需要找到1和2大小关系发生变换的两个轮廓点便能分离重叠蜜柚的轮廓，从而实现重叠蜜柚的分离。图7a中，当遍历轮廓点到达1时有1<2，继续沿顺时针方向遍历轮廓点，到达2时有1=2，将2点设置为分离点，此时，1和2的大小关系记为1≥2，继续沿顺时针方向遍历轮廓点，当满足1<2时即可确定另一个分离点，将这个连通域分离成两部分，图7b和图7c示意了一个重叠蜜柚区域轮廓和对该轮廓的分离结果，3个蜜柚相互重叠的情况会相对复杂，但原理相同。

2.3 果梗定位

由于蜜柚的果实硕大，果梗粗壮，正常的采摘方法是通过剪切蜜柚果梗实现的，这便需要在采摘之前进行果梗定位。无论是垂直或是倾斜悬挂，蜜柚的形状和果梗区域都如图8a所示，经过渐进式中心定位方法定位出主体轮廓的中心，果梗位于蜜柚纵剖面中穿过中心点的长轴延长线与蜜柚轮廓交会点附近。同时，由于受到重力作用，蜜柚果梗位于长轴的上端点方向。因此，可以通过寻找穿过纵剖面中心点的长轴来定位果梗，如图8b所示。本文所提出的果梗定位方案，同样可以很好地定位倾斜挂果情况下的蜜柚果梗，如图8c所示。

3 试验方法与结果

3.1 试验方法

本文从网上和实地采集50张自然场景下的蜜柚图像进行试验，场景范围涵盖了枝叶遮挡、重叠、阴影以及其他不同颜色的蜜柚图像。为了验证本文提出方法的有效性，共做了3部分试验，首先对50张图像进行本文方法的试验，其次对本文方法和圆拟合方法的识别结果进行对比，最后设计识别自动化试验平台进行识别试验。

3.1.1 本文方法的蜜柚识别和果梗定位试验

首先，对50张蜜柚图像采用本文提出的蜜柚识别方法进行试验，试验流程如图9所示。其次，根据本文提出的蜜柚果梗定位方法，选取9张具有较大蜜柚果实的图像进行试验，要求进行果梗定位的蜜柚具有基本的蜜柚形状特征和果梗所在部分未被遮挡，以便果梗定位方法能够寻找到2.3节中叙述的长轴，先用本文的识别方法进行蜜柚识别，选取识别结果中面积最大的几个蜜柚进行试验，选取规则为：蜜柚面积大于图像上最大面积的60%，即为试验对象。

3.1.2 圆拟合蜜柚识别试验

圆拟合方法是通过剔除目标轮廓中的伪轮廓，对留下的有效轮廓进行拟合的方法。由于重叠蜜柚在重叠部分和受到枝叶遮挡部分的轮廓曲率会明显异常于其他轮廓点，本文利用轮廓的曲率进行异常点剔除[24]，剔除异常点后蜜柚轮廓会被切分为几个部分，这些轮廓中有的是受到枝叶遮挡形成的伪轮廓，伪轮廓通常比正常的蜜柚轮廓短，剔除这部分伪轮廓，再用最小二乘法对保留的轮廓做圆拟合，剔除伪轮廓过程如图10所示。

3.1.3 蜜柚识别自动化试验

为了验证实际应用效果，将本文方法集成到采摘机器人视觉系统上进行识别试验。识别自动化试验平台如图 11所示。采摘机器人由6自由度机械臂、移动小车、双目摄像头和一台树莓派组成。识别试验过程如下：将移动小车移动到合适位置，由树莓派调用双目摄像头获取照片并调用算法对蜜柚果实进行识别；若算法识别到成熟蜜柚果实，则选择距离摄像头最近的蜜柚果实为第1采摘目标并进行果梗定位。

自动采摘的关键环节之一是蜜柚果梗的空间坐标定位，采用双目立体视觉定位方法实现，各个蜜柚果梗的定位功能模块如图12所示，在对果梗的空间坐标进行计算前，需要在左右目图像上定位出对应的果梗位置，本文先对左目图像进行蜜柚识别，以识别出的蜜柚目标为模板在右目图像上进行匹配，如果匹配成功则分别对左右目图像中该蜜柚的果梗进行定位，对左右目图像的处理流程如图13所示，图13a为双目摄像头获取并经过校正的双目图像，图13b为左目图像的蜜柚识别结果，图 13c为以左目图像的识别结果为模板在右目图像中的匹配结果，图13d是对左右目图像中识别到的蜜柚进行果梗定位。从识别自动化试验平台上的双目摄像头获取含有重叠蜜柚的双目图像，按上述流程进行识别、果梗定位试验。

3.1.4 试验结果评价指标

对本文提出方法和圆拟合方法的试验结果均采用正确识别率（T）、错误识别率（F）和遗漏率（M）作为评价指标，其中，错误识别包括将非蜜柚目标识别为蜜柚和对蜜柚的重复识别，即对同一蜜柚目标的重复识别仅将其中一个计入正确识别个数，其他都计入错误识别个数。评价指标计算方法如下：

T=T/×100% （1）

F=F/×100% （2）

M=M/×100% （3）

式中T为正确识别的蜜柚个数，F为错误识别的蜜柚个数，M为遗漏识别的蜜柚个数，为图像上的蜜柚总数。

3.2 试验结果与分析

3.2.1 本文方法的蜜柚识别结果与分析

本文所提方法的试验结果如表1和图14所示。从图 14中可以看出，本文使用的主成分分析方法能够准确地从图像中提取出蜜柚，提出的分离方法对相互遮挡的蜜柚具有较好的分离效果。由表1可以看出，本文方法大部分的识别率为100%，平均识别率为94.02%，最低识别率为68.42%，平均错误识别率为14.87%，最高错误识别率为60%。其中造成识别率较低的原因：1）叶片和其他蜜柚对目标光线的遮挡，导致目标亮度较暗，在图像上呈现出的颜色与正常蜜柚颜色有明显差别，从而没有被识别出来；2） 重叠蜜柚的重叠程度过大，渐进式中心定位算法最终只定位出一个中心，被误认为是非重叠区域，导致识别率降低。造成错误识别率较高的原因：1） 蜜柚受到枝、叶、光照等影响，导致提取出的目标形变大，被认为是多个蜜柚重叠形成；2）蜜柚被树枝等切割成多块，每一块都被认为是一个蜜柚。以上两个原因都会导致对同一蜜柚目标的重复识别，根据本文规定的错误识别个数统计方法，重复识别也被统计到错误识别个数中，从而导致错误识别率的增加。

由此可见，本文所提方法对于分离图像中相互重叠的多个蜜柚具有很大优势，但对于相互遮挡严重的蜜柚的分离效果会有所下降，平均识别率为94.02%，表明利用本文方法进行重叠蜜柚目标识别是可行的，其性能基本满足自动采摘的需求。

3.2.2 果梗定位结果与分析

选取9张蜜柚图像进行试验，试验结果如图15所示。在实际应用当中，为了与方法原理相适应，要求摄像头获取图像时与水平面平行，由于可以通过机器人的移动多次定位果梗，因此每次只需要定位出离摄像头最近的2～3个蜜柚的果梗，而距离摄像头越近的蜜柚在图像上的面积越大，即表现为“大”目标，这在一定程度上解决了该方法难以定位被其他目标遮挡的果梗的问题。从图15中可以看出，每张图像中符合条件的“大”目标蜜柚果梗均可定位，没有定位出果梗的蜜柚主要为距离摄像头较远和受到严重遮挡的“小”目标蜜柚。

表1 本文所提方法的蜜柚识别试验结果

3.3 对比试验结果

本文以对有效轮廓进行圆拟合的方法作为对比试验，其平均识别率为84.59%，平均错误识别率为37.48%，平均遗漏率为15.41%。从50张图像中随机选取几张图像进行展示，如图16所示。

由图16可以看到，采用圆拟合的方法，对受遮挡情况简单的图像的拟合效果较好，如图16c，但对于受遮挡情况复杂的图像，最终的拟合效果较差，如图16b，主要原因是：1）遮挡形成的伪轮廓被误判为正常轮廓导致错误拟合；2）正常轮廓被误判为伪轮廓导致遗漏；3）蜜柚的形状特征决定了其不同部位的轮廓拟合得到的圆具有很大的差别；4）蜜柚的形状并不是标准的圆形，圆拟合的结果并不能很好地将整个蜜柚都包含在内。采用圆拟合方法的平均识别率（84.59%）低于本文提出的方法（94.02%），且平均错误识别率和平均遗漏率分别为37.48%和15.41%，均高于本文提出方法的14.87%和5.98%。本文所提方法与之相比，在重叠蜜柚分离上具有明显优势。

3.4 蜜柚识别自动化试验验证

从蜜柚识别自动化平台上获取含有重叠蜜柚的双目图像进行蜜柚识别和果梗定位试验，试验结果如图 17所示，从图中可以看出，本文方法对从试验平台上获取的重叠蜜柚图像能够准确地分离识别和定位果梗，表明将本文方法应用于自动采摘设备上具有一定的可行性。

4 结 论

本文综合利用主成分分析、渐进式中心定位、轮廓信息和蜜柚的形状特征，实现蜜柚目标提取、重叠轮廓分离及果梗定位，并用自然场景图像和识别自动化试验平台进行了算法验证，主要结论如下：

1）针对图像上蜜柚形态不规则、颜色相似的特征，采用基于主成分分析的目标提取方法可以有效地实现蜜柚图像的分割。

2）针对重叠蜜柚的分离问题，本文结合渐进式中心定位而提出的分离方法，实现了重叠蜜柚的分离，平均识别率达94.02%。

3）针对果梗定位问题，提出了一种确定蜜柚果梗位置的方法，基本可以定位出离摄像头较近的蜜柚的果梗，为自动采摘提供信息支持。

对于受到严重遮挡或受到光线影响严重的目标，该方法的识别性能会有所下降，可以在采集图像的同时通过角度调整、遮光或补光等方式进行改善。本文方法实现的蜜柚识别、果梗定位，再结合双目视觉便可得到果梗的空间位置，这是机械手臂实现自动采摘的关键信息。

[1] Yu Y, Zhang K, Yang L, et al. Fruit detection for strawberry harvesting robot in non-structural environment based on Mask-RCNN[J]. Computers and Electronics in Agriculture, 2019, 163: 104846.

[2] 王津京，赵德安，姬伟，等. 采摘机器人基于支持向量机苹果识别方法[J]. 农业机械学报，2009，40(1)：148-151.

Wang Jinjing, Zhao Dean, Ji Wei, et al. Apple fruit recognition based on support vector machine using in harvesting robot[J]. Transactions of the Chinese Society for Agricultural Machinery, 2009, 40(1): 148-151. (in Chinese with English abstract)

[3] 司永胜，乔军，刘刚，等. 苹果采摘机器人果实识别与定位方法[J]. 农业机械学报，2010，41(9)：148-153.

Si Yongsheng, Qiao Jun, Liu Gang, et al. Recognition and location of fruits for apple harvesting robot[J]. Transactions of the Chinese Society for Agricultural Machinery, 2010, 41(9): 148-153. (in Chinese with English abstract)

[4] 贾伟宽，赵德安，刘晓洋，等. 机器人采摘苹果果实的K-means和GA-RBF-LMS神经网络识别[J]. 农业工程学报，2015，31(18)：175-183.

Jia Weikuan, Zhao Dean, Liu Xiaoyang, et al. Apple recognition based on K-means and GA-RBF-LMS neural network applicated in harvesting robot[J]. Transactions of the Chinese Society of Agricultural Engineering (Transactions of the CSAE), 2015, 31(18): 175-183. (in Chinese with English abstract)

[5] 江梅，孙飒爽，何东健，等. 融合K-means聚类分割算法与凸壳原理的遮挡苹果目标识别与定位方法[J]. 智慧农业，2019，1(2)：45-54.

Jiang Mei, Sun Sashuang, He Dongjian, et al. Recognition and localization method of occluded apples based on K-means clustering segmentation algorithm and convex hull theory[J]. Smart Agriculture, 2019, 1(2): 45-54. (in Chinese with English abstract)

[6] 周文静，查志华，吴杰. 改进圆形Hough变换的田间红提葡萄果穗成熟度判别[J]. 农业工程学报，2020，36(9)：205-213.

Zhou Wenjing, Zha Zhihua, Wu Jie. Maturity discrimination of “Red Globe” grape cluster in grapery by improved circle Hough transform[J]. Transactions of the Chinese Society of Agricultural Engineering (Transactions of the CSAE), 2020, 36(9): 205-213. (in Chinese with English abstract)

[7] Lin G, Tang Y, Zou X, et al. Color-, depth-, and shape-based 3D fruit detection[J]. Precision Agriculture, 2020, 21(1): 1-17.

[8] Wu G, Li B, Zhu Q, et al. Using color and 3D geometry features to segment fruit point cloud and improve fruit recognition accuracy[J]. Computers and Electronics in Agriculture, 2020, 174: 105475.

[9] 李寒，张漫，高宇，等. 温室绿熟番茄机器视觉检测方法[J]. 农业工程学报，2017，33(增刊1)：328-334.

Li Han, Zhang Man, Gao Yu, et al. Green ripe tomato detection method based on machine vision in greenhouse[J]. Transactions of the Chinese Society of Agricultural Engineering (Transactions of the CSAE), 2017, 33(Supp.1): 328-334. (in Chinese with English abstract)

[10] Bu R, Xiong J, Chen S, et al. A shadow detection and removal method for fruit recognition in natural environments[J]. Precision Agriculture, 2020, 21(4): 782-801.

[11] 孟欣欣，阿里甫·库尔班，吕情深，等. 基于迁移学习的自然环境下香梨目标识别研究[J]. 新疆大学学报：自然科学版，2019，36(4)：461-467.

Meng Xinxin, Alifu Kuerban, Lv Qingshen, et al. Research on fragrant pear target recognition in natural environment based on transfer learning[J]. Journal of Xinjiang University: Natural Science Edition, 2019, 36(4):461-467. (in Chinese with English abstract)

[12] Xiong L, Wang Z, Liao H, et al. Overlapping citrus segmentation and reconstruction based on Mask R-CNN model and concave region simplification and distance analysis[C]. Journal of Physics: Conference Series. IOP Publishing, 2019, 1345(3): 032064.

[13] Xiao C, Zheng L, Li M, et al. Apple detection from apple tree image based on BP neural network and Hough transform[J]. International Journal of Agricultural and Biological Engineering, 2015, 8(6): 46-53.

[14] Bresilla K, Perulli G D, Boini A, et al. Single-shot convolution neural networks for real-time fruit detection within the tree[J]. Frontiers in plant science, 2019, 10: 611.

[15] Tian Y, Yang G, Wang Z, et al. Apple detection during different growth stages in orchards using the improved YOLO-V3 model[J]. Computers and Electronics in Agriculture, 2019, 157: 417-426.

[16] Kang H, Chen C. Fruit detection, segmentation and 3D visualisation of environments in apple orchards[J]. Computers and Electronics in Agriculture, 2020, 171: 105302.

[17] 李寒，王库，曹倩，等. 基于机器视觉的番茄多目标提取与匹配[J]. 农业工程学报，2012，28(5)：168-172.

Li Han, Wang Ku, Cao Qian, et al. Tomato targets extraction and matching based on computer vision[J]. Transactions of the Chinese Society of Agricultural Engineering (Transactions of the CSAE), 2012, 28(5): 168-172. (in Chinese with English abstract)

[18] 项荣，应义斌，蒋焕煜，等. 基于边缘曲率分析的重叠番茄识别[J]. 农业机械学报，2012，43(3)：157-162.

Xiang Rong, Ying Yibin, Jiang Huanyu, et al. Recognition of overlapping tomatoes based on edge curvature analysis[J]. Transactions of the Chinese Society for Agricultural Machinery, 2012, 43(3): 157-162. (in Chinese with English abstract)

[19] 冯娟，曾立华，刘刚，等. 融合多源图像信息的果实识别方法[J]. 农业机械学报，2014，45(2)：73-80.

Feng Juan, Zeng Lihua, Liu Gang, et al. Fruit recognition algorithm based on multi-source images fusion[J]. Transactions of the Chinese Society for Agricultural Machinery, 2014, 45(2): 73-80. (in Chinese with English abstract)

[20] 王丹丹，徐越，宋怀波，等. 融合K-means与Ncut算法的无遮挡双重叠苹果目标分割与重建[J]. 农业工程学报，2015，31(10)：227-234.

Wang Dandan, Xu Yue, Song Huaibo, et al. Fusion of K-means and Ncut algorithm to realize segmentation and reconstruction of two overlapped apples without blocking by branches and leaves[J]. Transactions of the Chinese Society of Agricultural Engineering (Transactions of the CSAE), 2015, 31(10): 227- 234. (in Chinese with English abstract)

[21] 徐越，李盈慧，宋怀波，等. 基于Snake模型与角点检测的双果重叠苹果目标分割方法[J]. 农业工程学报，2015，31(1)：196-203.

Xu Yue, Li Yinghui, Song Huaibo, et al. Segmentation method of overlapped double apples based on Snake model and corner detectors[J]. Transactions of the Chinese Society of Agricultural Engineering (Transactions of the CSAE), 2015, 31(1): 196- 203. (in Chinese with English abstract)

[22] He Z, Xiong J, Chen S, et al. A method of green citrus detection based on a deep bounding box regression forest[J]. Biosystems Engineering, 2020, 193: 206-215.

[23] 林耀海，景林，王长缨，等. 一种渐进式圆心定位的原木端面轮廓识别方法[J]. 福建师范大学学报：自然科学版，2016，32(4)：23-28.

Lin Yaohai, Jing Lin, Wang Changying, et al. A progressive central location method for outline extraction of logs cross section[J]. Journal of Fujian Normal University: Natural Science Edition, 2016, 32(4): 23-28. (in Chinese with English abstract)

[24] 荀一，陈晓，李伟，等. 基于轮廓曲率的树上苹果自动识别[J]. 江苏大学学报：自然科学版，2007(6)：461-464.

Xun Yi, Chen Xiao, Li Wei, et al. Automatic recognition of no-tree apples based on contour curvature[J]. Journal of Jiangsu University: Natural Science Edition, 2007(6): 461-464. (in Chinese with English abstract)

Recognition of the overlapped honey pomelo images in natural scene and experiment

Lin Yaohai1, Lyu Zhongliang1, Yang Changcai1, Lin Peijie2, Chen Fangyu3, Hong Jiawei1

(1.,,350002,;2.,,350116,;3.,,350002,)

Two key challenges can be the accurate separation of the overlapping fruits and the positioning of the plant stem during the automatic picking of honey pomelo. However, the existing approaches to separate the overlapping apples and citrus are not suitable for the overlapping honey pomelo, particularly no positioning function of the stem so far. In this study, new image recognition was proposed to combine with the progressive center and stem positioning in natural scene images, in order to improve the recognition rate of honey pomelo. Firstly, the principal component analysis (PCA) was used to determine the principal components of the color pixel values in the target area and the distribution intervals of each component. The PCA was also utilized to reduce the data dimensionality. As such, the rotation matrix was obtained to convert the image from the RGB to the principal component space. The distribution intervals of the color principal components were used to evaluate and filter the pixels of the honey pomelo. A binarization was then performed to obtain a binary image. Secondly, the edge information of the color image after filtering the background was selected to preliminarily divide the binary image. If a pixel was an edge point on the color image, the corresponding point on the binary image was set for the background pixel. Before separating, a white area was determined to contain the multiple honey pomelos. In addition, the separation operation was performed on the area, only when there were multiple honey pomelos. Thirdly, a progressive center positioning was adopted to locate the center of each honey pomelo in the overlapping honey pomelo area. An operation was also conducted from the top, bottom, left, and right directions to obtain the center of each honey pomelo. Finally, the separation point of the overlapping area was determined to realize the recognition, where the edge points of the white area were traversed along the edge, in order to calculate the distance between each edge point and the center points of two adjacent honey pomelos. Since the stem of the honey pomelo was located near the top extension line of the long axis passing through the center point in the longitudinal section, the central point was used to locate the stem area with a smaller degree of obscuration and normal suspension. A total of 50 images in natural scenes were selected to verify the model. The test results showed that the average recognition rate of the new recognition was 94.02% in the natural scene. Furthermore, the stem areas were accurately located for the honey pomelos, whose stems were not blocked or closer to the camera. Consequently, the new recognition can be widely expected to transfer to the embedded development system and an automatic picking platform with the laboratory honey pomelo model for picking experiments. This finding can also provide a strong reference to accurately recognize the overlapping fruits for the picking robot of honey pomelo.

image processing; identification; machine vision;overlapping honey pomelo; principal component analysis; progressive center location; separation; fruit stem

2021-10-30

2021-12-06

国家自然科学基金（61972093）；福建省自然科学基金（2019J01402）

林耀海，博士，讲师，研究方向为图像处理、智能信息处理。Email：linyaohai@fafu.edu.cn

10.11975/j.issn.1002-6819.2021.24.018

TP391.41

A

1002-6819(2021)-24-0158-10

林耀海，吕钟亮，杨长才，等. 自然场景图像中的重叠蜜柚识别及试验[J]. 农业工程学报，2021，37(24)：158-167. doi：10.11975/j.issn.1002-6819.2021.24.018 http://www.tcsae.org

Lin Yaohai, Lyu Zhongliang, Yang Changcai, et al. Recognition of the overlapped honey pomelo images in natural scene and experiment[J]. Transactions of the Chinese Society of Agricultural Engineering (Transactions of the CSAE), 2021, 37(24): 158-167. (in Chinese with English abstract) doi：10.11975/j.issn.1002-6819.2021.24.018 http://www.tcsae.org