枝上柑橘果实深度球截线识别方法

刘继展 朱新新 袁 妍

(江苏大学现代农业装备与技术教育部重点实验室，镇江 212013)

枝上柑橘果实深度球截线识别方法

刘继展 朱新新 袁 妍

(江苏大学现代农业装备与技术教育部重点实验室，镇江 212013)

针对柑橘果、叶、枝对象具有球体、片体和细柱体不同的三维几何特征，提出一种识别柑橘果实的深度球截线方法。首先提出了球形果实特征提取的深度球截线方法的基本原理和关键参数，进而分别针对枝上果、叶孤立和贴碰区域提出了孤立果实的特征提取算法和贴碰果实的特征提取算法，得到了复杂枝环境下的深度数据处理与果实识别策略，并综合根据Intel RealSense F200型深度传感器参数、柑橘果实尺寸、近景探测范围、数据预处理与特征提取需要完成了深度球截线方法的参数确定。大量室内试验结果表明，深度球截线方法对孤立果实提取的平均成功率为97.8%，贴碰区域内果实提取的平均成功率为76%，而复杂枝环境的果实提取综合成功率为63.8%。该深度球截线的识别方法仅利用有限的深度数据点，在保证原始数据精度的同时降低了运算量和果实特征提取复杂性，能有效应对果叶遮挡问题，实现对贴碰果叶的有效区分，对柑橘果实具有良好的适应性，为采摘机器人在复杂环境下的果实识别与定位提供了新的技术思路。

柑橘； 采摘； 识别； 深度信息； 球截线； 特征提取

引言

识别定位是采摘机器人的核心技术，而快速准确地提取采摘目标特征是果实识别的前提[1-3]。由于传统的基于可见光图像识别的定位方法在实时性、重叠对象分割和光照敏感性上存在着局限性，研究者陆续进行了其他途径的探索，其中利用深度信息进行果实的识别定位成为研究热点。

近年来，研究者开展了利用激光扫描测距[4-5]、TOF成像[6-7]和RGB-D传感器[8-10]等深度信息获取手段进行果实识别定位的研究。文献[2，11-12]主要基于颜色特征进行果实识别，深度信息主要用于辅助定位，未能有效发挥深度信息的优势以克服现有技术局限；而文献[13-15]利用颜色与深度点云的匹配进行三维重构，进而在三维空间中同时利用颜色与形状特征完成果实的识别与定位，其融合重构和果实分割算法复杂，实时性受到影响；文献[16-20]则将深度信息还原为深度图像，进而利用二维图像的边缘轮廓提取算法完成果实分割，未能充分发挥真实深度数据的优势，导致“原始深度数据—图像化—灰度数值计算—轮廓曲线提取—果实特征辨识”的分析处理过程复杂化，而且图像化转换产生的误差导致相邻对象的深度差异锐减，从而影响了目标分割与识别的可靠性。

本文针对目前各类基于深度信息实现果实识别方法的不足，提出柑橘果实识别的深度球截线方法并进行试验验证。

1 基于深度球截线的果实特征提取方法

1.1 深度球截线特征提取方法的提出

柑橘植株的果实、叶片和枝干分别具有实球体、片体和细柱体的几何特征(图1)。根据几何学关系(图2)，当以深度传感器获取植株冠层空间的三维深度点云数据(D、θ、φ)后，如以一定深度D为半径的球面分别对具有实球体、片体和细柱体特征的果、叶、枝深度点云数据进行切割计算，将分别获得圆、曲线段和近似圆点3类截线，进而可根据截线特征差异实现果、叶、枝3类对象的区分。

图1 柑橘果实、叶、枝几何特征与球面切割示意图Fig.1 Geometric characteristics of citrus fruit, leaves and branches and sketch of spherical cutting1.实球体 2.深度球面 3.封闭圆 4.片体 5.曲线段 6.细柱体 7.近似圆点

1.2 深度球截线方法的理论模型

1.2.1球形果实的深度点云边界

如图2所示，当三维深度传感器对球形果实进行探测时，可获得深度点云数据的果实表面范围为：由深度传感器到果实表面的切点B所决定的近似球冠Z。

图2 球形实体的深度球切割平面示意图Fig.2 Schematic plan of spherical entity by depth-sphere cutting1.深度传感器 2.截线 3.深度球面 4.最大深度球面 5.球形果实

其中最近点A具有被探测果实表面范围内的最小深度

DA=minDZ

(1)

而最远点则为从深度传感器到果实表面的切点B，深度为

DB=maxDZ

(2)

1.2.2球形果实的深度球切割参数

如图2所示，当以深度传感器为中心、以一定半径的深度球面对球形果实进行切割时，定义

L=DC-DA

(3)

式中L——球切深度，mm

DC——球切面到传感器中心的深度，mm

图2所示的几何关系为

(4)

式中RC——截线圆半径，mm

R——球形果实半径，mm

将式(3)代入式(4)可得

(5)

由式(5)知，当球形果实被深度球面切的越深，所获得的截线圆越大。由可获得深度点云数据的果实表面范围所决定，其最大球切深度为

(6)

因而，球切深度L总不超过果实的半径。而当球切深度过小时，理论获得的截线圆过小，同时考虑实际柑橘果实的形状误差和果皮表面粗糙性，难以保证获得满意的截线圆曲线。

1.2.3深度球截线的特征提取

当柑橘果实被果、叶、枝等遮挡时，深度传感器将无法获得完整的表面点云，深度球切割方法亦无法获得封闭的截线圆。综合考虑柑橘枝、叶截线的近似圆点和曲线段与果实截线的封闭圆和非封闭圆的特征差异，引入截线的离心率和像素数共同判断的方法实现果实截线的判别函数关系

(7)

式中C(DC)——DC处利用深度球切割方法所获得的对象截线

E——与截线各区域具有相同标准二阶中心矩的椭圆离心率

AN——截线各连通域所包含深度像素点数

E0——E的阈值

AN0——AN的阈值

其中，椭圆离心率E可表示截线各连通区域的弯曲程度，在标准圆的离心率(0)和直线段的离心率(1)之间，利用离心率可有效滤除叶片对象；而考虑到柑橘果、叶、枝截线的尺寸差异，进一步利用像素数AN差异滤除枝、叶对象。

E0和AN0分别为截线各连通域的离心率阈值和像素数阈值，由试验统计的果、叶截线的参数确定。当截线满足式(7)时，则剔除枝、叶截线干扰，筛选出柑橘果实的截线。

2 柑橘果实对象特征提取策略

2.1 枝上果实的深度点云特征与预处理

2.1.1前景、背景干扰信息剔除

枝上场景内的柑橘果叶原始深度点云中包含了大量的前景、背景点云数据以及因在相机探测范围外深度值被置为0的空洞噪声。因此，以深度阈值对柑橘果实对象前景与背景进行点云分割，从而剔除前景、背景的干扰信息并缩减数据量，为后续果实快速提取提供有利条件。

2.1.2点云聚类与分类

在枝上空间内，具有细柱体特征的枝干在深度探测中呈现离散或连续的线类点云，而柑橘果、叶与枝干连接呈现复杂的点云结构，从而造成深度球截线方法无法实施。

为此，首先通过点云聚类滤除枝干等的线类点云与散点等干扰而获得若干离散点云聚集区域，其中存在果、叶孤立和相互贴碰的不同情况，孤立的果、叶分别呈现出实球体和片体的几何特征，而果叶相互贴碰连接呈现复杂的几何结构。为实现枝上果实的识别，根据点云数量阈值N0将其划分为孤立区域与贴碰区域，从而针对孤立和贴碰两类不同区域中的果实给出相应的特征提取策略。

2.2 孤立果实的特征提取算法

针对孤立点云区域，只需要通过深度球面的一次切割即可完成果实特征的提取：

(1)针对所有孤立区域，在其深度数据点内搜寻各自的最近点A，并利用选定的球切深度L进行球面切割获取各截线。

(2)计算各截线离心率E和像素数AN，以离心率阈值E0和像素数阈值AN0作为柑橘果、叶截线的判断依据，从而从孤立果、叶中完成对果实的识别。

2.3 贴碰果实的特征提取算法

如图3所示，以2个果实的贴碰点云区域为例，首先搜寻该贴碰区域的最近点A和最远点B，当从最近点A起以固定球切深度L进行深度球切割时，仅能提取到靠前的果实2的截线圆，而造成后方相贴碰果实3的漏判。为此，在A和B之间逐次增加球切深度

DCi=DA+iL(i=1,2,…；DCi

(8)

通过DCi的逐次切割从而获得多个截线，进而根据各截线的特征识别各果实。

图3 贴碰区域中多次深度球切割示意图Fig.3 Schematic diagram of multiple depth-sphere cutting in adhering area1.深度传感器 2.靠近深度传感器的果实 3.与果实2相贴碰的果实

在多次切割过程中，会出现同一果实被多次切割获得不同截线圆的现象。如图3所示，果实2被DC1和DC2两次切割，通过增加两相邻果实截线的相对位置关系作为辅助判断依据，从而避免被误判为多个果实。

(9)

该逐次深度球切割的贴碰果实识别方法对果、叶贴碰的情况也同样适用。

2.4 复杂枝环境的果实识别策略

综合深度点云数据预处理、孤立与贴碰果实的提取算法，复杂枝环境的柑橘果实识别策略如图4所示。

图4 复杂枝环境的果实识别流程图Fig.4 Flow chart of fruit recognition in complex on-branch environment

3 试验与结果分析

3.1 试验对象与材料

试验于2016年8月—11月在江苏大学现代农业装备与技术教育部重点实验室进行。试验所用柑橘品种为镇江江心洲无核蜜桔，利用游标卡尺分别测量100个成熟蜜桔果实的极直径和赤道直径，得到剔除畸形果的果实半径R上、下限分别为29.66、19.32 mm。

如图5所示，选择Intel RealSense F200型传感器作为深度信息的采集设备，采用Light Coding工作原理，其深度分辨率为640像素×480像素，水平方向探测角为73°，垂直方向探测角为59°，有效深度探测范围为0.2～1.2 m。考虑到RealSense F200型传感器个体差异，利用光滑平面为对象进行传感器有效探测范围标定，结果表明RealSense F200型可获取的最小稳定深度数据流为180 mm。此外，综合柑橘果实尺寸和采摘机器人近景作业的需要，设定柑橘果实识别的近景探测范围为180～600 mm，便于减小机器人视野内柑橘对象的复杂度。

图5 RealSense F200型传感器Fig.5 RealSense F200 sensor

3.2 深度球截线方法的参数确定

3.2.1近景探测的数据预处理

(1)近景处理范围

根据3.1节设定的近景探测范围，以180～600 mm的距离阈值对场景内柑橘对象的前景与背景进行点云分割，分割后有效剔除了前景、背景的干扰信息，同时不同枝上场景内对象的点云数量从307 200锐减至6 000～45 000，为后续果实快速提取提供了有利条件(图6)。

图6 枝上果叶深度点云的前景、背景剔除Fig.6 Foreground and background culling of depth point cloud on branch

(2)孤立与贴碰区域的划分

如图7所示，每一点云聚集区域内的理论最大深度点数为

(10)

式中θ、φ——每一点云聚集区域所对应的水平、竖直角，(°)

θ0、φ0——深度传感器水平方向、垂直方向探测角，(°)

m、n——深度传感器水平、竖直分辨率，像素

图7 分割后的深度点云及其区域分类Fig.7 Segmented depth point cloud and its classification

由RealSense F200型传感器分别对单独的柑橘果、叶进行探测，统计发现当DA为180 mm时，单个柑橘果、叶区域的深度点数分别在15 000和13 000以内。而由式(10)可知，当特定点云聚集区域距深度传感器越远时，所对应的水平与竖直角θ和φ越小，其点云深度点数也越小。故在近景探测范围内，根据读取的每个点云聚集区域的DA，计算孤立与贴碰区域区分的深度点数阈值为

(11)

3.2.2深度球切割与特征提取

(1)球切截线圆上的深度点云数量

对柑橘果实进行深度球切割实际获得的为若干离散深度点，因而深度点云的数量决定了能否获得理想的截线圆曲线，其计算式为

(12)

式中Na——柑橘果实截线圆上的深度点云个数

ka——柑橘果实的极半径、赤道半径、形状误差和果实表面粗糙性的安全系数，ka<1

将式(3)、(5)代入式(12)得

(13)

由式(13)可知，对特定的柑橘果实品种及尺寸、深度传感器参数和近景探测范围，必须保证一定的球切深度L才能获得用于截线圆特征提取的足够深度数据点云。

(2)离心率和像素数

选择100组不同尺寸和姿态的柑橘果、叶在近景探测范围内所获得的完整与非完整深度球截线，利用Matlab分别计算相应不同形态的果、叶、枝截线的离心率E和像素数AN，统计得到完整与非完整柑橘果实截线离心率的上限阈值为0.85，而像素数下限阈值为100。

(3)球切深度范围

根据3.1节统计的柑橘果实半径R和近景探测范围确定DA的上下限，取安全系数ka为0.8，由式(13)可求得最小球切深度L为4.43 mm，取整为5 mm进行果实的识别试验，以保证深度球截线方法能够满足近景处理范围内对柑橘果实识别的实际应用需要。

3.3 试验方法

3.3.1孤立对象的提取

图8 试验装置和场景Fig.8 Test device and scene1.RealSense F200型传感器 2.钳口夹具 3.叶片 4.微型三脚架 5.三自由度支座 6.果实 7.枝干 8.落地三脚架

如图8a所示，将RealSense F200型传感器固定在微型三脚架上并保持传感器平面与桌面垂直，在距离传感器表面的近景范围内摆放果、叶对象。RealSense F200型传感器通过USB接口与计算机相连，并利用Intel RealSense SDK工具包和Microsoft Visual Studio 2013软件平台进行试验场景深度信息的采集。

为尽可能还原枝上柑橘果、叶的实际生长状态，利用三自由度支座和钳口夹具活动调节被夹持对象的姿态。选取8个新鲜的柑橘果实为试验对象，利用夹具分别对每个果实随机调节使其呈现8种不同的位置姿态，共采集64个孤立果实场景的深度信息。而考虑到枝上叶片姿态的多样性，选取6个新鲜的柑橘叶片为试验对象，并利用夹具随机调节叶片使每个叶片呈现20种姿态，共采集120个孤立叶片场景的深度信息。进而对获得的184个孤立对象的深度数据分别应用2.2节提出的孤立果实的特征提取算法，利用3.2.2节中得到的5 mm球切深度L获得相应深度球截线，并依据阈值E0为0.85和AN0为100进行相应孤立对象的判别。

3.3.2贴碰果实的识别

如图8b所示，将RealSense F200型传感器固定在落地三脚架上，在传感器近景范围内将果、叶放置在盆栽柑橘枝干系统上。贴碰果、叶场景的深度信息采集同3.2.1节。此外，根据贴碰试验中盆栽枝干上果、叶的数量差异，将试验进一步细分为单果单叶、单果两叶、单果多叶和两果一叶、两果两叶、两果多叶6个贴碰类别。

以新鲜柑橘果、叶为试验对象，首先通过改变果、叶悬挂在枝上的相对位置以呈现不同的姿态，其次又对每种姿态利用花盆底座以45°为间隔，原地水平旋转各获得8个姿态(图8b)。贴碰试验共采集40个单果单叶、40个单果两叶、40个单果多叶、32个两果一叶、40个两果两叶和48个两果多叶场景的深度信息。最后分别对每个深度信息用2.3节提出的贴碰果实的特征提取算法，利用5 mm的球切深度L多次切割获得多个深度球截线，依据阈值E0为0.85和AN0为100连同果实半径R的下限作为辅助判断参数，以进行相应贴碰果实的识别。

3.3.3复杂枝环境的果实特征提取

试验布置参照图8b，每组场景以3～4个新鲜柑橘果实与叶片为对象，并通过果、叶相对位置的调节呈现果、叶孤立与贴碰共存的枝上复杂姿态，再对每组姿态通过花盆底座以45°为间隔，原地水平旋转获得8个不同姿态，共采集80个枝上复杂场景的深度信息。

对每个深度信息应用2.4节所提出的复杂枝环境的果实识别策略，针对剔除枝干后的各点云聚集区域计算其最小深度DA，利用式(11)获得相应孤立与贴碰区域划分的深度点数阈值N0，进而对划分出的孤立区域和贴碰区域分别应用孤立和贴碰果实的特征提取算法以进行果实的识别。

3.4 果实识别试验结果与分析

3.4.1孤立果实的识别

孤立果、叶的典型截线结果如图9所示。其中63条果实截线被准确识别，117条叶片截线被成功排除，总识别成功率为97.8%。

图9 孤立果、叶及相应深度球截线Fig.9 Fruit and leaf with corresponding transversals in isolated area

其中所出现的一条果实截线被漏判，是由于试验中钳口夹具与被夹持柑橘果实的不当布置造成干扰所导致(图10a)，而其中3条叶片截线由于叶片弯曲相对严重而被误判为果实(图10b)。试验结果表明，对于孤立果、叶，单次深度球切割即可达到极高的识别成功率，而通过探测中的深度传感器位姿变化有望进一步降低误判率。

图10 孤立果、叶误判截线Fig.10 Isolated fruit and leaf with misjudgment transversals

3.4.2贴碰果实的识别

图11所示为典型果叶贴碰情况下多次深度球切割所判出的果实截线结果。

图11 贴碰果叶与相应判出为果实的深度球截线Fig.11 Success fruit transversals in adhering area1、2.单果单叶贴碰果实及其截线 3、4.两果多叶贴碰中的果实 5、6.果实3、4的对应截线

表1为不同类果叶贴碰情况下柑橘果实识别效果。

表1 不同类果叶贴碰情况下果实识别效果Tab.1 Success rate of fruit extraction in different types of touching fruits and leaves 个

单果单叶轻微贴碰时，果实识别成功率为92.0%，随着相贴碰果、叶数量的增加识别成功率随之下降，但两果多叶严重贴碰时的果实识别成功率仍可达到57.7%。当果实存在与叶片的轻微贴碰时，一部分经深度球面切割仍可获得完整的果实截线(图11a)，另一部分经深度球面切割尽管得到非封闭的截线，但其截线仍呈现出二分之一及以上近封闭圆的特征，利用离心率和像素数的筛选仍然可被准确判别为果实(图11b)。

随着叶片与果实的贴碰程度增加，截线的圆形特征骤降，多次深度球面切割均难以获得符合离心率和像素数判据的截线，因此，可能出现果实未成功判别的漏判现象(图12a)。如表1所示，严重贴碰时的果实漏判率从少量贴碰时的6.6%骤增至25.8%。同时，当视场角度内叶片姿态恰巧经深度球切割获得封闭截线或严重弯曲截线时，则出现叶片被误判为果实的现象(图12b)。但此类叶片恰巧姿态出现的概率较低，少量贴碰和严重贴碰时的叶片误判率分别为3.3%和5.3%。

图12 误判与漏判现象Fig.12 Misjudgment and misdetection phenomenons1、2.严重贴碰的叶片和果实 3.漏判的果实截线 4.特殊姿态叶片 5.误判为果实的叶片截线

3.4.3复杂枝上环境下的果实提取

图13所示为典型果、叶孤立与贴碰并存的复杂枝环境下所判出的果实截线结果。对多果、叶复杂枝环境，柑橘的前背景快速剔除、区域聚类划分和单次、多次深度球切割均得以快速实现，果实识别的综合成功率为63.8%。由枝上果实近景识别的视场范围和前、背景剔除所决定，每帧点云数据内被应用深度球截线方法检测的果、叶数量有限。

图13 复杂枝上环境与相应判出为果实的深度球截线Fig.13 Success fruit transversals in complex environment1.孤立果实 2、3.贴碰果实 4.孤立果实的截线 5、6.贴碰果实2、3的对应截线

试验发现，深度球截线的枝上果实识别方法具有较为突出的优势：

(1)由于深度球面切割直接利用原始深度值进行截线提取，有效利用了传感器的原始数据精度并大大降低了果实特征提取过程的复杂性，算法极为简单便捷。

(2)本方法将冠层内普遍存在的因果叶空间远近差异所导致的遮挡情况，利用点云聚类方法将其划分为孤立对象而得以准确检出，在少量贴碰下也能保证较高的识别率，因而对有效改善“重叠遮挡”问题对果实识别的巨大困扰具有重要价值。

4 结论

(1)基于柑橘的果、叶、枝对象分别具有实球体、片体和细柱体的三维几何特征与深度传感器能够采集对象深度点云的优势，提出一种柑橘果实识别的深度球截线方法，并分析了球切割参数对果实特征提取效果的影响。

(2)针对点云聚类后得到的果、叶孤立和贴碰区域，分别提出了孤立果实的特征提取算法和贴碰果实的特征提取算法，并提出了复杂枝上环境中果、叶孤立与贴碰并存情况下的果实识别策略。

(3)试验结果显示，深度球截线方法对孤立果实提取的平均成功率为97.8%，贴碰区域内果实提取的平均成功率为76.0%，而复杂枝环境下果实提取的综合成功率为63.8%。其中贴碰与复杂环境的对象过多或果、叶严重贴碰的情况会对果实提取的成功率造成影响。

(4)该深度球截线的识别方法仅依赖单一深度信息，能有效应对果叶遮挡问题，整体运算量也小于传统彩色信息，而且达到了较高的识别成功率。该方法为树上果实的全天候实时识别与定位作业提供了新思路。

1 苗中华，沈一筹，王小华，等.自然环境下重叠果实图像识别算法与试验[J/OL].农业机械学报，2016，47(6)：21-26.http:∥www.j-csam.org/jcsam/ch/reader/view_abstract.aspx?file_no=20160603&flag=1.DOI：10.6041/j.issn.1000-1298.2016.06.003.

MIAO Zhonghua，SHEN Yichou，WANG Xiaohua，et al.Image recognition algorithm and experiment of overlapped fruits in natural environment[J/OL].Transactions of the Chinese Society for Agricultural Machinery，2016，47(6)：21-26.(in Chinese)

2 王辉，毛文华，刘刚，等.基于视觉组合的苹果作业机器人识别与定位[J/OL].农业机械学报，2012，43(12)：165-170.http:∥www.j-csam.org/jcsam/ch/reader/view_abstract.aspx?file_no=20121230&flag=1.DOI：10.6041/j.issn.1000-1298.2012.12.030.

WANG Hui，MAO Wenhua，LIU Gang，et al.Identification and location system of multi-operation apple robot based on vision combination[J/OL].Transactions of the Chinese Society for Agricultural Machinery，2012，43(12)：165-170.(in Chinese)

3 司永胜，乔军，刘刚，等.苹果采摘机器人果实识别与定位方法[J].农业机械学报，2010，41(9)：148-153.

SI Yongsheng，QIAO Jun，LIU Gang，et al.Recognition and location of fruits for apple harvesting robot[J].Transactions of the Chinese Society for Agricultural Machinery，2010，41(9)：148-153.(in Chinese)

4 JIMÉNEZ A R，CERES R，PONS J L.A vision system basedon a laser range-finder applied to robotic fruit harvesting[J].Machine Vision and Applications，2000，11(6)：321-329.

5 冯娟，刘刚，司永胜，等.苹果采摘机器人激光视觉系统的构建[J].农业工程学报，2013，29(增刊1)：32-37.

FENG Juan，LIU Gang，SI Yongsheng，et al.Construction of laser vision system for apple harvesting robot[J].Transactions of the CSAE，2013，29(Supp.1)：32-37.(in Chinese)

6 ZHU J，WANG L，YANG R，et al.Fusion of time-of-flight depth and stereo for high accuracy depth maps[C]∥2008.IEEE Conference on Computer Vision and Pattern Recognition，2008：1-8.

7 孙力，蔡健荣，李永平，等.基于TOF成像技术的柑橘实时识别与定位[J].江苏大学学报：自然科学版，2013，34(3)：293-297.

SUN Li，CAI Jianrong，LI Yongping，et al.Real-time citrus recognition and location based on TOF image technology[J].Journal of Jiangsu University：Natural Science Edition，2013，34(3)：293-297.(in Chinese)

8 AS’ARI M A，SHEIKH U U，SUPRIYANTO E.3D shape descriptor for object recognition based on Kinect-like depth image[J].Image & Vision Computing，2014，32(4)：260-269.

9 ALHWARIN F，FERREIN A，SCHOLL I.IR stereo Kinect：improving depth images by combining structured light with IR stereo[M]∥PRICAI 2014：Trends in Artificial Intelligence.Springer International Publishing，2014：409-421.

10 LEHNERT C，SA I，MCCOOL C，et al.Sweet pepper pose detection and grasping for automated crop harvesting[C]∥IEEE International Conference on Robotics and Automation，2016：2428-2434.

11 董建民，陈伟海，岳昊嵩，等.基于Kinect视觉系统的西红柿自动识别与定位[J].中国农机化学报，2014，35(4)：169-173.

DONG Jianmin，CHEN Weihai，YUE Haosong，et al.Automatic recognition and location of tomatoes based on Kinect vision system[J].Journal of Chinese Agricultural Mechanization，2014，35(4)：169-173.(in Chinese)

12 BULANON D M，KATAOKA T.A fruit detection system and an end effector for robotic harvesting of Fuji apples[J].Agricultural Engineering International：The CIGR E-journal, 2010, 12(1)：203-210.

13 CHEN X，CHAUDHARY K，TANAKA Y，et al.Reasoning-based vision recognition for agricultural humanoid robot toward tomato harvesting[C]∥IEEE/RSJ International Conference on Intelligent Robots and Systems，2015.

14 麦春艳，郑立华，孙红，等.基于RGB-D相机的果树三维重构与果实识别定位[J/OL].农业机械学报，2015，46(增刊)：35-40.http:∥www.j-csam.org/jcsam/ch/reader/view_abstract.aspx?file_no=2015S006&flag=1.DOI：10.6041/j.issn.1000-1298.2015.S0.006.

MAI Chunyan，ZHENG Lihua，SUN Hong，et al.Research on 3D reconstruction of fruit tree and fruit recognition and location method based on RGB-D camera[J/OL].Transactions of the Chinese Society for Agricultural Machinery，2015，46(Supp.)：35-40.(in Chinese)

15 NGUYEN T T.Structured light-based 3D reconstruction system for plants[J].Sensors，2015，15(8)：18587-18612.

16 NISSIMOV S，GOLDBERGER J，ALCHANATIS V.Obstacle detection in a greenhouse environment using the Kinect sensor[J].Computers & Electronics in Agriculture，2015，113：104-115.

17 LI D，XU L，TAN C，et al.Digitization and visualization of greenhouse tomato plants in indoor environments[J].Sensors，2015，15(2)：4019-4051.

18 宗泽，郭彩玲，张雪，等.基于深度相机的玉米株型参数提取方法研究[J/OL].农业机械学报，2015，46(增刊)：50-56.http:∥www.j-csam.org/jcsam/ch/reader/view_abstract.aspx?file_no=2015S009&flag=1.DOI：10.6041/j.issn.1000-1298.2015.S0.009.

ZONG Ze，GUO Cailing，ZHANG Xue，et al.Maize plant type parameters extraction based on depth camera[J/OL].Transactions of the Chinese Society for Agricultural Machinery，2015，46(Supp.)：50-56.(in Chinese)

19 XIA C，WANG L，CHUNG B K，et al.In situ 3D segmentation of individual plant leaves using a RGB-D camera for agricultural automation[J].Sensors，2014，15(8)：20463-20479.

20 冯娟，刘刚，司永胜，等.基于激光扫描三维图像的树上苹果识别算法[J/OL].农业机械学报，2013，44(4)：217-222.http:∥www.j-csam.org/jcsam/ch/reader/view_abstract.aspx?file_no=20130438&flag=1.DOI：10.6041/j.issn.1000-1298.2013.04.038.

FENG Juan，LIU Gang，SI Yongsheng，et al.Apple fruit recognition algorithm based on laser scanning 3-D image[J/OL].Transactions of the Chinese Society for Agricultural Machinery，2013，44(4)：217-222.(in Chinese)

Depth-sphereTransversalMethodforon-branchCitrusFruitRecognition

LIU Jizhan ZHU Xinxin YUAN Yan

(KeyLaboratoryofModernAgriculturalEquipmentandTechnology,MinistryofEducation,JiangsuUniversity,Zhenjiang212013,China)

Considering the three-dimensional geometric characteristics of the fruit, leaf and branch objects of citrus are real sphere, slice and thin cylinder, and together with the advantage of depth sensors can collect the depth point cloud of the object.A method to recognize citrus fruits based on depth-sphere transversal was proposed.Firstly, the basic principle and the key parameters of the depth-sphere transversal method for spherical fruits feature extraction were proposed.Secondly, point cloud clustering and regional division method were used to obtain isolated and adhering area, and the feature extraction algorithms of isolated fruits and adhering fruits were put forward to fruit and leaf in isolated areas and fruits or leaves in touching areas, respectively.In addition, in-depth data processing and fruits recognition strategy of a complex environment were obtained.According to the Intel RealSense F200 depth sensor parameters, citrus fruit size, close-range detection range, data preprocessing and the requirements for feature extraction algorithm to determine the parameters of the depth-sphere transversal method were carried out.A large number of indoor tests results indicated that the average success rate was 98.4% by the depth-sphere transversal method in isolated area, and the average success rate was 76% in touching region, while the comprehensive success rate was 63.8% in complex environment.The depth-sphere transversal identification method only used the limited depth data points to ensure the accuracy of the original data and at the same time to reduce the amount of computation and the complexity of fruit feature extraction.This can effectively deal with the problem of fruit and leaf occlusion, and achieve the effective distinction between sticking fruits and leaves.The method had a good adaptability to the citrus fruit, which provided a new idea for robots to recognize and locate fruits in complex environment.

citrus; picking; recognition; depth information; sphere transversal; feature extraction

10.6041/j.issn.1000-1298.2017.10.004

TP391

A

1000-1298(2017)10-0032-08

2017-02-21

2017-03-24

国家自然科学基金项目(51475212)、江苏省自然科学基金项目(BK20151339)、江苏省高校自然科学研究重大项目(16KJA210002)和江苏省高校优势学科建设工程项目(PAPD)

刘继展(1976—)，男，研究员，博士生导师，主要从事农业机器人研究，E-mail: liujizhan@163.com