基于超红图像与轮廓曲率的苹果目标识别与定位方法研究

张传栋++徐汉飞++陈弘毅++宋怀波

摘要：为实现苹果目标的识别及其空间定位，提出了一种自然场景下苹果目标的识别与定位方法。该方法首先将RGB颜色空间转换至HIS颜色空间以得到自然场景下苹果图像的色调分量H和饱和度分量S，为了充分利用其色调信息，采用了基于超红图像的苹果目标识别方法并应用基于区域的分割方法实现了目标的有效分割；接着利用轮廓曲率法抽取连续光滑的轮廓曲线并估计该光滑曲线段的圆心及其半径参数，实现果实的定位；最后利用逐行扫描法，结合苹果生理特性，实现了苹果采摘点的有效定位。为了验证算法的有效性，利用50幅富士苹果图像进行了试验。试验结果表明，苹果及其果柄的识别率在80%以上，对于轻度遮挡的苹果目标，基本满足其定位要求。

关键词：农业电气化与自动化；苹果图像分割；目标定位；轮廓曲率；HOUGH圆拟合

中图分类号：TP391.4

文献标识码：A

DOI：10.3969/j.issn.1003-6970.2015.08.007

0 引言

果实目标的准确识别与精确定位是采摘机器人视觉系统必须解决的关键问题。在自然条件下，果实目标的识别易受天气、果实遮挡等诸多因素的影响，识别难度大，准确率不高。运用计算机视觉技术，结合果实目标轮廓特征来实现自然场景下苹果果实目标的准确识别是解决该问题的有效手段，受到了广泛关注。

在果蔬采摘机器人机器视觉方面，研究人员开展了大量的研究工作。D'Esnon等采用彩色视觉系统对树上苹果进行检测，通过对彩色图像分割得到二值图像后找到各水果区域的中心。杨国彬等直接使用RGB分量作为贝叶斯分类器的输入进行目标与背景的分类，由于图像的复杂性，其效果并不稳定。赵杰文等研究了基于HIS（Hue，Intensity，Saturation）颜色特征的田间成熟番茄识别技术，实现了成熟番茄目标的准确提取。张铁中等提出了一种基于彩色空间参照表的果实目标提取分割算法，为该类型目标的准确识别提供了新的思路。荀一等针对单果遮挡目标的识别问题，根据其轮廓曲率变化情况，通过提取连续光滑轮廓线段并进行圆拟合的方式，较好地实现了苹果目标的识别。

鉴于上述，本研究拟提出一种基于轮廓曲率的树上苹果目标识别与定位方法，首先将采集到的图像在HIS颜色空间下进行预处理操作，并选择基于区域分割的方法，同时结合数学形态学理论进行图像分割，较好地实现目标与背景的分离；然后运用轮廓曲率特征得到光滑轮廓曲线并进行圆心及半径等参数的估计，并通过圆拟合方法得到苹果的准确位置；最终实现苹果采摘点的精确定位。

1 基于HIS颜色空间和区域分割的苹果目标分割

1.1 RGB颜色空间与HIS颜色空间的转换

合适的颜色空间是实现目标分割的基础，常见的RGB颜色空间将颜色看作是三基色的组合，但各分量之间存在很强的相关性，其细节难以进行数字化的调整。HIS颜色模型可以反映人的视觉系统感知彩色的方式，以色调、饱和度和强度3种基本特征量来表示给定颜色。由于人的视觉对亮度的敏感程度远强于对颜色浓淡的敏感程度，为了便于色彩的处理和识别，人的视觉系统经常采用HIS色彩空间，它比RGB色彩空间更符合人的视觉特性。所以本研究选择在HIS颜色空间下进行苹果目标的分割。

RGB颜色空间转换到HIS颜色空间的转换公式如式（1）所示，在HIS颜色模型中取色调H作为特征量进行统计分析其中色调H的取值由式（2）所示。经过变换后，即可将相互关联的R、G、B分量转换为相互独立的色调（H）、饱和度（S）和强度（I）3部分。

RGB颜色空间与HIS颜色空间转换的结果如图1所示。其中，图1（a）为原始彩色苹果目标图像，可见在自然场景下，受到光照等因素的影响，苹果表面存在了大量的阴影等信息，完整识别目标的难度极大。图1（b）为色调子图像，通过图1（b）可以看出苹果目标区域的色调值依然得到了较好地保留。图1（c）、（d）分别为饱和度子图像及其亮度子图像，可见在饱和度与亮度子图像中，目标与背景间差别较小，难以用于果实目标的分割。因此，本研究提出了一种充分利用果实色调信息进行目标的分割的方法。

1.2 基于超红图像的苹果果实识别

结合图1（a）和图1（b）可以发现，虽然果实目标整体颜色偏红，但由于阴影等因素的影响易被误分为背景。因此，为了达到红色调信息的有效利用，本研究利用超红图像来进行目标的分割，所用超红图像I_r的公式如式（3）所示。

I_r=n*R-G

（3）

式中，n为超红图像的系数，针对苹果目标的识别，一般有n>l，针对本文获取的图像目标，经过大量测试后，本研究选择n=1.3。

利用红色调信息增强对图1（a）进行处理的结果如图2所示，其中图2（a）为所得的超红图像，可见经过充分利用红色调信息，可以较好地去除背景信息的影响，突出果实目标区域。图2（b）为利用Otsu自适应阈值二值化后的结果，可见经过二值化处理后，成熟苹果的部分被很好地提取了出来。图2（c）为对图2（b）滤波、去除噪声后的图像，可见大部分果实目标均得到了较好地识别，目标外侧轮廓均得到了较好地提取，有利于后续进行目标的定位。

果实目标的精确定位是实现采摘机器人准确采摘的基础。对于苹果目标，一般将其近似为圆形目标，快速而准确地检测类圆目标在计算机视觉领域，特别是自动检验和装配领域有着广泛的应用前景。Hough变换方法是检测圆及类圆目标的有效方法。利用Hough圆变换算法对图2（c）进行处理后的结果如图2（d）所示，经过处理后，基本可以完整的定位至果实目标区域，但经过二值化处理后的目标多存在空洞、分割不完整及轮廓不平滑等问题，故而其定位效果还有待进一步提高。果实目标的边缘轮廓是目标识别和定位的关键信息，受分割算法的影响，分割后的目标轮廓存在大量伪轮廓，为了去除其对目标识别的影响，本研究利用参考文献所提出的轮廓曲率方法进行处理，以实现果实目标的精确定位。

2 基于轮廓曲率特征的果实识别与定位

2.1 轮廓曲率法的基本原理

苹果目标在果实花萼和果柄连线两侧的区域轮廓较为平滑，轮廓曲率的变化较小，而果实、花萼区以及轮廓非平滑区域，其轮廓曲率变化较大。因此，将若干段完整的苹果轮廓进行提取，通过判断其曲率特征的变化，即可寻找到适合的轮廓段进行目标定位。

假设轮廓线上某一点为p₁（x_{1122233311图3为轮廓曲率示意图，其中，θi（i=1，2）为分割点p1的切线角。按照上述轮廓曲率计算方法，以轮廓线左上方的点作为起始点，按逆时针方向对苹果轮廓线进行跟踪，间隔采样并计算曲率。采样点之间较为平坦的曲线相对应的曲率变化较小，其曲率的变化反映了轮廓线的变化情况，通过分段计算曲率即可将实现果实目标轮廓线的识别，并可将其看作圆弧进行圆拟合：（1）当目标轮廓线上存在一段或多段圆弧且采样点较少时舍去；（2）当只有一段圆弧时，圆弧所在圆的半径R，为圆弧上采样点的平均曲率，再由几何关系确定圆心的位置从而得到拟合圆；（3）当有多段圆弧时，分别对所有圆弧按照第2条进行操作，取包含目标像素点的个数最多的圆作为拟合圆。}

2.2 定位中心点的选取及采摘点的确定方法

中心点的准确判断是果实目标精确定位的又一关键因素，目前关于圆心坐标的确定方法主要有基于Hough变换及其改进方法和基于几何方法的圆心确定方法等。其中最常用的方法是找出已分割目标的外接矩形，通过矩形对角线交点的交集来确定圆心。该方法简单方便但会导致极大的误差。本文采用利用切线性质求取圆心的方法，首先作边缘图的切线，然后作与切线垂直的直线，如此重复求得大量的直径数据，由于所选取的边缘为足够平滑，其直径相交于某个小区域，故而可利用该方法在这个小区域内搜索圆心坐标值。

由于果实生长的随机性，特别是当多个果实叠加在一起时可能导致某些果实采摘点偏离过中心的垂直线，所以需要找到一种简单方便的定位方法来定位采摘点。具体做法是逐行扫描每个苹果，每个果实都是类圆目标，所以扫描结果会先增大后减小，找到距离最大的行，则苹果的采摘点（即果柄）就在扫描结果最大行的垂直平分线上。具体效果如图4所示。其中图4（a）为原始图像，图4（b）为果柄位置（及采摘点）图像，可见利用该方法基本可以实现果实采摘点的定位。

3 试验结果与分析

为了验证文中所使用算法的有效性，利用在自然场景下所获取的50幅富士苹果目标图像进行算法的测试。在所选择的样本中，部分目标存在遮挡、重叠等影响。

3.1 识别准确性分析

采摘机器人需要对自然光照条件下的苹果进行识别工作。根据情况不同，进行了多组试验以验证本研究算法的适用性。苹果果实的识别率可定义如下：

平均识别率=识别出的苹果/图像中苹果的总个数×100%

（15）

利用文中所述所得到的部分结果如图5所示。其中图5（a）为部分遮挡情况，图5（b）为部分遮挡且未完全成熟情况，图5（c）为无遮挡向光情况，图5（d）为果实间部分遮挡情况，图5（e）为含远景部分遮挡情况，图5（f-j）分别对应测试图像的试验结果。

3.2 识别结果统计

依据上述算法，分别选取25幅全景和近景图像，对算法进行试验统计，部分全景图像识别结果如表1所示。苹果总数为5个人对同一幅全景图像主观计数的平均值，识别个数为拟合圆的数目。全景图像苹果识别率约为83.6%。误差产生的原因主要有：（1）部分苹果在图像中的可观测表面较小，被当作小目标去除；（2）树叶或枝条的遮挡把苹果分为几个部分，每部分被当作独立苹果进行处理将引起误差；（3）苹果为准球形果实，用圆拟合会带来误差。对于近景图像，只对面积最大的苹果进行分析，识别率较高约为91.5%，果柄识别率为88.4%。

4 结论

苹果目标的准确识别和精确定位是研制苹果采摘机器人必须解决的关键问题。为了实现自然场景下苹果目标的识别与定位，在HIS颜色空间确定苹果目标与图像背景的色调信息具有较大区别的前提下，利用超红图像较好地实现了苹果目标的识别，结合轮廓曲率方法得到目标定位的基本参数，同时根据富士苹果的生理特征，采用逐行扫描的方式实现了采摘点的定位。试验结果表明，利用文中算法所得到的目标识别与定位成功率在80%以上，基本满足采摘作业的需求，充分证明了文中算法的有效性。但也可以发现，该算法对于多苹果重叠目标及遮挡苹果目标的识别效果较差，尚待进一步研究。