基于颜色模型和阈值分割的有遮挡的柑橘果实识别算法

李欣 王玉德

关键词：遮挡柑橘果实;目标定位;数字图像处理;YCbCr颜色模型;OTSU阈值分割法

我国是柑橘生产大国，柑橘的年产量和销量位居世界前列，对柑橘生产实行农业自动化是柑橘果园管理中至关重要的环节。目前，柑橘果园依然大多采用人工逐一采摘的方式收获成熟的柑橘果实，采摘过程耗时较长，劳动强度大，人工成本高，使用机器代替人工采摘成为农业生产中亟待解决的问题。近年来，随着机器视觉和人工智能技术的迅猛发展，新的图像处理与分析的研究方法层出不穷，图像分割技术在农业生产方面的应用吸引了众多研究学者的关注。司永胜等针对与背景色彩相近的绿色苹果，提出了一种基于K-means聚类的苹果图像分割方法，在逆光和顺光条件下果实的识别正确率约为81%，但对有遮挡苹果的识别正确率较低。李昕等研究出一种类圆的随机Hough变换改进算法，用于识别自然环境下被遮挡的油茶果实，在光照条件下其识别率达90.70%。张润浩等为有效分割苹果目标，采用了一种基于YUV空间色差分量和高斯自适应拟合算法，果实平均检出率达87.08%。

基于上述研究，提出了基于YCbCr颜色空间模型和OTSU阈值分割技术对枝叶遮挡条件下的柑橘果实进行分割的方法，实现有遮挡的柑橘果实的准确分割与检出。

1果实识别分割算法

为准确地实现有遮挡的柑橘果实的分割，文中将图像分割技术与物体识别方法相结合，基于图像的颜色特征和最大类间方差法分割柑橘果实，算法流程如图1所示。

算法具体实现步骤为：

a）对采集的图像进行尺寸归一化等预处理;

b）图像由RGB空间转换到YCbCr颜色空间，提取Cb分量;

c）设定阈值，进行OTSU阈值分割;

d）去除步骤b）得到的图像中的噪声干扰，分割出有遮挡果实;

e）对图像进行Sobel边缘检测，得到有遮挡果实的边界，提取边界的最外层像素点，形成凸壳，降低被遮挡区域对果实完整轮廓特征的影响;

f）根据步骤e）获得的凸壳像素点坐标，以距离最远的两像素点为果实直径，定位目标果实，完成在原图中对果实的标记。

1.1 YCbCr颜色空间模型

YCbCr颜色空间模型是由YUV颜色模型经缩放和偏移形成的。在YCbCr颜色空间中，Y与Cb、cr分量相互独立，分别代表亮度和色彩特征，其中Cb为蓝色偏移分量，cr为红色偏移分量。该模型中的每一种颜色可以看作红、绿、蓝三种颜色的加权组合。YCbCr颜色空间模型和RGB颜色模型可以通过式（1）和式（2）相互转化：

1.2 OTSU阈值分割

OTSU阈值分割算法，又被称为大津算法，是一种基于模式分类思路的阈值分割算法。对一幅图像I，存在某一分割阈值T，令大于该阈值的像素为背景，小于该阈值的区域则为前景，即感兴趣区域。前景和背景像素的灰度平均值分别为，前景像素数与图像总像素数之比为，背景像素数与图像总像素数之比为，由公式（3）和公式（4）分别计算图像总的灰度平均值和方差。使T遍历图像所有灰度值，当方差取得最大值时，T标记为最适分割阈值。方差反映了图像灰度分布均匀性的情况，方差越大，前景和背景的像素差别越大，当前景被错误划分为背景或者背景被错误划分为前景时，方差的值会变小，所以使类问方差最大的阈值选择保证了前景和背景错分概率最小。

为检测阈值分割效果，使用Photoshop磁性套索工具提取出果实的实际区域，引入以下四个指标对分割算法进行评价。

式（5）～式（8）中，TP为实际果实区域与分割果实区域交集的像素点个数，FP为不在实际果实区域但被判定为果实区域的像素点个数，FN表示在实际果实区域但被判定为背景区域的像素点个数，TN表示既不在实际果实区域也不在分割果实区域的像素点数。准确率表示分割前景和背景判定正确的像素占样本图像总像素的百分比，精确率描述正确分割的果实区域像素占分割果实像素总数的比例，召回率描述正确分割的果实区域像素与实际果实像素数之比，交并比表示正确分割的果实区域像素占实际和分割的果实区域总像素的百分比。

1.3凸包运算

为准确提取果实的边界特征，降低遮挡对果实识别的影响，使用凸包算法提取目标凸壳。凸壳定义为包含该点集的最小凸集，是集合所有点的边界_。如图2所示，凸包算法的基本实现思路如下：

考虑柑橘果实类圆轮廓特征，其相邻像素点距离较近，对果实边界提取凸壳时，凸壳顶点构成的区域与部分原始轮廓重叠，可以有效提取出部分果实类圆边界，减少枝叶遮挡对果实边界轮廓特征的影响。

2实验与结果分析

实验中，采集自然状态下被枝叶遮挡的柑橘果实图片作为实验样本图片，图像尺寸设置为500×350像素，部分样本图片如图3所示。实验用计算机配置为英特尔酷睿15处理器、主频为2.5GHz、内存为8.00GB，软件为MATLAB R2016a。

图3，从RGB颜色空问转换到YCbCr颜色空间中，提取出Cb分量。由图4可以看出，Cb分量显示的果实和背景差异明显，其柑橘果实颜色较暗，像素值较小，而背景的颜色较亮，像素值较大。遍历图像所有灰度值，由公式（3）和公式（4）计算出方差最大时的阈值即为图像分割的最佳阈值，对图4进行OTSU自适应阈值分割，像素二值化反转，结果如图5所示。

从图5可以看出，图像中部分背景被误分割为果实区域，形成背景噪声，这些干扰像素互相组合形成了或大或小的连通区域。将未与目标区域连通的噪声像素值设置为0，针对与目标像素连通的噪声部分，采用形态学腐蚀和膨胀操作消除干扰像素点。由于光照等条件的影响，果实内部存在细小的空洞。对目标区域进行空洞填充，并使用中值濾波平滑果实边界轮廓，如图6所示。

在上述算法分割的基础上，对果实分割效果进行定量评价。由表1可以看出，该算法分割准确率和精确率平均可高达95.40%和99.84%，召回率和交并比较高，果实分割效果较好。

观察图6，可以看出柑橘果实区域已经被准确分割出来，但由于果实被树枝和叶片遮挡，导致图像中果实的部分边界轮廓缺失，无法分割出完整的果实区域。为了减少遮挡对果实识别的影响，对图6采用Sobel边缘检测。Sobel边缘检测根据一阶导数求取极大值的原理，先对灰度进行加权平均，然后进行微分运算，从而准确检测目标边缘，抑制噪声影响。使用凸包算法提取目标果实区域最外层像素点，形成凸壳，如图7所示。

遍历凸壳上的所有点，计算两像素点问的距离L，取L最大值时两点的坐标，作为类圆目标直径的两端点，定位出目标果实，并在原图像中标记，识别结果如图8所示。

为了检验算法的准确性和实用性，采集200张有遮挡的柑橘图像，共378个果实，统计算法正确识别的柑橘果实数量，计算识别检出率和错检率。如表2所示，使用算法分割和识别枝叶遮挡的柑橘果实，检出率可达90.48%，实现了有遮挡的目标果实的识别，分割检测准确率较高。但算法对于光照条件过强的柑橘图像的识别效果还有待提升，其原因是光照过强使得颜色模型对柑橘果实的分辨效果减弱，难以分割出有效的果实区域。

3结论

自然环境下生长的柑橘，枝叶与果实之间往往存在相互遮挡的复杂位置关系，增加了果园机器识别的困难程度。研究了基于Ycbcr颜色空间模型和OTSU自适应阈值分割法分割有遮挡的果实区域，结合了边缘提取和凸壳算法标记有遮挡果实的边界轮廓，拟合出了果实类圆边缘，实现了对有遮挡柑橘果实的分割和定位识别，检出率可达90.48%。通过计算机视觉和数字图像处理技术实现了对有遮挡的柑橘果实的目标识别，为自然环境下柑橘园使用机器识别果实，缓解人工采摘压力提供了理论依据和实践支撑，适用于果园自动化采摘的果实定位阶段，有利于果实识别和采摘机器人的进一步研究。