果园环境下采摘机器人水果目标识别算法探究

摘 "要：该文研究果园环境下绿色阳光玫瑰葡萄的果实图像分割和定位方法。在分析了顺光、逆光和夜间3种光照情况下的采集图像后，选取最能体现绿色葡萄果实的颜色分量作为分割算法的输入图像。利用最大类间方差法（OTSU）和支持向量机法（SVM）实现果实和背景区域的分割。实验结果对比表明，绿色葡萄在夜间的识别率高于晴天顺光和逆光的情况。比较2种算法的准确率，可以发现SVM算法在晴天顺光和逆光时的准确率更高，而OTSU算法在夜间情况时较高，达到了98.7%。

关键词：绿色葡萄；图像分割；OTSU算法；SVM算法；机器视觉

中图分类号：TP242 " " " 文献标志码：A " " " " "文章编号：2096-9902（2024）09-0025-05

Abstract： The method of fruit image segmentation and location of green sunshine rose grape （aka. Vitis Labrusca） in orchard environment was studied in this paper. After analyzing the captured images under the conditions of smooth light， backlight and night light， the color component which can best reflect the green grape fruit is selected as the input image of the segmentation algorithm. The maximum inter-class variance method OTSU and support vector machine method SVM are used to segment fruit and background regions. The experimental results show that the recognition rate of green grapes at night is higher than that of smooth light and backlight in sunny days. Comparing the accuracy of the two algorithms， we can find that the accuracy of SVM algorithm is higher in sunny days with smooth light and backlight， while OTSU algorithm is higher at night， reaching 98.7%.

Keywords： green grape; image segmentation; OTSU algorithm; SVM algorithm; machine vision

葡萄是世界上最古老的果树品种之一，世界各地均有栽培。针对葡萄采摘的季节性强、工作强度大、人工成本高等问题，采摘机器人的应用和推广具有重要的意义。

采摘机器人在采摘葡萄果实之前，首先要通过目标识别系统将果实从复杂的自然环境中识别出来。目前，针对果实采摘机器人的识别方法主要有基于颜色空间的识别方法和基于几何形状、纹理特征的识别方法。本文研究的是绿色阳光玫瑰葡萄，其果实与背景颜色相近，首先对葡萄的颜色特征进行分析，选择并提取最能凸显绿色葡萄的颜色分量；然后采用OTSU法和SVM法对自然环境下的绿色阳光玫瑰葡萄进行图像分割和识别。

1 "图像采集及分析

1.1 "葡萄图像的采集

本项目以嘉兴骏辉生态有限公司种植的绿色阳光玫瑰葡萄为研究对象，相机拍摄距离约为2 m，图像大小为3 648像素×2 736像素。为了减少图像的处理时间，将图像大小调整至640像素×480像素。采集的图像包括晴天顺光、晴天逆光、晴天夜间3种不同光照条件，3种光线情况下各采集葡萄图像200余幅。

1.2 "颜色特征的分析

通过对比、分析绿色阳光玫瑰葡萄果实和枝干、叶子等背景颜色的差异性，选择最能体现绿色葡萄果实的颜色分量作为果实图像分割算法的输入图像。将相机采集的果实RGB图像通过一定的变换转换成Lab、YCbCr和HSI等几种常见的颜色空间。

1.2.1 "RGB颜色空间

RGB颜色成为三原色，是图像处理中最基本的颜色模型。该模型根据红色（Red）、绿色（Green）和蓝色（Blue）3个分量的亮度定量来显示。当光照亮度改变时，R、G和B分量即会随之改变。因此，RGB颜色空间不适合进行图像的分割。

1.2.2 "Lab颜色空间

自然界中的任何色彩都可以用L、a、b 3个数值进行描述，与RGB颜色空间相比，Lab颜色空间模型涉及的算法复杂度高，所需要的计算时间也相对较长，但是Lab颜色空间模型不受外界因素的影响，能较好地反应目标物体的颜色。

1.2.3 "YCbCr颜色空间

YCbCr颜色模型单独将亮度这个信息量分离，能够有效地克服光照亮度对目标图像的干扰，普遍地应用于图像检测和分割领域。

1.3 "颜色分量的提取

绿色阳光玫瑰葡萄成熟后呈黄绿色，其果实与背景颜色相近。在对相机采集的600幅果实图像进行颜色空间的特征分析后，发现晴天顺光情况下，葡萄果实在Lab颜色空间的b分量值明显高于背景；在逆光情况下，葡萄的2R-G-B分量值较明显；在夜间情况下，葡萄在Lab空间的L分量值较明显。适合用于葡萄图像的分割和识别。图1为绿色阳光玫瑰葡萄在晴天顺光、逆光和夜间情况下的颜色空间分量图。

2 "果实图像分割算法

2.1 "基于颜色空间的OTSU图像分割

OTSU算法又叫做最大类间方差法，是一种图像灰度自适应阈值的分割算法，能够较好地将目标图像从背景中分离提取出来。在提取图像的过程中，由于葡萄果实颗粒之间的间隙、果实与背景叶片颜色相近、光照情况等因素，会造成一定程度的误差，因此在图像OTSU分割后，需要通过一系列的数学形态学运算来优化图像分割的效果。

首先，利用孔洞填充的方法消除因葡萄果粒间隙引起的小型孔洞。通过删除小面积对象的运算去除目标图像之外，因颜色相近或是光照强度等问题而存在的噪声误区。然后，再通过开运算和闭操作，消除细小的物体，光滑目标对象的外部轮廓，同时基本不影响目标图像的面积。最后，通过三维重构法对分割出的图像目标进行还原，并在获取的RGB图像中对其进行定位。利用regionptops函数获取图像区域的属性，并绘制葡萄果实轮廓的最小外界矩形。自然环境下基于OTSU算法的葡萄果实图像分割和目标识别过程如图2所示。

2.2 "基于SVM的图像分割

SVM算法是一种建立在结构风险最小化和VC维理论基础上的核学习方法。采用SVM算法对彩色葡萄图像进行分割的关键在于模型的构造，即寻找一个最优的分类超平面，将目标样本和背景完美地分隔。

本文在传统方法的基础上进行了改进，基于采集的RGB图像选取像素峰值附近的样本点创建训练集，利用训练好的SVM模型对葡萄图像进行分析，通过决策函数判定图像中各个像素点所属的类别，从而进行图像的分割和目标的定位。自然环境下基于SVM算法的葡萄果实图像分割和目标识别过程如图3所示。

2.3 "2种算法的对比

选取顺光、逆光和夜间3种不同的光照条件，各采集200余幅绿色阳光玫瑰葡萄的RGB图像，利用MATLAB对采集图像进行识别处理，并将重建图像与原图像进行对比分析，可获得绿色葡萄果实的Dice值，见表1。

根据葡萄果实的识别效果分析可知：在晴天顺光时选取Lab颜色空间中的b分量，通过OTSU算法绿色葡萄果实的识别率可达90.99%，通过SVM算法可达到91.76%。在晴天逆光情况下选取RGB颜色空间的2R-G-B分量，2种算法的果实识别率分别达到84.50%和87.54%。在夜间情况时选取Lab颜色空间的L分量，2种算法的果实识别率可高达98.70%和97.57%。

3 "结论

从葡萄果实的识别效果表中分析可知：在夜间状况下，绿色葡萄的果实图像分割和定位最为精准，2种算法均可达到97%以上，晴天顺光情况次之，而晴天逆光情况下的果实识别率最差。在晴天顺光和逆光2种光照强度下，OTSU算法比SVM算法的果实识别率普遍较低一些，而在夜间时，基于OTSU算法的图像分割精确度却比SVM算法高。不同光照情况下绿色葡萄的识别效果及目标定位如图4所示。

自然环境下的绿色葡萄目标识别和定位一直是采摘机器人领域的一个研究难点。本文对果园环境下3种不同光照强度的葡萄图像进行了研究，通过分析葡萄果实和果园背景在各颜色空间的分布情况，利用OTSU算法和SVM算法对其进行了目标图像的分割和识别，并取得了理想的结果，为采摘机器人对葡萄果梗采摘点的检测和确定奠定了基础。

参考文献：

[1] 郑太雄，江明哲，冯明驰.基于视觉的采摘机器人目标识别与定位方法研究综述[J].仪器仪表学报，2021（9）：41.

[2] 罗陆峰.视觉感知的葡萄机器人采摘行为及虚拟试验[D].广州：华南农业大学，2017.

[3] 王成琳.基于光照均值化的多类水果采摘机器人双目视觉定位研究[D].广州：华南农业大学，2018.

[4] 李凤丽.基于机器视觉的水果识别与定位技术研究[D].曲阜：曲阜师范大学，2018.

[5] 景晓梅.自然环境下苹果目标的识别算法研究[D].西安：西安科技大学，2020.

[6] 张丹丹，章光，陈西江，等.改进YCbCr和区域生长的多特征融合对的火焰精准识别算法[J].激光与光电子学进展，2020，57（6）：226-237.

[7] 林启招，孙永科，邱坚.基于YCbCr颜色空间的木材纹理检测技术[J].信阳农林学院学报，2020，30（3）：100-103，112.

[8] 章怡，王海峰.一维对象复杂度的灰度图像分割算法[J].太赫兹科学与电子信息学报，2020，18（6）：1058-1064.