图像中成熟苹果果实定位方法研究

李宏利，刘全中

(西北农林科技大学 信息工程学院，陕西 杨凌　712100)



图像中成熟苹果果实定位方法研究

李宏利，刘全中

(西北农林科技大学 信息工程学院，陕西 杨凌712100)

摘要：针对目前苹果果实图像定位中存在的准确度较低、速度较慢等问题，在分析比较的基础上，对苹果果实定位方法进行了进一步的思考和研究。以3点确定圆算法为中心，配合图像中树枝树叶部分的分割、果实边缘的检测及去除图像的噪声等技术，以使处理速度满足实时要求，并使果实定位结果准确。经测试，本方法对成熟苹果果实具有较好的定位效果。

关键词：苹果图像；果实定位；圆检测

0引言

机器人采摘苹果是我国果蔬业自动化程度的重要体现。随着科学技术的快速发展，机器人采摘苹果已经成为苹果采摘技术的热点；但快速准确识别定位成熟果实既是机器人采摘苹果的技术难点，又是研究的热点。

文献[1]～[6]采用Hough进行目标定位研究，文献[7]～[8]通过曲率对苹果果实进行识别和定位。但是已有研究表明：通过Hough变换、圆曲率等方法进行目标轮廓提取及定位时, 轮廓像素点过多会产生较多冗余圆，定位效率低下。

为此，本文主要以成熟苹果图像为研究目标。首先，对果实图像进行分割去噪处理；其次，对目标轮廓进行提取，并对轮廓边缘进行了细化处理，对细化后的边缘进行无效点合并处理，减少了无效像素点对算法的影响；最后，采用3点确定圆的方法获得苹果果实的几何参数。

1图像预处理

本文以处于收获期的红富士苹果为研究对象。在苹果成熟季节，使用Nikon COOLPIX S6150型号数码相机，在陕西杨凌农民果园实地拍摄200幅图像。其中，顺光图像120幅，逆光图像80幅；图像格式为jpg，图像大小为1 024×768像素。

1.1果实图像分割

针对红色苹果果实、绿色树叶和棕色树干，常用比较像素点中R、G这两个值大小的方法进行果实图像分割；但RGB色彩空间中的颜色数量多，直接比较R和G的值所获得的效果与要求误差较大。在测试中用从R/1到R/2之间的值分别与G的值进行比较，发现R/1.7与G的值进行比较时的效果最好。若R/1.7>G，则保留该像素；否则，将该像素点置换为白色。当树叶等其它背景遮挡果实时，会对定位效果产生一定的误差，一般情况下，只要遮挡面积不大于50%时，误差较小，定位效果可以满足要求。测试效果如图1所示。

图1　图像分割前后对比

1.2图像去噪

自然场景下获取的苹果果实图像有噪声，会降低图像的质量，影响目标的识别和提取。因此，必须对图像进行降噪处理。

通过对比分析最小值滤波、中值滤波和最大值滤波3种方法，经过多次测试本实验所用苹果果实图像并比较处理效果，最终采用的中值滤波的方法来进行图像去噪，效果如图2所示。

图2　去噪后苹果果实图像

1.3边缘检测

经过前期处理所得到的图像虽然在很大程度上保留了所需要信息，但要提高图像定位和几何参数的获取效果，还需对图像进行边缘检测及二值化处理。综合比较Sobel算子、Prewitt算子和Laplacian算子，并对以上算子测试结果进行分析后，采用Laplacian算子进行边缘检测，确定阈值为0.5。当像素点的灰度值大于0.5时，像素点颜色替换为白色；否则，替换为黑色。所得效果如图3所示。

图3　边缘检测及二值化处理后图像

2定位苹果果实

苹果果实轮廓图像近似圆，可以用圆的几何参数表示果实在图像中的位置及大小。

2.1边缘上点的选取

经过前期处理获取的果实边缘实际上是由块状的像素点聚集而成的，因此要较好地获取轮廓的圆参数，还需对果实边缘作进一步处理。

2.1.1细化边缘

将果实边缘转化成一系列单独的像素点，细化果实边缘，为后期取获取像素点及定位等操作做准备。

算法的设计思路：将图像中每3×3大小模块的像素点转换为1个像素点。经前期处理的图像是由黑色和白色两种像素点组成，若当前像素点为白色，则该像素点的值g(x，y)为0,；若为黑色，则g(x，y)的值为1。像素点计算式为

g(x，y)=∑g(x+k，y+n)k，n∈(-1，0，1)

(1)

若像素点的值g(x，y)>4，则像素点显示为黑色；否则，显示为白色。边缘细化后可以提高算法效率，降低无效像素点对后续处理的影响。边缘细化处理效果如图4所示。

图4　细化边缘后图像

2.1.2合并无效点

细化后果实边缘较平滑的部分，有很多像素点在一条直线上，会影响圆参数的获取。因此，为了在果实边缘上提取有效的特征点，需对无效点进行合并。

合并无效点包括合并垂直方向无效点和水平方向上无效点，这两个方向上处理方式类似。因此，主要讨论垂直方向无效点合并方法。

从左向右扫描细化后果实边缘图像，如果在垂直方向上出现若干个连续的点(由于在细化边缘部分，是将每3×3大小的模块的像素点转换为1个像素点，因此垂直方向距离为3，即认为是连续的点)，则将这些点合并为1个点。方法是将使合并点的位置置于该线段的中间，该像素点位置(x，y)的计算公式为

(2)

其中，i为垂直方向上若干个连续点中检测到的第1个点的水平坐标；j为该点垂直坐标。

当该段连续点合并完成后，继续沿着该垂直线向下检测，若有连续的像素点则按照前述方法进行合并，直到该垂直方向上的所有点都检测完；再将扫描线向右移动3个像素距离，继续上述操作，将整副图像扫描完成为止。垂直方向上去除无效点效果如图5所示。

图5　垂直方向合并

2.2根据3点画圆

根据3个点确定圆的方法，在前期处理的基础上，在图像中每取3个点可以确定出1个标准圆，从而得到果实圆参数。圆心位置和半径如图6所示。

图6　三点确定圆示意图

(3)

当y1≠y2且y2≠y3时，L1的斜率k1和L2的斜率k2都存在，此时圆心O的坐标为

(4)

当y1=y2时，L1的斜率k1不存在，此时圆心O的坐标为

(5)

当y2=y3时，L2的斜率k2不存在，此时圆心O的坐标为

(6)

若已知圆心和圆上任意一点的坐标，则可以计算得到圆的半径r，即

(7)

由圆心和半径可以确定一个标准圆，用以以描述果实位置和大小。在本文中，根据圆心和半径确定圆如图7所示。

图7　根据圆心半径画圆

在图7中，O为已求出的圆心，L1和L2为圆的两条垂直平分线，A为圆上任意一点，B为过A点的垂线与圆的水平方向上的直径的交点。设点O的坐标为(X，Y)、点A的坐标为(i，j)、圆的半径为r，首先计算L1和L2这两条直线水平方向上的位置，则

(8)

水平方向的坐标在L1_x到L2_x之间的任意一个值都有两个垂直方向的值与它对应，所以算法可以在L1_x到L2_x之间进行循环并进行判断，即递增圆上点的水平坐标的同时可以计算得到该点的纵坐标，则

(9)

由此可以得出圆上任意一点的纵坐标与该点的横坐标、圆的半径和圆心位置的关系，从而画出圆心和半径确定出的整个圆形。将3个间隔10个距离单位的像素点作为1个圆组合，这3个点可以确定一个圆，所得效果如图8所示。

图8　根据边缘确定圆

2.3选择特征圆

由3点确定圆方法可知：从圆上选取的若干组3点得到若干个圆，而最后标识果实位置和大小特性的标准圆只要1个，因此必须选择出符合要求的标准圆作为最后的目标定位结果。本研究用边缘重合法。

边缘重合法是在所有确定的标准圆中选择出与目标边缘点重合率最高的圆，需要将标准圆与细化边缘处理后果实的边缘比较，使比较得出的标准圆更加准确。在处理过程中，将所有标准圆中的像素点逐个和苹果果实边缘进行比较，找出像素点重合数最多的标准圆，并记录该圆圆心坐标和半径，最后将特征圆参数作为苹果果实定位结果。边缘重合法选择特征圆的效果如图9所示。

图9　边缘重合法选择特征圆

3结果与分析

VisualC#编程实现上述算法，分别对不同条件下获得的目标图像进行测试，图10为苹果果实图像的识别及定位结果。

图10　实果实定位示意图

选取50幅图像中40个苹果果实图像进行测试，选择目标面积作为测试点。其中，S为目标真实面积，S1为本文方法获取面积。为获取目标真实面积，用photoshop软件对苹果果实图像进行了预处理。用式(10)计算实测值S与本文方法获取面积S1的相对误差E。测试结果表明：最大误差为13.2%，最小误差为1.70%，平均误差为6.16%。相对误差公式为

(10)

苹果果实图像边缘细化和无效点合并时有一定的误差，对定位结果影响较大，且经过预处理后二值图像中目标面积与真实真实场景中目标面积有误差，这一点可以通过修订圆半径的方法进行改进。

4结论

1)色差R/1.7-G特征值能够很好实现红色苹果与背景的分离，较好地提取了目标图像。

2)本文边缘细化方法及无效像素点合并法可大大减小算法复杂度。

3)提出的边缘重合法较好地去除了冗余圆，所用3点确定圆参数及定位苹果果实图像的方法平均误差为6.16%，定位精度基本满足收获机器人定位要求。

参考文献：

[1]井利民.基于ARM的苹果图像果实识别与定位关键技术[D].杨凌:西北农林科技大学,2009.

[2]尚璐，李锐,宋信玉.改进的Hough变换圆检测算法[J].电子设计工程,2011,19(14):168-171.

[3]司永胜,乔军,刘刚，等.苹果采摘机器人果实识别与定位方法[J].农业机械学报,2010,41(9):148-153.

[4]谢忠红,姬长英,郭小清,等.基于改进Hough变换的类果实目标检测[J].农业工程学报,2010,26(7):157-162.

[5]夏磊,蔡超,周成平,等.一种用Hough变换检测圆的快速算法[J].计算机应用研究,2007,24(10):197-210.

[6]刘明艳,赵景秀,孙宁.用Prewitt算子细化边缘[J]. 光电子技术,2006，356(4):259-263.

[7]李宏利,何东健.图像中被遮挡苹果的还原及定位技术研究[J].农机化研究,2013,35(4):259-263.

[8]荀一,陈晓,李伟,等.基于轮廓曲率的树上苹果果实自动识别[J].江苏大学学报：自然科学版, 2007,28(6):461-464.

Abstract ID:1003-188X(2016)02-0054-EA

Study on Technology of Location of Apples

Li Hongli, Liu Quanzhong

(College of Information Engineering,Northwest Agriculture and Forestry University, Yangling 712100,China)

Abstract：Aimed at the low accuracy, slow speed problems existing in apple fruit image positioning ,this paper made a further thinking and research on the methods of apple fruit’s location . This research used three points to define a circle to make the processing speed meeting the demand of real-time and fruit being positioned precisely after division of leaves and branches in the image and detection of the edge of fruit and technology of getting rid of noise of image.After testing, the method had better effect on localization of mature apple fruit.

Key words：apple image; fruit positioning; round detection

文章编号：1003-188X(2016)02-0054-04

中图分类号：TP391.41

文献标识码：A

作者简介：李宏利(1974-)，男，陕西蓝田人，讲师，(E-mail)hl_lee_5@163.com。通讯作者：刘全中(1978-)，男，河南驻马店人，副教授,(E-mail)lqz@nwsuaf.edu.cn。

基金项目：中国高校科研业务基金项目(QN2013053)

收稿日期：2015-01-14