一种新型苹果果实特征提取算法

陈乾辉

吴德刚

(商丘工学院，河南 商丘 476000)

苹果果实的分级效果直接影响中国苹果在国际市场上的竞争力，而分级的智能化亦将具有巨大的经济效益和市场前景，因此，为解决苹果果实分级过程中存在的劳动强度大、精度要求高及实时性强等问题，用于苹果果实分级的机器人开始出现在人们的视野[1]。目前，基于计算机视觉的苹果果实分级是通过提取苹果果实的特征来实现的，Paulus I等[2]通过苹果直径、表面积及体积的特征提取实现对苹果果实的大小分级；Leemans等[3]研究了一种基于苹果缺陷实时检测的分级系统，该系统采用顺序前进法对苹果花萼和果柄特征提取以实现果实的分级，分级准确率可达93.5%；冯斌等[4]将水果表面颜色分布的分形维数作为特征对水果进行分级，精确度可达95%。苹果果实的分级主要是对苹果的果形和颜色特征进行有效的提取，其特征参数的精确提取是决定苹果分级能否正确识别果实的关键。

目前，苹果果实的特征提取方法主要有Hough算法、随机Hough算法，但这些特征提取算法存在运算复杂、实时性差等缺陷[5-6]。本文拟提出利用一个滑动高斯模板和苹果图像进行卷积运算提取苹果圆形的特征提取方法，以期达到苹果快速分级的目的。

1 Hough算法

传统的Hough算法是通过变换，将被检测图像空间上的点映射到参数空间，并在参数空间完成对被检测苹果图像的特征提取，Hough算法常用来对图像空间中的圆形和直线进行检测[7-8]。

1.1 直线检测

在被检测二维图像空间x-y中，直线上的任何一点(xi,yi)都可用斜截式方程表示，见式(1)：

yi=axi+b，

(1)

式中：

a——斜率；

b——截距。

对式(1)变换，得到以a、b为变量的等式方程，即

b=-xia+yi。

(2)

对比式(1)可以看出，式(2)同样构成了一个二维图像空间a-b，将该二维图像空间a-b称为参数空间。由式(1)和式(2)可知，被检测二维图像空间x-y中的任何一点(x,y)与参数空间a-b中的一条直线是对应的，同理，被检测二维图像空间中的任意直线的方程取决于参数空间中的点(a,b)，由此可表示出被检测二维图像空间和参数空间的映射关系：被检测二维图像空间中的任意一点可映射为参数空间中的一条由(a,b)决定的直线，见图1；而被检测二维图像空间中的任意一条直线上的点可映射为参数空间中通过同一点的一簇直线，见图2。

若用数组表示出参数空间(a,b)中的所有取值，即可以通过式(2)求出对应于a的所有b值，通过Hough算法对已知(a,b)值进行累加运算，根据累加结果获得峰值点，即为较多线的公共点，由图2可知，参数空间中的这些共点的线可认为在某个平面是共线的，即被检测图像空间共线，且直线方程满足式(1)。

图1 被检测二维图像到参数空间的映射Figure 1 Mapping of two-dimensional image to parameter space

图2 被检测图像上的直线到参数空间的映射Figure 2 Mapping from a straight line of the detected image to a parameter space

为准确识别、检测任意直线方程，避免出现斜率无穷大时，无法完成直线检测的情况，可以用三角函数式代替式(1)，即

ρ=xcosφ+ysinφ。

(3)

由式(3)可以看出，参数空间由(a,b)空间变为了(ρ,φ)空间，而被检测二维图像空间和参数空间之间的映射关系保持不变。

1.2 圆形检测

在被检测二维图像空间(x,y)中，圆方程为

(x-a0)2+(y-b0)2=r2，

(4)

式中：

r——半径，m；

(a0,b0)——圆心。

若将被检测二维图像空间x-y中的圆映射到参数空间x-y-r可知，在被检测图像空间x-y中，圆上任何一点与x-y-r参数空间中的一个圆是相对应的，且x-y-r参数空间的所有圆应交于(a0,b0,r)点，即被检测二维图像空间中的任何一点对应参数空间的一个锥面，见图3。

根据Hough算法建立数组，通过累加运算找到锥面的公共点，即x-y-r参数空间的(a0,b0,r)点，进而检测出被检测二维图像x-y中的圆。

图3 圆参数空间图像Figure 3 Space image of circle parameter

2 新型特征提取算法

由于传统Hough算法存在运算复杂、实时性差等缺陷，难于精确提取不规则苹果果实的特征，尤其是当苹果果实重叠和相邻2种情况时的提取效果更差，进而影响苹果果实的分级效果。本文提出了一种新型苹果果实特征提取算法，该算法利用滑动的高斯模板和苹果图像进行卷积运算提取苹果的圆形。

高斯滤波器是根据高斯分布函数确定各位置权重的一种平滑线性滤波模板，一维、二维高斯滤波函数分别见式(5)和式(6)。

(5)

(6)

式中：

δ——尺度因子,由实际情况确定。

利用滤波模板领域内像素的加权平均值代替被检测图像中的像素点，并将其作为高斯模板的输出，会使图像的平滑效果更好。由于加权均值是利用不同系数和像素进行的积运算，这样会使处于模板中心的像素具有较大的权值，而处于模板边缘的像素具有较小的权值，即像素点的权值随与中心点距离的减小而增加。也就是说高斯模板的中心具有最大的响应值，边缘处则具有较小的响应值，因而可以利用滑动的高斯模板与被检测苹果图像进行卷积运算以提取果实的圆形。

因此，将高斯模板与分割的被检测苹果图像进行卷积运算，最大响应值应处于苹果的中心，而阶跃点或零点则在灰度变化较为明显的边缘。若对平滑后的被检测苹果图像进行最大响应值运算，则最大响应值处即是苹果的中心。

假设I为被检测二维图像，g为高斯模板响应值，则高斯模板与被检测苹果图像进行卷积运算后的响应值h为：

h(x,y)=I(x,y)×g(x,y)。

(7)

设高斯模板：x=[-128∶1∶128]；y=[-128∶1∶128]，原点为模板中心，则模板中任意一点的g(i,j)为：

(8)

获得任意一点的g(i,j)后，需根据式(7)对被检测图像做卷积运算，而后利用新型特征提取算法进行最大响应值检测。

最大响应值检测：利用半径为σ的正方形在被检测图像上滑动，用于对苹果果实最大响应值的检测，可设σ=3，即在一个3×3窗口对被检测苹果图像的灰度最大值进行检测，根据新型苹果果实特征提取算法，可将该正方向窗口放于被检测图像中苹果果实所处的位置，可知最大响应值应位于苹果的中心，从而获得苹果的中心点。

2.1 单一果实特征提取

单一苹果中心点检测见图4。

图4 单一苹果中心检测Figure 4 Center detection of single apple

由图4(c)可知，曲线的峰值点仅有1个，正好对应被检测苹果图像中的1个圆形的果实，即苹果所在的圆处具有较大响应值，而苹果果实之外的其他区域，具有较低的响应值，根据该方法，不仅可以获得处于最大响应值点的苹果的圆心，亦可以根据局部最大响应值方法获取苹果果实的圆形。

2.2 相邻果实特征提取

相邻苹果中心点检测见图5。由图5(c)可以看出，曲线的峰值点有2个，正好对应被检测苹果图像中的2个圆形的果实，而苹果所在的圆处也具有较大响应值，而苹果果实之外的其他区域，具有较低的响应值，且最大响应值点位于苹果的圆心。

2.3 相邻且重叠果实特征提取

实际苹果果实不仅仅是以单一或相邻存在的，还有一些苹果果实是以多个堆在一起的，虽然在被检测苹果图像上也是以相邻方式存在的，但还存在重叠的现象，其苹果中心点的检测见图6。

图5 相邻苹果中心点检测Figure 5 Detection of adjacent apple center points

图6 相邻、重叠中心点检测Figure 6 Detection of adjacent and overlapping center points

由图6(c)可以看出，曲线的峰值点有3个，正好对应被检测苹果图像中的3个圆形果实，同样，苹果所在的圆处也具有较大响应值，而苹果果实之外的其他区域，具有较低的响应值，且最大响应值点位于苹果的圆心。

2.4 果实半径获取

半径获取方法：根据上述获得的苹果近似圆心，求取其到所在连通域内边缘的距离，并通过对该距离值进行取整计算，获得一些整数距ri，进而统计出与各个ri的距离在2个像素内的ri的数量，最后取数量最多的ri作为苹果果实的半径。

2.4.1 存在的问题

(1) 颜色分布不均：苹果果实颜色存在偏黄、偏青的现象，比如图7(a)中右边的苹果，若检测中将其误认为背景色，则会使图7(a)中右边的苹果的提取偏离果实圆形的现象。根据上述半径获取方法可知，半径的获取依赖于所检测的苹果边缘的精确度，即被检测苹果图像的颜色分布不均，使得获取的半径不合格。

(2) 果实分布重叠：自然放置的苹果果实容易受其他果实的遮挡，使得被检测苹果图像的果实表面出现不完整和凹陷的现象，见图8(a)。根据半径获取方法，将获取不合格的果实半径。

图8 果实分布重叠时的苹果果实半径获取Figure 8 Acquisition of apple fruit radius with overlapping fruit distribution

2.4.2 方法改进 使用被检测苹果图像所在连通区域的最小包络矩阵，通过计算获取矩形框边长的最大值，并以此最大值限制被检测苹果图像中果实的最大半径。同理，计算出矩形框边长的最小值，并以此最小值限制被检测苹果图像中果实的最小半径，试验结果见图9，进而避免获取的半径过大、过小的现象。

图9 改进苹果果实半径获取Figure 9 Improved algorithm of apple fruit radius acquisition

3 试验分析

选用200幅光照强度不同条件下拍摄的苹果图像作为被检测图像，其中共含有苹果果实401个。根据苹果果实的特点，将本次试验分为3类：

①A1：单一状态下苹果；

②A2：相邻且不重叠状态下的苹果；

③A3：相邻且重叠状态下的苹果。

在Hough算法和新型特征提取算法下，对3种不同状态下的被检测苹果果实进行特征提取。

3.1 单一苹果果实的特征提取

单一苹果果实的圆形特征提取见图10。

图10 单个苹果果实圆形特征提取对比Figure 10 Comparison of circular feature extraction from single apple fruit

3.2 相邻不重叠苹果果实的特征提取

相邻且不重叠情况下，苹果果实的圆形特征提取见图11。

图11 相邻不重叠苹果果实圆形特征提取对比Figure 11 Extraction and comparison for circular features of adjacent apple fruits

3.3 相邻和重叠苹果果实的圆形检测

相邻且重叠情况下，苹果果实的圆形特征提取见图12。

图12 相邻且重叠苹果果实圆形特征提取对比Figure 12 Extraction and comparison of circular features between adjacent and overlapping apple fruits

3.4 结果分析

若用准确率的高低作为此次试验的评价，则可表示为：

(9)

式中：

p——准确率，%；

M——试验图像总数；

NR——能准确检测和识别的苹果果实图像。

根据式(9)，3类苹果的准确率见表1。

由表1可知，在新型特征提取算法下，A1果实识别的准确率可高达96.6%。A3果实的识别率较低，也可达94.1%。

表1 苹果果实准确率Table 1 Accuracy of apple fruit

在被检测苹果图像中，无相邻、遮挡及重叠的苹果属于A1。由于没有遮挡和重叠的现象，A1果实的新型特征提取算法下的检测最准确，因而识别准确率最高。

在被检测苹果图像中，相邻、不重叠的苹果属于A2。A2果实可以在通过去除小面积噪声后，使用新型特征提取算法获取苹果的圆形特征，识别率亦较高。

在被检测苹果图像中，相邻、重叠的苹果属于A3。由于A3果实受外界条件的影响，苹果果实表面将有大面积噪声产生，在小面积遮挡情况下，新型特征提取算法具有较高的准确率，若被检测苹果图像中有大面积遮挡的现象，则会影响苹果果实识别的准确率，此种情况下苹果的识别准确率较低，但也能达到94.1%。

Hough算法仅仅在边缘平滑的情况下，对近似圆形果实的识别率较高，若被检测图像的边缘出现残缺，则就难以检测出相应的圆形，见图12(c)。另外，Hough算法具有较大的计算量，过多的资源占用率，若被检测图像的背景复杂，其检测圆形的能力相当差，见图11(c)。

由图10～12可知，A1、A2、A33类不同状态的苹果果实，在新型苹果果实特征提取算法下都能有较高的果实识别率，而利用Hough算法仅仅对A1果实有较高的准确率，A2、A3果实的识别率较低，因此，本试验提出的新型苹果果实提取算法的鲁棒性更强，即使在A3情况下也能有较好的果实识别率。

4 结论

针对传统Hough算法在苹果相邻及重叠检测中准确度低、实时性不强的缺陷，提出了一种新型的果实提取算法，该算法利用一个滑动的高斯模板和苹果图像进行卷积运算提取圆形，使用被检测苹果图像所在的连通区域的最小包络矩阵，获取果实的半径。通过试验发现，该圆形检测算法比传统圆形检测算法的效果更好，且果实的检测准确率可达96.6%，能够满足果实分级的要求。然而，该算法对于复杂场景的苹果检测还存在实时性提高的空间，需要加以改进。

[1] 王丹丹, 宋怀波, 何东健.苹果分级机器人视觉系统研究进展[J].农业工程学报, 2017, 33(10): 59-69.

[2] PAULUS I, DE BUSSCHER P, SCHREVENS E.Use of image analysis to investigate human quality classification of apples[J].J.Agric.Engng Res., 1997, 68(4): 341-353.

[3] LEEMANS V, MAGEIN H, DESTAIN M F.Defects segmentation on ‘Golden Delicious’ apple by using colour machine vision[J].Computer Electron Agric., 1998, 20(2): 117-130.

[4] 冯斌, 汪懋华.基于计算机视觉的水果大小检测方法[J].农业机械学报, 2003, 34(1): 73-75.

[5] 付鹏.基于机器视觉的苹果检测与识别关键技术研究[D].杨凌: 西北农林科技大学, 2012: 24-35.

[6] 徐凯.基于图像识别的苹果果实检测技术[J].实验室研究与探索, 2016, 35(10): 36-39.

[7] 张健, 张莉华.基于改进二进制粒子群算法的苹果多特征提取分级研究[J].浙江农业学报, 2016, 28(9): 1 609-1 615.

[8] 谈英.苹果采摘机器人在线分级系统设计[D].南京: 南京农业大学, 2014: 7-28.