基于猕猴桃果萼图像的多目标果实识别方法

陈礼鹏，穆龙涛，刘浩洲，谷新运，傅隆生，崔永杰

(西北农林科技大学 机械与电子工程学院，陕西 杨凌 712100)

0 引 言

目前猕猴桃的采摘主要是靠人工完成[13]，劳动强度大，且效率低，严重影响到猕猴桃的收获。为了解决机械化作业，在果实的识别上，相关研究工作者对苹果[4-7]、番茄[8]、草莓[9]、葡萄[10,11]、柑橘[12]等果实识别进行了研究。

在柑橘的识别上运用基于TOF成像技术进行的实时识别方法[12]，通过分析TOF(time of flight)成像信息，去除噪声，采用阈值分割[13]、区域生长[14]、区域最小外接圆算法[15]将柑橘从背景中分割出来，从而达到识别的目的。葡萄的识别上，针对葡萄果梗颜色复杂多变、轮廓不规则[16,17]等影响因素使得采摘机器人难以准确对采摘点进行识别定位，针对这一问题，罗陆锋等[10]运用了基于改进聚类图像分割[18,19]和点线最小距离约束的采摘点定位的方法实现果实的识别与定位。在苹果的识别上，宋怀波等[6]运用光照无关理论方法去除苹果表面的阴影部分，较好地实现了苹果的分割，该方法也可运用在阴影条件下苹果的识别[20,21]。综合来看，这些方法识别效果较好，但是大多针对单果进行识别或是针对目标成串的特点识别轮廓，对于多目标果实的识别方法较少。且识别部位大多在果实整个部位，对果实的果萼部位进行识别情况很少。

在猕猴桃的识别上，崔永杰等[22,23]运用0.9*R-G色差法对果实进行分割，实现果实与背景的分割[24]；詹文田等[25]运用Adaboost算法对田间猕猴桃进行识别，但是这些方法在机器视觉范围内的猕猴桃果实数较少，果实容易获取。此外，傅隆生等[26]提出一种基于果萼图像的猕猴桃果实夜间识别方法，该方法对光照有较高的要求。

综上所述，针对猕猴桃簇生的特点，以及背景与果实之间的特征上的差异，本文提出由单个或较少目标果实的识别转到多目标果实的识别，从猕猴桃底部获取图像，首先实现果实与背景的分离，再从果实部分识别出果萼，以达到快速高效的识别目的，为机器人的高效化作业奠定基础。

1 猕猴桃图像获取

自然条件下猕猴桃的采摘环境如图1所示，生长方式主要为棚架式生长，从图1中可以看出猕猴桃采摘环境中包括的背景有树叶、树干、天空，杂草等。为了去除杂草等背景的影响，本研究采用从猕猴桃底部获取图像的方式识别多目标猕猴桃果实。

图1 猕猴桃采摘环境

图像获取装置如图2所示(d表示拍摄距离)，其中包括机器视觉部分、辅助补光装置及计算机。机器视觉部分采用微软相机(Microsoft camera)获取图像，根据天气情况或者作业时间(白天或者夜间)、光照情况可选择是否采用辅助补光装置，机器视觉所采集的图像通过数据连接线传递给计算机。

图2 猕猴桃图像获取装置

如图3所示，所选定的距离为摄像头距果实下方60 cm处，所采集的图像格式为jpg格式，图像大小为640×360像素。其中猕猴桃果萼为圈标出的部分，从中可以看出，对于果实的定位来说，能识别出果萼部分对后续的定位处理是极其方便的。

图3 猕猴桃果萼

2 果萼识别方法

2.1 RGB图像处理方法

运用image Pro plus软件，对图3中图像的不同位置画一条横剖线，水平剖面线选为：剖线上有果实；剖线无果实。如图4所示，从图中可看出猕猴桃的果实部分RGB分量很大程度上存在R分量大于G分量，G分量大于B分量的关系，背景上(除猕猴桃果实之外)R分量与G分量或B分量之间相差波动并不大。

图4 RGB分量剖线分析

因此，采用R-G的方式对猕猴桃红色分量进行红色分量相对强化，凸显猕猴桃部分，削弱树叶，树干等噪声影响。后续再通过阈值分割，消除小面积噪声等得到猕猴桃部分，通过边缘检测，得到猕猴桃的相应边缘，从而保留边缘包围的部分，去除包围之外的部分，亦即实现果实的分割得到果实部分，最后进行阈值分割，得到果萼部分的识别。

2.2 图像处理过程

图像处理流程如图5所示。

图5 图像处理流程

具体流程如下：

(1)读取图像

案例图像可任意选择，在此选择图3作为案例图像；

(2)获取图像的RGB分量图及灰度图

(3)对图像进行R-G分量处理

在图像处理方法的分析中，图像经过R-G分量处理后猕猴桃果实部分很好地凸显出来。案例图像处理结果如图6(a)所示。

(4)对R-G分量图像进行全局阈值分割

对于图像的全局阈值分割，其公式如下

其中，f(x,y)为点(x,y)的像素值，g(x,y)为分割后的图像，T为全局阈值。

对所得的R-G分量图像进行全局阈值分割，对于多目标猕猴桃图像来说，通过R-G分量后获得的灰度图其像素值分为，果实部分：f(x,y)∈(20,70)；背景为：f(x,y)∈(20,70)，因此，设置的全局阈值为T=18，即有

案例图像处理结果如图6(b)所示。

(5)去除小面积噪声

将分割后的图像进行去除小面积区域，小面积区域一般为部分树干、树叶背景，这部分噪声的面积小于单个果实噪声的面积的几倍，甚至十几倍，皆为小面积噪声。A果实=nA小面积噪声，A表示像素面积，n表示倍数，A小面积噪声∈(5,220)，本文所取的小面积噪声的阈值为230。案例图像处理结果如图6(c)所示。

(6)prewitt边缘检测

对得到的去除小面积区域后的图像通过prewitt算子进行边缘检测，该边缘包围的范围即为多目标猕猴桃果实的范围。案例图像处理结果如图6(d)所示。

(7)多目标猕猴桃果实提取

将去除小区域面积后的图像和原图像的灰度图像进行求乘积，运算表达式为

C(x,y)=A(x,y)*B(x,y)

其中，A(x,y)和B(x,y)分别表示原始图像的灰度图像和去除小面积噪声后的图像，C(x,y)表示A(x,y)和B(x,y)运算后的结果。

从而提取出经过prewitt边缘检测后，边缘包围的果实部分的图像。案例图像处理结果如图6(e)所示。

(8)果萼提取

针对果实部分的灰度图，对果萼部分的提取只需再进行全局阈值分割便能提取出果萼，由于果实部位与果萼部位在灰度图像素值上存在不同：果实部位为：h(x,y)∈(120,180)；背景为：h(x,y)∈(40,100)，因此同(4)对所得果实部位进行全局阈值分割，此时T=100。当然，该分割方法仍然会出现部分误差，但是对于多目标猕猴桃采摘机器人，该误差在容错范围内(后续分析)。案例图像处理结果如图6(f)所示其中，1表示果萼，2表示噪声。

图6 识别过程

3 多目标果实识别验证实验

3.1 实验装置

机器视觉部分采用微软相机(LifeCam Studio CMOS，其以CMOS作为感光元件，动态分辨率为2304×1728，最大帧频为30FPS)作为主要部件，采用自动对焦的方式获取图像，图像格式选择为jpg格式，分辨率为640×360像素，通过USB2.0接口传递给计算机，计算机采用联想ThinkPad T400笔记本电脑(内存2 GB，主频2.53 GHz)。根据天气情况，可选择辅助补光装置为获取图像补光，辅助补光装置用无级可调光LED影视平板灯提供(CM-LED 1200HS，武汉珂玛影视灯光科技有限公司，最大照度为1 m 远的1 200 lux)。

3.2 实验方法

本次实验采用上面我们提出的方法，以果实及果萼作为本实验的检测项目。通过色差的方法得到多目标猕猴桃果实范围并去除背景噪声，然后运用阈值分割得到多目标猕猴桃果萼特征部分；运用了假阳性率、假阴性率、重叠系数[6]3个指标对果实和果萼的识别进行评价。假阳性率是指背景被错分为目标的比率，假阴性率是指目标被错分为背景的比率，重叠系数是指分割后的目标与真实目标重合的比率。在此，假阳性率即为果萼被错分为背景的比率，假阴性率为背景被错分为果萼的比率，而重叠系数指分割后的目标个数所占实际目标的比率。果实重合率中，如果果实分割后的面积重合大于一半算该果实完整分割，如果小于一半算该果实没分割到。最后对所得的结果进行误差分析，将识别的图像的重叠系数(包括果萼或果实)的均值作为识别的真实值，则每张图像的识别误差可表示为

其中，Xi表示第i幅图像的果实重叠系数或第i幅图像的果萼重叠系数。

3.3 实验结果及数据分析

本文从所采集的猕猴桃样本图像中随机选取20幅图像进行识别及相关数据分析，其中部分图像的分割结果见表1，以下图像为由近及远的多目标猕猴桃部分图像(随机选择的20幅图像中的4幅图像)。

表1 猕猴桃果实分割效果(部分图像)

从表1中可以看出，运用优化后的方法去除了树叶、背景(天空和枝干)，很好地将果实分割出来，但仍然还存在部分噪声，这些噪声为颜色与果实颜色相近的诸如树干、树叶叶茎、枯叶等噪声，对于这些噪声，仔细观察不难看出皆为小面积噪声。优化后提取的果实图像中可以看出几乎没有了噪声的干扰，果实完全被分割出来；对于果萼的最终分割，有的因为距离太远，果萼并不明显，导致没分割到或者分割不准确，但只是部分，图像识别上达到分割要求，为此我们采用了果实识别评价指标和果萼识别评价指标加以说明，识别评价指标亦即是实验方法中所提出的假阳性率、假阴性率及重叠系数，具体见表2和表3。

从表2果实识别评价指标中可以看出假阳性率大于10%的有NO.1、NO.4、NO.16、NO.17；假阴性率大于10%的有NO.2、NO.3、NO.5、NO.9、NO.19、NO.20。通过分析发现在NO.1、NO.4、NO.16、NO.17图像中，部分树叶由于阳光的暴晒导致树叶枯黄，其颜色和果实颜色相近，导致树叶背景被错分为果实目标，因此出现假阳性率在这几幅图像中偏大；在NO.2、NO.3、NO.5、NO.9、NO.19、NO.20图像中，由于个别果实未成熟，其颜色表现为绿色，导致其与树叶背景颜色相近，将果实目标错分为树叶背景，因此出现假阴性率在这几幅图像中偏大。

表2 果实识别评价指标

从表3果萼识别评价指标中可以看出假阳性率大于10%的有NO.1、NO.9、NO.14、NO.16；假阴性率大于10%的有NO.2、NO.3、NO.8、NO.18、NO.19、NO.20。通过分析发现在NO.1、NO.9、NO.14、NO.16图像中，由于在果实的分割中部分树叶被分割成为果实加之树叶上部分区域颜色特征与果萼颜色特征相近、以及小部分树干被错分为果萼，导致背景被错分为目标，因此出现假阳性率在这几幅图像中偏大；在NO.2、NO.3、NO.8、NO.18、NO.19、NO.20图像中，由于果实分割中，个别果实未成熟表现为果实颜色特征和背景树叶颜色特征相近，出现果实被错分为背景，导致果萼分割中这些果实的果萼目标也被错分为背景，以及阈值分割过程中，果萼被错分为背景所致，因此出现假阴性率在这几幅图像中偏大。

表3 果萼识别评价指标

综合表2果实识别评价指标与表3果萼识别评价指标可看出假阳性率均值和假阴性率均值均在10%以下，重叠系数均值均在88%以上。

为了更加有效分析猕猴桃多目标果实识别的情况，引入了实验方法中所提出的误差σi，绘制20幅图像识别情况误差如图7所示。

从图7(a)果实识别误差与图7(b)果萼识别误差图中可以看出，在NO.4、NO.10、NO.15图像中的识别误差较大，通过分析，其误差原因为：图像中部分果实受叶片、树干遮挡、以及部分未成熟果实在颜色分量上表为绿色分量占主要部分导致其与背景颜色相近所致。

4 结束语

(1)猕猴桃图像中果实部分的RGB分量值存在R分量大于G分量大于B分量的关系，在背景上，也即是除猕猴桃果实之外的部分R分量与G分量或B分量之间相差波动并不大。

(2)提出了猕猴桃果实多目标识别方法，以果萼作为识别特征点，首先实现了果实目标与背景的分离，最后根据果实目标识别出果萼特征点，该算法识别的准确率为88.86%；其中假阳性率均值和假阴性率均值均在10%以下。果实数在41～45果时(表中的NO.15～NO.17)，识别率均在90%以上。

图7 识别误差

(3)对实验的每组图像的识别结果进行了误差分析，其中存在误差较大的原因是果实受树叶、树干等的遮挡以及部分果实未成熟导致图像识别过程中果萼遮挡、果实被错分为背景等情况发生。

5 结束语

本文提出了基于猕猴桃果萼图像的多目标果实识别方法，由以往的单果识别向多目标果实识别，识别果萼部分，以满足多机械臂猕猴桃采摘机器人的作业要求，所获得的信息达到多目标识别的目的，对后续机械臂的路径规划，末端执行器设计提供了信息支持，该方法也可为其它诸如苹果、柑橘等果实的识别提供参考。

本文虽然提出了猕猴桃的多目标果实识别方法，且达到了末端执行器采摘果实的容错率要求，但是在算法上识别正确率有待进一步提高或寻求新的算法；由于多目标识别的果实数量较多，后续的坐标点数据的管理以及采摘顺序的分配等还有待进一步研究。

参考文献：

[1]TONG Tong.Health benefits of eating kiwifruit[J].China Fruit News,2017,30(1):56-57(in Chinese).[童彤.食用猕猴桃健康益处多[J].中国果业信息,2017,30(1):56-57.]

[2]YING Tao.Global:The demand for kiwifruit increased significantly[J].China Fruit News,2017,11(1):35-36(in Chinese).[樱桃.全球:猕猴桃需求量大幅增加[J].中国果业信息,2017,11(1): 35-36.]

[3]FU Longsheng,ZHANG Fanian,Gejima Yoshinori,et al.Development and experiment of end-effector for kiwifruit harvesting robot[J].Transactions of the Chinese Society for Agricultural Machinery,2015,43(3):1-8(in Chinese).[傅隆生,张发年,槐岛芳德,等.猕猴桃采摘机器人末端执行器设计与试验[J].农业机械学报,2015,43(3):1-8.]

[4]LI Sha,QIAN Jianping,ZHAO Chunjiang,et al.Comparing and analyzing different color on ripe apple image identification[J].Computer Engineering and Design,2015,36(6):1545-1550(in Chinese).[李莎,钱建平,赵春江,等.不同颜色模型识别成熟苹果图像的比较分析[J].计算机工程与设计,2015,36(6):1545-1550.]

[5]Song Y,Liu Y,Liu L,et al.Extraction method of navigation baseline of corn roots based on machine vision[J].Transactions of the Chinese Society of Agricultural Machinery,2017,48(2):38-44.

[6]SONG Huaibo,QU Weifeng,WANG Dandan,et al.Method of removing shadow apple surface illumination invariant based on graph theory[J].Transactions of the Chinese Society of Agricultural Engineering(Transactions of the CSAE),2014,30(24):168-176(in Chinese).[宋怀波,屈卫锋,王丹丹,等.基于光照无关图理论的苹果表面阴影去除方法[J].农业工程学报,2014,30(24):168-176.]

[7]Xu Liming,Lv Jidong.Recognition method for apple fruit based on SUSAN and PCNN[J].Multimedia Tools & Applications,2017,8(6):1-15.

[8]WANG Yufei,YIN Jianjun,ZHONG Suyu,et al.Tomato recognition based on feature analysis and fast development of recognition software[J].Computer Engineering and Design,2011,32(11):3824-3827(in Chinese).[王玉飞,尹建军,仲苏玉,等.基于特征分析的番茄识别及其软件的快速开发[J].计算机工程与设计,2011,32(11):3824-3827.]

[9]Hayashi S,Takeshita D,Yamamoto S,et al.Collision-free control of a strawberry-harvesting robot by recognition of immature fruits[J].Shokubutsu Kankyo Kogaku,2013,25(1):29-37.

[10]LUO Lufeng,ZOU Xiangjun,XIONG Juntao,et al.Automatic location of grape picking robot in natural environment[J].Transactions of the Chinese Society of Agricultural Engineering(Transactions of the CSAE),2015,31(2):14-21(in Chinese).[罗陆锋,邹湘军,熊俊涛,等.自然环境下葡萄采摘机器人采摘点的自动定位[J].农业工程学报,2015,31(2):14-21.]

[11]LUO Lufeng,ZOU Xiangjun,YE Min,et al.The solution and localization of the grape anti picking space based on binocular stereo vision[J].Transactions of the Chinese Society of Agricultural Engineering (Transactions of the CSAE),2016,32(8):41-47(in Chinese).[罗陆锋,邹湘军,叶敏,等.基于双目立体视觉的葡萄采摘防碰空间包围体求解与定位[J].农业工程学报,2016,32(8):41-47.]

[12]SUN Li,CAI Jianrong,LI Yongping,et al.Real time re-cognition and localization of Citrus based on TOF imaging technology[J].Journal of Jiangsu University (Natural Science Edition),2013,34(3):293-297(in Chinese).[孙力,蔡健荣,李永平,等.基于TOF成像技术的柑橘实时识别与定位[J].江苏大学学报(自然科学版),2013,34(3):293-297.]

[13]JIA Tianqi,ZHANG Chong,ZHENG Jiao,et al.Adaptive thresholding segmention algorithm based on fuzzy distances[J].Computer Engineering and Design,2014,35(3):857-860(in Chinese).[贾天奇,张冲,郑姣,等.基于模糊距离的自适应阈值分割算法[J].计算机工程与设计,2014,35(3):857-860.]

[14]Kerkeni A,Benabdallah A,Manzanera A,et al.A coronary artery segmentation method based on multiscale analysis and region growing[J].Computerized Medical Imaging & Grap-hics the Official Journal of the Computerized Medical Imaging Society,2016,12(4):48-49.

[15]YANG Jianfeng,ZHAO Juanjuan,QIANG Yan,et al.Lung CT image segmentation combined multi-scale watershed method and region growing method[J].Computer Enginee-ring and Design,2014,35(1):213-217(in Chinese).[杨建峰,赵涓涓,强彦,等.结合区域生长的多尺度分水岭算法的肺分割[J].计算机工程与设计,2014,35(1):213-217.]

[16]Azcarate S M,De A G A,Alcaraz M R,et al.Modeling excitation-emission fluorescence matrices with pattern recognition algorithms for classification of Argentine white wines according grape variety[J].Food Chemistry,2015,184:214-219.

[17]Aleixandre M,Santos J P,Sayago I,et al.A wireless and portable electronic nose to differentiate musts of different ripeness degree and grape varieties[J].Sensors,2015,15(4):8429-8443.

[18]ZHAO Quanhua, ZHANG Hongyun,ZHAO Xuemei,et al.Fuzzy clustering image segmentation based on neighborhood constrained Gaussian mixture model[J].Pattern Recognition and Intelligence,2017,30(3):214-223(in Chinese).[赵泉华,张洪云,赵雪梅,等.邻域约束高斯混合模型的模糊聚类图像分割[J].模式识别与人工智能,2017,30(3):214-223.]

[19]LI Tingting,JIANG Chaohui,RAO Yuan,et al.Image segmentation based on gene expression programming and spatial fuzzy clustering[J].Journal of Image and Graphics,2017,22(5):575-583(in Chinese).[李婷婷,江朝晖,饶元,等.结合基因表达式编程与空间模糊聚类的图像分割[J].中国图象图形学报,2017,22(5):575-583.]

[20]Cai Bolun.DehazeNet:An end-to-end system for single image haze removal[J].IEEE Transactions on Image Processing,2016,25(11):5187-5198.

[21]Makkar D,Malhotra M.single image haze removal using dark channel prior[J].International Journal of Advanced Trends in Computer Science & Engineering,2016,11(7):84-89.

[22]CUI Yongjie,SU Shuai,WANG Xiaxia,et al.Recognition and feature extraction of kiwifruit in natural environment based on machine vision[J].Transactions of the Chinese Society for Agricultural Machinery,2013,44(5):247-252(in Chinese).[崔永杰,苏帅,王霞霞,等.基于机器视觉的自然环境中猕猴桃识别与特征提取[J].农业机械学报,2013,44(5):247-252.]

[23]CUI Yongjie,SU Shuai,LV Zhihai,et al.A method for separation of kiwifruit adjacent fruits based on Hough transformation[J].Journal of Agricultural Mechanization,2012,34(12):166-169(in Chinese).[崔永杰,苏帅,吕志海,等.基于Hough变换的猕猴桃毗邻果实的分离方法[J].农机化研究,2012,34(12):166-169.]

[24]LI Xuejun,LIU Xiangjun,ZHAO Liliang.Otsu image segmentation algorithm based on gradient entropy[J].Computer Engineering and Design,2015,36(3):705-709(in Chinese).[李学俊,刘祥俊,赵礼良.基于梯度熵的Otsu图像分割算法[J].计算机工程与设计,2015,36(3):705-709.]

[25]ZHAN Wentian,HE Dongjian,SHI Shilian.Recognition of kiwifruit in field based on Adaboost algorithm[J].Transactions of the Chinese Society of Agricultural Engineering(Transactions of the CSAE),2013,29(23):140-146(in Chinese).[詹文田,何东健,史世莲.基于Adaboost算法的田间猕猴桃识别方法[J].农业工程学报,2013,29(23):140-146.]

[26]FU Longsheng,SUN Shipeng,Manuel V-A,et al.Kiwifruit recognition method at night based on fruit calyx image[J].Transactions of the Chinese Society of Agricultural Engineering (Transactions of the CSAE),2017,33(2):199-204(in Chinese).[傅隆生,孙世鹏,Manuel V-A,等.基于果萼图像的猕猴桃果实夜间识别方法[J].农业工程学报,2017,33(2):199-204.]