自然环境下5个腰果无性系果实的图像识别算法研究

岑冠军 王彦阳 张中润 黄伟坚 黄海杰 王金辉

摘 要 在自然环境下对5个腰果无性系果实的图像进行了识别研究，得出腰果果实图像识别的组合算法设计。该组合算法设计是首选对原始图像进行双边滤波，选用Lab颜色空间模型，采用OTSU算法进行粗分割，对红色系果实图像选择a通道作为分割通道，对于黄色系果实图像将a通道和L通道的分割图像做代数乘法运算，对残留背景较多的粗分割图像采用K-means算法做精细分割，分割完成后进行连通域分析和圆盘均值滤波，将面积最大的连通域作为目标区域，完成识别。结果表明，在粗分割阶段，CP63-36、GA63、HL2-13和HL2-21果实图像中大部分背景被去除，只残留零星噪声部分，而FL30的粗分割图像残留背景较多，需做精细分割，其精细分割图像中残留背景较少。通过连通域分析和滤波，所有腰果无性系的果实图像都被完整地识别出来。研究表明，该组合算法设计能从自然环境图像中准确有效地识别出腰果果实。

关键词 腰果果实；图像识别；组合算法

中图分类号 S31 文献标识码 A

Abstract The research was focused on the image recognition of five kinds of cashew fruits in natural environment， and a combined algorithm was obtained under Lab color space. Firstly， the image noise on the original image received from the camera was filtered out using bilateral algorithm.Secondly，the objectives of cashew fruits in the filtered image were recognized by OTSU algorithm. In this step， the red fruits were segmented within a channel， the yellow fruits were segmented within a and L channels. Afterwards the images processed in the second step and containing more background noise would be segmented finely using K-means clustering algorithm. Finally the area of the fruit object was recognized by connected domain analysis and disk mean filtering by removing the noise residues in the segmented image.The results showed that most of the background noise in the original images of CP63-36， GA63， HL2-13 and HL2-21 was removed in the rough segmentation stage， the roughly segmented image of FL30 needed to be processed finely， and the residual background became less in the fine segmentation stage， and all varieties of fruit were completely extracted from their images. Hence the proposed algorithm could accurately and effectively recognize the cashew fruit from the image captured in the natural environment.

Keywords cashew fruit； image recognition； combination algorithm

DOI 10.3969/j.issn.1000-2561.2018.07.004

腰果（Anacardium occidentale L.）是多年生熱带常绿乔木果树，原产巴西东北部，是东南亚、非洲、南美洲和中美洲许多发展中国家重要的出口创汇经济作物[1]。目前，我国腰果主要分布在海南省南部、西南部滨海干热区和云南省南部、西南部干热河谷低海拔地区[2-3]。

腰果果实包括果梨（假果）和坚果（种子）两部分[4]，坚果内的腰果仁是目前市场上销售的主体，而腰果果梨虽然极富营养价值[5-6]，但由于多种因素的限制，果梨的利用还相对较少。目前国内外腰果果实采摘基本上是等待果实成熟后自动从树上脱落，再用人工进行收集。但是果梨掉落后由于碰撞损伤或不能及时收集而遭受昆虫病菌等破坏，一般都很难再加以利用。所以，全世界约有90%的腰果果梨直接废弃在腰果园里[7]。如果采用人工在腰果果实掉落前每天巡园采摘，则由于腰果结果植株太过高大（5 m以上）[8]，且结果期通常长达3～4个月甚至更长[9]，因此不仅采摘劳动强度大，而且工作效率低，导致采摘成本极高；同时随着农村劳动力加速向城镇转移，人工劳动力缺乏。为降低劳动力成本和提高采摘效率，应用机器人采摘腰果果实将成为今后的发展趋势[10-11]。现在，国内外果蔬采摘机器人主要运用基于图像处理的视觉识别技术来识别目标[12]。因此，开展腰果果实的图像检测与识别研究，将可为实现腰果的机器采摘提供理论和技术上的支撑。

目前，在自然环境下基于图像的果实识别主要利用色差、纹理和形状等特征参数分离目标与背景，常用的算法有颜色模型法和聚类分析法。颜色模型法是根据1个或多个颜色通道的组合，通过阈值法实现果实与背景的分割；聚类分析法，主要有K-means聚类、人工神经网络、支持向量机等，其中应用最为广泛的是颜色模型法[13-17]。阈值法适合对直方图具有双峰特征的图像进行分割，计算量小，K-means聚类、人工神经网络和支持向量机等方法适合复杂背景图像的分割，但计算量大。已有的研究表明应用这些方法可以有效地从图像中识别出果实，Bulanon等[18]根据图像中果实目标比背景成分红色分量高的原理，利用最佳阈值分割算法，分割果实目标和背景，成功率达88%；张云龙等[19]采用支持向量机算法对

自然情况下苹果图像进行分割，结果表明其分割速度和准确率优于阈值分割法；程洪等[20]运用神经网络模型识别出树冠上的苹果并进行估产，该模型具有较好的预测精度与鲁棒性。但是田间复杂背景下的果实图像识别仍然存在识别速度低和识别精度不高的问题，同时迄今为止还未见有对腰果果实图像识别的研究报道，腰果果实采摘缺少自动化技术研究基础。因此，本研究以5个腰果无性系果实自然环境下的图像为样本，分析其特征，结合颜色模型法、聚类分析法和形态学方法，以期找到从自然环境图像中准确识别不同腰果果实的组合算法，为腰果果实的自动检测、识别和采摘技术的研究提供技术支撑。

1 材料与方法

1.1 材料

2016年4—5月腰果果实的结果期，在海南省乐东县利国镇海南腰果研究中心（1831N、10852E）采集成熟、无病虫害为害且生长良好的5个腰果无性系CP63-36、FL30、GA63、HL2-13和HL2-21的果实图像用于实验。

1.2 方法

1.2.1 图像获取 用佳能（Canon）EOS 6D数码相机（厂家：佳能（中国）有限公司；产地：日本）在果园中随机获取顺光和逆光条件下的腰果果实彩色图像5个无性系各50幅，共计250幅，拍摄距离为1 m。图像存储为jpg格式，分辨率为640×480像素。从各个无性系图像中随机选取1幅作为识别样本。

1.2.2 图像识别算法设计 由于自然环境下背景复杂且有多种环境噪声，为从图像中准确地分离出腰果果实图像，其图像识别与分割算法分4个步骤：（1）对图像进行噪声滤波，滤除环境噪声；（2）颜色空间模型分析和选择；（3）图像分割，最大限度分离背景；（4）连通域分析和边缘检测，去除剩余的背景，提取目标区域。

1.2.3 噪声的双边滤波 由于腰果是典型的热带作物，生长在较强的自然光线下，在野外采集圖像时易受到高光和阴影的影响。同时加上其他噪声的干扰，获取的图像往往带有噪声，需要进行图像滤波处理去除噪声。但是一些滤波算法会使得图像中物体的边缘变得模糊，不利于图像分割，为达到保边去噪的目的，本研究采用Tomasi等[21]提出的双边滤波算法。双边滤波是一种非线性的滤波方法，结合图像的空间邻近度和像素值相似度的进行滤波处理，同时考虑空域信息和灰度相似性，其算法如下：

1.2.4 颜色空间模型的分析和选择 实验中的腰果果实颜色属于红色系和黄色系，与背景存在色差，利用色差可以将目标和背景分离开来。但是自然环境下，不同时间、设备及角度拍摄的图像存在明显的亮度差异，影响果实与背景的分离，而RGB颜色空间下亮度和色调混合在一起表示，都是由R、G和B值来表示，且R、G和B值之间往往存在较强的相关性，不利于目标的识别，需要将RGB颜色空间转换到新的颜色空间。用HSV、Lab、YIQ、YUV、YCbCr等颜色模型进行分析比较，发现Lab颜色模型下的L分量和a分量直方图的曲线峰谷特征明显，能很好地消除自然光线造成的强光影响，适合做进一步的阈值分割，故选取Lab颜色模型对腰果果实图像进行处理。LAB颜色空间模型由国际照明委员会于1976年确定的颜色系统，该模型将亮度和颜色分开表示，是基于生理特性开发的、可描述人的视觉感应的颜色系统。LAB颜色空间模型有3个基本坐标L、a和b，L表示颜色的亮度；a的正数代表红色，负端代表绿色；b的正数代表黄色，负端代表蓝色。由RGB到Lab颜色空间的转换公式如下：

1.2.5 图像分割算法 自然环境下，腰果果实图像背景复杂，色彩较多。在图像分割时，首先采用OTSU算法对图像进行粗分割；如果残留的背景较多，或者背景与目标粘连在一起，不利于下一步的分割，则采用K-means聚类算法对OTSU阈值分割后的图像做进一步的精细分割。

令σ最大的T值即为所求的阈值。

K-means聚类算法属于一种动态聚类算法。该算法的一个比较显著的特点就是迭代过程，随机地选择初始聚类中心向量，计算各个样本到初始聚类中心向量的距离；把样本划归到距离它最近的那个中心所在的类中，得到一个新的分类并计算出新类的中心向量；如果2次计算出来的聚类中心向量未曾发生任何的变化，表示算法结束。给定数据集X，其中只包含描述属性，不包含类别属性，假设X包含k个聚类子集X1， X2， …， Xk，其均值分别为m1， m2， …， mk，各个聚类子集的样本数分别为n1， n2， …， nk，则评价的误差平方和准则函数为。

1.2.6 连通域分析 腰果果实图像经过阈值分割处理，可以去除大部分背景，但是自然环境下一些枝条、树叶在光线作用下，在图像中的颜色与果实近似，另外自然条件下拍摄的图像具有多类色彩，因此仍有部分噪声背景保留在分割图像中，而这些背景的形状不规则，与腰果果实的形状存在很大差异，因此可以进行连通域分析，去除这些不规则的噪声背景，彻底将目标从背景中分割出来。连通域分析采用2遍扫描法算法标记图像中的连通域，并计算各连通域的面积、形状和灰度特征，根据这些特征保留与目标相对应的连通域，去除噪声背景。

2 结果与分析

2.1 腰果果实图像的双边滤波

以腰果CP63-36果实图像（图1）为例，双边滤波前后图像对比发现，滤波后果实变得更加圆润，果实上的小斑点也被平滑了，但同时果实的边缘保留完整，并且与背景对比清晰，说明双边滤波对与自然环境下的腰果果实图像起到了保边去噪的效果。

2.2 Lab颜色空间下的直方图分析

将滤波后的腰果果实图像转换到Lab颜色空

间，对比该颜色空间下L、a和b各通道的直方图，发现对于腰果无性系CP 63-36、GA63和HL2-13，果实图像a通道直方图双峰特征明显，两峰之间重叠较少；而腰果无性系FL30和HL2-21果实图像a通道直方图具有双峰特征，两峰之间重叠较多，如图2所示。

这说明在a通道腰果无性系CP 63-36、GA63和HL2-13的果实灰度与背景重叠较少，图像分割能取得较好的效果；而腰果无性系FL30和HL2-21的果实灰度与背景重叠较多，在a通道进行圖像分割效果较差。原因是在Lab颜色空间下，a通道代表了红色到绿色的转换，而腰果无性系CP 63-36、GA63和HL2-13的果实为红色系，自然环境下除枝条外背景中大部分为绿叶，a通道最大限度体现了这3种果实与其背景的色差；而腰果无性系FL30和HL2-21的果实为黄色系，背景中的一些枝叶在热带自然光照下呈偏黄色，导致果实与背景中一些物体色差较小。因此对于腰果无性系FL30和HL2-21，其图像分割还需参考其他通道，如图3所示，其L通道直方图具有明显的双峰特征，可作为图像分割的参考通道。

2.3 腰果果实图像的分割

通过图2直方图分析，对于腰果无性系CP 63-36、GA63和HL2-13的果实图像，在a通道下采用OTSU算法进行阈值分割（图4）。可以看出，分割后的图像中绝大部分背景被去除，果萼被分离出去，果实上的斑点成为黑色孔洞，也被识别出来，GA63的分割图像中还残留了部分噪声背景，需进一步处理。

从图5中可以看出，a通道下，FL30果实图像背景中绿色的叶子均被分割出去，分离出的果实形状完整，但是与果实颜色近似的枝条和果萼仍然留存在分割图像中；相比于a通道，L通道下的分割图像中部分枝条、果萼被分割出去，但是果实右下方的自然光照仍留存在分割图像中，这是因为L通道为亮度通道，亮度近似的像素将聚为一类。而对于HL2-21的果实图像，a通道下分割的果实图像模糊，留存的噪声背景较多，L通道下能分割出完整的果实形状，被自然光照到的部分依然留存在分割图像中。

从图5可以看出，新分割图像中果实形状完整清晰，分割效果优于单独在L通道和a通道下的分割。

对于FL30果实图像，其faL图像中仍有一些大块的噪声背景不能去除，需要进一步进行精细分割，图6是在图像faL分割的基础上，采用K-means算法，利用L、a和b这3个通道的信息对阈值分割图像的精细分割，分割后噪声背景进一步被去除，只残存零星的噪声背景。

2.4 腰果果实分割图像的连通域分析

由图4～图6可看出，分割后的果实图像中还有零星噪声，这些噪声背景在颜色上与目标腰果果实近似，从颜色空间上难以分割，但是在几何形状和大小上与目标差异较大。通过连通域分析，计算各区域面积，将面积最大的连通域作为目标，其他连通域作为背景区域予以去除，同时对目标区域进行圆形区域均值滤波，去除孔洞，使边缘更加光滑，如图7所示。连通域分析后图像中背景被去除，分割得到的果实形状完整。

3 讨论

本研究构建了腰果果实图像分割的组合算法，该组合算法能准确从自然环境图像中分割出5个目标腰果果实。目前对重要经济果实图像识别的相关报道较多，如柑橘[22-23]、荔枝[24-25]、苹果[26]和西红柿[27]等，但这些研究提出的算法多集中于识别单一品种的果实图像。本研究提出的组合算法选择特定的颜色空间模型，在粗分割的基础上进行精细分割，对不同色系的果实采用不同的颜色通道，能够从野外环境中有效分割出5种腰果果实。这5种腰果果实在颜色、纹理和形状上存在一定的差异，但采用本算法其图像都能准确地从背景中分割出来，这说明该组合算法对不同品种腰果果实图像的识别具有健壮性。在粗分割阶段，对CP 63-36、GA63、HL2-13和HL2-21的果实图像，采用一维的OTSU算法即能得到只残留零星背景噪声的分割图像，HL2-21和FL30的粗分割则利用了2个通道的OTSU分割结果，而精细分割阶段，采用的K-means算法同时利用了L、a和b这3个通道的信息。因此本组合算法对较易分割的果实图像采用低维算法，节省计算量，对不易分割的果实图像，增加维度充分利用所有通道信息进行精细分割。同时本组合算法充分利用Lab颜色空间的均匀性，即不受设备的影响和适用于接近自然光照的场合，对红色系和黄色系目标果实均能得到较优的粗分割图像，而在果实图像识别的相关报道中，RGB和HSV这2种颜色模型使用较多[28]。

从图7中分割出的FL30腰果果实图像可以看出，尽管本研究构建的组合算法能从背景中分割出大部分FL30腰果果实，但是分割出的果实图像底部边缘部分残缺，因此应用本文的组合算法时，可进一步结合主动轮廓模型修复分割出的果实图像，并应用机器学习算法如支持向量机、深度学习等实现多个和重叠腰果果实的图像分割。

目前，世界上许多大规模商业化腰果种植园面积超过200 hm2，约有4万株腰果树[29]。在这些大规模商业化种植园中，机械化作业是必不可少的，但是现在这些机械化作业大多还局限于果园管理如除草或喷药以及运输果实等，腰果果实的自动化采收技术发展还远远滞后，难以满足腰果种植园的技术需求。所以，通过本研究，我们得出了自然环境下腰果果实图像识别的组合算法设计，而且该组合算法设计能从自然环境图像中准确有效地识别出腰果果实，这为今后实现腰果的机器自动化采摘提供有效的技术支撑。

参考文献

[1] Daramola B. Assessment of some aspects of phytonutrients of cashew apple juice of domestic origin in Nigeria[J]. African Journal of Food Science， 2013， 7（6）： 107-112.

[2] 梁李宏， 张中润， Masawe P A L. 腰果栽培与加工[M]. 北京： 中国农业出版社， 2015.

[3] 梁李宏， 王金辉， 黄伟坚， 等. 施肥对幼龄腰果植株生长和结果的影响[J]. 中国土壤与肥料， 2009（5）： 43-48.

[4] Sirianni G， Visalberghi E. Wild bearded capuchins process cashew nuts without contacting caustic compounds[J]. American Journal of Primatology， 2013， 75（4）： 387-393.

[5] Das I， Arora A. Post-harvest processing technology for cashew apple–a review[J]. Journal of Food Engineering， 2017， 194： 87-98.

[6] Akinwale T O. Cashew apple juice： its use in fortifying the nutritional quality of some tropical fruits[J]. European Food Research & Technology， 2000， 211（3）： 205-207.

[7] Filgueiras H A C， Alves R E， Mosca J L， et al. Cashew apple for fresh consumption： research on harvest and postharvest technology in Brazil[J]. Acta Horticulturae， 1999（485）： 155-160.

[8] Salam M A， Peter K V. Cashew-AMonograph[M]. New delhi： Studium Press， 2010.

[9] 黃伟坚， 梅 新， 梁李宏， 等. 5个腰果高产无性系农艺经济性状比较[J]. 热带农业科学， 2007， 27（2）： 18-20.

[10] 袁国勇. 黄瓜采摘机器人目标识别与定位系统的研究[D]. 北京： 中国农业大学， 2006.

[11] 许立兵， 朱启兵， 黄 敏. 基于ARM的苹果采后田间分级检测系统设计[J]. 计算机工程与应用， 2015， 51（16）： 234-238.

[12] Li P， Lee S H， Hsu H Y. Review on fruit harvesting method for potential use of automatic fruit harvesting systems[J]. Procedia Engineering， 2011， 23（5）： 351-366.

[13] Hayashi S， Ganno K， Ishii Y， et al. Robotic harvesting system for eggplants[J]. Japan Agricultural Research Quarterly Jarq， 2002， 36（3）： 163-168.

[14] Ejvan H， Bajvan T， Hemming J， et al. Field test of an autonomous cucumber picking robot[J]. Biosystems Engineering， 2003， 86（3）： 305-313.

[15] 周天娟， 张铁中， 杨 丽， 等. 基于数学形态学的相接触草莓果实的分割方法及比较研究[J]. 农业工程学报， 2007， 23（9）： 164-168.

[16] 李 昕， 李立君， 高自成， 等. 基于偏好人工免疫网络多特征融合的油茶果图像识别[J]. 农业工程学报， 2012， 28（14）： 133-137.

[17] Ji W， Zhao D， Cheng F， et al. Automatic recognition vision system guided for apple harvesting robot[J]. Computers & Electrical Engineering， 2012， 38（5）： 1186-1195.

[18] Bulanon D M， Kataoka T， Ota Y. A segmentation algorithm for the automatic recognition of Fuji apples at harvest[J]. BiosysEng， 2002， 83（4）： 405-412.

[19] 张云龙， 齐国红， 张晴晴. 基于SVM 的复杂环境下苹果图像的分割[J]. 智能计算机与应用， 2017， 7（1）： 14-16.

[20] 程 洪， Damerow L， Blanke M， 等. 基于树冠图像特征的苹果园神经网络估产模型[J]. 农业机械学报， 2015， 46（1）： 14-19.

[21] Tomasi C， Manduchi R. Bilateral filtering for gray and color images[C]// Institute of Electrical and Electronics Engineers. Proceedings of 6th International Conference on Computer Vision. London： Narosa Publishing House， 1998： 839-846.

[22] Bulanon D M， Burks T F， Alchanatis V. Image fusion of visible and thermal images for fruit detection[J]. Biosystems Engineering， 2009， 103（1）： 12-22.

[23] Li P， Lee S H， Hsu H Y. Study on citrus fruit image data separability by segmentation methods[J]. Procedia Engineering， 2011， 23（5）： 408-416.

[24] 熊俊濤， 邹湘军， 陈丽娟， 等. 基于机器视觉的自然环境中成熟荔枝识别[J]. 农业机械学报， 2011， 42（9）： 162-166.

[25] 彭红星， 邹湘军， 陈丽娟， 等. 基于双次Otsu算法的野外荔枝多类色彩目标快速识别[J]. 农业机械学报， 2014， 45（4）： 61-68.

[26] 冯 娟， 曾立华， 刘 刚， 等. 融合多源图像信息的果实识别方法[J]. 农业机械学报， 2014， 45（2）： 73-80.

[27] Patel H N， Jain R K， Joshi M V. Fruit detection using improved multiple features based algorithm[J]. International Journal of Computer Applications， 2011， 13（2）： 1-5.

[28] Linker R， Cohen O， Naor A. Determination of the number of green apples in RGB images recorded in orchards[J]. Computers & Electronics in Agriculture， 2012， 81（1）： 45-57.

[29] Ohler J G. Cashew[M]. Amsterdam： Kominklijk Institunt Voor de Tropen， 1979.