基于探索性分析的荔枝串与结果母枝图像识别

郭艾侠， 肖德琴

(华南农业大学 信息学院， 广东 广州 510642)

0 引 言

果蔬采摘机器人的视觉关键技术在于如何检测和识别目标，以确定其精确的三维空间位置，从而为机械手的运动提供参数[1-3]。荔枝采摘机器人以成熟荔枝串为采摘目标，荔枝串的识别是其识别荔枝果与结果母枝的关键基础，而荔枝果与结果母枝的识别又是采摘点的计算与定位的先决条件。因此，从所采集含有荔枝果的图像中有效识别出荔枝串、荔枝果及结果母枝，并最终实现采摘点的计算与定位成为荔枝采摘机器人视觉图像识别与定位的研究重点。

荔枝串中含有多个荔枝果和一个主杆的结果母枝、一些叶子，较难识别[4]。毛亮等提出了基于稀疏水平集的方法，通过分割荔枝图像HSV(Hue Saturation Value)色彩模型的H分量图从而识别出荔枝果[5]。孔德运等使用较为宽松的阈值对荔枝图像的L*a*b*色彩空间的a*分量图进行初次分割，进而采用蚁群与空间约束的FCM (Fuzzy C-means Clustering)算法识别了荔枝果[6]，而该方法并未给出识别荔枝串与结果母枝的策略，且对宽松阈值的确定也没有详细的描述。熊俊涛等首先采用经验阈值对荔枝图像YCbCr色彩模型的Cr分量图进行分割以去除复杂的大背景信息，然后采用FCM方法分别识别出荔枝果与结果母枝，但没有涉及经验阈值设定方法的研究[7-8]。

复杂自然环境下荔枝串中的荔枝果、结果母枝会受到光照与环境变化的影响，视觉识别与定位中的不确定因素也很多，而通过探索性分析(Exploratory Analysis，EA)方法来获取识别各类荔枝串的阈值相对而言具有一定的优势[4]。

EA是美国兰德公司(RAND Corporation)提出来的一种系统分析方法，主要用于复杂系统中不确定性问题的分析和决策[9-12]。它也是统计分析方法的一种，探索性数据与仿真分析成为不确定性问题处理的先进方法[10-12]。Morten Rufus Blas在统计分析的基础上，用图像和形状分类的视觉系统来研究自动打包机，对农作物自动定位与分类收割[13]。王勇等通过对棉桃、棉叶和棉枝的颜色进行分类统计分析，提出了基于RGB色彩模型的R—B色差图像的分割模型，解决棉花采摘机器人的目标识别问题[14]。吕小莲等采用统计软件SPSS13.0，分别对西红柿采集图像中的目标与背景在RGB、Nrgb、HSI、 I1I2I3各色彩模型的颜色分量的分布进行统计分析，获取了有效分割西红柿与背景的色彩模型及其颜色分量[15]。郭艾侠等采用EA方法进行荔枝果与结果母枝的颜色特征分析与识别研究，给出了分类识别荔枝串、荔枝果与结果母枝的视觉模型，且得出Cr分量图的灰度值在0.50～0.54能去除叶子和侧枝等复杂背景，实现荔枝串的识别[4]。

本文在前人研究的基础上，给出了采集荔枝图像中感兴趣区域的荔枝串、荔枝果与结果母枝的分类与荔枝灰度图像的处理，提出采用探索性实验分析方法获取识别各类荔枝串的固定阈值，并最终进行荔枝串、荔枝果与结果母枝识别的验证试验与分析，为后续采摘点的选取与定位提供基础。

1 彩色荔枝图像各部位分类

复杂自然环境下所采集的荔枝图像区域主要有：红色(荔枝果)、绿色(叶子和一些细小枝条)、偏红或者偏绿或者偏褐(结果母枝)和其他一些细缝所产生的浅黑色。其中荔枝串、荔枝果与结果母枝的分类如图1所示，文中的荔枝图像指的是自然环境下采集的含有成熟荔枝串和复杂背景的原始RGB图像。

(a) 荔枝原图

(b) 荔枝串

(c) 荔枝果

(d) 结果母枝

2 荔枝各部位彩色图像分类识别策略

直接对自然环境下所采集的荔枝RGB图像进行分割，难度较大。若采用K-Means、C-Means等模糊聚类的图像分割方法对彩色荔枝图像进行聚类分割处理时，对颜色差异较小的亮绿色叶子与偏绿色结果母枝情况，在给定聚类种数为3(叶子等背景、荔枝果实与结果母枝3类)时，该方法会视亮绿色叶子与偏绿色结果母枝两者为同类，从而导致结果母枝的误分类[16]。而对彩色图像中的单通道灰度图进行分割处理不仅可以缩短图像处理时间，而且能提高目标识别效率[17]。基于文献[4]的结论，本文用YCbCr色彩模型的Cr分量图作为采集荔枝原RGB图像的灰度图，进而采用灰度图像的分割方法以识别荔枝串及其中的荔枝果与结果母枝。

2.1 荔枝各部位图像分割策略

在众多的灰度图像分割方法中，阈值分割技术因简单、速度快、实时性好且较为直观而被广泛应用[18]。基于阈值的荔枝串图像分割技术的关键在于如何选择合理的阈值。不同的阈值选取对图像处理的结果不同：如果阈值选取过小，就会提取冗余信息，错把背景信息分割成感兴趣的目标；如果阈值选取过大，又会丢失目标信息。本文通过对比迭代法、最大类间方差法(Otsu)、直方图双峰法和最大熵4种常用阈值计算方法获取各阈值对荔枝灰度图的分割效果，确定了Otsu阈值范围的下限与最大熵阈值范围的上限为分割各类荔枝串的阈值区间；然后采用探索性实验分析方法获取了识别强、正常、逆光与结果母枝颜色偏褐、偏红与偏绿的各类荔枝串的固定阈值，对荔枝Cr分量图进行图像分割处理，结合图像的形态学与最大区域标记方法识别出荔枝串；最后对已识别荔枝串的Cr灰度图采用FCM算法进行图像聚类分割、形态学运算及最大区域标记等处理方式，从而识别出荔枝果与结果母枝。荔枝串、荔枝果与结果母枝各部位的图像分割流程如图2所示。

2.2 荔枝各部位彩色识别效果还原

为得到各类识别目标的彩色效果图，需要把每次分割处理得到的二值图像与原图进行叠加。

假设获取分割荔枝串的固定阈值为T，对采集荔枝图像的Cr分量图进行阈值分割处理得到的二值图像为

对此二值图像进行图像形态学与最大区域标记的后续处理来消除残留在图像中的随机噪声，得到荔枝串的二值图像Litchi_Cluster_BImg。若荔枝原图为Litchi_Img，采用Matlab的以下代码可实现荔枝串分割的彩色效果图rgb_ Cluster _out。

rgb_ Cluster _out=Litchi_ Cluster _Img;

rgb_ Cluster _out=im2double(rgb_ Cluster _out);

rgb_ Cluster _out(:,:,1)=rgb_ Cluster _out(:,:,1).* Litchi_Cluster_BImg;

rgb_ Cluster _out(:,:,2)=rgb_ Cluster _out(:,:,2).* Litchi_Cluster_BImg; rgb_Cluster_out(:,:,3)=rgb_Cluster_out(:,:,3).* Litchi_Cluster_BImg;

其中：rgb_ Cluster _out(:,:,:i)为R,G,B3个颜色分量值；rgb_ Cluster _out即为彩色荔枝串图像。采用同样的方法对获取的荔枝果与结果母枝二值图像进行色彩还原处理，获取其彩色识别效果。

图2 融合EA与FCM算法的荔枝各部分类识别流程图

3 基于EA的分割各类荔枝串固定阈值获取

3.1 基于EA的各类荔枝串分割阈值的获取策略

采用实验对比的方法首先获取分割各类荔枝串的阈值区间，进而采用探索性实验分析的方法确定识别各类荔枝串的固定阈值，最后对进行荔枝各部位分类识别的验证性实验与分析。

3.2 荔枝串图像分割阈值获取的探索性实验分析

(1) 实验材料及环境。试验的荔枝图片是在自然环境下从广州市南沙区和番禺区的荔枝园所采集的1 000 幅中随机选出的180 幅图片，其大小均处理为456×342 。实验的测试环境为Windows XP，主频2.9 GHz、内存2 GB 的PC 机，后台测试软件为Matlab 7.10。

把荔枝图像分为强光、逆光、普通光照的一组(每类图片30幅，该组共90幅荔枝图像)和结果母枝颜色为偏红、偏绿、偏褐的一组(每类图片数及参数同上)。用Otsu及最大熵阈值法分别各类条件所测试图像的阈值范围，取Otsu阈值下限和最大熵阈值的上限作为各图片的阈值区间，在阈值范围内选定固定阈值，分别对各类荔枝图像进行阈值分割，获取的实验数据如表1、2所示。

(2) 实验结果的探索性分析。从表1、2得知：分割各类荔枝串的最小阈值为0.501 0，是由于荔枝串中结果母枝的颜色偏绿、与背景颜色差异不大所致；而最大阈值为0.533 2是结果母枝颜色偏红情况。由此可见，结果母枝的颜色对分割荔枝串的阈值设定有一定影响。

表1 不同光照条件荔枝串分割阈值

表2 不同颜色结果母枝荔枝串分割阈值

综合本次实验对各类荔枝图像进行识别的情况来看，分割荔枝串的阈值范围为[0.501 0，0.533 2]，这与文献[5]中的结论一致。

(3) 基于EA获取阈值对荔枝串的识别验证。为进一步验证获取的固定阈值对荔枝串的分割效果，随机选取了不同光照条件与不同颜色倾向的荔枝图片共120幅，采用探索性实验方法获取的各固定阈值进行图像分割处理，各类图像的数量及荔枝串的识别结果如表3所示。选取其中的一组图像为例，识别效果如图3所示。

表3 基于探索性分析的固定阈值对各类荔枝串的识别情况

图3 不同光照条件的荔枝串的图像分割效果(从上到下依次是原图、灰度图、灰度直方图，从左到右依次是强光、正常光及逆光)

从表3可以看出，选取逆光条件测试图像17幅，成功识别的荔枝串有15幅；选取结果母枝为偏绿的图像18幅，仅有14幅为成功识别的荔枝串。该方法对此2类条件的荔枝串的识别效率偏低，识别率分别为83.30%和70.00%。但采用探索性实验分析所获取固定阈值对其他各类情况的荔枝串的识别效果较好，平均识别率达到91.80%。综合比较各类图像情况，采用探索性实验分析方法获取固定阈值对荔枝图像进行分割处理，荔枝串的平均识别效率达到86.70%，基本满足荔枝实际采摘需要。

(4) 图像分割后续处理。对荔枝图像的感兴趣区域实施固定阈值分割处理后能够去除大部分的复杂背景，但获取的荔枝串图像并不是理想的效果，如图3所示。分割后的图像中留下了很多噪声，还需要对图像中残余的一些小面积图像块进行形态学与最大区域标记的处理，以消除不相关连通区域，从而得到相对较大的连通区域。

4 荔枝果与结果母枝的识别

荔枝属串型生长的多果类，采摘点的选取必然发生在结果母枝上。为实现采摘点的计算及定位需求，还需把荔枝果与结果母枝识别出来。对已识别荔枝串图像进行FCM图像聚类分割、形态学与最大区域标记处理可有效识别荔枝果与结果母枝[7]。图4为上述荔枝图片经过分割、形态学、最大区域标记及色彩还原的荔枝串、荔枝果与结果母枝的识别效果如图5所示。

进而对所采集不同光照条件与不同拍摄角度的荔枝图片90幅进行EA与FCM相结合方法来分类识别荔枝串、荔枝果与结果母枝的实验测试，各部位的识别率如表4所示。

从表4可知：荔枝串与荔枝果识别效果较好，平均识别率达到91.67%，而结果母枝识别率偏低，平均识别率为86.67%。影响结果母枝识别率的主要因素

表4 荔枝各部位识别率 %

包括：

(1) 荔枝串识别效果的影响。荔枝串识别是结果母枝条与荔枝果识别的基础。若待识别的荔枝串的周围有较粗树枝(其尺寸接近结果母枝的主干尺寸)时，采用固定阈值对荔枝图像进行分割、形态学与最大区域标记后，有较为粗壮树枝与荔枝串区域连通被保留。再次采用FCM聚类分割图像时，粗壮树枝区域因面积最大被误识别为结果母枝。

(2) 遮挡的影响。在结果母枝被部分叶子遮挡情况下进行连通区域选择时产生了误差，影响了结果母枝的识别率。此时通过对连通区域重新设定面积阈值可减少误差，提高识别率。

此外，由于本文实验所用图片均在平视或仰视角度很小情况下拍摄，图像中的结果母枝均为无遮挡的条件，识别的荔枝串中保留了较为完整的结果母枝，这样才能为后续结果母枝识别提供基础。而在自然环境中结果母枝有树叶遮挡或者拍摄仰视角度过大，采集图片中结果母枝被果实遮挡的情况下，对荔枝串与结果母枝的分割效果较差(见图5)。

图4 荔枝各部位识别色彩效果图

图5 结果母枝有遮挡荔枝各部位识别情况

5 结 论

本文以串型生长的多果类采摘目标荔枝为研究对象，重点讨论了荔枝采摘机器人视觉系统对荔枝串、荔枝果与结果母枝的图像识别问题，特别是采用探索性实验分析方法获取了分割各类荔枝串的固定阈值，具体研究内容有：

(1) 考虑荔枝串中荔枝果与结果母枝的特点，给出荔枝各部位的分类，提出了基于EA与FCM相结合的荔枝各部位图像分类识别策略。

(2) 通过探索性实验分析方法分别获取了分割强光、逆光与普通光照下荔枝的阈值分别为0.502 0, 0.510 8， 0.530 0；结果母枝颜色为偏红、偏绿与偏褐的荔枝串的固定阈值分别为0.533 2、0.501 0、0.520 8，进而进行了各类荔枝串识别的实验与分析。

(3) 采用FCM算法把荔枝果与结果母枝从已识别的荔枝串中提取出来，平均识别率分别为91.67%与86.67%，并对引起结果母枝误判的原因进行分析。

但是，由于荔枝实际生长客观存在的自然环境和彩色图像分割本身复杂性等因素，本文的方法仍存在一定的局限性。比如对于结果母枝被叶子遮挡，或者图像拍摄由于选取角度过大而导致结果母枝被果实遮挡等问题对荔枝各部位识别所产生的影响等，还需进一步研究与探索。

[1] Bulanon D M, Kataoka T. Fruit detection system and an end-effector for robotic harvesting of Fuji apples[J]. Agricultural Engineering International: CIGR Journal, 2010, 12(1): 203-210.

[2] Zou X J, Zou H X, Lu J. Virtual manipulator-based binocular stereo vision positioning system and errors modeling [J]. Machine Vision and Applications, 2012, 23(1): 43-63.

[3] 吕继东，赵德安，姬 伟,等. 苹果采摘机器人对振荡果实的快速定位采摘方法[J]. 农业工程学报，2012，28(3)：48-53.

Lü Jidong, Zhao De’an, Ji Wei,etal. Fast positioning method of apple harvesting robot for oscillating fruit[J].Transactions of the Chinese Society of Agricultural Engineering (Transactions of the CSAE), 2012, 28(3):48-53.

[4] 郭艾侠，邹湘军，朱梦思,等.基于探索性分析的荔枝果与结果母枝颜色特征分析与识别[J]. 农业工程学报，2013，29(4)：191-198.

Guo Aixia, Zou Xiangjun, Zhu Mengsi,etal. Color feature analysis and recognition for litchi fruits and their main fruit bearing branch based on exploratory analysis[J].Transactions of the Chinese Society of Agricultural Engineering (Transactions of the CSAE), 2013, 29(4): 191-198.

[5] 毛 亮，薛月菊，孔德运，等. 基于稀疏场水平集的荔枝图像分割算法[J]. 农业工程学报，2011，27(4)：345-349.

Mao Liang, Xue Yueju, Kong Deyun,etal. Litchi image segmentation algorithm based on sparse field level set[J].Transactions of the Chinese Society of Agricultural Engineering(Transactions of CSAE), 2011, 27(4): 345-349.

[6] 孔德运，薛月菊，毛 亮,等. 基于蚁群和带空间约束FCM的荔枝图像分割算法[J/OL].计算机工程与应用//http://www.cnki.net/kcms/detail/11.2127.TP.20111209.1001.043.html

Kong Deyun, Xue Yueju, Mao Liang,etal. Litchi Image Segmentation Algorithm Based on Ant Colony and Space Constraints FCM[J/OL].Computer Engineering and Applications//http://www.cnki.net/kcms/detail/11.2127.TP.20111209.1001.043.html

[7] 熊俊涛，邹湘军，陈丽娟,等. 基于机器视觉的自然环境中成熟荔枝识别[J]. 农业机械学报，2011，42(9)：162-166.

Xiong Juntao, Zou Xiangjun, Chen Lijuan,etal. Recognition of mature litchi in natural environment based on machine vision[J]. Transactions of the Chinese Society for Agricultural Machinery, 2011, 42(9): 162-166.

[8] 熊俊涛，邹湘军，陈丽娟,等. 采摘机械手对扰动荔枝的视觉定位[J]. 农业工程学报，2012，28(14)：36-40.

Xiong Juntao, Zou Xiangjun, Chen Lijuan,etal. Visual position of picking manipulator for disturbed litchi[J].Transactions of the Chinese Society of Agricultural Engineering(Transactions of CSAE), 2012, 28(14): 36-40.

[9] Paul K Davis, Manuel J Carrillo. Exploratory analysis of “The Halt Problem”[R]. Santa Monica:RAND, 1997.

[10] 曾宪钊，蔡游飞，黄 谦，等. 基于作战仿真和探索性分析的海战效能评估[J]. 系统仿真学报，2005，17(3)：763-766.

Zeng Xianzhao, Cai Youfei, Huang Qian,etal. Simulation and exploratory analysis based on navy-battle effectiveness evaluation[J]. Journal of System Simulation, 2005, 17(3):763-766.

[11] 邹湘军，顾邦军，张 平，等. 分布式虚拟环境下不确定性问题的探索性分析[J]. 系统仿真学报，2007，19(3)：687-690.

Zou Xiangjun, Gu Bangjun, Zhang Ping,etal. Collaborative exploratory analysis of uncertainty problem based on distributed virtual environments[J]. Journal of System Simulation, 2007,19(3): 687-690.

[12] Suitbert Ertel. Exploratory factor analysis revealing complex structure [J]. Personality and Individual Differences, 2011, 50(2): 196-200.

[13] Blas M R, Blanke M. Stereo vision with texture learning for fault-tolerant automatic baling [J]. Computers and Electronics in Agriculture, 2010, 75(1): 159-168.

[14] 王 勇，沈明霞，姬长英. 采摘期成熟棉花不同部位颜色识别分析[J]. 农业工程学报，2007，23(4)：183-185.

Wang Yong, Shen Mingxia, Ji Changying. Model and analysis of color for different parts of ripe cotton in picking period[J]. Transactions of the Chinese Society of Agricultural Engineering(Transactions of CSAE), 2007,23(4): 183-185.

[15] 吕小莲, 张祖立, 吕小荣. 西红柿采摘识别系统中色彩空间选择的探讨[J]. 农机化研究, 2008(2):188-190.

Lü Xiao-lian,Zhang Zuli,Lü Xiaorong. Discussing of Color-space Choosing for the Automatically Discriminated System of Tomato Picking[J]. Journal of Agricultural Mechanization Research,2008(2):188-190.

[16] 陈丽娟. 基于机器视觉的自然环境下的目标定于研究[D]. 广州: 华南农业大学, 2012.

[17] 赵金英，张铁中，杨 丽. 西红柿采摘机器人视觉系统的目标提取[J]. 农业机械学报，2006，37(10)：200-203.

Zhao Jinying, Zhang Tiezhong, Yang Li. Object picking-up with machine vision of tomato picking robot[J]. Transactions of the Chinese Society for Agricultural Machinery, 2006, 37(10): 200-203.

[18] 童小念, 刘 娜. 一种基于遗传算法的最优阈值图像分割方法[J]. 武汉理工大学学报(交通科学与工程版), 2008,32(2):301-304.

Tong Xiaonian, Liu Na. Optimal Threshold Image Segmentation Method Based on Genetic Algorithms [J]. Journal of Wuhan University of Technology (Transportation Science &Engineering), 2008, 32(2):301-304.