不同颜色模型识别成熟苹果图像的比较分析

李 莎，钱建平，赵春江，陈梅香，李文勇，陈 明

（1.上海海洋大学 信息学院，上海201306；2.国家农业信息化工程技术研究中心，北京100097）

0 引 言

将成熟苹果从复杂的背景中高效的识别出来，可为果实生长发育模型的构建和基于个体的果实测产提供良好的基础［1］。由于果园里拍摄到的图像比较复杂，既包括成熟果实、发红的草地和树枝树叶，还包括一些果实重叠、被遮挡的情况，因此，研究不同环境下成熟苹果的有效提取，不仅增加农民的收益，还可以适时地调整生产计划［2，3］。

目前，已有一些学者对果实的识别分割技术进行了研究。文献 ［4－8］利用RGB 颜色模型中的分量进行图像分割，实现果实与背景的分离；文献 ［9－11］利用Lab彩色模型下a通道进行果实轮廓信息的提取；文献 ［12－14］采用YCbCr颜色模型的Cr分量对图像进行二值化提取目标，能够去除绿色叶子，得到比较完整的苹果边界。

前人涉及果实颜色模型选取的文章中，仅使用某一种颜色模型，没有分析不同环境下不同颜色模型分割的不同。对不同环境和不同角度下拍摄的图像使用不同的颜色模型处理，结果会有差异，因此选取适合的颜色模型，有利于后期完整的目标分割。通过前人的研究和自身实验得知，RGB颜色空间的R－G 色差向量、L＊a＊b＊颜色空间的a＊分量和YCbCr颜色空间的Cr分量，能够实现成熟苹果果实与背景的分离，有利于分割出果实。本文对逆光和顺光下的图像应用3种分量处理，计算二值化后图像中果实的面积大小和噪声率 （噪声占整个图像的百分率），从而分析出不同环境下颜色模型的适用性，以更好达到初步模拟苹果轮廓的目的。

1 颜色模型比较

苹果图像分割前需进行颜色特征的选择。而颜色特征选择前，需进行颜色模型的选择。虽然采集的图像和显示设备大多都是RGB图像，但为使苹果与背景的颜色差异更明显，更有效地分割出图像中的果实区域，需要根据不同环境下的苹果图像，使用不同的颜色空间进行果实分割。目前用于苹果分割的颜色模型主要包括：RGB，L＊a＊b＊和YCbCr颜色模型等。

不同的颜色空间具有各自的优缺点。RGB颜色空间是图像处理中最常用的颜色空间，其根据R、G、B这3个颜色通道的变化以及它们相互叠加来表现出各种颜色。由于RGB颜色空间受光照的影响较大，为了克服RGB颜色空间的不均匀和不直观的缺点，我们可以考虑进行颜色模型之间的转换，以更好的适应不同外界环境下的分割。比如L＊a＊b＊颜色模型和YCbCr颜色模型。

L＊a＊b＊颜色模型是由亮度L 和色彩信息a，b这3个要素组成。由于有一个亮度通道，色彩的混合将产生更亮的色彩，因为RGB 模型在蓝色到绿色之间的过渡色彩过多，而在绿色到红色之间又缺少黄色和其它色彩，L＊a＊b＊模型弥补了RGB色彩分布不均匀的缺点。由于Lab的色彩空间要比RGB的色彩空间大，这就意味着RGB 所能描述的色彩信息在Lab空间中都能得以影射。

YCbCr不是一种绝对色彩空间，是YUV 压缩和偏移的版本［15］。YCbCr颜色模型比RGB 模型更能适应光照强度的变化；同时YCbCr模型与RGB模型的转换是线性的，不存在溢出致使图像信息丢失的问题，计算也相当简单。3种颜色模型的优缺点比较见表1。

表1 3种颜色模型优缺点比较

2 材料与方法

2.1 图像采样

本文选取处于收获期的苹果为研究对象，在2013年10月中下旬，使用NIKON CORPORATION D90型号数码相机，在北京顺义果园实地拍摄顺光和逆光下图片共150幅。随机选取40幅顺光图像和40幅逆光图像进行实验，图像格式为JPG，用Photoshop CS5对80幅图像进行统一裁剪，大小为1200×1800 像素。图像处理采用 MATLAB 7.0软件。

采集的图像是以RGB格式存储，并且图像中含有背景信息。为了比较分析，3 种颜色模型下处理的顺光图和逆光图分别为同一组图片。

2.2 图像识别

进行彩色苹果图像识别，首先要进行灰度化处理。由于所采集图片中R，G，B 三分量之间有很高的相关性，直接利用这些分量不能得到所需的效果，但成熟苹果果实的颜色与周围环境颜色差别较大，因此可以建立图像的色差模型。经过实验分析，R－G 色差分量的分割效果比RB、B－R、B－G 的效果好，因此，在RGB 模型下，选取RG 色差分量进行灰度化。在L＊a＊b＊颜色模型中，a表示从红色至绿色的范围，因此要提取成熟苹果的红色果实区域，选取a分量进行研究。YCbCr颜色模型中的色度信息被存储在Cb和Cr中，其中Cr为红色分量相对于参考值的坐标，应选取Cr分量提取成熟苹果的果实。处理流程如图1所示。

2.3 阈值分割和形态学滤波

由于各分量灰度图的目标和背景灰度差别较大，这种灰度分布特点适合选用OTSU 法 （最大类间方差法）进行二值化处理，该方法计算简单且用时少，不受图像亮度和对比度的影响，在实时图像处理系统中应用非常广泛。

经二值化分割后，整个苹果果实基本被分离出来，但仍残留一些噪声和毛刺。噪声的去除可采用区域面积统计法，它们的面积比苹果果实的面积小，根据这一特点，以像素为单位计算所有单连通区的面积，然后设定一个阈值（文本设定阈值为10000像素，由经验得出），当面积像素数小于阈值时，被判为噪声区域将其去除；毛刺的去除可采用形态学运算处理，通过多次实验及分析，本文选用半径为5的圆盘形结构元素，先对图像进行闭运算，再进行开运算，即可得到较为平滑的边缘。

图1 3种模型下苹果面积提取流程

在获取果园中的苹果图像时，会受自然光照射的影响，对于逆光下的图像，一般很少有阴影光斑产生，但是，顺光下的图片很可能产生光斑，在二值化后图像会出现一些内部空洞，所以，要对图像各连通区域进行填充操作，得到比较完整的二值化苹果图像。

2.4 特征参数提取

为了更好的分割不同光照下的苹果图像，本文通过计算二值化图像中图斑、噪声 （主要是一些发红色草地和树枝树叶）的像素面积和噪声率，统计出不同颜色分量在不同环境下分割的不同。通过Matlab7.0 提供的bwlabel方法计算出3种分量下图像的图斑数量，然后采用regionprops方法计算出果实图斑的像素面积和噪声的像素面积。图像中的噪声率＝噪声面积/ （图斑面积＋噪声面积）。

2.5 效果评价

无论采用哪种颜色模型，二值化之后果实的面积都会有一定程度的削减，所以，本文通过比较二值化后苹果面积大小来初步确定分割的好坏。二值化后果实面积越大，说明分割效果越好，反之，分割效果一般。

为了进一步分析颜色模型的分割效果，结合图像处理后的噪声大小来判断。噪声越小，说明颜色模型对噪声抑制较好，反之，说明保留噪声较多，不利于果实的有效提取。通过相互抑制的果实面积和噪声面积的分析，分析说明不同条件下的颜色模型的选取。

3 实验结果及分析

3.1 图像处理

从所采集的逆光和顺光图像中，各选取一幅图像进行3种模型分量下的灰度化处理、自适应阈值分割和形态学滤波。处理后的二值化图像如图2所示。从图中看出，虽然3种分量处理后面积轮廓相差不大，但是，不同颜色模型对苹果果实局部信息的处理不尽相同，这样导致获取的果实面积会有差别。

图2 3种分量下二值化结果

3.2 面积比较

对选取的40幅逆光图像和40幅顺光图像进行二值化处理，对图像中的成熟苹果果实计数，并计算出3种分量下苹果果实的面积。本文以R－G 色差下的果实面积为基准，a＊分量和Cr分量下的果实面积分别与之比较，得出每一个果实在3种分量下的面积。如表2所示，左列是逆光下的果实面积，右列是顺光下的果实面积。

由表2可知，3种颜色分量均能分离出大部分的果实，但3种情况下的分割面积有所不同。无论逆光还是顺光条件下，a＊分量和Cr分量的分割好于r－g色差的分割，能相对保留更多的果实面积，这有利于进一步的确定果实的圆心和半径。对于红色苹果上的黄色区域和阴影，r－g色差不能有效识别，所以导致黄色部分的果实和阴影被消除，但是a＊分量和Cr分量对阴影和偏黄色的部分能够保留较好。

表2 逆光和顺光下的果实面积

3.3 噪声比较

考虑到果园环境复杂，拍摄图像的角度各异，致使图像中会出现大面积杂质，比如发红的草地和发红的树枝树叶等，这些杂质在图像中的面积过大时，经过形态学滤波也不能将其去除，如图2 （c）、（e）、（g）所示。为了更准确的选取颜色模型，需要考虑不同情况下的噪声处理情况。现选取顺光、逆光下带有草地和树枝树叶的图像进行计算，草地和树枝树叶面积占总图像面积的比率如图3所示。

通过图3可以看出，对于逆光下含有草地的图片处理结果如图3 （a）所示，r－g色差分量和a＊分量处理较好，能够去除大部分的草地噪声，尤其是a＊分量，大多数包含草地图片的噪声都能去除；而Cr分量则保留较多草地噪声，有些图片的草地噪声率高达53.85%，对于第8 幅图片，前两种分量能把噪声完全去除，而Cr分量处理后噪声率为53.38%。

对于逆光下含有树叶树枝的图片处理结果如图3 （b）所示，前两种分量能够去除较多噪声，尤其是r－g色差分量能去除大部分的树枝树叶；而Cr分量保留较多树枝树叶噪声，有些图片的噪声率达11.76%。对于第8幅和第9幅图片，前两种分量完全去除噪声，而Cr分量处理后噪声率为14.41%和10.12%。但第5幅图中，r－g分量不能完全去除发红的树叶和阴影。

对于顺光下含有草地的图片处理结果如图3 （c）所示，与逆光下含有草地图片处理结果相似，r－g色差分量和a＊分量处理较好，尤其是a＊分量，大多数草地的噪声都能去除，只有一幅图片未去除；而Cr分量保留较多草地噪声，有些图片的噪声率高达58.62%。

对于顺光下含有树叶树枝的图片处理结果如图3 （d）所示，与逆光下树枝树叶的处理情况相似，前两种分量相对于Cr分量能够去除较多噪声，尤其是r－g色差分量能去除大部分的树枝树叶；而Cr分量保留较多树枝树叶噪声，有些图片的噪声率达27.36%。对于第11幅图片，a＊分量保留较多噪声，而r－g 色差和Cr 分量处理后噪声率为2.08%和0.24%，这可能是由于反光使得a＊分量不能完全去除阴影下的树枝。

对上述含噪声的图片进行总噪声率的比较，见表3。表3可以看出，对于逆光下草地噪声的处理a＊分量效果最好，仅为4.19%，Cr分量最差，高达25.19%。而对于逆光下树枝树叶的处理r－g色差处理较好，为1.60%，Cr分量最差为5.79%。对于顺光下的草地噪声的处理a＊分量效果最好，仅为1.46%，Cr分量最差，高达24.80%。而对于顺光下树枝树叶的处理r－g色差处理较好，为2.65%，Cr分量最差为6.89%。

表3 3种颜色模型下噪声率比较

因此，无论是逆光还是顺光条件下，对于含有草地噪声的图片，a＊分量的处理效果最好，r－g色差次之，Cr分量最差；对于含有树叶树枝噪声的图片，r－g 色差处理较好，a＊分量次之，Cr分量最差。对于总的噪声 （草地和树枝树叶）来说，r－g色差和a＊分量处理后的噪声均比较小，远小于Cr分量。

结合果实面积比较分析，虽然a＊分量和Cr分量都能保留较多的果实面积，但是，考虑到Cr分量在保留果实面积的同时，也会保留过多发红的草地和树枝树叶等噪声，因此，对成熟苹果进行分割提取的过程中，可以优先选用a＊分量进行提取。在周围噪声较小的情况下，可以选择Cr分量。如果在只计算果实个数而不考虑果实大小的情况下，r－g 色差也能较好的提取出果实的轮廓。

4 结束语

本文讨论了从彩色图像中提取成熟苹果目标的问题，在此基础上分析了3种颜色模型提取果实的特点，结果表明：

（1）对苹果图像进行各分量灰度化处理，灰度图像加强了目标与背景的对比度，然后采用Otsu法对其进行阈值分割，再利用形态学运算去除掉残余噪声，实现复杂环境下果实区域的提取。但不同颜色模型下的各分量对不同环境下采集到的图像进行分割时有一定的差异，因此，选取合适的颜色模型对果实轮廓提取有很大影响。

（2）无论在逆光还是顺光条件下，a＊分量和Cr分量的提取好于r－g色差分量，能相对保留较多的果实面积，但是Cr分量的噪声率较高，逆光和顺光下草地的噪声率分别达到25.19%和24.80%，远高于另两种分量；因此，对自然环境下成熟苹果的提取优先选用a＊分量。在周围噪声较小的情况下，可以选择Cr分量进行提取。如果只计算果实个数而不考虑果实大小，可以考虑使用运行时间较快的r－g色差分量。

（3）文中讲述的苹果轮廓提取的步骤和方法，为前期处理提供了可参照的方法理论，较完整的提取出分离和邻接状态下的苹果，对重叠苹果的分割获取还需要进一步研究。

［1］CUI Shujuan，LI Jian.The identification of mature apple based on the chromatic aberration ［J］.Journal of Northwest University （Natural Science Edition），2011，41 （6）：993－997 （in Chinese）.［崔淑娟，李健.基于色差信息的成熟苹果识别 ［J］.西北大学学报（自然科学版），2011，41 （6）：993－997.］

［2］ZHAI Heng，SHI Dachuan，SHU Huairui.Current status and developing trend of apple industry in China ［J］.Journal of Fruit Science，2007，24 （3）：355－360（in Chinese）. ［翟衡，史大川，束怀瑞.我国苹果产业发展现状与趋势 ［J］.果树学报，2007，24 （3）：355－360.］

［3］QI Xuelong，WANG Guiping，MENG Hua.Research on combination forecasting model of apple output based on genetic algorithm ［J］.Journal of Fruit Science，2011，28 （1）：165－170 （in Chinese）.［亓雪龙，王贵平，孟华.基于遗传算法的苹果产量组合预测模型研究［J］.果树学报，2011，28 （1）：165－170.］

［4］LI Xin，LI Lijun，GAO Zicheng，et al.Revised quasi－circular randomized Hough transform and its application in camellia－fruit recognition ［J］.Transactions of the Chinese Society of Agricultural Engineering，2013，29 （1）：164－170 （in Chinese）.［李昕，李立君，高自成，等.改进类圆随机Hough变换及其在油茶果实遮挡识别中的应用 ［J］.农业工程学报，2013，29（1）：164－170.］

［5］Gong Aiping，Yu Junlin，He Yong，et al.Citrus yield estimation based on images processed by an Android mobile phone［J］.Biosystems Engineering，2013，115 （2）：162－170.

［6］LI Hongli，HE Dongjian.Study on technology of restore and location of apples under occluded ［J］.Journal of Agricultural Mechanization Research，2013 （9）：20－23 （in Chinese）.［李宏利，何东健.图像中被遮挡苹果的还原及定位技术研究［J］.农机化研究，2013 （9）：20－23.］

［7］LV Jidong，ZHAO De’an，JI Wei，et al.Dynamic recognition of oscillating fruit for harvesting robot［J］.Transactions of the Chinese Society for Agricultural Machinery，2012，43 （5）：173－196（in Chinese）.［吕继东，赵德安，姬伟，等.采摘机器人振荡果实动态识别［J］.农业机械学报，2012，43 （5）：173－196.］

［8］QIAN Jianping，YANG Xinting，WU Xiaoming，et al.Mature apple recognition based on hybrid color space in natural scene［J］.Transactions of the Chinese Society of Agricultural Engineering，2012，28 （17）：137－142 （in Chinese）. ［钱建平，杨信廷，吴晓明，等.自然场景下基于混合颜色空间的成熟期苹果识别方法［J］.农业工程学报，2012，28 （17）：137－142.］

［9］CUI Yongjie，SU Shuai，LV Zhihai，et al.A method for separation of kiwifruit adjacent fruits based on Hough transformation［J］.Journal of Agricultural Mechanization Research，2012，34 （12）：166－169 （in Chinese）. ［崔永杰，苏帅，吕志海，等.基于Hough变换的猕猴桃毗邻果实的分离方法 ［J］.农机化研究，2012，34 （12）：166－169.］

［10］Yin HP，Chai Y，Yang SX，et al.Ripe tomato detection for robotic vision harvesting systems in greenhouses ［J］.Transactions of the ASABE，2011，54 （4）：1539－1546.

［11］SHI Xueqiang，CHENG Xinwen.Target extraction study on the vision system of apple picking robot［J］.Journal of Agricultural Mechanization Research，2013 （10）：46－48 （in Chinese）.［石雪强，程新文.苹果采摘机器人视觉系统的目标提取研究 ［J］.农机化研究，2013 （10）：46－48.］

［12］GUO Aixia，ZOU Xiangjun，ZOU Haixin.Recognition on image of litchi fruits and their main fruit bearing based on twinthreshold method ［J］.Computer Engineering and Design，2014，35 （2）：557－561 （in Chinese）.［郭艾侠，邹湘军，邹海鑫.基于二次阈值的荔枝果与结果母枝图像识别 ［J］.计算机工程与设计，2014，35 （2）：557－561.］

［13］Payne AB，Walsh KB，Subedi PP，et al.Estimation of mango crop yield using image analysis－segmentation method ［J］.Computers and Electronics in Agriculture，2013，91：57－64.

［14］FU Peng.Research on the key technology of apple detection and recognition based on machine vision ［D］.Yangling：Northwest A＆F University，2012 （in Chinese）. ［付鹏.基于机器视觉的苹果检测与识别关键技术研究 ［D］.杨凌：西北农林科技大学，2012.］

［15］WANG Xiaorong，ZHAO Yingkai，LIN Jinguo.Fast target recognition based on YUV model and Gabor filter［J］.Computer Engineering and Design，2009，30 （20）：4701－4703（in Chinese）.［王晓荣，赵英凯，林锦国.基于YUV 模型和Gabor滤波器的快速目标识别方法 ［J］.计算机工程与设计，2009，30 （20）：4701－4703.］