基于视觉注意机制的黄绿色苹果图像分割

车金庆，王 帆，王艺洁，吕继东，马正华

(1.常州工程职业技术学院智能装备与信息工程学院，江苏 常州 213000；2.常州大学信息科学与工程学院，江苏 常州 213164)

中国是苹果生产大国，主栽品种以红色为主。在红色苹果进入成熟期以前，其表面颜色多为黄、绿色。近年来，随着人们生活水平的提高，消费者对果品的需求日趋多样化，外观美、品质好的黄、绿色苹果越来越受到消费者的喜爱，种植规模也在不断扩大。

随着现代农业的发展，基于视觉图像的树上果实估产和机器采摘成为国内外农业工程领域的研究热点[1-9]。而无论是果实估产还是机器采摘，对所采集果实图像的分割都是其首要任务。分割质量的优劣关系到果实估产的精度和机器采摘过程中识别定位的准确性。

视觉注意机制是人类视觉自动捕获图像中显著区域的一种注意机制，根据人类视觉注意机制特点计算图像中各像素点的显著性，可以作出与原图像大小相同的显著图。显著图的灰度值越大，对人类的视觉刺激就越强，在原图像中越明显。果实图像的分割，就是在背景复杂的图像中，将具有显著性的果实目标与背景分割开来的过程。机器视觉如何模拟人类的视觉系统，构造图像的显著图，再通过去除背景提取显著性目标，从而达到分割图像的结果，引起了诸多研究者的注意[10-12]。

黄、绿色苹果图像中，果实颜色近似叶片，加之果实表面受自然光线影响，色泽亮度不均，因此采用基于颜色或者纹理特征的分割方法则不能有效地分割出果实目标，分割精度差；而将果实形状特征和颜色特征融合通过神经网络或支持向量机来进行图像分割，则计算较为复杂[13-16]。为此，本研究针对黄、绿色苹果图像的分割难点，设计一种基于视觉注意机制的分区域提取然后合并的分割方法。

1 材料与方法

1.1 图像采集与试验

从江苏省徐州市丰县苹果种植示范区自然环境下拍摄试验图像，数码相机的型号为Canon DIGITAL IXUS 200 IS。苹果品种为金元帅、王林。所采集图像包括不同光线下果实图像800幅，为了便于研究，分辨率统一调整为 640×480像素。图像试验在Matlab R2013a 软件平台上进行，计算机硬件配置为：处理器Intel(R)Core(TM)2 Duo CPU@2.40 GHz，内存2 G。

1.2 图像分割

自然光照下果实表面因受光不均匀而分为光线正常区域和高亮区域。高亮区域是由果实表面在光线照射下产生的反射光造成的。正是因为果实高亮区域的存在，单个方法很难将其完整分割出来。本研究通过2种途径(一种是光线正常的果实区域为主的提取，另一种是果实表面高亮区域为主的提取)提取，2个区域提取后进行合并，最终获得完整的果实目标。具体流程见图1。

图1 黄、绿果实分割流程图Fig.1 Flow chart of yellow and green fruit segmentation

1.2.1 视觉注意机制 人类视觉注意机制具有高效性和可靠性，它引导视觉感知，加强显著区域对人类视觉的刺激，并减弱非显著区域对人类视觉的干扰。在处理信息的过程中，视觉注意机制并不是无差别处理整个图像，而是会先处理比较显著的图像信息，舍弃非显著信息，大大提高了信息处理的效率。目前，典型的视觉注意机制显著性检测模型有ITTi、LC、GC、HC、RC、CA、FT等几种。其中FT显著性检测模型是基于频率调谐的显著检测模型，其基本原理是对图像的低频到高频的连续频带用多个带通滤波器滤波，将所有的输出合并作为最终的显著图，力求产生全分辨率的显著图，整个过程通过叠加多个高斯带通滤波器来实现[17]。显著值公式为：

S(x,y)=‖Iu-Iwhc(x,y)‖

(1)

式中，Iu是平均图像特征向量，Iwhc(x,y)为图像高斯滤波后对应的像素，即在Lab空间中，计算输入图像的平均矢量和高斯滤波后的矢量之间的欧式距离并形成显著图。该算法对图像信息的感知灵敏度较高，不仅能得到完整的显著区域，而且能得到清晰的边缘，且分辨率与原图相同，计算速度较快。因此确定采用FT显著性检测模型进行黄、绿色苹果果实以光线正常区域为主的区域和以高亮区域为主的区域的分割。

1.2.2 基于显著性的以果实光线正常区域为主的提取 在FT算法生成显著图之前，通过计算果实的色差分量对果实图像进行量化。针对黄色和绿色苹果果实图像，基于RGB颜色空间比较了常用的2R-G-B、2G-R-B、G-B、R-G、R-B色差分量效果图，结果表明采用R-B、2R-G-B色差图像不仅能得到相对比较完整的果实光线正常区域，而且能去掉图像中较多的叶片背景，因而确定将R-B、2R-G-B色差分量分别作为提取黄色和绿色苹果果实的特征分量，再用FT显著模型检测色差图像的显著图(图2)。从图2中可以看出，该方法保留了更多的图像边缘信息，果实区域的显著性较强，残留的枝叶背景的显著性相对较弱。然后采用自适应阈值分割OTSU方法[18]对显著图进行分割。

图像分割完成后，图像中还存在分割碎片，通常是未分割掉的与果实颜色等同的苹果叶片和杂草，而果实区域由于光照、遮挡等多方面的影响也会产生孔洞。此外图像采集过程中，当采集果树外围的果实图像时，所采集的图像边界往往会出现草地。杂草也与苹果叶片颜色相近，通过以上环节往往不能去除干净，图像边界仍然会存在较大块的草地区域，需要在上述分割结果基础上删除与图像边界相连的对象。首先对各连通区域轮廓跟踪获取边缘坐标，然后对所获取的各连通区域边缘坐标进行判别，以确定是否与图像边界相连，最后删除与图像边界相连的连通区域；接着再填充果实区域的空洞，并将小面积区域作为背景像素去除，得到果实光线正常区域的二值化图像(图2)。

a：原图；b：色差图像；c：显著图；d：以光线正常区域为主的区域。图2 果实光线正常区域提取效果图Fig.2 Images of normal light fruit area oriented extraction

1.2.3 基于显著性的以果实高亮区域为主的提取 方法1.2.2只能提取果实的光线正常区域，对于果实表面的高亮区域很容易产生误分割，产生误分割的原因在于提取色差分量时，高亮区域像素值较高，接近于白色，被误当作背景像素。为此采用一种分水岭算法处理灰度图，保留灰度级较高的部分，并对微弱边缘进行处理，这有利于果实的识别。

不同光照状态下，黄、绿色果实与背景像素差异不明显，特别是天空、绿色草地背景，如果直接使用分水岭分割，容易产生过度分割的现象。因此提取苹果图像中果实高亮区域还需要首先进行形态学处理，以获得更好的分割效果。图3为采用的基于标记的分水岭算法流程图。

图3 基于标记的分水岭算法流程图Fig.3 Flow chart of watershed algorithm based on markup

具体算法流程如下：(1)将原始图像转换成灰度图像(图4a)，以圆形结构元素对灰度图像进行形态学开运算操作。该方法可去掉图像边缘较小的突刺，切断连通区域内部的细长搭接。(2)通过形态学开运算操作后得到目标区域，计算前景标记，得到正确的图像信息。(3)用分水岭方法得到图像的分水岭，作为背景标记。(4)形态学重建，得到新的灰度图像(图4b)。(5)对新的灰度图像进行形态学关运算操作。该方法通过填充连通区域中边缘的小缺口或空洞，连接相近的2个连通区域。(6)对图像进行膨胀处理，并再次进行形态学重建，得到新的灰度图像(图4c)。

利用基于标记的分水岭算法得到二次重建的灰度图像，图像中黄、绿苹果区域的灰度级明显较高，且天空、地面等背景经过重建之后灰度级弱化。由于果实区域相对于背景有较高的灰度级，采用FT显著模型检测算法生成显著图(图4d)，果实区域及果实区域边缘信息相对完整且显著度明显。再采用自适应阈值分割方法得到二值化区域，然后经过填充空洞、去除边界区域和去除小面积区域等处理，得到以高亮区域为主的区域(图5)。

a：灰度图像；b：第1次重建图像；c：第2次重建图像；d：显著图。图4 基于标记的分水岭算法效果图和显著图Fig.4 Effect maps and saliency maps of watershed algorithm based on markup

图5 果实高亮区域提取效果图Fig.5 Images of highlighted fruit area oriented extraction

1.2.4 区域合并 将以光线正常区域为主的区域与以高亮区域为主的区域合并，得到果实区域的二值化图像，在原图中圈出果实目标区域(图6)。对比分割果实区域的边缘与果实的实际边缘，发现合并区域与果实实际区域很接近。

a：光线正常区域；b：高亮区域；c：区域合并结果；d：分割区域与果实实际区域对比。图6 苹果图像分割效果图Fig.6 Segmentation effect of apple images

1.2.5 分割方法的评价指标 为了验证本研究所设计方法的有效性，通过分割误差Af、假阳性率FPR和假阴性率FNR对试验结果进行评价[19]。

(2)

(3)

(4)

2 结果与分析

将ITTi、FT、HC、LC、CA 5种模型得到的显著图(图7)效果进行对比，并与本研究方法得到的果实目标区域进行对比。为了进一步验证本方法的有效性，再与人工分割结果(图8)进行对比。结果表明，ITTi模型得到的显著性区域仅仅是果实目标区域的一部分，只是提取出果实区域的高亮区域，阴影区域未能识别出，枝叶、草地的显著度较低；直接使用FT模型检测的显著图中，黄色和绿色苹果的果实高亮区域显著性高，果实的光线正常区域显著性较低，相对于绿色苹果、黄色苹果果实显著性明显，同时枝叶、草地背景显著性较高；HC模型显著图中黄色和绿色果实显著性都较低；LC模型的显著图与FT模型的显著图相比，黄色果实识别较差，受背景影响较大；CA模型的显著图较上述模型显著图相比，果实与背景的显著度差异较小。

由图8可以看出，本研究方法的效果图与用Photoshop软件人工分割的果实区域相比，本方法能够有效提取出黄、绿果实的大部分区域。

对基于ITTi、FT、HC、LC、CA显著算法直接分割苹果图像与本方法的分割结果进行评价。结果(表1)表明，ITTi算法得到的Af、FPR和FNR均值分别为41.79%、42.54%和43.27%，FT算法得到的Af、FPR和FNR均值分别为42.44%、37.21%和49.97%，HC算法得到的Af、FPR和FNR均值分别为47.50%、56.70%和54.86%，LC算法得到的Af、FPR和FNR均值分别为37.38%、56.36%和49.87%，CA算法得到的Af、FPR和FNR均值分别为46.74%、44.62%和53.03%，本方法得到的Af、FPR和FNR均值分别为8.1%、10.56%和10.18%。

图7 5种显著性检测算法显著图Fig.7 Saliency maps of five saliency detection algorithms

图8 本研究方法分割结果与人工分割结果对比效果图Fig.8 Result comparison between the designed method and artificial segmentation

表16种显著性检测算法评价结果

Table1Theevaluationresultsofsixsignificantdetectionalgorithms

图像序号ITTi算法Af(%)FPR(%)FNR(%)FT算法Af(%)FPR(%)FNR(%)HC算法Af(%)FPR(%)FNR(%)LC算法Af(%)FPR(%)FNR(%)CA算法Af(%)FPR(%)FNR(%)本研究方法Af(%)FPR(%)FNR(%)170.603.1827.6969.4831.7195.024.629.7182.353.4443.8738.1676.5579.5218.694.9814.5614.63270.9475.4727.6011.9049.8495.9767.9765.5116.2634.0458.5322.3875.1325.5150.600.918.905.93354.7213.8614.9381.4324.3592.9325.7584.0725.4335.0019.6625.1161.6047.3335.178.3021.3714.97491.7228.5875.727.595.4053.0875.3738.0456.7877.9293.4012.9956.8846.941.1913.7116.2213.32531.1252.8516.5668.9274.8245.0560.2026.3065.418.3822.9091.3315.2482.5853.834.617.8224.27610.6796.190.468.4439.9825.9977.4981.7386.8780.0143.1491.0618.1826.3814.5513.618.637.97754.9914.5085.3040.187.6023.9962.2135.1051.3212.3318.3924.0041.734.9790.271.489.0918.93833.7790.0136.9224.1740.399.6511.1278.0338.9713.2094.2195.6157.525.9823.4815.328.121.5494.3016.964.9154.7029.6374.4773.1764.7745.0918.9068.6818.3536.8562.5678.028.119.299.671048.6843.5944.6881.7679.4864.4330.6350.8551.0837.8681.1653.2835.0793.9087.595.026.258.701120.7730.1247.0922.5917.0722.7723.0584.4319.4843.5731.1192.3443.0218.4890.4917.9723.8911.111225.8140.8759.4922.1711.7429.6726.2260.2871.1231.8842.4250.798.5526.2580.102.9212.897.031348.8657.8523.7352.1123.1648.8945.8896.3154.6862.4167.9139.5536.7498.803.778.521.332.96149.8726.1933.5410.6865.3849.4267.9713.6672.1277.9171.5090.3789.0933.4269.879.783.057.631550.0547.9990.4780.5557.6718.2960.9961.7785.9423.9988.652.8748.9916.7997.876.277.054.11平均值41.7942.5443.2742.4437.2149.9747.5056.7054.8637.3856.3649.8746.7444.6253.038.1010.5610.18

Af：分割误差；FPR：假阳性率；FNR：假阴性率。

3 结 论

人类视觉系统可以轻易高效地从复杂背景中识别出显著性区域。本研究基于视觉注意机制，采用FT显著性检测方法与基于标记的分水岭算法相结合分区域提取而后合并，从而实现黄、绿色苹果图像的分割。试验结果表明本研究方法提取的果实区域接近果实的实际区域，具有较好的分割效果。本方法对于其他近色背景果蔬图像的分割有一定的借鉴意义。但需要指出的是，本方法中引入了色差作为颜色特征对图像进行处理，如果不需要根据果蔬的颜色特征而只采用一种新的视觉显著性算法进行图像分割，那么该方法将具有更强的通用性，这有待进一步研究。