基于纹理特征与HSI空间的苹果识别与标定

李大华， 赵相飞， 许 亮， 于 波

(天津理工大学天津市复杂系统控制理论及应用重点实验室，天津 300384)

基于纹理特征与HSI空间的苹果识别与标定

李大华， 赵相飞， 许 亮， 于 波

(天津理工大学天津市复杂系统控制理论及应用重点实验室，天津 300384)

在分析了不同图像分割方法的基础上提出了一种基于颜色特征和纹理特征的图像分割算法，以解决复杂背景下苹果采摘机器人分割目标与背景的问题。通过分析灰度图像的纹理特征，求取灰度共生矩阵提取特征，以支持向量机分割图像，并结合HSI颜色空间的色差特征达到目标和背景分离的效果。通过与单纯的颜色特征分析和纹理特征分析相比较，该方法在识别率上高于其他分割算法，同时对于颜色与背景相近的果实也能有很好的分割效果。

灰度共生矩阵；HSI空间；支持向量机；分割

苹果采摘机器人首要的任务是准确地获取采摘目标的信息，在复杂的背景条件下，由于果实的品种、成熟度、光照、遮挡、阴天等一系列因素的差异造成了机器视觉识别上的困难。国内外在这一方面做了很多研究：司永胜等[1]提出了利用归一化的红绿色差(R–G)/(R+G)分割苹果；张润浩等[2]在YUV颜色空间中利用色差分量V建立果实与背景分割的高斯分布拟合模型，根据拟合结果自动获取分割阈值，达到分割的目的；王津京等[3]通过 HLS模型用支持向量机(support vector machine, SVM)的模式识别方法识别果实；Meyer 等[4]使用超绿特征阈值算法辨别杂草；熊俊涛等[5]选取了YCbCr颜色模型，利用探索性分析法对荔枝不同部位、不同光照、不同生长期图像的Cr分量进行了数据分析与统计，实现了未成熟、成熟以及腐烂变质的荔枝果实的视觉智能判断；Yin

等[6]在 Lab颜色空间利用均值聚类算法进行番茄分割，通过形态学算法去除噪声，处理重叠遮挡果实，实现单一果实的提取。

当前机器视觉的果实识别大多数方式是利用颜色空间作为提取目标的特征或者是结合形态学方法对果实进行识别，而对于那些颜色与背景相近的果实则不能得出很好的分割结果。本文在分析图像纹理特征之后提出了一种基于灰度共生矩阵融合色调(hue)、饱和度(saturation)、亮度(intensity)的 HSI颜色空间色差特征的果实识别方法，可以达到识别不同颜色苹果的目标。

1 图像分割算法

计算机视觉应用于农业对促进农业自动化发展有至关重要的意义，将图像分割算法应用在果蔬目标的识别上也取得了很好的效果。图像分割是计算机视觉一个基础并且重要的步骤，为进一步的图像分析提供了有效的信息。分割算法的演化有着丰富的历史，但理想的分割算法仍然是计算机视觉领域的挑战。

图像分割一直是机器视觉的难点、重点，有大量的算法被提出，图像分割的方式主要有 3大类：基于阈值分割、基于边缘分割、基于区域分割等方式。

(1) 阈值分割。是一种常见的直接对图像灰度信息阈值化处理的分割算法，即简单的用一个或几个阈值将图像灰度直方图进行分类，将灰度值在同一个灰度类内的像素归为同一个物体[7]；直接利用图像的灰度特性进行分割，具有实现简单、成本低廉、实用性强等优点；当然也有弊端：当图像中灰度差异不明显、或者各物体的灰度范围值有大部分重叠现象时，往往难以得到准确的分割结果，产生很多分割错误[8]。

(2) 边缘分割。是基于边缘的图像分割技术，使用边缘检测算子计算灰度级、颜色、纹理等不连续性，并结合到这些边缘轮廓确定区域边界。在边缘分割中，会利用到多种边缘算子，如Sobel算子、Canny算子、Prewitt算子等，在精度、抗噪性、用时上各有利弊，小波变换是一种多尺度多通道分析工具，图像经过小波变换后，对应于突变点处(边缘点)的小波系数绝对值往往都是比较大的，所以小波比较适合检测模极大值点来确定图像的边缘[9]。

(3) 基于区域分割。是将图像各个代表性区域内的相似像素组合到一起，提取图像的灰度级、颜色和纹理等各个特征构成特征向量，通过聚类算法将不同区域代表的特征向量进行分类，达到分割图像的目的。聚类就是对图像中相似特征的合并过程，其实质是将图像分割问题转化为模式识别的聚类分析问题[10]。本文采用了图像的颜色特征和纹理特征通过 SVM分类器对果实图像进行了分割。目前常用的还有基于FCM聚类、基于K均值聚类、基于遗传算法聚类等以及与其他算法相结合的聚类方法。

2 图像识别算法流程

如图1所示，经过摄像头采集到的RGB图像需要转换成两种模式：①是HSI模式图像；②是灰度图。HSI图像用于提取颜色特征进行分割，单纯用HSI空间分割是不能将图像中的果实全部检测出来，在此之外生成灰度图来求灰度共生矩阵，提取灰度共生矩阵(gray level co-occurrence matrix, GLCM)中的参量构成特征向量，通过SVM分类器对图像进行分类，将两种分割方法的结果相叠加，进行逻辑与运算，以去除图像上的噪声干扰点，再用叠加出来的结果和之前的两个分割结果相匹配，进行区域生长，得到最终的图像分割结果。最后根据果实的轮廓确定适合的长宽比对分割结果进行取舍达到最终识别果实的目的。

图1 算法流程

3 图像分割

3.1 灰度共生矩阵

实际应用中，作为图像纹理分析的特征量是由灰度共生矩阵计算出的一些参量。灰度直方图是对图像上单个像素具有某个灰度进行统计的结果，而灰度共生矩阵是对图像上保持某距离的两像素分别具有某灰度的状况进行统计得到的。经过测试发现，苹果与背景的灰度共生矩阵的角二阶矩、熵、逆差距这 3个特征有很大差异，再此将角二阶矩、熵、逆差距作为特征向量用于纹理特征图像分割。

(1) 角二阶矩(angular second moment, ASM)

角二阶矩是灰度共生矩阵元素值的平方和，也称能量，反映了图像灰度分布均匀程度和纹理粗细度。如果共生矩阵的所有值均相等，则ASM值小；相反，如果其中一些值大而其它值小，则ASM值大。当共生矩阵中元素集中分布时，ASM值大，ASM值大表明一种较均一和规则变化的纹理模式。

(2) 熵(entropy)

熵是图像所具有的信息量的度量，纹理信息也属于图像的信息。若图像没有任何纹理，则灰度共生矩阵几乎为零，则熵值接近为零；若图像充满着细纹理，P(i, j)的数值近似相等，则该图像的熵值最大；若图像中分布着较少的纹理，P(i, j)的数值差别较大，则该图像的熵值较小。

(3) 逆差矩(inverse difference moment, IDM)

逆差矩反映图像纹理的同质性，度量图像纹理局部变化的多少。其值大则说明图像纹理的不同区域间缺少变化，局部非常均匀。如果灰度共生矩阵对角元素有较大值，IDM就会取较大的值。因此连续灰度的图像会有较大IDM值。

3.2 纹理特征分割

将RGB图像转成灰度图，提取图像的灰度共生矩阵特征，利用支持向量机对图像的纹理特征进行训练分类。SVM是由Vapnik等[11]提出的一类基于统计学习理论的模式识别方法。这一新的通用学习方法，是基于结构风险最小化(structural risk minimization, SRM)原理，而不是传统统计学的经验风险最小化(empirical risk minimization, ERM)，表现出很多优于已有方法的性能[12]。截取图像的方形区域作为训练样本，正样本为苹果表面区域，负样本为背景区域。对样本计算四个方向的灰度共生矩阵，求取每个灰度共生矩阵计算角二阶矩、熵、和逆差距这3个参量，分别得到其平均值构成的特征向量，选用径向基核函数训练出分类器。

在测试图像(图2)的灰度图上滑动窗口，计算窗口内的灰度共生矩阵的 3个特征向量，用训练好分类器对子窗口的特征向量进行分类，如果分类成正样本，在二值图上相应的滑动窗口位置上置1，如果分类成负样本，在二值图上相应的滑动窗口位置上置0。得到分割结果如图3所示。

图2 原图像

图3 纹理分割结果

3.3 利用颜色分割

在原图像中存在多个果实，与背景在颜色上十分相近，不能以单纯的RGB空间的某个分量进行分割。同时，原图像上存在多种景物：果实，树叶，枝干、天空，需将获取的RGB格式图像转换成HSI空间选取有效的图像特征提取果实区域。

RGB色彩模式是工业界的一种颜色标准，是通过对红(R)、绿(G)、蓝(B) 3个颜色通道的变化及其相互之间的叠加来得到各式各样的颜色，RGB即是代表红、绿、蓝 3个通道的颜色(图4)，这个标准几乎包括了人类视力所能感知的所有颜色，是目前运用最广的颜色系统之一。HSI色彩空间是从人的视觉系统出发，用色调(hue)、色饱和度(saturation或chroma)和亮度intensity或brightness)来描述色彩，如图5所示，RGB空间到HSI，按下式实现转换

如图6所示，在RGB图像上提取含有果实的一行像素，将这行像素转换到 HSI颜色空间上，可以得到H、S、I 3个颜色通道的分布情况图。通过观察得到：I分量反映图像的亮度，在果实区域稳定维持在较高的区域，而周围的树叶枝干相对于果实则没有较高的亮度；H反映图像的色调，在果实区域H维持在一个较低的水平。本文将I通道与H通道的差值作为区分果实与背景的特征，在果实以外的背景区域则没有如此明显的分布特征。利用I分量与H分量的差值作为阈值分割图像，分割后的二值图结果如图7所示。

图4 RGB颜色空间

图5 HSI颜色空间

图6 HSI空间特征提取

图7 I-H分割结果

3.4 区域生长滤除噪点

将 HSI的分割结果二值图与纹理分割结果的二值图相融合，进行逻辑“与”运算，得到两个结果的公共区域，以此区域的外围轮廓为中心区域向外扩展，如果外围轮廓的邻域是以上两个分割结果其中一个的点，那么就将这个邻域点作为分隔区域保留，否则将该点舍弃，这种方式既去除了孤立的小的噪声点，填补了空洞，又最大范围的合并了两种方式的分割结果。从效果图(图6)中可以看出，相比于图3和图7，图8上的小区域轮廓被大量清除，果实的轮廓更加清晰完整。

图8 区域生长去噪

4 实验分析

选取最大类间方差法、HSI颜色空间的I-H色差分割、GCLM纹理特征训练SVM分类器滑动窗口测试 3种方法与本文算法的结果做出比较，在这里定义了果实正确识别率和错误识别率作为评价不同分割方法分割效果的标准：

经过实验测试不同分割算法得到的数据如表 1所示，选取最大类间方差法、HSI颜色阈值分割、GCLM纹理特征SVM分类3种方法与本文算法的结果做出比较，可以看出，最大类间方差法的使用需要将图像转换成灰度，这就使很多图像上的颜色信息被忽略，最大类间方差法对噪音和目标大小十分敏感，仅对类间方差为单峰的图像产生较好的分割效果。当目标与背景的大小比例悬殊时，最大类间方差准则函数可能呈现双峰或多峰，此时效果不好，但是类间方差法是用时最少的。利用HSI颜色空间分割图像，先将RGB图像转换到HSI空间，选取I与H的差值作为颜色分割特征，识别效果比最大类间方差法要好，作为阈值分割，其提取了更多的图像信息，导致用时稍长；由于图像上苹果目标的背景过于复杂，包括枝干、树叶、天空等景物，在很大程度上影响分割结果，错误的分割出了许多小的区域,必须要经过形态学处理才能有令人满意的分割结果。GCLM纹理特征SVM分类，采用从GCLM中提取的特征向量进入SVM分类器进行分类，识别效果好于前两种方法，仍然错误的分割出了许多小的区域，同样需要形态学处理，但GLCM计算量比较大，用时较长。本文的方法结合了前两种方法的优点，在前两中方法的二值图结果，相叠加再进行区域生长，去除孤立的小的噪声点，填补了空洞，又最大范围的合并了两种方式的分割结果，分割出的效果也是最好的，用时比GCLM纹理特征SVM分类也更长。本文算法的分割结果如图9所示。

表1 不同分割算法比较

图9 本文算法分割结果

5 选择性识别目标

分割之后的图像上会在二值图上存在多个轮廓区域，这些区域有的是果实的目标，也有其他的不相关区域，将这些区域都单独提取出来，并找到包含该目标的最小外接矩形。根据苹果的形状确定外接矩形的长宽比，将长宽比过大或者过小的外接矩形排除得到最终的识别结果如图10所示。

图10 果实分割标定结果

6 结论与展望

针对果蔬采摘机器人的视觉系统简单快速的要求，采用纹理分割和HSI颜色空间和方法对生长环境中的苹果进行图像分割，进而做视觉上的标定，为接下来的采摘动作的执行做准备。对采集到的图像在HSI空间中通过H-I的特征进行分割，同时利用灰度共生矩阵提取纹理特征进行SVM聚类分割。将二者的分割结果相叠加获取分割结果，对果实进行标定之前还需要通过摄像头的成像模型计算出满足采摘距离尺寸的目标进行最后的标定。运行实验表明，该方法具有分割效率高、速度快的特点。该方法既可以用于果实和背景颜色差异大的图像分割，还可以用于果实和背景颜色相近的绿色果实分割。在果实有粘连和其他物体遮挡的情况下该方法在分割完成后不能得到令人满意的标定效果如图11所示，这将是今后要解决的问题。

图11 果实粘连分割标定结果

[1] 司永胜, 乔 军, 刘 刚, 等. 苹果采摘机器人果实识别与定位方法[J]. 农业机械学报, 2010, 41(9): 148-153.

[2] 张润浩, 李 军, 任 静, 等. 基于高斯自适应拟合的苹果目标分割方法研究[J]. 农机化研究, 2015, (6): 13-17.

[3] 王津京, 赵德安, 姬 伟, 等. 采摘机器人基于支持向量机苹果识别方法[J]. 农业机械学报, 2009, 40(1): 148-151, 147.

[4] Meyer G E, Mehta T, Kocher M F, et al. Textural imaging and discriminant analysis for distinguishing weeds for spot spraying [J]. Transactions of the ASAE, 1998, 41(4): 1189-1197.

[5] 熊俊涛, 邹湘军, 刘 念, 等. 基于机器视觉的荔枝果实采摘时品质检测技术[J]. 农业机械学报, 2014, 45(7): 54-60.

[6] Yin H, Chai Y, Yang S X, et al. Ripe tomato recognition and localization for a tomato harvesting robotic system [C]//International Conference of Soft Computing and Pattern Recognition. New York: IEEE Press, 2009: 557-562.

[7] 罗希平, 田 捷. 图像分割方法综述[J]. 模式识别与人工智能, 1999, 12(3): 300-312.

[8] Brink A D. Tresholding of digital images using two dimensional entropies [J]. Pattern Recognition, 1992, 25(8): 803-808.

[9] 朱晓临, 李雪艳, 邢 燕, 等. 基于小波和奇异值分解的图像边缘检测[J]. 图学学报, 2014, 35(4): 563-570.

[10] 肖 飞, 綦星光. 图像分割方法综述[J]. 世界科技研究与发展, 2009, 31(6): 77-79.

[11] Vapnik V, Levin E, Le C Y. Measuring the VC dimension of a learning machine [J]. Neural Computation, 1994, (6): 851-876.

[12] 祁亨年. 支持向量机及其应用研究综述[J]. 计算机工程, 2004, 30(10): 6-9.

Apple Identification and Calibration Based on the Texture Characteristics and HSI Space

Li Dahua, Zhao Xiangfei, Xu Liang, Yu Bo

(Tianjin Complex System Control Theory and Application of Key Laboratory, Tianjin University of Technology, Tianjin 300384, China)

This paper, after analyzing different image segmentation methods, presents an image segmentation algorithm based on color and texture features in order to enable an apple picking robot to separate targets from complex backgrounds. Texture features of grayscale images are analyzed to obtain ground launched cruise missile for feature extraction and to segment images by support vector machine. Besides, in combination with chromatic aberration in HSI color space, targets are effectively separated from their backgrounds. By comparison with the methods of color analysis and texture analysis, this algorithm provides higher rate of recognition and ever better result in separating fruits with similar colors to backgrounds.

gray level co-occurrence matrix; HSI space; support vector machine; segmentation

TP 274

10.11996/JG.j.2095-302X.2016050688

A

2095-302X(2016)05-0688-06

2016-01-22；定稿日期：2016-05-11

国家自然科学基金项目(61308120)

李大华(1978–)，男，天津人，副教授，硕士。主要研究方向为图形图像处理。E-mail：lidah2005@163.com