王怡 涂宇 罗斐 何美生
摘要:随着人工智能技术和计算机视觉快速发展,图像分割技术成为机器视觉中图像处理过程需要解决的核心问题。彩色图像比灰度图像信息量多、易识别物体的优点,已经成为研究热点。本文对现有彩色图像分割算法做了系统的综述,分析了各自的优缺点,在结论部分对彩色图像分割技术未来的发展方向做出了展望。
关键词:色图像分割;颜色特征;区域生长点;分水岭;神经网络
中图分类号:TP311 文献标识码:A
文章编号:1009-3044(2020)23-0183-02
1 引言
近年来,机器视觉已经广泛应用于我们生活中各个领域,图像处理作为计算机视觉的基本问题。图像处理又可以分为特征提取、图像分割和语义划分等。图像分割的精度严重影响视觉识别的准确度。目前,对于传统的灰度图像的分割原理比较简单,这部分的研究成果比较成熟了,而对彩色图像的分割,由于比较复杂,研究的却比较少。
灰度图像和彩色图像最主要的区别,我们从图像分割的原理来说,这主要是像素的空间维度不同,灰度图像是一维亮度空间内 ,彩色图像是三维颜色空间内。灰度图像描述的知识物体的表面形状难以识别,而三通道RGB彩色图像可以准确地描述物体真实性。总的来说,我们对彩色图像分割方法的研究是必要的。这篇综述的主要目的是对图像分割技术的现状做一个系统的总结,并且对未来有可能发展方向提出展望,给更多本领域的研究者一个参考。
2 彩色图像分割方法
根据不同的分类标准,彩色图像分割有多种分类方法。例如根据颜色和空间特征进行分类,我们可以将其分为有监督和无监督的分类问题。早期应用于灰度图像分割的方法也可以应用到彩色图像分割上,比如直方图阈值法、自适应模糊算法、人工神经网络算法等。目前,彩色图像分割方法主要有基于区域的方法、直方图阈值化、特征空间聚类、边缘检测、模糊技术、人工神经网络和基于物理模型的方法。以下我们将从上面這些方法展开论述。
2.1 基于区域的方法
2.1.1 区域增长、区域分裂、合并及其组合
区域生长的本质是将几乎相同的像素聚集在一起形成一个区域,区域分裂技术刚好是前者的逆过程,通常将种子区域划分为四个矩形区域,然后根据像素相似度将每个矩形区域分解。现有的研究一般将区域增长和区域划分结合起来形成区域融合,形成更大的子区域。当图像部分具有相同的特征时,这些方法的分割效果较好,且不会受到外部噪声的干扰。生长顺序和种子点的选择对区域生长技术精度影响很大,区域分裂次数也会对边界被破坏最终影响分割效果。所以区域合并可以改善两种方法的缺点。
2.1.2 分水岭分割方法
分水岭分割方法是受地形地貌概念的启发,是图像形态学的一种重要算法。在使用分水岭分割图像时,我们首先进行性特征提取,然后基于图像的梯度信号,使用分水岭算法找出兴趣区域。兴趣区域的提取对分水岭算法来说是一大挑战[1],如果选取不对导致图像分割过多影响精度。因此,为了获得有用的局部极值点来确定兴趣区域,Shafarenko等人利用原有的图像进行对“伪”谷底进行填充,采用形态“封闭”操作运算[2]。Shiji等人基于对直方图的“封闭”填充操作,对图像进行标记,并选取现有图像和原始图像变化较小的区域[3]。Lezoray使用贝叶斯分类器在原始图像中搜索标记[1]。在分割初期,马丽红等人将图像开闭滤波结果作为二值标记进行预处理,最后将计算结果输入到微流域算法中。
2.1.3 基于随机场的方法
马尔可夫随机场是图像分割中应用最广泛的统计算法,其原理是将图像中每个点的RGB值作为一个具有概率分布的随机变量。根据统计原理可知,随机场是指通过最大概率得到正确分割图像的目标组合;如果基于贝叶斯原理,则随机场图像分割就是利用最大后验概率分布。马尔科夫随机场图像分割就是一种基于局部区域的分割方法Hammersley-Clifford定理,由其邻域像素决定图像中各点的取值。基于马尔可夫随机场的图像分割过程包括粗分割和细分割两个阶段,一般的处理过程是用空间滤波器进行粗分割,用马尔可夫随机场进行精细分割。在图像分割中,尺度空间滤波器负责提取细分阶段所需的聚类数目和范围,并对每个颜色分量进行处理,得到粗分割图像。
2.2 直方图阈值化
直方图阈值法最早应用于灰度图像分割,并且技术以经比较成熟。彩色图像与灰度图像的区别在于彩色图像是个三维颜色空间,因此,彩色图像对应的直方图是一个三维数组,随着维数的增加,其阈值的确定是一大挑战。对此,Underwood提出了将三维空间向低维空间投影的方法来确定直方图阈值,并对此进行了相应实验,结果表明该方法是可行性的。Kurugollu等人提出了一种多频谱彩色图像分割方法,在分割开始时选取FRG、FRB和FGB作为频谱子集,对频谱子集进行多阈值处理,然后利用融合算法合成频谱子集的直方图分割图像。直方图阈值法可有效免去不必要的先验信息,计算量小。然而,单色分割会导致区域丢失,使得复杂的图像处理更加困难。
2.3 特征空间聚类
特征空间聚类算法是一种无须监督的分割算法,这就免去了大量样本造成计算量过大、成本过高的问题。它的原理比较简单,主要是利用不断地迭代来获取图像的特征值。我们现有的方法中,应用广泛的是K-均值、模糊C-均值。特征空间聚类方法的流程主要是通过聚类的有效性分析来确定聚类数目。彩色图像分割采用颜色空间聚类方法相对于其他的方法来说充分利用了三个颜色空间的信息,所以更容易实现。特征空间聚类的方法虽然免去了训练图像数据的烦琐工作,但是初始参数、分类个数的确定仍然是一大难题,这种方法受噪声的影响比较大。
2.4 边缘检测
现有的边缘检测技术有很多种,其中灰度边缘检测技术的应用较多。它的基本原理基于彩色图像的三维空间,利用均方根、求和、取最大绝对值等合并方法处理颜色分量来确定最终的结果。但是这种基于灰度边缘检测的算法不一定总是能得到准确结果,基于梯度边缘算子进行边缘检测可能导致出现不同的方向。为了解决这个难题,Trahanias等人提出了向量场的概念,就是将彩色图像视为一个有序的向量样本,并根据这些样本的线性组合幅度确定边缘检测算子。现有的研究中心还可以通过降维处理解决。边缘检测的优点主要是分割效果不错,在显著区域比较显眼时,但是有时候边缘检测算子过大过小会造成分割质量下降。
2.5 模糊技术
模糊概念在许多领域有着广泛的应用,在图像分割技术中,模糊技术常被用来处理图像分析和模式识别的不确定性。这种不确定性来自传感器的输出,并在数据传输过程中传播。一般来说,可利用统计原理解决由随机性引起的不确定性,而通过模糊集理论解决由模糊性引起的不确定性。模糊集主要包括三个部分:模糊测度、模糊集理论和模糊推理,它能更好地解决图像分割中广泛存在的不确定性问题,已成为图像分割技术的主要发展方向。此外,Sugeno提出的模糊测度和模糊积分[11]模型,可作为模糊信息众多属性的聚合算子,能够在图像分割时保留大量的有用信息。模糊技术虽然具有解决传感器产生的不确定带来的负面影响,但是模糊运算需要耗费大量的计算时间。
2.6 人工神经网络
人工神经网络是一种仿生算法,具有非线性求解和并行运算的优点能够很好地处理图像分割问题。神经网络用于图像分割主要有Hopfield神经网络、自组织网络和BP神经网络。Campadelli提出了基于Hopfield神经网络分割算法用于彩色图像分割。传统的自组织映射算法识别能力差,因此papamarkos等人在传统算法的基础上增加了三节点单层前馈网络,实现了主分量变换[13],并且利用神经网络训练的特征向量,得到颜色分量的协方差矩阵。反向BP神经网络普遍应用于图像分割中,如Leseure等人利用BP神经网络进行彩色图像分割,实验结果表示分割的效果比较好,能够准确处理图像分析问题。神经网络算法在彩色图像分割利用训练集分割图像,并且效果比前面的方法都要精确。但是所需要的训练样本数据很大,计算时间长,造成图像识别的实时性会降低。
2.7 基于物理模型的方法
现有的彩色图像分割方法是基于颜色相似性原则对区域进行定义的,使用这种方式会出现光斑和阴影区域的彩色图像难以分割的情况,使得目标表面出现不均匀性,也就是说区域边界与目标边界存在一定的差异性。虽然HSI在一定程度上解决了这一问题,但在低饱和度时,色相可能会不稳定。有学者提出了一些基于物理模型的分割方法来解决这一问题,并采用三维色彩空间建模。这种方法的建模简单,但是约束条件太多,对外界环境要求比较高,故应用范围比较小,只针对一些特定的情况。
3 结论
本文讨论了彩色图像分割在图像处理中的重要性,并对系统的综述了现有基于区域的方法、直方图阈值化、特征空间聚类、模糊技术、边缘检测、神经网络和基于物理模型研究现状。这些方法都有其固有的缺点,往往通过将这些分割图像技术相结合进行重构,相互借鉴,例如聚类和模糊方法相结合,出现了模糊聚类模糊方法来定义区域增长标准,直方图分析确定神经网络的结构。根据现有的研究成果,彩色图像分割技术并没有形成一个系统的体系结构,单一的方法在现有的研究成果中都是针对特定的图像进行特定的应用。换句话说,就是现有的研究分割方法无法适用于任何彩色图像分割。从理论上来说,灰度图像分割技术比较成熟,可以将其分割方法转化为彩色图像分割。但是,在实际应用上还有许多问题需要解决,灰度图像颜色空间是一维的,利用合并某种特定方法只适合处理单个颜色分量,而彩色图像是三维的,当颜色矢量被投影时,其RGB信息会发散,导致信息丢失。所以,我们在未来的研究重点是怎样把彩色信息看作整体进行考虑。
近年来,模糊方法越来越受重视,被广泛应用于图像分割领域,效果显著。图像识别方法虽然对图像的不确定性进行了一定的处理,但由于其对图像的不确定性的处理需要一定的时间,因此对图像进行模糊处理是一种比较有效的方法。最重要的是,模糊推理技术还可以将决策拟人化。因此,随着大数据和人工智能時代的到来,以及我们计算和处理水平的提高,模糊方法将能够取得意想不到的效果。另外,由于光照的变化会影响成像目标的表面颜色,而机器人视觉系统等应用需要采用分割算法来消除光照的影响,因此基于颜色恒定性的分割算法也会越来越受到重视。
参考文献:
[1] Lezoray O,Cardot H.Cooperation of color pixel classification schemes and color watershed:a study for microscopic images[J].IEEE Transactions on Image Processing,2002,11(7):783-789.
[2] Shafarenko L,Petrou M,Kittler J.Automatic watershed segmentation of randomly textured color images[J].IEEE Transactions on Image Processing,1997,6(11):1530-1544.
[3] A.S J,Hamada N.Color image segmentation method using watershed algorithm and contour information[C]//Proceedings 1999 International Conference on Image Processing (Cat. 99CH36348). 24-28 Oct. 1999, Kobe, Japan. IEEE, 1999:305-309.
【通联编辑:李雅琪】