基于相似系数的颜色纹理特征在图像分割中的应用

刘虹良，孔令胜，郭俊达，张恩齐

（中国科学院长春光学精密机械与物理研究所，长春130033）

0 引言

图像分割本身在深海复杂情况下的生物识别、医学图像分析以及人类面部信息识别的领域都有举足轻重的应用与良好的市场前景，所以，如何保证算法精确性和鲁棒性是很长一段时间的热门问题。

许多经典的彩色图像分割方法已经在不同的应用中诞生，包括局部二值模式[1]（LBP）、基于Gabor的滤波和聚类[2]、分水岭算法[3-4]和基于深度学习的方法。这些分割方法的过程基本相同，可以概括为3 个步骤：（1）特征提取[5]；（2） 图像分割[6-8]；（3） 分割后处理[9-11]。

其中，特征提取的第一步在彩色图像分割中起着至关重要的作用。具体来说，其可以通过测量纹理中嵌入的特征来表示为区分纹理，为了方便起见，嵌入纹理中的特征统一称为纹理特征。提取纹理特征的经典方法有很多，如灰度共生矩阵（GLCM）、LBP、Gabor滤波器和小波方法，但大多数都是针对灰度图像分割而产生的。这就是为什么算法本身没有连接到颜色通道，这导致了一个明显的问题，即单一使用颜色或纹理信息无法准确描述和反映真实图像内容。因此，使用颜色和纹理信息描述符组合进行图像分割的主题已经被讨论。为此，进行了各种实验。例如，基于Gabor 滤波和颜色积分变换的彩色纹理分割在实验支持下被证明是准确的。C Zhang等[11]提取了一种基于压缩纹理合并的更复杂的颜色纹理集成方法，该方法通过在7×7 窗口内叠加变换后的CIELAB 图像中每个波段的亮度来提取像素级的颜色纹理特征。Y Liu 等[12]提出了一种基于颜色-纹理协同的图像分割方法，该方法将非线性紧多尺度结构张量与全方差差分流相结合，设计用于综合评价的纹理描述符。

然而，准确地提取图像中局部自适应变化的颜色纹理信息仍然有许多困难。例如，特征必须在一定的尺度范围内获得和观察。对于大多数从固定规格窗口提取图像特征的方法来说，这显然不是一个很好的解决方案。同样，对于纹理类型复杂的图像，固定的规格提取窗口一方面不可避免地会导致小尺度纹理区域的模糊，另一方面会丢失大尺度纹理区域的完整信息。

为了解决上述问题，本文设计了一种新的彩色纹理图像分割方法，具体如下：首先，本文设计了一种新的颜色纹理特征描述符，这里简称为局部直方图描述符（简称LH），LH 描述符的构建是基于颜色量化技术与圆域内颜色的直方图而形成的。为了使该特征描述符适应不同规格的图像文本，本文将LH 的描述符感受视野进行了自适应地设置。自适应的依据是根据相邻区域内相似度来进行取舍。针对相似度，这里应用了统计学的相关系数来进行划分。因为LH 描述符是应用于圆形区域内并执行统计运算的。但是对于纹路边缘的像素，LH描述符不能准确地描述出纹理的特征。为了解决这个问题选择了纹理反弹检测器用来获取边缘，并利用该方法指导纹理边界附近的LH 描述符进行校准。然后通过使用通过空间聚类的方法在合适的尺度上对LH 描述符进行聚类。这样的初始聚类虽然会产生分割过度的现象，但通过后续的区域融合可以很好的解决这一问题。该融合方式是根据每个被分割的初始区域上的LH 描述符的平均值和获得的纹理边缘信息进行同质化小区域的方法，该方法可以很好地实现图像融合的目的。

1 算法的相关原理

1.1 自适应颜色纹理描述符

本文中设计了一种新的颜色纹理特征描述符，为了使该特征描述符适应不同规格的图像文本，本文自适应地设置了LH 的描述符的圆形感知视场。自适应是基于相邻区域内统计相关系数来进行的权衡。对于该相关系数，这里可以应用巴氏距离或者皮尔森系数进行把握。因为LH 描述符应用于圆形区域并执行统计操作，LH 描述符无法准确描述纹理边缘像素的纹理特征。为了解决这个问题，选择了一个纹理反弹检测器来获取边缘，并使用这种方法来指导纹理边界附近LH 描述符的校准。然后，使用空间聚类方法在适当的尺度上对LH 描述符进行聚类。这种初始聚类会产生过度分割，但通过后续的区域融合可以很好地解决这个问题。该融合方法是一种基于每个分割的初始区域上LH 描述子的平均值和获得的纹理边缘信息对小区域进行均匀化的方法，能够很好地达到图像融合的目的。

与以往的彩色纹理分割方法相比，本文提出的方法具有显著的优势：首先，该方法不仅能有效、稳定地处理更复杂的纹理，而且在加入相关系数约束的情况下，能够准确、可靠地实现多尺度纹理处理；其次，边缘纹理反弹检测器的引入可以明显消除亮度变化缓慢导致的过度分割风险。

一般来说，纹理是由局部重复的纹理基元形成的。因此，一个小区域内的局部直方图可以为模拟纹理基元的分布提供一个鲁棒性很不错的参考样本。受到纹理的局部可重复性的启发，本文设计的局部颜色直方图的特征描述符定义如下：在已经量化图像中，将每个像素作为圆形中心，计算圆形邻域内不同强度的像素数量，然后获得直方图，用于收集每个强度出现的比例。人为将得到的局部直方图命名为中心点的LH 描述符H(xc,yc,r)，其中(xc,yc)是中心点的像素坐标，r代表圆形邻域的半径。对于给定的灰度量化图像Iˉ(x,y)K而言，K为灰度值。换而言之，LH描述符是一个K维向量，使用参数HK来表示一个拥有K维的LH 描述符，它的第K个元素可以表示为：

式中：N(xc,yc,r)为中心点是(xc,yc)、半径是r的圆形邻域。为二值图像，图像中的(x,y)属于第K灰度级。

随着图像中每个像素移动，图像的所有LH 描述符形成一个全新的平面，为了简化名称，称其为LH 图像。LH图像为灰度与彩色图像的每个像素及其圆形邻域都提供了局部纹理信息。对于已经量化的彩色图片而言，LH描述符首先将彩色图像转换成多个独立的特征通道，然后独立处理每一个通道。最后，将输出的每一个像素的所有通道整合。譬如，对于RGB 颜色空间中的像素(xc,yc)的多通道描述符可以表示为：

式中：S为颜色空间；K为向量维数；Hi,Ki(i ϵ{R,G,B})为LH描述符中Ki通道中的第i级通道。

也就是说，LH描述符可以被理解成在圆形区域内结合了颜色信息的局部灰度直方图。然后，通过整合这些LH 描述符从而形成了最终的特征向量。使用LH 描述符的特征提取包括两个过程，分别是颜色量化与局部直方图。

1.2 颜色量化

颜色直方图的获取在机器视觉领域中被广泛用于获取图像特征，但直接用于纹理分割时存在许多问题。首先，颜色直方图的维数非常高，这是一个巨大的计算挑战。另外，以这种方式获得的大多数直方图条将是空的，这使得估计的纹理不可靠。然后，在对自然事物的研究中发现，即使是相同的纹理，在亮度和噪声方面也可能有微小的差异。因此，为了解决上述问题，尝试将颜色相似的像素分组在一起，而放弃将颜色完全相同的像素分组在一起。

因此，在可以执行颜色直方图之前，需要使用颜色量化技术。颜色量化算法通常由调色板设计和像素映射两部分组成。调色板旨在降低原始图像的复杂性，同时保留足够数量的代表性颜色。在本文中，重点讨论了通过八叉树算法进行调色板和像素映射的设计。图像的像素通过八叉树结构在RGB 颜色空间中进行聚类，聚类中心作为调色板，每个像素逐个映射到相应的聚类中心。换句话说，通过比较调色板找到最接近的颜色，输入图像的原始颜色以最小失真表示。

1.3 局部直方图的统计

颜色量化技术可以解决由颜色直方图产生的高维问题，现在还有另一个需要解决的问题。由于图像颜色直方图不包含任意颜色的空间分布，因此图像的形状可能没有得到充分利用，克服这个问题，需要计算圆形邻域中的局部颜色直方图。如图1所示。

图1 计算邻域中的局部直方图

对于每个局部直方图，可以通过将均值滤波器与二值化图像卷积来获得。平均值滤波器可以分两步获得：第一步，圆形边缘内的像素取相同的值1。这由图中的红色表示。部分位于圆边内部和部分位于圆边外部的区域通过插值进行估计，规定它们的值对应于圆边界内部的面积百分比，在图中用黄色和绿色表示。而那些完全在边缘之外的则被指定为0，图中为蓝色。在第二步中，将获得的值标准化，它们的总和仍然等于1。

LH描述符的规格与纹理基元的规格呈正相关。如果LH描述符的规格小于纹理基本体的规格，则获取的纹理基本体是不完整的，并且可能缺少重要细节。此外，活体图像通常包含多种类型的纹理基元，并且纹理基元的百分比随拍摄角度和对象的平面度而变化。如图2所示。图中显示了一张只有一个纹理基元的彩色纹理金钱豹的图像，但该纹理基元的比例在不同的位置有所不同。金钱豹的身体区域包含相对较高比例的纹理基元，反之，尾巴包含相对较低比例的纹理基本体。如果获取单个尺度作为LH 描述符，可以直观地看到，选择一个小尺度的描述符不足以表示斑点的纹理信息，如果选择的尺寸太大，LH描述符将模糊金豹臀部和尾巴之间的纹理边界。因此，如何在给定的图像中设置不同大小的LH 描述符，以实现自适应成为当务之急。

图2 同一纹理基元的不同尺寸大小

1.4 基于相关系数的描述符自适应变化

通常，当特定像素处的LH 描述符从一个范围变化到另一个范围的时候，圆形邻域中包含更多像素，并且根据它们的位置，这些像素可以分为两类，即未扩大之前的内圆形范围和扩大部分的外环形范围。如果这两类图像是同质的，这意味着他是不可区分的，如果不是同质的，这意味着他们是可分离的。因此，可分性是分离的重要依据。为了获得这两类可分离性的定量度量，需要一个相关系数进行把握，可以选择巴氏距离或者皮尔逊系数。本文采用皮尔逊相关系数。它反映了两个变量之间变化趋势的方向和相关程度。其值范围为-1～1。当获得的相关系数为0时，这意味着这两个变量不相关。当获得正值时，表示正相关；当获得负值时，表示负相关。绝对值越高，相关性越强。一般来说，相关系数0.8～1 表示非常强的相关性；0.6～0.8 表示一般强的相关性；0.4～0.6 表示中等相关性；0.2～0.4 表示弱相关性；0～0.2表示非常弱或不相关的相关性。

1.5 LH描述符的校正

为了获得较为正确的感受视野，设计了一种纹理边缘的检测方法，用于提供了每个图像像素的后验概率，具体叙述如下。

对于在图像中的每一个像素Iˉ(x,y)而言，以该像素为中心的圆形邻域会被角度为θ的线段分成两个半圆盘，这里认为命名为gθ与hθ。在RGB 颜色空间中，每个半圆盘都会获得各个颜色通道的直方图。具有任意方向的Pb描述符会通过计算直方差异而作为区分。具体为对于在图像中的每一个像素Iˉ(x,y)而言，以该像素为中心的圆形邻域会被角度为θ的线段分成两个半圆盘，这里认为命名为gθ与hθ。在RGB 颜色空间中，每个半圆盘都会获得各个颜色通道的直方图。具有任意方向的描述符会通过计算直方差异而作为区分。具体计算方法如下

其中K为颜色量化的素材库，r为gθ与hθ的半径，对于使用的θ，人为规定8 个方向分别为0°，22.5°，45°，67.5°，90°，112.5°，135°，157.5°。通过将来自检测器的8个方向值加在一起形成一个多方向检测器。与LH 描述符一样，通过在给定的范围内改变圆形邻域的半径来适应不同尺度的纹理基元。扩展到多尺度后形成的检测器是由从给定范围r1到rn的所有探测器响应结果。具体由下式表示：

式中：ri为Pb描述符的标度半径。

将mPb 检测器应用于颜色量化图像，然后获取初始的纹理边缘，之后，对于一幅图像固化梯度纹理边缘用来消除颜色量化产生的错误边界。

2 实验结果及分析

通过上述阐述，本文算法流程及效果如图3～4所示。

图3 本文算法的流程

图4 各阶段的效果

2.1 实验验证

本次实验采用主观和客观两个方面的内容对本文算法进行了实验的证明，主观上评估了该算法在新合成数据库中的性能，合成数据库基于人工合成的可描述纹理数据库（DTD）。通过本文的算法与其他6 种更常见的分割方法进行比较。这里选择的常用技术有JSEG 图像分割、多尺度归一化切割（MNCut）、基于压缩的纹理合并（CTM）、通过聚集超级像素进行分割（SAS），基于轮廓引导的颜色调色板（CCP-LAS）和基于因子分解的纹理分割活动轮廓模型（FACM）。具体结果如图5所示。

图5 本文算法与其他6种算法的对比

在客观评估阶段，选择了4 个通用且有效的指标作为数据支持，即概率（PRI）、信息变化（VOI）、全局一致性误差（GCE）和边界位移误差（BDE）。具体数据是通过将本文与之前的6 种算法进行比较和分析得到的，具体数据如表1所示。

表1 本文算法与其他常用算法的参数比较

2.2 结果分析

通过进行实验，获得了表1所示的数据。PRI表示实际分割符合场景真实性的程度；VOI 是通过计算两个分割区域的平均熵来测量区域之间的距离，从而粗略地测量一个区域未被另一个区域合并的概率；GCE 是对纹理错误程度的度量，被视为另一种质感；BDE 是两个区域之间位移的度量。在传统意义上[0，1]范围内PRI 值越大，[0，+∞]范围内VoI 值越小，[0，1]范围内的GCE 值越小，[0，1]范围内的BDE 值越小则说明算法越好。通过对比数据可知，本文算法在PRI 和GCE 中的判定系数与预期一致，而VoI 和BDE 中的判定系数并不是对比算法中最好的，但从整体上看，与其他算法相比，本文的算法仍然属于分割效果更好、鲁棒性更稳定的算法。

3 结束语

本文提出了一种基于相关系数的自适应彩色纹理图像分割方法。为了更好地弥补由于颜色的相似性导致颜色不易识别的问题，该算法加入了纹理信息。为了解决计算量过大的问题，本文采用颜色量化进行适当的简化。为了使纹理分割更加完整，本文结合统计学的相关系数进行自适应大小选择，并使用边缘校正进一步调整合适的区域。对频繁分割的区域进行一定程度的融合。最后，对其他常用算法进行了主客观验证，实验证明本文算法具有一定的可取性，在分割完整性和鲁棒性方面有着不错的变现，同时实现了算法的自适应的特性。