结合显著性的主动轮廓图像分割

潘沛鑫，潘中良

华南师范大学 物理与电信工程学院，广州510006

图像分割是计算机视觉等领域中的一种必不可少的预处理工作，在目标检测与识别中能起到重要的作用。其中的主动轮廓模型早已广泛地应用在图像分割中，该模型能够有效地提取图像中的物体。例如，Lv等人[1]提出了基于模糊能量的主动轮廓模型，该模型利用非局部权重来构造局部能量项以进行图形分割。Ma等人[2]提出了结合随机森林的主动轮廓模型，该模型利用随机森林作为特征学习的内核，通过学习图像中的局部和上下文信息来进行图像的分割。此外，人类视觉系统可以快速并准确地识别图像中的显著物体[3]，因此显著性检测能够迅速地从复杂的场景中提取出人们感兴趣的部分。所以目前有许多显著性区域检测方法来提取目标区域，例如，Cheng 等人[4]研究了基于全局对比度的显著区域检测算法，对基于直方图统计的对比度以及基于区域对比度的两种显著性检测方法进行了实现。Yang 等人[5]提出了一种基于流形排序算法的显著性检测方法，通过使用基于图论的流形排序算法，并根据图像的像素或区域的相似性来进行排序，从而得到显著性区域或目标。

由于传统的主动轮廓模型主要是把图像分割成多个区域，没有凸显图像对象的一些重要信息，如人类感兴趣的显著性信息。因此，本文把基于图论的显著性检测算法和基于图像全局灰度信息的主动轮廓模型结合起来，提出结合显著性的主动轮廓图像分割。首先通过线性光谱聚类（Linear Spectral Clustering，LSC）的超像素分割算法[6]，获得紧凑且形状规则的超像素，并使用基于图论的流形排序算法来获得显著性图；然后将高斯混合模型（Gaussian Mixture Model，GMM）[7]和显著性信息引入到主动轮廓模型中，获得新的能量泛函，利用GMM 模型计算曲线内外的灰度值，并以显著性区域边界为初始边界，通过水平集函数的演化方程指导图像分割，来实现在复杂场景中的主动轮廓分割。

1 使用超像素的显著性检测

1.1 线性光谱聚类

超像素的分割效果直接影响了后续算法的精度，为了得到更好的分割效果，采用LSC 线性光谱聚类算法[6]，该算法不仅可以捕获重要的全局图像属性，而且在线性复杂度下以高存储效率运行。该算法是通过基于图像像素之间的颜色相似度和空间接近度的相似性度量来进行超像素分割。根据在高维特征空间中输入空间中亮点之间的相似度等于两个相应向量之间的加权内积，因此本文使用高维特征空间的简单加权均值来代替复杂的基于特征的方法，来最小化和归一化切割目标函数。所以LSC算法避免了对复杂矩阵的计算，并且收敛条件可以得到满足。

首先将图像转化到CIELAB颜色空间，把该彩色图像用如下的五维向量表示：p=(lp,αp,βp,xp,yp),其中，lp、αp、βp表示像素的颜色分量值，xp、yp表示其位置坐标。将每个像素点p映射为特征空间的十维向量φ(p)，然后在整个图像上以水平间隔Vx和垂直间隔Vy均匀采样K个种子像素。所以Vx/Vy就等于图像的高宽比，其中K是用户所输入的所需超像素的数量。

将这些种子移到3×3的邻域中的最低梯度上，以避开图像中的噪点和边界像素，并用这些种子初始化搜索中心Ck，以及用这些种子的特征向量初始化相应聚类的初始加权均值mk；然后计算并搜索中心附近2vx×2vy范围内的像素点与聚类的加权均值mk的距离，将每个像素对应的最小距离的聚类加权均值的k值作为该像素的标签，将每个像素分配给其加权均值最接近特征空间中像素矢量的聚类。

本文用p和q表示输入空间中聚类的数据用点，φ表示将数据点映射到更高维空间的函数。定义相似性度量的目标函数为：

式中，w(p)表示点p的权重，πk表示第几个聚类，mk表示聚类的初始加权均值，第一次聚类分割完成后，将每个聚类的加权均值和搜索中心进行相应的更新；然后重复地迭代整个聚类过程直到收敛为止；最后把较小的像素点归类到附近的像素。

1.2 基于图论的显著性检测算法

显著性检测的任务就是识别场景中人们感兴趣的区域，从而对图像进行预处理，以便做进一步研究。本文采用Yang 等人[5]的基于图论的流形排序算法来检测显著性，并改进其超像素分割部分，采用的是前面介绍的LSC超像素分割算法，该算法相对于简单线性迭代聚类算法[8]（Simple Linear Iteration Clustering，SLIC）而言能够利用图像结构来生成更合理的分割结果，并且可以保留图像的全局属性。使流形排序的显著性算法更加精确。

该显著性检测算法分成两个阶段，第一阶段采用将图的上、下、左、右边界上的节点作为背景种子，即标记数据，其他节点作为未标记的数据。使用标记的节点与其他所有区域的节点相关性进行排序。由此可形成了四个显著图并使它们结合起来获得第一步的显著图；然后将第一阶段得到的显著图进行图像分割得到的前景目标作为标记数据，使用标记节点与其他节点的相关性进行排序得到最终的显著性图。

通过超像素构造单层图G=(V,E)，其中V是一组节点，E是一组无向边。节点权重的定义为：

其中，ci和cj表示对应于CIELAB颜色空间中的两个节点的超像素的平均值，σ是控制权重强度的常数。通过权重就可以求出邻接矩阵W。其流形排序的依据是：

其中，D是对角矩阵，D=diag{d11,d22,…,dnn}，W是邻接矩阵，α=1/(1+u)，u控制平滑约束项和拟合约束项之间的平衡。平滑约束项能让排序函数在附近点之间变化较小，拟合约束项能让排序函数靠近初始种子点。y是一个指示向量，若yi=1，则表明该点是标记节点。f*是一个排序向量，是一个N维向量（N是图中节点总数）。在这个排序向量中的元素表示节点与背景种子点的相关性，其补码是显著性值；将向量进行归一化到区间[0，1]，利用边界表示的显著性图表示为：

其中，i表示索引图中的超像素节点，表示归一化向量。因此根据上、下、左和右图像边界作为标记节点，可以得到St、Sb、Sl、Sr这四个显著图。对这四个显著性图，通过以下公式进行整合，从而就得到了第一阶段的显著图：

在一阶段，大部分的显著性区域被检测出来，所以在第二阶段，将阈值设置为整个显著图上的平均显著性进行图像分割，将分割后的前景目标作为标记数据，形成指示向量y，并利用式（4）计算得到排序向量f*，将其归一化区间[0，1]。

重复进行这一阶段的操作，就形成了最终的显著图：

在基于图论的显著性检测中，本文将超像素的数量设置为100，得到的超像素分割图像如图1所示。

图1 LSC算法与SLIC算法的对比

在图1中，图1（a）为原图，图1（b）和图1（c）是对图1（a）分别使用SLIC 算法和LSC 算法进行超像素分割的结果。从图1中可以看出：对图中的两个棍子之间的部分，LSC 算法比SLIC 算法所生成的超像素分割的边缘更贴近于目标边缘。

图2 是使用基于图论的流形排序的显著性检测算法所得到的显著性图。

图2 显著性图

在图2 中，图2（b）是SLIC 算法通过使用流形排序所得到的显著图，图2（c）是LSC算法通过使用流形排序算法得到的显著图。从图2中可以看出：由LSC算法所得到的显著性区域得到加强，特别是在图中的这个人的脚步位置，而SLIC算法有一部分没有检测出来。

2 改进的主动轮廓模型

本文方法的总体流程如图3所示，主要由显著图生成和GMM 模型以及主动轮廓模型与两者的融合等部分组成。

本文利用显著性信息和GMM 模型改进主动轮模型的能量泛函，以获得更好的分割效果。

2.1 结合GMM模型的主动轮廓分割

图3 结合显著性的主动轮廓模型

基于图像全局灰度信息的CV 主动轮廓模型[9]，根据曲线内部和外部的灰度分布促进水平集曲线的演变。对于强度均匀和对比度明显的图像，分割效果较好。但是，当图像的灰度分布不均匀时，曲线的演化速度将明显变慢，分割效果也会变差。针对这一问题，本文将GMM模型引入到曲线演化过程中，优化了能量函数中曲线内部和外部的平均灰度。GMM模型是通过组合多个概率分布的多个高斯函数而形成的，可以用来描述灰度的复杂变化，因此，引入了GMM 模型来描述曲线内部和外部的灰度分布，并且使用GMM模型的参数来优化主动轮廓模型的演化函数中的平均灰度，该方法也能提高曲线的抗干扰能力，并运用水平集曲线实现正确的分割。

采用最大期望算法[10]（Expectation Maximization，EM）中参数计算的方法来对GMM模型参数进行估计，由水平集演化函数来计算迭代结果，根据迭代结果中曲线内部和外部的灰度分布来更新参数。所以，首先，初始化水平集的演化曲线，然后使用K-means[11]聚类算法将曲线内部和外部的区域划分为k个部分。分割后，每个部分的灰度分布可通过高斯函数近似。根据初始分割的k个部分，构造了曲线的内部GMM和外部GMM，计算内部和外部中子模型在整个GMM 模型中的比例πk、平均灰度值μk以及灰度方差σk，根据计算所得到的结果和其他参数来构建曲线内外图像的GMM 模型。构建GMM模型的式子如下：

经过GMM 模型优化后，可以计算每个点的能量值，并获得新的水平集演化结果。Ω(x,y)表示输入的图像，C(x,y)表示闭合曲线，将图像域Ω分为两个区域，即内部区域Ω1，和外部区域Ω2。结合GMM 模型定义一个以分割闭合曲线为自变量函数的能量泛函，通过对此能量泛函的极小化，以及对自变量的寻优过程，来实现对目标的分割。改进后的能量函数模型为定义：

其中，μ0(x,y) 表示图像中某一点的灰度值，H(φ) 是Hesviside函数，H(φ)表示曲线的内部区域和外部区域，∇为梯度算子，φ是根据闭合曲线C构造的水平集函数，当点(x,y)在曲线C上时，φ(x,y)=0。当点(x,y)在曲线的内部时，φ(x,y)＞0 。当点(x,y)在曲线的外部时，φ(x,y)＜0。

水平集函数的演化方程可以通过最小化式（9）的能量泛函得到，所以可以得出水平集函数的演化方程如下：

其中，δ(φ)表示一维Dirac函数，μ1和μ2表示曲线内部和外部的灰度均值。以计算曲线外部的灰度均值μ2为例，首先计算第k个外部高斯子模型对灰度值为u的点的响应度，从而可以获得曲线外部不同像素点的动态平均灰度值，由此就可以计算曲线外部的灰度均值，计算过程如下：

其中，θk是曲线外部第k个高斯子模型，φ(u|θk)表示该点属于曲线的外部区域的第k个子模型的概率，u表示该点的灰度值，μk表示曲线外部第k个高斯子模型的平均灰度，σk表示曲线外部第k个高斯子模型的方差。

2.2 结合显著性的主动轮廓分割

显著性检测利用视觉注意机制从复杂场景中提取人们感兴趣的显著部分，在显著图中，目标具有更高的信噪比，这使得它们易于检测。传统的主动轮廓在分割比较复杂的图像时，由于前景和背景之间相差不大，所以GMM 模型很难得出精确的结果，比如说当使用GMM模型算出图像中一个像素点属于前景和背景的概率都是0.5，无论这个点分为目标或者是背景，这时的损失（风险）都是最大的，怎样划分都是不合理的，所以在这时候使用高斯混合模型的主动轮廓的能量泛函的作用不大，图像分割的效果不佳，而将显著性信息引入到主动轮廓模型中，把图像的显著性加入到能量区域项中，以显著性区域边界为初始曲线，并通过显著图来估计GMM模型参数，其中第k个高斯模型的均值u(k)和协方差σk可通过计算其模型中包含的显著值的均值和协方差得到。

经过显著性计算，用显著性拟合的能量泛函定义如下：

其中，s1和s2为显著性信息在曲线内部和外部的灰度均值，一般情况下，在实际计算中，采用规范化的Heaviside函数和Dirac函数：

由此通过最小化能量泛函得到的水平集的演化方程为：

3 实验结果及分析

为了验证本文所提出的采用显著性的主动轮廓模型的图像分割算法的有效性，本文进行了大量的实验。在进行实验时所使用的图像是来自伯克利[12]的图像库以及MSRA[13]数据库；MSRA数据库中有1 000幅图像，并且每幅图像都有对应的全分辨率的二值化真值图；所使用的实验平台是：Inter®CoreTMi7-7700 CPU @3.60 GHz 3.60 GHz 处理器，64 位Windows 10 操作系统，Matlab 2017a。

3.1 CV、GCV和本文算法的分割对比分析

对CV 模型[9]、GCV 模型（把结合GMM 模型的CV模型称为GCV）、本文算法进行实验比较。实验结果如图4所示。

图4 CV、GCV和本文算法的分割结果

由图4 可以看出，使用本文算法的图4（c）的分割效果明显好于使用CV 模型和GCV 模型的图4（a）和图4（b）的效果。虽然加入GMM 模型以后，可以看出图4（b）的曲线分割效果得到了提升，分割噪声减少，但是会出现曲线不贴合图像的边缘，在标记的方框内也出现不同程度的噪声。而从图4（a）可以明显看出CV 模型与其他两个模型（GCV 模型和本文算法）相比分割噪声较多，分割并不准确。但是在本文算法的图4（c）中可以明显看出在加入显著性信息之后，分割的效果更加精准，分割曲线完全贴合图像边缘，因此分割效果得到了大幅的改善，在分割同时避免了众多背景噪声，能够将目标图像有效地分割出来。

3.2 本文算法与其他模型的性能比较

为了验证本文所提出的采用显著性的主动轮廓模型的图像分割方法对图形分割的有效性，本文使用了MSRA1000 图像数据库中的一些图像进行了实验。对采用图像全局灰度信息的CV 模型、基于因式分解的FACM[14]模型以及本文算法进行了实验和测试，实验的比较结果如图5所示。

如图5所示，图5（d）的分割效果明显好于图5（b）和图5（c），图5（d）的分割效果几乎接近图5（e）图像分割的真值图，在图5（b）的基于图像全局灰度信息CV模型的分割结果没有体现鲁棒性，在图像的边缘处会出现噪音，导致不精确分割。在图5（c）的基于因式分解的FACM[14]模型中，在狗的头部位置分割效果不精准，在有花的图像中亮度分配不均匀时，基于因式分解的FACM模型将后面的阳光识别为图像对象导致图像分割部准确，所以加入显著性信息能够使得能量函数中区域项的可靠性增强，使得本文的算法能够有效地分割复杂背景的图像。

此外，评估指标采用F值(F-Measure)[15]来评价对图像分割的效果，并对每个模型分割的运行的时间进行了对比。F-Measure的计算公式如下：

式中，Rec表示的是召回率，该值反映图像中的目标被分割的完整性，Pre表示的是精确率，该值越高反映算法分割的结果中包含的背景越少，其计算公式为：

其中，Gt表示真值图像，Bi表示算法分割后的二值图像，但Rec和Pre指标有时候会出现的矛盾的情况，这样就需要综合考虑，所以F-Measure就是Pre和Rec加权调和平均，F-Measure较高则表明在精确率较高的情况下召回率也较高，即表明本文算法能够准确完整地分割出图像中的目标。

本文对MSRA1000 图像库中的一些图像进行了实验，得到的结果如表1。

表1 主动轮廓模型的分割结果对比

图5 CV、FACM和本文算法的分割结果

在表1中，对每种算法的迭代次数都设置为100；平均运行时间是指每种算法迭代100 次时的平均时间。由于本文加入了显著性检测使得运行时间比其他两个算法相对较长，但是本文利用显著图的二值图像来初始化轮廓，而FACM模型的初始轮廓设为一个椭圆框，CV模型根据图像的大小，其初始轮廓为图像长宽的1/3 到2/3处的矩形框，因此本文算法的迭代次数大幅地减少，所以在实际应用中，FACM算法的运行时间要远远大于本文算法，FACM 算法是基于因式分解的主动轮廓模型，该算法仅从对象区域中选择组合权重来处理曲线的运动，所以需要多次迭代才能得到更好的分割效果。因此FACM模型运行时间较长。从表1中，也能明显地看出本文算法的F值明显高于其他两个模型，因此本文算法分割的性能更好。

4 结语

本文所提出的结合显著性的主动轮廓图像分割方法，能够有效地分割背景较为复杂的图像，通过使用LSC超像素分割算法将图像分割成块状小区域，并对分割后的超像素进行流形排序以得到显著性图，在主动轮廓模型中加入显著性信息，用像素的显著性值来拟合能量函数。在实验过程中，通过实验的对比验证了显著性信息和GMM模型对主动轮廓分割的有效性，实验结果表明本文算法在进行图像分割时具有较好的性能。下一步的工作主要是将对显著性提取算法和主动轮廓模型做进一步的优化，以提高分割效果和普适性，并将其应用到实际的目标检测中。