一种具有边缘保持的多尺度马尔可夫随机场模型图像分割方法

孟月波,刘光辉,徐胜军,冯峰

(西安建筑科技大学信息与控制工程学院,710055,西安)

近年来,基于多尺度马尔可夫随机场(Multi-Resolution Markov Random Field,MRMRF)的图像处理方法得到了广泛的应用[1-4]。MRMRF常采用图像多分辨率方式,将图像建模为多个不同分辨率描述的单尺度马尔可夫随机场(Markov Random Field,MRF),利用较低分辨率图像(粗糙层)描述图像的全局特征,较高分辨率图像(精细层)描述图像的细节特征,通过层间的因果关系自上而下地进行层间消息传播。

尽管基于MRMRF模型的图像分割算法具有更少的计算复杂度,但是常用的MRMRF模型的四叉树结构会在多尺度模型建立的过程中,导致低分辨率图像边缘细节模糊,甚至缺失。另外,在多尺度MRF模型的推理过程中,从上一尺度到下一尺度直接采用膨胀映射的方法形成下一尺度的初始标号,这种简单的映射方式常导致图像的分割结果出现边缘模糊的现象。Felzenszwalb等提出了一种不改变图像分辨率的多尺度技术,通过不同尺度的多栅格方法,对原始图像进行多尺度随机场建模,在较大尺度图像中有效保持了图像的细节特征[5]。但是这种方法在图像分割过程中,由于局部区域先验模型的平滑作用,仍会导致局部区域的块效应,以及图像分割边缘模糊的现象。

引入更丰富的图像边缘特征是解决上述问题的途径之一。钱生等针对图像显著性检测得到的显著性区域边界稀疏不明确、内部不均匀致密等问题,提出利用边界信息、局部信息以及全局信息从图像中提取多种显著性特征,在条件随机场框架下实现多种显著性特征的融合,应用Graph Cut图像分割技术实现了显著性区域的准确分割[6]。针对具有精细结构的分割对象,徐胜军等提出了一种融合边缘特征的区域MRF模型,利用提取的图像边缘特征,建立局部区域的边缘先验约束,解决了点对MRF的“短边缘”先验导致的较大误分割现象[7]。Kohli等提出了一种边缘耦合势能的下包络表示方法,把高阶势能转换成带辅助变量的点对模型,解决了标准点对随机场的短边界偏置问题[8]。张姝茵等针对极化合成孔径雷达图像的分类过程中较难同时获得精确的边缘和光滑的同质区域问题,提出了一种Wishart距离的高概率选择分类器与自适应MRF相结合的分类方法,利用高概率分类器结合Canny边缘检测算子获得图像的边缘特征,有效保持了合成孔径雷达图像分类的边缘信息[9]。针对传统图模型分割算法提取的物体边缘不够精细、难以适应复杂道路场景布局的问题,邓燕子等将图像过分割为同质的超像素块,采用随机森林模型训练超像素块的多类别回归器和相邻超像素块的一致性回归器进行回归计算,之后进行推理,得到初始分割结果,在初始分割基础上构建像素级的全连接条件随机场模型,提出了一种基于多层图模型推理的道路场景分割算法[10]。Wang X等利用KPCA(Kernel Principal Component Analysis)方法提取图像的形状和边缘特征,并将其融合到MRF能量模型中,提出的模型利用相邻像素的欧式距离定义了一种边缘距离映射函数,和Canny边缘提取算子相比,提出的模型有效提升了图像边缘的描述能力,但是仍难以有效提取高维非高斯的边缘特征[11]。Wang Q等基于隐马尔可夫随机场(Hidden Markov Random Field,HMRF)理论,提出了基于边缘保持的HMRF-EM模型,该模型利用邻域像素的相互作用引入空间信息,并引入边缘检测算法来保持图像边缘,提高了图像的分割效果,但对于图像中边缘细小的区域,分割结果依然不理想[12]。在这些模型中,连接邻域像素的点对势能所描述的局部约束不能获得更复杂的特征,如凸性或曲率特征,也不能得到图像的长距离的特征。虽然基于MRF模型的边缘检测方法在提取图像边缘的特征方面取得了一定的研究进展,但图像中的目标是复杂的,而分割对象间的相互关系更存在很大的不确定性,很难明确描述它们的边界。由于图像边缘附近的像素强度值具有突变性,而基于区域的MRF模型对图像像素强度值的突变具有一定的平滑作用[13-14],因而这种模型不能有效描述图像的边缘特征,因此造成图像分割结果中的边缘模糊或者误分割现象。

本文在研究上述多栅格模型的基础上,针对图像分割提出了一种具有边缘保持的多尺度马尔可夫随机场(Edge Preserving Multi-Resolution Markov Random Field,EPMRMRF)模型。该模型利用邻接区域之间的交互重叠约束,有效地把局部区域的优化传递到相邻区域,解决了常规MRMRF模型非重叠区域在最优化过程中所造成的块效应现象,同时,该模型采用具有边缘保持作用的Cauchy分布提取图像的多尺度边缘先验知识,在不同尺度上实现图像局部区域特征和多尺度边缘特征的融合,有效保持了图像分割结果的边缘。之后,提出一种分层区域置信度传播(Hierarchical Regional Belief Propagation,HRBP)算法,对提出的EPMRMRF分割模型进行迭代优化,基于最大后验准则(maximum a posteriori,MAP),求解了MRF最大后验全局分布。实验结果表明,该算法不仅有效保持了图像分割结果的边缘,获得了更好的分割结果,而且具有较快的分割速度。

1 具有边缘保持的多尺度马尔可夫随机场模型

1.1 基于多栅格技术的局部交互多尺度马尔可夫随机场模型

图1 基于多栅格技术的MRMRF模型

(1)

图2 节点i的局部区域

由上述定义可知,与传统金字塔结构的MRMRF模型相比,基于多栅格技术提出的局部交互MRMRF模型在粗糙层没有改变图像的分辨率,因而在大尺度MRF模型中,不仅有效保持了图像的细节特征,并且通过节点在大尺度的交互关系,有效减小了较远距离像素的交互关系。同时,为了解决Felzenszwalb提出的MRMRF模型在求解MRF模型优化过程中由于局部区域能量最小化所带来的块效应,利用相邻节点所处区域之间的交互重叠结构,建立了一种局部交互MRMRF模型,在不同尺度内利用邻接区域之间的交互重叠约束,通过邻接消息传播的方式把局部区域的优化传递到相邻区域,有效平滑了图像块能量的最小化所导致的假边缘。

根据Hammersley-Clifford定理[15],求解MRF模型的全局最优分布可以等效为求解Gibbs全局能量的最小化过程,第l层MRF模型分割的能量模型E(Yl)为

(2)

(3)

(4)

这种先验模型在邻域标签之间的约束使得相邻像素容易得到更平滑的分割结果,因而在基于MRF模型的图像处理问题中获得了广泛的应用。但是,由于过平滑作用,常造成图像分割对象之间的边缘模糊。同时,在MRMRF模型的分割过程中,传统的MRF先验模型在迭代过程中对图像所有尺度中相邻像素的不一致性惩罚是同等程度的,不能有效根据图像局部特征的相似性而自动调整惩罚的大小。在多尺度模型中,如果在粗糙层选择较大的β参数,容易导致精细层一些细节特征被过平滑,反之在粗糙层选择较小的β参数,则易导致精细层细节特征的欠分割。

1.2 多尺度边缘先验保持的马尔科夫随机场先验模型

为了解决局部区域交互的MRMRF模型对图像细节特征不能有效保持的问题,提出了一种多尺度边缘先验保持的MRF先验模型。定义多尺度局部区域保持边缘的先验Gibbs分布,其模型为

(5)

图像的边缘特征通常是非高斯的,由于Cauchy分布是重尾分布,因此可以更好地描述图像的非高斯边缘特征。常规Potts模型对所有的邻域节点对的惩罚是一致的,因此在一些图像分割的边缘容易造成模糊现象,而Cauchy分布是单调减函数,对于弱边缘的惩罚较大,对于强边缘惩罚的较小[16],可以更有效地保持分割边缘的清晰。在模型的第l层,Cauchy分布的定义公式为

(6)

式中:ηl为第l层Cauchy分布的尺度因子;表示相邻像素归一化的欧式距离。

Cauchy模型不仅有效保持了图像的边缘特征,同时根据图像的空间相关性保证了不同区域的分离性[17]。多尺度Cauchy分布如图3所示,不同的尺度因子定义了不同的边缘惩罚,可以分析得出:随着尺度因子ηl值的增加,虽然对强边缘(横坐标较大片)和弱边缘(横坐标较小处)的惩罚不同,但是对两种边缘惩罚量的差值逐渐减小;当ηl趋向于无穷时,对所有边缘的惩罚都是一致的,惩罚量为1,这表明当ηl趋向于无穷时,多尺度局部区域保持边缘的先验Gibbs分布和基于Potts类型先验分布的惩罚一致。

图3 多尺度Cauchy分布

(7)

式中δ(·)是Kronecker delta函数。将式(3)(5)(6)(7)代入式(2)并求解,可得EPMRMRF能量分割模型,公式为

(8)

在EPMRMRF模型中,利用多尺度Cauchy分布,描述不同尺度的边缘先验。在EPMRMRF模型的较大尺度上,为了有效利用更多的局部先验特征,抑制图像噪声对分割结果的影响,选择较大的尺度因子ηl;而在较小尺度上,为了保证图像分割结果的边缘清晰,特别是为了保持一些局部边缘信息或者弱的边缘信息,选择较小的尺度因子ηl,这样边缘先验对这些局部边缘或者弱的边缘具有较小的惩罚。因而,在EPMRMRF模型中,从最粗糙层向精细层推理的过程中,逐渐减小边缘模型的尺度因子,可以得到不同尺度的边缘先验信息。因此,EPMRMRF分割模型不仅有效利用了图像的区域特征,而且有效保持了图像的边缘,避免了由于常规Potts模型在边缘区域的过平滑所带来的边缘模糊现象。

2 分层区域置信度传播算法

为了求解提出的EPMRMRF图像分割模型,提出HRBP算法。HRBP算法分为两步:(1)层内区域消息的传递;(2)层间相邻尺度消息的传递。在层内,利用区域置信度传播算法实现层内消息传播,寻求层内MRF模型的全局最优解;在层间,采用邻接节点消息的传递方式,把局部消息传递到全局,直到MRF模型全局收敛。基于MAP准则,令节点的置信度最大标签为该节点标签值的最优估计。在建立的层内多栅格交互MRF模型中,利用区域消息传递方法进行层间模型的全局寻优。在较大的尺度层,由于区域节点包含了更多的图像信息,描述的图像局部特征更丰富。在迭代过程中由于区域之间的交互,局部最优通过区域之间的交互有效传递到其相邻区域,因而区域置信度传播算法更容易收敛。

在层内建立区域置信度传播迭代算法,区域消息的更新规则为

Mw→w′(yw′)=Ew(yw)+Ew,w′(yw,yw′)+

(9)

区域w的置信度更新规则为

(10)

式中Bw(yw)表示区域w的置信度。

在层间消息传递过程中,为进一步加快区域消息传播算法的迭代速度,把上一层迭代算法收敛时的相邻区域之间的消息作为下一层MRF模型中迭代消息的初值。定义层间区域消息的传递公式为

(11)

基于EPMRMRF模型的HRBP分割算法步骤具体如下。

(1)输入待分割的自然图像X。

(2)参数初始化,确定分割类别数K、多尺度层数L、边缘尺度因子ηL,根据实验效果和HRBP算法的运算复杂度要求,选择EPMRMRF模型的层数在3～4层,边缘保持Cauchy模型尺度因子初值选择25。

(4)将l从L到1进行遍历,对每个l进行如下操作。

(4.1)根据式(8)建立第l层EPMRMRF模型。

(4.2)采用HRBP算法迭代计算第l层的全局能量E(Yl),迭代次数M取5～10。

将m从1到M进行遍历,对每个m进行如下操作。

(4.2.1)根据式(9)(10)进行层内区域消息传播,基于最大后验边缘概率估计准则,估计第l层第m次迭代的分割结果。

(4.2.2)根据式(11)将第l层收敛消息向第l-1层进行消息传播,实现层间区域消息传递。

(4.2.3)根据式(8)计算第l层的全局能量E(Yl),如果E(Yl)收敛或者m=M,则令l=l-1,跳转至(4.3),否则令m=m+1,跳转至(4.2.1)。

(4.3)令l=l-1,如果l<1,则跳转至(5),否则跳转至(4.1)。

基于EPMRMRF模型的HRBP图像分割方法避免了传统金字塔多尺度结构采用的直接膨胀投射的方式所造成的边缘模糊现象。这是由于EPMRMRF模型没有改变多尺度图像的分辨率,而是采用了多栅格技术,利用不同尺寸的图像块描述不同尺度的图像节点,在较大尺度模型上没有改变原始图像的分辨率,保持了图像的局部统计特征。同时,EPMRMRF模型引入了一种多尺度的边缘先验Cauchy模型,对弱的边缘有较大的惩罚,对强的边缘惩罚较小,因而避免了传统的基于Potts模型的边缘惩罚一致所造成的过小惩罚导致的图像分割斑点噪声干扰较大,而较大惩罚又导致图像分割结果的过平滑现象。在基于EPMRMRF模型的HRBP推理算法的迭代过程中,从上一层往下一层标签初始值进行传递时,由上一层MRF模型中区域消息传播算法进行寻优后所得到的区域像素的标签值很自然地成为了下一层MRF模型中分割算法迭代的标签初始值,显然,一个更接近真值的初始化值有助于推理算法更快收敛。

3 图像分割实验结果及分析

3.1 实验背景

图4 本文及对比算法的流程示意图

3.2 实验结果主观评价分析

(a)待分割自然图像

(b)标准分割结果

(c)基于单尺度MRF模型的标准BP算法分割结果

(d)基于多栅格技术的分层BP算法分割结果

(e)基于边缘保持HMRF模型的EM算法分割结果

(f)基于EPMRMRF模型的HRBP算法分割结果图5 不同算法分割结果比较

实验对比结果如图5所示。图5a为5幅待分割自然图像,按照从左到右从上到下的顺序分别是Stone、Countryside、Campus、Smhouse、Grain。这些图像依次被分割为4类、4类、6类、4类和4类,标准分割结果如图5b所示。图5c为基于单尺度MRF模型的标准BP算法分割结果,实验图中的草地、树木、烟囱、谷物等区域由于具有较丰富的纹理特征,分割结果出现了较为明显的误分割斑点,这是因为单尺度MRF模型的四邻域结构不能有效描述图像丰富的纹理统计特征。图5d为基于多栅格技术的BP算法分割结果。多栅格技术通过大尺度图像块建模的方式,有效描述了图像的统计特征,显著提升了图像分割效果,但是在图像Stone的分割结果中,天空和山之间出现了边缘带,同样,在图像Countryside的分割结果中,天空和树之间的分割结果也出现了边缘带,这是由于多栅格非交互的局部区域能量最小化所造成的sibling competition现象。图5e为基于边缘保持HMRF模型的EM算法分割结果,由图中可以发现,虽然这种算法在对于丰富纹理的区域具有较为平滑的分割效果,但是简单的基于Canny算子提取的图像边缘特征不能准确描述分割对象的形状特征,因而这种方法对于图像的细节特征并不能进行准确分割。图5f为本文基于EPMRMRF模型的分割结果,和基于多栅格技术的分层BP算法相比,EPMRMRF模型由于引入了多尺度Cauchy边缘先验特征,因而在图像分割结果中有效保持了图像的边缘,避免了传统MRF模型的边缘模糊现象,如图5d中Campus分割结果中道路与草坪之间的边缘模糊、图5e中Campus、Smhouse等图的边缘带现象等。同时,EPMRMRF模型采用了区域重叠的技术,把图像块内的局部最优通过邻接块之间的交互很自然的传递到全局,避免了由于区域的局部最优所导致的块效应,因而分割结果更为平滑,如Campus的分割结果不仅在草地部分获得了较好的平滑分割结果,而且保持了落地窗的分界线等细节特征,Grain中玉米的分割获得了较好的效果等。综上所述,和对比算法相比,提出的基于EPMRMRF模型的HRBP分割算法获得了更好的分割结果。

3.3 实验结果客观评价分析

表1给出了不同分割算法的时间复杂度t,分析发现:文献[18]虽然在Smhouse和Grain两幅图中具有更快的速度,但是分割结果较差,因而考虑到分割质量和速度的平衡,本文方法具有相对较快的收敛速度。这是由于和其他算法相比,EPMRMRF模型把较远距离的节点交互通过多栅格技术转换成了较近的区域节点交互,因而有效减小了BP算法消息传播的距离,同时,多栅格技术在大尺度MRF模型中引入了更多的局部特征信息,因而对于图像的纹理突变信号的干扰也具有一定的鲁棒性,减少了BP算法的迭代次数。进一步,HRBP算法在层间消息传递时更接近下一层迭代的优化值,有效加速了算法的收敛速度。因此,基于EPMRMRF模型的HRBP分割算法不仅能够得到更好的分割结果,而且具有相对较快的分割速度。此外,与EM算法相比,基于BP的分割算法分割速度较快,这是因为这些算法利用节点之间的消息进行迭代传播,因而能较快地收敛到全局能量最小。

表1 不同分割算法的时间复杂度对比

为了对分割效果进行进一步定量分析,选用概率兰德指数[19]和全局一致性误差[20]两个图像分割性能指标来进行评价,从实验结果与标准分割结果的相似性和差异性两方面来评价实验算法性能。概率兰德指数评价指标是从统计学的角度出发,对实验输出结果图像与标准分割图像之间的相似性进行度量,取值范围为[0,1],值越大说明实验结果与标准分割结果越相近,分割准确度越高。全局一致性误差评价指标计算实验输出图像与标准分割图像之间的差异性,通过检出区域的局部细分误差来进行评价,取值范围为[0,1],值越小说明分割算法质量越好。

不同分割方法的概率兰德指数评价结果如表2所示,全局一致性误差评价结果如表3所示。由表2、表3可以看出,本文方法所获得的结果在相似度评价及差异性评价上,结果均优于其他方法,概率兰德指数平均提升至0.890 9,全局一致性误差平均降低至0.192 3,进一步验证了3.2节从分割的视觉效果上所得到的结论。

表2 不同分割方法的概率兰德指数评价结果

表3 不同分割方法的全局一致性误差评价结果

续表

4 总 结

基于多栅格技术提出了EPMRMRF模型,在不改变多尺度MRF模型图像分辨率前提下,引入了更多的图像局部特征,同时,利用局部区域的重叠交互,避免了局部区域能量最小化带来的块效应。为了有效保持图像的边缘特征,利用多尺度Cauchy分布描述不同尺度的边缘先验,建立了图像分割模型的多尺度边缘先验约束项。之后,基于建立的EPMRMRF模型,提出了一种HRBP分割算法,分别利用层内的区域消息传递和层间的消息传递方式对提出模型进行优化求解,避免了由于常规多尺度MRF模型层级的膨胀映射所导致的图像分割边缘模糊现象,提高了分割图像的分割效果。