结合显著性和边缘信息的水平集图像分割方法

秦宇幸，羿旭明

结合显著性和边缘信息的水平集图像分割方法

秦宇幸，羿旭明

(武汉大学数学与统计学院，湖北 武汉 430072)

针对LBF模型对初始轮廓的依赖性和对边缘的弱控制能力，研究了一种结合显著性和边缘信息的水平集图像分割方法。首先，结合小波分析理论，基于视觉注意机制构造图像显著图；然后，利用小波分解所描述的图像边缘信息，构造边缘检测函数，同自适应初始轮廓一起引入到LBF水平集模型中，并用有限差分法进行数值求解。实验结果表明，提出的图像分割方法能有效降低初始轮廓位置对活动轮廓模型的影响，对合成图像、自然图像均有较好的分割结果，相较于其他传统方法具有更高的演化效率和分割质量。

图像分割；小波分解；显著图；自适应；水平集

图像分割是计算机视觉领域的重要技术之一，在目标检测、识别等场景发挥着重要作用。基于水平集理论和曲线演化的活动轮廓模型是近年来应用广泛的一类传统图像分割方法，其思想是将高维曲面映射到低维曲线，用三维曲面的零水平集来表示二维图像不同区域之间的边界，通过水平集函数的演化实现对图像的分割[1]。按照曲线演化驱动力的构成方式不同，现有的活动轮廓模型可分为基于边缘、基于区域的2大类方法。

CV模型[2]是基于区域的经典活动轮廓模型，将图像视作强度均匀的同质区域进行水平集演化，但对于灰度不均匀的图像分割效果不佳。文献[3]提出的分段平滑模型克服了灰度不均匀的分割问题，但在实际应用中，该模型需要周期性地将水平集函数初始化为符号距离函数，使其在算法实现上效率低下且复杂。LI等[4]提出了LBF (local binary fitting)模型，通过引入高斯核函数来定义局部二值拟合能量，较好地解决了灰度不均匀图像的分割，同时避免了水平集函数的周期性初始化，然而该模型存在以下不足：①分割效率和结果依赖于初始轮廓的选取；②模型的边缘控制能力较弱，不利于分割边缘模糊、弱边缘的图像[5]。针对这些问题，杨志巧和羿旭明[6]在模型中加入了基于小波变换的边缘信息刻画函数，原野和何传江[7]在LBF的基础上选取了新的核函数，大大提高了分割效率，但两者模型仍然对初始轮廓敏感。崔文超等[8]提出模糊C均值的自动分割算法，KHOSRAVANIAN等[9]提出了基于超像素模糊聚类的先验分割方法，能较准确地分割目标区域，但关键的聚类参数仍需要根据不同图像进行调整，不具备自适应性，且缺乏对弱边缘的控制能力。

本文提出了一种基于显著性检测并结合边缘信息的改进LBF模型图像分割方法。利用小波分解信息生成图像的显著图并进行形态学处理，提取出图像目标物体大致的初始轮廓，解决了传统活动轮廓模型需要人工选取初始轮廓的问题。在此基础上，在LBF模型中加入了基于小波变换的边缘检测函数，提高了LBF模型的分割效率。实验结果表明，本文方法具有更少的迭代次数，对合成图像和自然图像均有较好的分割效果。

1 基于小波分解的显著性检测

视觉注意机制是人类视觉系统的主要特征之一，可以使人在复杂的自然场景中将注意力集中在显著的目标上，提取出重要而紧凑的信息，图像的显著性检测是对此机制研究发展而来的一种图像处理方法[10-11]，利用人类认知图像的一般规律，结合图像的颜色、亮度、对比度、相位谱等信息，来定位、识别图像或视频中的感兴趣区域。

小波分析在信号分析等工程领域中应用广泛，近年来在视觉注意力建模方面也有所贡献[12-13]。小波变换的优势在于能够同时提供时域和频域上的多尺度信号局部表征，对图像进行小波变换，能将信号分解为不同尺度子空间上的近似与细节分量，并借此构造其显著图，以确定图像中目标物体的先验形状信息，从而构造初始轮廓。

对一幅彩色图像()，首先将图像由RGB色彩空间转换到CIE Lab色彩空间(灰度图像不作改变)，而Lab色彩空间是一种基于生理特征的颜色模型[14]，具有亮度通道(L)和双色通道(RG和BY)，相比于RGB色彩模式更符合人眼感知，用以配合显著性检测。之后采用小波变换提取图像底层特征的显著性算法，具体算法如下：

首先对图像()的Lab通道分量I()，Î{,,}，进行层小波分解，即

对各尺度的小波细节系数矩阵进行逆小波变换，创建细节特征图，即

式(3)给出了每个通道从第1层到第层小波细节系数重构的细节特征图，包括从最粗尺度到最细尺度的图像细节，且每幅细节特征图的大小与原始图像()大小相同，为调整细节特征图值域的缩放因子。

选取每个尺度Lab通道细节特征图的最大值，将多尺度信息线性融合，根据式(4)计算局部显著图s()，并做归一化处理，处理结果为

由式(3)可知，图像()中的每一点，都具有3个特征(包括3个通道及对应通道的小波细节特征数)，组成一个3维的细节特征向量()，可以通过具有正态分布的概率密度函数[17]定义给定位置处细节特征的可能性，即

其中，×k为高斯低通滤波器；为参数；*为卷积运算符。

最后，联合局部和全局显著图得到最终显著图，即

其中，()为点处的显著值，取0.8为阈值[19]；*为显著值大于0.8的点，称为FoA；FoA()为点与其距离最近的FoA点*之间的欧式距离并进行了归一化操作。由式(8)可知，显著区域(如目标物体)周围的显著值在最终显著图中会增大，而远离FoA的点(如背景区域)，其显著性将减小或基本保持不变。

为了验证显著性检测算法的效果，本文选取2幅图像分别作为合成图像和自然图像的代表，基于小波变换的显著性检测所得到的局部、全局和最终显著图如图1所示，图像显著图很好地反映了目标物体的大致区域，也符合人眼对目标物体的注意机制，这有助于后续初始轮廓的提取。

图1 基于小波分解的显著性检测结果((a)输入图像； (b)最终显著图；(c)局部显著图；(d)全局显著图)

2 本文模型及算法

2.1 LBF模型

给定一幅图像()，是图像区域，是中的轮廓，对中任意一点(称为中心点)，其局部能量泛函定义为

其中，l1，l2为正常数，分别控制轮廓内外的能量权重；(·)为具有局部化特性的高斯核函数；>0为尺度参数；1()，2()分别为轮廓内外点处图像灰度值的均值。为了找到目标物体的边缘，可以通过使图像域中所有中心点的积分最小化来实现。

在水平集方法中，轮廓由水平集函数的零水平集表示，构造以为变量的能量泛函，即

其中，()为Heaviside函数。在能量泛函中添加长度项、正则化项

其中，()为Dirac函数。至此，LBF模型的能量泛函[4]为

2.2 自适应初始轮廓

在一些活动轮廓模型中，初始轮廓一般是人工选取或是从图像边缘开始进行迭代，在包围目标物体的同时也包含了不少背景信息，而且初始轮廓的位置往往会影响图像的分割效率和结果，因此自适应地构造初始轮廓，对减少初始轮廓位置对分割性能的影响有一定帮助。

为获取自适应初始轮廓，本文采用基于小波分解的方法得到输入图像的显著图，在此基础上，对显著图进行二值化处理，再施加形态学中的闭合运算、孔洞填充、孤立点消除等操作，得到的二值图像即为原图像目标区域的先验形状近似，从而提取目标的初始轮廓。

利用上述方法对合成图像和自然图像进行初始轮廓提取，其结果如图2所示，可以看出，经过显著性检测和形态学运算后得到的曲线能较为准确地描述目标物体的大致形状，符合人类视觉感知，并具有一定的自适应性。

图2 输入图像的显著图与初始轮廓((a)输入图像；(b)显著图；(c)二值图；(d)初始轮廓)

2.3 改进的LBF模型描述与数值算法表示

使用活动轮廓模型进行图像分割的最终目的是使曲线演化至目标物体边缘，LBF作为基于区域的分割模型，并未充分利用图像边缘信息。文献[6]和[20]提出了基于小波的边缘检测函数，文献[15]提出了对噪声鲁棒的边缘信息刻画矩阵，本文结合图像的小波分解信息，在模型中引入基于小波分解系数的边缘检测函数。

在式(12)的基础上，本文引入式(13)所描述的边缘检测函数，得到边缘与区域信息相结合的改进的LBF模型，即

本文使用梯度下降法来求解能量泛函的极小值，对式(14)中的Heaviside函数()和Dirac函数()，使用如下定义的()，d() (为参数)来近似

选取算法的初始轮廓为

其中，c0>0为常数，0为初始轮廓内部。

首先，固定水平集函数，求(,1,2)关于1(),2()的极小值得

其次，保持1,2固定，求(,1,2)关于的极小值，由变分法和梯度下降流，可得水平集函数的演化方程[4]

综上，结合显著性和边缘信息的水平集图像分割模型的具体算法步骤如下：

步骤1.对输入图像进行基于小波的去噪预处理和显著性检测，得到自适应初始轮廓；

步骤2.设置各项初始化参数，并根据式(16)初始化1()，2()；

步骤3.根据式(13)计算基于小波的边缘检测函数()；

步骤4.根据式(16)和(18)分别计算1()，2()和水平集函数的演化方程；

步骤5.判断迭代演化是否稳定，若是则输出分割结果并停止迭代，否则转至步骤4。

3 数值实验

为验证本文提出方法的分割效果和效率，选取合成图像和自然图像(来自MSRA10K自然图像数据库[21])，对基于区域的LBF模型、文献[6]和[12]模型及本文方法进行数值对比实验。

3.1 合成图像的分割实验

如图3所示，对简单的合成图像，4种模型都有较好的分割结果，在分割结果相近的条件下，本文方法相较文献[12]的模型，在目标边界分割上效果更加精细。相比LBF和文献[6] 2种模型则大大减少了迭代次数和分割时间(表1～2)，同时这2种模型在分割此类图像时对初始轮廓有不同程度的依赖，而本文方法避免了人工选取初始轮廓的麻烦，且使得模型对初始轮廓的位置和形状具有更强的鲁棒性。

3.2 自然图像的分割实验

为验证算法的适用性，本文选取了更为复杂的自然图像进行实验，分割结果如图4所示。可以看出，对于具有不同细节的图像，本文方法的分割效果不同程度地优于其他3种模型。在细节处理方面，LBF模型虽然有更精细的刻画(如图4第2幅图中鸟的羽毛)，但对参数设置敏感，本文方法通过设置能量权重系数1为一个较大值(实验中取1=3)，避免了过度分割，且对不同图像都有较好的、符合人眼视觉的分割效果。在边缘刻画方面，文献[12]的模型在梯度值变化较大的局部区域分割效果欠佳或出现误分割。对初始轮廓的选取更为敏感，而本文方法由于使用了具有形状先验的自适应初始轮廓和边缘检测函数，能够大大减少迭代次数，使曲线更快地演化至目标边缘。

图3 合成图像的分割效果对比

图4 自然图像的分割效果对比

表1和2展示了4种模型在图像分割时的相关实验数据，可以明显看出，本文方法在分割不同种类的图像时都拥有更少的迭代次数和运行时间，优于其他3种模型。

表1 4种分割模型的迭代次数对比

表2 4种分割模型的运行时间对比(s)

4 结束语

本文提出了基于小波显著性、边缘刻画的图像分割方法，根据图像显著区域信息自适应获取初始轮廓，结合边缘信息融入到LBF模型的水平集演化中，不仅保证了对复杂边缘、模糊边缘和强度不均匀场景下图像的分割效果，而且提高了图像的分割效率。

[1] MITICHE A, BEN AYED I. Variational and level set methods in image segmentation[M]. Heidelberg: Springer, 2011: 22-25.

[2] CHAN T F, VESE L A. Active contours without edges[J]. IEEE Transactions on Image Processing, 2001, 10(2): 266-277.

[3] VESE L A, CHAN T F. A multiphase level set framework for image segmentation using the Mumford and shah model[J]. International Journal of Computer Vision, 2002, 50(3): 271-293.

[4] LI C M, KAO C Y, GORE J C, et al. Implicit active contours driven by local binary fitting energy[C]//2007 IEEE Conference on Computer Vision and Pattern Recognition. New York: IEEE Press, 2007: 1-7.

[5] ZHANG K H, SONG H H, ZHANG L. Active contours driven by local image fitting energy[J]. Pattern Recognition, 2010, 43(4): 1199-1206.

[6] 杨志巧, 羿旭明. 基于小波边缘刻画与LBF水平集变分模型的图像分割[J]. 数学杂志, 2019, 39(1): 87-96.

YANG Z Q, YI X M. A level set method for image segmentation based on wavelet edge characterization and LBF model[J]. Journal of Mathematics, 2019, 39(1): 87-96 (in Chinese).

[7] 原野, 何传江. LBF活动轮廓模型的改进[J]. 计算机工程与应用, 2009, 45(15): 177-179, 228.

YUAN Y, HE C J. Improvement of LBF active contours model[J]. Computer Engineering and Applications, 2009, 45(15): 177-179, 228 (in Chinese).

[8] 崔文超, 王毅, 樊养余, 等. 基于FCM和LBF模型的医学图像自动分割[J]. 计算机工程, 2012, 38(24): 200-204.

CUI W C, WANG Y, FAN Y Y, et al. Automated medical image segmentation based on FCM and LBF model[J]. Computer Engineering, 2012, 38(24): 200-204 (in Chinese).

[9] KHOSRAVANIAN A, RAHMANIMANESH M, KESHAVARZI P, et al. Fast level set method for glioma brain tumor segmentation based on Superpixel fuzzy clustering and lattice Boltzmann method[J]. Computer Methods and Programs in Biomedicine, 2021, 198(17): 105809.

[10] ITTI L, KOCH C, NIEBUR E. A model of saliency-based visual attention for rapid scene analysis[J]. IEEE Transactions on Pattern Analysis and Machine Intelligence, 1998, 20(11): 1254-1259.

[11] 刘冬梅, 常发亮. 结合Retinex校正和显著性的主动轮廓图像分割[J]. 光学精密工程, 2019, 27(7): 1593.

LIU D M, CHANG F L. Active contour model for image segmentation based on Retinex correction and saliency[J]. Optics and Precision Engineering, 2019, 27(7): 1593-1600 (in Chinese).

[12] ZHANG D, PHILIP C C L, YANG H, et al. Multi-scale adaptive level set segmentation method based on saliency[J]. IEEE Access, 2019, 7: 153031-153040.

[13] GUOBIN C, SUN Z W, ZHANG L. Road identification algorithm for remote sensing images based on wavelet transform and recursive operator[J]. IEEE Access, 2020, 8: 141824-141837.

[14] EBNER M. Color constancy[M]. Hoboken: Wiley，2007: 94-96.

[15] 魏晨晨, 羿旭明. 基于改进DRLSE水平集模型的图像分割[J]. 图学学报, 2019, 40(5): 885-891.

WEI C C, YI X M. An improved method for image segmentation based on DRLSE level set[J]. Journal of Graphics, 2019, 40(5): 885-891 (in Chinese).

[16] DONOHO D L, JOHNSTONE I M. Adapting to unknown smoothness via wavelet shrinkage[J]. Journal of the American Statistical Association, 1995, 90(432): 1200-1224.

[17] OLIVA A, TORRALBA A, CASTELHANO M S, et al. Top-down control of visual attention in object detection[C]// 2003 International Conference on Image Processing. New York: IEEE Press, 2003: 253-256.

[18] IMAMOGLU N, LIN W S, FANG Y M. A saliency detection model using low-level features based on wavelet transform[J]. IEEE Transactions on Multimedia, 2013, 15(1): 96-105.

[19] GOFERMAN S, ZELNIK-MANOR L, TAL A. Context-aware saliency detection[J]. IEEE Transactions on Pattern Analysis and Machine Intelligence, 2012, 34(10): 1915-1926.

[20] 冯媛, 汪西莉. 结合梯度和区域信息的多尺度水平集图像分割[J]. 计算机工程与应用, 2010, 46(35): 180-184.

FENG Y, WANG X L. Multi-scale level set image segmentation combined of gradient and region information[J]. Computer Engineering and Applications, 2010, 46(35): 180-184 (in Chinese).

[21] CHENG M M, MITRA N J, HUANG X L, et al. Global contrast based salient region detection[J]. IEEE Transactions on Pattern Analysis and Machine Intelligence, 2015, 37(3): 569-582.

Level set image segmentation method combining saliency and edge information

QIN Yu-xing, YI Xu-ming

(School of Mathematics and Statistics, Wuhan University, Wuhan Hubei 430072, China)

To address the LBF model’s dependence on the initial contour and the weak control over the edge, we investigated a method of the level set image segmentation combining saliency and edge information. First, we generated the image saliency map combined with the theory of wavelet analysis and based on the visual attention mechanism. Then, the edge detection function was constructed using wavelet decomposition information. It was introduced into the improved LBF level set model together with the adaptive initial contour, and the finite difference method was used for numerical solution. The experimental results show that the image segmentation method proposed in this paper can effectively reduce the influence of the initial contour position on the active contour model, and can yield better segmentation results for both synthetic images and natural images. Compared with other traditional methods, it is of higher evolution efficiency and segmentation quality.

image segmentation; wavelet decomposition; saliency map; adaptive; level set

TP 391

10.11996/JG.j.2095-302X.2021050738

A

2095-302X(2021)05-0738-06

2021-02-06；

2021-04-17

6 February，2021；

17 April，2021

国家自然科学基金面上项目(11671307)

General Program of National Natural Science Foundation of China (11671307)

秦宇幸(1996-)，女，广西梧州人，硕士研究生。主要研究方向为图形图像处理。E-mail：382299056@qq.com

QIN Yu-xing (1996-), female, master student. Her main research interest covers graph image processing. E-mail：382299056@qq.com

羿旭明(1964–)，男，湖南澧县人，教授，博士。主要研究方向为小波分析理论及其应用、图像处理。E-mail：2479608641@qq.com

YI Xu-ming (1964-), male, professor, Ph.D. His main research interests cover wavelet analysis, image processing. E-mail：2479608641@qq.com