房晓东
(东莞职业技术学院,广东 东莞 523808)
一种基于显著性区域的图像分割算法*
房晓东
(东莞职业技术学院,广东东莞523808)
针对传统的显著区域的分割方法存在的频谱泄露、无法达到亚像素精度的问题,提出了一种新的基于显著性区域的图像分割算法。利用Lucas-Kanade图像配准算法对大量重复出现模式的最小周期进行估计,从而准确地重建出背景模型;在此基础上,提出了“广义邻域点”的方法,设计自适应尺度的中值滤波器完成前景分量的精确分割;并提出了快速中值滤波器的设计方法,显著降低了计算复杂度。实验证明了该算法能够准确、高效地分割图像,适用于大量重复背景中前景目标的提取。
图像分割,显著性区域,中值滤波,金字塔模型,双线性插值
图像分割[1]旨在根据颜色、纹理以及形状等特征将图像划分成若干互不重叠区域,从而使得这些区域内存在上述特征的相似性,而区域间呈现明显的差异性。近些年来被广泛应用与医学影像分析、视频监控以及影视制作中。从数学模型上看,图像分割可以理解为每个像素的颜色值都是由前景分量和背景分量通过布尔运算得到。
传统的图像分割算法主要分成以下几类:基于阈值的分割、基于边缘的分割、基于区域的分割、基于图论的分割以及基于能量泛函的分割,近年来,基于显著性区域的图像分割受到了越来越多科研机构和工程人员的广泛关注。显著性区域是图像中最能引起用户关注、最能体现图像内容的区域。
殷[3]认为,大量自然图像的平均对数幅度谱和某张图像的对数幅度谱之差就是该图像包含的新信息,因此,通过简单的做差和形态学操作就可以分割图像。在此基础上,高[4]采用水平集的方法,设计了改进的自适应均值的分割方法,提高了图像分割的效率和精度。而Hou[5]认为图像中不能引起注意的区域应该包含大量重复出现的模式,而并非谱残差,因此,他采用了频域平滑的方式进行处理,从而保留显著性区域。由于Hou方法存在频谱泄露的问题,王[6]设计了自适应尺度的中值滤波器来代替高斯平滑,能够获得较好的性能提升。
本文提出了一种基于显著性区域的图像分割算法。该算法从空域出发,对大量重复出现的模式进行背景模型的重建,并利用自适应快速中值滤波器分割图像。在背景重建中,引入了Lucas-Kanade的配准方法,精确估计出亚像素级别的重复模式的最小周期;在中值滤波中,不仅提出了“广义邻域点”的策略,自适应确定滤波器尺度,还显著减少了计算复杂度。实验部分证明了本算法能够得到准确的分割结果,计算效率高。
图像中大量、重复的模式在频域中体现为锐利的峰值,因此,在传统算法中[6],通常采用频域抑制的方式来进行消除。这主要存在两方面的问题:一方面,频域抑制会消除部分显著性区域的信息,从而影响图像分割结果;另一方面,频域无法表达亚像素级别的模式,因此,无法较好地处理该种情况。
因此,本算法主要从空域上考虑背景模型的重建,所谓的背景模型的重建,就是利用已知的大量、重复的模式来估计每个像素中的背景分量,从而帮助后续的图像分割过程。这里引入了Lucas-Kanade的配准算法[7]对大量、重复的模式进行处理,估计其重复的最小周期。那么只需要按照周期进行延拓,对每个像素点进行偏移量补偿即可完成背景模型的重建。
假设原有图像为I1,对其所有像素都进行偏移量为δ(δ≥0)的扰动,那么可以得到扰动以后的图像为I2。利用Lucas-Kanade的配准算法,构建优化目标为:
这里Δx表示横轴和纵轴方向模式重复的最小周期。对式(1)进行泰勒展开:
其中ΔI1表示横轴和纵轴方向图像I1的梯度构成的梯度矢量。梯度矢量可以表达上述优化目标最速下降或者上升的方向。利用拉格朗日乘子法,对式(2)进行求导,那么:
设式(3)为0,可以得到最小周期Δx的闭式解为:
其中
表示海森矩阵。因此,利用Lucas-Kanade的配准算法,可以得到亚像素级别的估计结果。图1给出了本算法的一些估计结果,不难看出,计算精度达亚像素级别,且与其他亚像素级别的估计算法精度一致(例如相位相关法[8])。
图1 一些亚像素级别的偏移量估计结果
实际计算中式(4)通常利用迭代的方式完成估计,为了提高迭代效率,本算法对原始图像进行金字塔分解,先在底层迭代,收敛后再将结果上传至上一层进行优化[9]。
通常的图像分割算法是基于空域中相邻像素点展开,但对于存在大量重复模式的图像来说,邻域不再只是单纯邻接的像素点。例如图1(a)所示,每个白色的邻域像素点,指的并不是距离为1的像素点,而是横坐标或纵坐标间隔5.5个像素大小的像素点。在本算法中,将这类邻域像素点称之为“广义邻域点”。
得到Lucas-Kanade的配准结果后,可以很容易地确定邻域像素点,但遗憾的是,由于像素点的离散性,无法寻找到亚像素偏移下的邻域像素点。因此,本算法利用了双线性插值的思路,首先确定邻域像素点的外包整数像素点,再通过双线性加权的方式确定该点的灰度值。如图2所示,假设Q11、Q12、Q21、Q22分别表示与亚像素邻域点P距离最近的外包整数像素点,那么可以得到该点的灰度值为:
其中x和y分别表示点P相对于左下角的亚像素偏移量大小。
图2 双线性插值法取邻域像素点
下面,需要对这些“广义邻域点”进行中值滤波。不难看出,处理不同图像时,由于其背景模型的差异,即大量重复模式的最小周期的差异,“广义邻域点”也是不一样的,因此,对应的中值滤波的尺度也是自适应的。设Iij,j∈(i)表示像素点Ii的“广义邻域点”,那么Bi=Median(Ii1,Ii2,…,IiN)即可表示出该像素点的背景分量。那么很容易得到该像素点的前景分量为:
根据前景分量的强弱即可完成图像的高精度分割,这里设计了自适应二值化算法如下式所示,
其中Mean(Fij),j∈(i)表示像素点Ii的“广义邻域点”的均值,而C表示偏移常量。bi对应了分割结果,1即为分割出的前景区域。
为了进一步减少算法的计算复杂度,提高算法的适用性,本文还对上一节中涉及的中值滤波器进行加速。在中值滤波的过程中,计算复杂度最高的步骤在于对邻域像素点的排序过程,特别当邻域像素点数目较多时,会显著降低计算速度。
这里设计了一种快速中值滤波算法。首先,假设图像灰度值的变化范围为0~255,建立256维度的直方图矢量H。其次对每个像素点进行处理:1)准备N个“广义邻域点”并清空直方图矢量H;2)遍历每个“广义邻域点”并将其映射到直方图矢量H中,设某个“广义邻域点”为Iij,那么H[Iij]=H[Iij]+1;3)从0开始统计H的累计直方图,对应的N/2位置即为中值滤波的结果。
从上述计算过程不难看出,与传统中值滤波过程Nlog(N)的复杂度相比,本算法的计算复杂度为N,随着N的不断提高,本算法的执行效率会显著提高。图3给出了不同邻域像素点数目的前提下传统中值滤波和快速中值滤波的结果比较。可以看出,本算法的时间复杂度较低;特别地,对于7×7大小的经典尺度,本算法的计算复杂度平均为传统算法的1/3。
图3 传统中值滤波和快速中值滤波的性能比较
实验使用的机器为Windows 7主机,CPU为Intel Core i5四核处理器,主频2.6 GHz,软件平台采用VS2008。实验部分包括两块,第一部分给出了本算法对于一些真实图像的分割结果,第二部分在整体性能上与文献[6]进行比较。
4.1本算法的实验结果
图4给出消除背景分量前后的结果。可以看出,原始图像中存在的栅格状背景分量被消除干净,显著的手枪型区域被凸显出来。该图的大量重复性模式的最小周期为4.8个像素,这是传统的像素级别的图像配准不能满足的,而本文的Lucas-Kanade配准算法却能很好地完成估计目标。如图4(c)所示,文献[6]在凸显出前景区域的同时,引入了大量背景噪声。
图4 背景分量消除前后的结果比较
本文的一些分割结果如下页图5所示。对于图5(a),前景区域为两块淡白色区域,背景区域由于受到光照变化的影响,存在较多的干扰区域,而本算法能够消除背景分量的影响,较好地分割出前景区域。在图5(b)中,黑色的显著性前景被大量重复性模式所覆盖,而本文的“广域邻域点”的背景模型重建算法能够得到准确的分割结果。
图5 本算法的一些分割结果
4.2整体性能的比较
精度的比较中主要采用了漏检率和误检率两种指标,取所有待分割的前景区域为正样本,其他的背景区域为负样本。设正样本被判为正和负的数目分别为TP和TN,而负样本被判为正和负的数目分别为FP和FN,那么漏检率和误检率为:
表1给出了本算法与文献[6]的精度和计算速度的比较结果。一方面由于引入的Lucas-Kanade的配准算法能够很好地重建背景模型,本算法能够精确地得到“广义邻域点”;另一方面本算法考虑了亚像素级别的邻域,利用中值滤波较好地还原出背景分量,并设计了自适应二值化完成分割,因此,本算法在漏检率和误检率上都低于文献[6]。另外,本文还设计了基于金字塔降维和快速中值滤波策略,显著提高了本算法的计算效率。
针对传统的显著区域的分割方法存在的频谱泄露、无法达到亚像素精度的问题,提出了一种新的基于显著性区域的图像分割算法。利用Lucas-Kanade图像配准算法对大量重复出现模式的最小周期进行估计,从而准确地重建出背景模型;在此基础上,提出了“广义邻域点”的方法,设计自适应尺度的中值滤波器完成前景分量的精确分割;并提出了快速中值滤波器的设计方法,显著降低了计算复杂度。实验证明了该算法能够准确、高效地分割图像,适用于大量重复背景中前景目标的提取。
表1 本算法与文献[6]在精度和速度上的比较
[1]LUCHESEYZ L,MITRAY S K.Color image segmentation:a state-of-the-art survey[J].Proceedings of the Indian National Science Academy(INSA-A),2001,67(2):207-221.
[2]ACHANTA R,ESTRADA F,WILE P,et al.Salient region detection and segmentation[M]//Computer Vision Systems,Springer Berlin Heidelberg,2008:66-75.
[3]殷凯.基于显著性的目标自动分割算法[J].微电子学与计算机,2013,30(8):67-70.
[4]陈强强,佟惠军,王海涛.基于Matalb7.O的电视导引头图像分割处理算法[J].四川兵工学报,2015,26(08):133-135.
[5]高尚兵,严云洋,宗慧.基于显著性区域的图像分割[J].微电子学与计算机,2011,28(10):21-23.
[6]HOU X,ZHANG L.Saliency detection:a spectral residual approach[C]//Computer Vision and Pattern Recognition,2007. CVPR'07.IEEE Conference on.IEEE,2007:1-8.
[7]王岩,卢宏涛,邓南,等.基于频域与空间域分析的显著区域检测算法[J].计算机工程,2012,38(17):166-170.
[8]BAKER S,MATTHEWS I.Lucas-kanade 20 years on:a unifying framework[J].International Journal of Computer Vision,2004,56(3):221-255.
[9]BEI H E,GUIJIN W,XINGGANG L I N,et al.High-accuracy sub-pixel registration for noisy images based on phase correlation[J].IEICE TRANSACTIONS on Information and Systems,2011,94(12):2541-2544.
Image Segmentation based on Salient Regions
FANG Xiao-dong
(Dongguan Polytechnic,Dongguan 523808,China)
To overcome problems existing in traditional segmentation methods based on salient regions(such as spectral leakage,unreached subpixel accuracy),this paper proposes a novel segmentation algorithm based on salient regions.First,we utilize the Lucas-Kanade registration method to estimate the minimal period of a large of recurring patterns,where the background model can be reconstructed accurately.Second,“generalized neighboring pixels”are proposed,based on which the median filter with adaptive size is designed for extracting the foreground.Finally,we speed up the traditional median filter to reduce the complexity significantly.Experimental results demonstrate the algorithm deals with the segmentation task precisely and efficiently,which is suitable for extracting the foreground from images with a large of recurring patterns.
image segmentation,salient regions,median filter,pyramid model,bi-linear interpolation
TP391
A
1002-0640(2016)07-0048-04
2015-06-08
2015-07-07
*
广东省自然科学基金-博士科研启动项目(2014A030310380);国家教育部重点课题(GJA104009);东莞职业技术学院重大教学改革基金资助项目(JGZBXM2013002)。
房晓东(1979-),女,辽宁辽阳人,硕士,副教授。研究方向:计算机技术等。