郭锁利,辛 栋,刘延飞
(第二炮兵工程大学 三系,西安 710025)
图像分割作为前沿学科充满了挑战,吸引了众多学者从事这一领域研究。图像处理技术在航空航天、生物医学工程、工业检测、机器人视觉、公安司法、军事制导、文化艺术、地理测绘等领域受到广泛重视,并取得了重大的开拓性成就,使图像处理成为一门引人注目、前景远大的新型学科。
现代光电子技术的迅速发展,极大地促进了光电技术在军事中应用的日趋成熟和完善。目前,飞机、舰船、坦克及卫星等作战平台普遍装备了前视红外系统、红外热像仪、激光测距、微光夜视等光电侦测设备,同时还大量装备了红外制导导弹等光电精确制导武器。光电制导武器的高制导精度使其逐渐成为现代化高科技战争中的主要进攻武器之一[1]。
由于红外成像制导具有灵敏度高、导引精度高、抗干扰能力强、隐蔽性好等特点,可实现“发射后不管”和准全天候工作[2]其他方式所不能企及的特性,己成为当今精确制导技术发展和研究的热点。当前,随着图像处理技术日趋完善,图像分割技术等在军事中的应用也越发成熟起来。
目前,图像分割是图像处理领域中的一个基本问题。由于问题的重要性和困难性,近年来吸引了很多研究人员为之付出了巨大的努力,发表了诸多的研究结果和方法,而图像分割方法的评论也是各有所长。从大的方面来说,图像分割方法可大致分为基于区域的方法、基于边缘的方法、区域与边缘相结合的方法;按照分割算法的不同可分为阙值法、边界探测法和区域提取法等[3]。
近年来,不少学者将模糊数学、分形学以及小波分析等方法引入到图像处理中,分别提出了以模糊理论为基础的图像分割方法、基于分形模型的人造目标检测技术、应用小波变换的多尺度边缘检测和阙值选取方法等,取得了显著效果。神经网络技术在图像处理中的应用也日益广泛,出现了如基于BP 神经网络的边缘检测法、基于选择性多分辨力Kohonen 网络的自适应灰度图像分割方法等。
按照以上的划分方法,图像分割中常用的直方图门限法、区域生长法、基于图像的随机场模型法、松弛标记区域分割法等均属于基于区域的方法。
直方图门限分割就是在一定的准则下,用1 个或几个门限值将图像的灰度直方图(一维的或多维的)分成几个类,认为图像中灰度值在同一个灰度类内的象素属于同一个物体,可以采用的准则包括直方图的谷底、最小类内方差〔或最大类间方差)、最大熵(可使用各种形式的熵)、最小错误率矩不变、最大繁忙度(由共生矩阵定义)等。门限法的缺陷在于它仅仅考虑了图像的灰度信息,而忽略了图像中的空间信息,对于图像中不存在明显的灰度差异或各物体的灰度值范围有较大重叠的图像分割问题难以得到准确的结果。
区域生长图像分割方法是由Levine 等[4]最早提出的。该方法一般有2 种方式,一种是先给定图像中要分割的目标物体内的一个小块或者说种子区域,再在种子区域基础上不断将其周围的像素点以一定的规则加入其中,达到最终将代表该物体的所有像素点结合成一个区域的目的;另一种是先将图像分割成很多的一致性较强,如区域内像素灰度值相同的小区域,再按一定的规则将小区域融合成大区域,达到分割图像的目的,典型的区域生长法如T.C.Pong 等[5]提出的基于小面(facet)模型的区域生长法,区域生长法固有的缺点是往往会造成过度分割,即将图像分割成过多的区域。在典型地面目标前视红外图像中,部分地面背景的温度与目标相似,目标和背景存在灰度级交叉重叠;同时,该方法对生长阐值的选择十分敏感,人工选择一个合适并且通用的生长闭值比较困难。
基于图像的随机场模型法主要以Markov 随机场作为图像模型,并假定该随机场符合Gibbs 分布。使用MRF 模型进行图像分割的问题包括:通过邻域系统的定义,能量函数的选择、参数的估计以及极小化能量函数的应用,从而获得最大后验概率的策略。邻域系统一般是事先定义的,因而主要是后面2 个问题S.Geman 等在文献[6]中,首次将基于Gibb分布的Markov 随机场模型用于图像处理,详细讨论了MRF模型的邻域系统、能量函数及Gibbs 采样方法等各种问题,提出用模拟退火算法来极小化能量函数的方法,并给出了模拟退火算法收敛性的证明,同时给出了MRF 模型在图像恢复中的应用实例。在此基础上,后人提出了大量的基于MRF模型的图像分割算法[7~10]。
标记法(labeling )就是将图像欲分割成的几个区域各以一个不同的标号来表示,对图像中的每一个象素,用一定的方式赋之以这些标记中的某一个,标记相同的连通象素就组成该标记所代表的区域。标记法常采用松弛技术来给图像中的各个象素赋予标记,一般可分为离散松弛、概率松弛、模糊松弛等3 种。Smith 等[11]人最先采用松弛标记技术进行图像分割,以后人们又提出了大量的图像松弛分割算法。
总体来讲,基于阈值的图像分割算法的优点是实现简单,运算速度快,缺点是难以处理多个前景物体的情况。区域生长算法过程简单,但面临的问题是如何选取种子像素和确定生长准则。
基于边缘的分割方法则与边缘检测理论紧密相关,此类方法大多是基于局部信息的,一般利用图像一阶导数的极大值或二阶导数的过零点信息来提供判断边缘点的基本依据,进一步还可以采用各种曲线拟合技术获得划分不同区域边界的连续曲线。根据检测边缘所采用的方式的不同,边缘检测方法可大致分为以下几类:基于局部图像函数的方法、图像滤波法、基于反应—扩散方程的方法、基于边界曲线拟合的方法及主动轮廊(active contour)法等。
基于局部图像函数方法的基本思想是将灰度看成高度,用一个曲面来拟合一个小窗口内的数据,然后根据该曲面来决定边缘点,如V.S.Nalwa 等提出的采用一维曲面拟合局部窗口中数据的方法。R. M. Haralick[12]提出的用二维三次多项式拟合小窗口内的图像数据的方法,L.Mataias 等在Haralick 方法的基础上,用松驰标记法对找出的边缘点进行进一步的判断,去伪存真,季虎等[13]在图像边缘提取方法方面结合前人成果提出发展趋势。
基于反应—扩散方程的方法是从传统意义上的Gaussian 核函数多尺度滤波来的,A.Hummel[14]指出滤波生成的图像集可以被看作热传导中的扩散方程,即用反应—扩散方程的观点来看待多尺度滤波。而这样得到的只是线性扩散方程,P.Perona 等[15]提出了非线性扩散的概念。后来很多研究人员继续讨论了反应—扩散方程在图像处理中的应用,F.Catte 等给出了2 种反应—扩散方程模型并讨论了它们的性质,M.Nizberg 等讨论了用非线性滤波进行边缘和角点(Corner)增强的方法,S.C.Zhu 等将MRF 模型与反应—扩散方程联系起来,通过极小化Gibbs 分布的能量数推导出反应—扩散方程,并讨论了这种方法在纹理生成、去噪声和边缘增强等方面的应用,P. Liang 等将局部尺度的概念与反应—扩散方程联系起来,在每一象素点进行不同尺度的滤波,利用反应—扩散方程来决定在某个像素点所采用的滤波尺度[16-19]。
基于边界曲线拟合的方法用平面曲线来表示不同区域之间的图像边界线,试图根据图像梯度等信息找出能正确表示边界的曲线从而得到图像分割的目的,而且由于它直接给出的是边界曲线而不像一般的方法找出的是离散的、不相关的边缘点,因而对图像分割的后继处理如物体识别等高层处理有很大帮助。即使是用一般的方法找出的边缘点,用曲线来描述它们以便于高层处理也是经常被采用的一种有效的方式。L.H.Staib 等在文献[20]中给出了一种用Fourier 参数模型来描述曲线的方法,并根据Bayes 定理,按极大后验概率的原则给出了一个目标函数,通过极大化该目标函数来决定Fourier 系数。实际应用中,先根据对同类图像的分割经验,给出一条初始曲线,再在具体分割例子中根据像数据优化目标函数来改变。
初始曲线的参数,拟合图像数据,得到由图像数据决定的具体曲线。这种方法比较适合于医学图像的分割。除了用Fourier 模型来描述曲线外,近年来还研究了一些其他的曲线描述方法,如A. Goshtasby 详细介绍了用有理Gaussian曲线和曲面来设计和拟合二维及三维形状的方法。R.Gegault 等给出了一种曲线平滑的方法。M.F.Wu 等[21-23]给出了一种双变量三维Fourier 描述子来描述三维曲面网。
区域与边缘相结合的方法从理论上说可以融合各种不同的区域分割与边缘检测技术,而且融合可以发生在不同的层次上。如将区域生长与边缘检测相结合的方法,利用共生矩阵所表达的区域与边缘性质给出图像的初始分割,在此基础上结合区域和边界的局部一致等信息,用一个松驰标记算法来优化分最终结果的方法[24],将MRF 模型中的能量函数与边界曲线的Fourier 表示的参数估计结合起来,构成一个目标函数,通过优化该目标函数而得到图像分割结果的方法[25]等。从所列参考文献可以看出,近些年来区域与边缘相结合的图像分割得到了极大的重视,提出了许多富有新意的方法和算法。
多尺度图像分割方法(多分辨率方法)就是从初始图像用规则或不规则的方式逐步降低分辨率,得到金字塔形的一个图像序列,再在此基础上进行图像分割。这种方法的基本着眼点是较大的物体能在较低的分辨率下存在,而噪声则不能。多分辨率方法一般也是与别的方法共同使用,参见文献[26]。
一般的多分辨率方法是用规则方式生成图像序列,即上一幅图像是由下一幅图像中通过取构成一个小方块的相邻四点的均值作为一点从而将图像的分辨率降低一半而得到的。Montanvert 等介绍了用由不规则方格生成的多分辨率图像序列进行图像区域标志及分割的方法,他们采用图(graph)来链接不同分辨率下的图像之间的对应点。K. L.Vincken 等详细介绍了用多分辨率图像序列进行图像分割的一种方法,他们给出确定性超栈(hyperstack,即多分辨率图像序列)和随机性超栈,所谓确定性超栈就是每个子节点(较高分辨率卜的像素点)仅与一个父节点(相邻较低分辨率卜的像素点)链接,随机性超栈则是每个子点以一定的概率与多个父节点链接,并介绍了链接方式,标志根节点的方法和由根节点向下映射以得到分割结果的策略。
边缘作为图像中最基本的特征,边缘检测突出了图像细节,但边缘和干扰(噪声等)同属高频信号,难以取舍。不同种类的图像、不同的应用所要求提取的特征是不相同的,对方法的择取有很多限制性。
近年来,神经网络、数学形态学、模糊数学等理论也被引入到图像分割中,随之而来的是众多的新算法的产生。
在神经网络图像分割方面,Blanz 和Gish 等[27]使用三层前馈网络进行图像分割,其输入层的神经元个数取决于每一象素的输入特征数,而输出层的神经元个数则取决于类别数。Babaguchi 等[28]将经过BP 算法训练的多层网络用于选择分割门限,网络的输入为直方图,而输出为期望的门限。该网络在训练时,需要一个很大的已知恰当分割门限的样本图像集,但对实际情况来说,难以得到很多训练样本图像。Ghosh 等将图像看作一个Gibbs 随机场,并假定景像中存在加性高斯噪声,使用了一个巨量连接的神经网络来估计图像的最大后验概率,以提取噪声环境中的目标。Ghosh 等还提出了利用Hopfield 神经网络提取强噪声图像中目标的方法,利用多层神经网络及模糊度量实现噪声图像中自组织目标提取的技术[29]以及采用自组织特征映射神经网络实现图像二值分割的算法[29]。Shah 将边缘检测问题形式化为一个能量最小化模型,该方法能去除弱边缘及小区域。Comes 与Hert 提出了用于检测不同方位边缘可能边缘的神经网络系统,并用模拟退火和均值场退火方法对系统的性能进行了模拟研究。Chen 等将图像分割看作一个约束满足问题,并提出了一类约束满足神经网络用于图像分割,该方法对CT 图像及MRI 图像分割比较成功。文献[30]提出了基于选择性多分辨率Kohonen 网络的自适应图像分割,文献[31]使用Hopfield 网络进行并行图像分割,文中涉及了多类分割问题,在能量函数的定义中使用的是误差平方和度量,根据各象素的灰度值确定初始状态,并引入了模拟退火技术来避免陷入局部极小。
数学形态在图像处理中的应用近年来日渐受到重视,文献[32]中给出一个种基于形态学算子的多尺度滤波算法,此外,文献[33]等文中都介绍了形态学算子在图像处理中的应用,更多的系统用形态学算子来对图像进行预处理或后处理。形态学理论在图像分割中的应用比较有代表性的是L.Vincent 等提出的水线(watershed)算法。
在此基础上,人们又提出了许多基于水线的形态学图像分割算法模糊数学由于其在处理不完核、非精确信息方面所具有的能力而受到图像处理界越来越多的研究者的重视,并己被运用于图像分割、边缘检测、目标识别等应用中。在图像分割中,可采用不同的S 型隶属函数或模糊分类矩阵定义模糊区域,并选择与最小模糊度量相对应的S 型隶属函数或模糊分类矩阵来得到分割结果。这里模糊度量可以为全局熵、聚类准函数等。
目标区域在整幅图像中所占面积较小,且信号强度往往较弱(对于小目标),目标捕获要在低信噪比条件下进行,使得传统的仅仅基于强度信息的分割方泛失效;即使目标成像面积较大,但常因为外部背景的复杂性及干扰的强度较大,使得目标不易从背景中分割出来,造成后续图像处理难度增加;单帧分割处理常常无法保证检测及分割性能,通常需要对多帧图像处理来积累目衍能量,这使得系统存储和处理的数据量增大,增加了图像实时处理难度。
[1]李德成,孔宪正,陈素菊.综合电子战——现代战争的杀手锏[M].北京:国防工业出版社,2000.
[2]何启予.红外成像导引头技术现状及发展趋势[J].红外与激光技术,1996(3):41-64.
[3]Kenneth R.Castleman.数字图像处理[M].北京:电子工业出版社,2006.
[4]Pal N R,Pal S K. Entropic thresholdinp[C]. Signal Processing,1989,16:97-108.
[5]Pong T C,Shapira L G,Watson L T,et al.xpenments m segmemauon using a facet model region grower[J]. Computer Vision,Graphics,and Image Processing,1994,25(1):1-23.
[6]Geman S,Geman D. Stochastic relaxation,Gibbs distributions,and tha Bayesian restoration of images[J]. IEEE Trans PAMI,1984,6(6):721-741.
[7]DavidA,Vaitekunasa,Validation of ShipIR(v3.2):methodology and results[C].SPIE,2006:6239.
[8]Geman D,Geman 5,Graffigne C arsd Dong P.Boundary detection by constrained optimization[J].IEEE Trans PAMI,1990,12(7):609-628.
[9]Wang J P.Stochastic relaxation on partitions with connected components and its application to image segmentation[J].IEEE Trans PAMI,1998,20(8):619-636.
[10]Banerjee A,Burlina P and Alajaj F.Contagion-driven image segmentation and labeling[C].In:Proceedings of the International Conference on Computer Vision,1998:255-260.
[11]Smith R C,Rosenfelcl A. Threstholding using relaxation[J].IEEE Trans PAMI,1981,3(5):598-605.
[12]Haralick R M.Digital step edges from zero crossing of second directional derivatives[J]. IEEE Traps PAMI,1984,6(1):58-68.
[13]季虎,孙即祥,邵晓芳,等. 图像边缘提取方法及展望[J].计算机工程与应用,2004,14(4).
[14]Hummel A. Representations based on zero-crossings in scale-pace[J]. In:Proceedings of IEEE Conference on Computer Vision and Pattern Recognition,1986:204-209.
[15]Perona P,Malik J. Scale space and edge detection using nisotropic diffusion[J]. IEEE Traps PAMI,1990,12(7):629-639.
[16]Patrik Hermansson,Annica Hjelm,et al.Benchmarking and Validation of IR Signature Programs:SensorVision,CAMEOSIM and RadThermIR[C].RTO SCI-145,2004.
[17]Nitzberg M,Shiota T.Nonfiear image filtering with edge and corner enhancement[J].IEEE Traps PAMI,1992,14(8):826-833.
[18]Zhu S C,Mumford D.GRADE:Gibbs reaction and diffusion equations[C]//Proceedings of the International Conference on Computer Vision.[S.l.]:[s.n.],1998:847-854.
[19]Liang P,Wang Y.Ir Local scale controlled anisotropic diffusion with local noise estimate for image smoothing and edge detection[C]//Proceedings of the international Conference on Computer vision.[S.l.]:[s.n.],2008:193-200.
[20]ltaninier S,CzPagliarini.Data processing technique applied to the calihrartion of a high perfornance FPA infrared camera[J]. Infraral Physics & Tahnology,2002 (43):345-351.
[21]Msrius Herscovitz,Evgeny Avtyomov,Only Yadid-Pecht.Improving the Global Impression of Brigltmess of the Mufti Scale Retinex Algorithm for Wide Dynamic Range Picaues,Prooeodings of SPIE-IS&T Electronic Imaging[J]. SPIE,2003,36:5017.
[22]Legauit R,Ruen C Y. Dptimal local weighted averaging methods in contour smoothing[J].IEEE Trans PAMI,1997,19(9):801-817.
[23]Wu M F,Sheu H T.Representation of 3D surfaces by twovariable Fourier descriptors[J]. IEEE Trans PAMI,1998,20(8):858-863.
[24]Pavlidis T,Liow Y T. Integrating region growing and edge detection[J].IEEE Trans PAMI,1990,12(3):225233.
[25]Chakraborty A,Staib L H and Duncan J S. Deformable boundary finding in medical images by integrating gradient and region information[J]. IEEE Trans Medical imaging,1996,MI-IS(G):859-870.
[26]Buster M,Cornelis,J,Rosecfeld A.A critical view of pyramid segmentation algorithms[J]. Pattern Recognition Letters,1990,11(10):605-617.
[27]Blanz W E,Gish S L.A connectionist ciassifiier architecture applied to image segmentation[C]//Proceedings of the 10th international Conference on pattern Recognition,[S. l.]:[s.n.],1990:272-277.
[28]Babaguchi N,Yamada K,Kise K,et al.Connectionist model binarization[C]//Proceedings ofthe 10th international Conference on Pattern Recognition.[S. l.]:[s. n.],1990:51-56.
[29]Shah J.Parameter estimation,multiscale representation and algorithms for energy-minimizing entation[C]//Proceedings of the International Conference on Pattern Recognition.[S.l.]:[s.n.],1990:815-819.
[30]叶箩芸,戚飞虎,蒋隽.基于选抒性多分辨率Kohonen 网络的自适应灰度图像分割方法[J].红外与毫米波学报,1998,17(1):48-53.
[31]HUang C L. Parallel image segmentation using modified Hopfield model[J]. Pattern Recognition Letters,1992,13:345-353.
[32]Chanda 13,Kundu M K K and Padmaha V Y.A multi-scale morphologic edge detector[J].Pattern Recognitition,1998,31(10):1469-1478.
[33]Vincent L,Soille P. Watersheds in digital Spaces:an efficient algorithm based ott immersion simulations[J]. IEEE Trans PAMI,1991,13(6):583-598.