基于不可分小波分解的图像配准方法

刘 斌,孙 斌,余方超,唐虎潇

(湖北大学数学与计算机科学学院,武汉430062)

基于不可分小波分解的图像配准方法

刘 斌,孙 斌,余方超,唐虎潇

(湖北大学数学与计算机科学学院,武汉430062)

张量积小波强调的是图像中水平和垂直方向的高频信息,而不可分小波具有各向同性,可以提取图像中各个方向的边缘,能获得比较完整的图像轮廓,将这种特点应用于图像配准时,能准确定位图像仿射不变点的位置。为此,提出一种通过求取不可分小波分解后的高频子图像配准参数来配准原图像的方法,把图像的配准问题转化为其不可分小波分解后的高频子图像配准问题。从不可分小波分解的快速算法理论出发,证明该配准方法的正确性。构造一组四通道不可分小波滤波器组,在此基础上给出配准的方法和步骤。实验结果表明,该方法具有较好的配准效果,其求取图像配准参数的运算量比直接求取原图像配准参数运算量的1/4还少,与基于张量积小波分解的图像配准方法相比,具有较高的配准精度。

图像配准;不可分小波;仿射变换;滤波器组;质心点;加权质心点

1 概述

图像配准是多传感器图像融合、精确制导、计算机视觉等很多图像处理与识别问题的预处理步骤。在多传感器图像融合等问题中,由于各成像传感器所产生图像的平台校准不完善、不同传感器对同一场景成像的物理位置不一致等原因,导致图像间可能存在相对平移、旋转、缩放,不能直接进行融合,因而图像在融合前要进行图像自动配准[1-2]。

图像配准就是将不同时间、不同传感器或不同条件下获取的2幅或多幅图像进行匹配、叠加的过程。配准技术的主要过程如下:首先对2幅图像进行特征提取,得到特征点;通过进行相似性度量找到匹配的特征点对;然后通过匹配的特征点对得到图像空间坐标变换参数:最后由坐标变换参数进行图像配准。根据不同应用目的,图像配准的方法有很多。归纳起来主要有以下5类:基于互信息的图像配准方法[3-5];基于图像的角点图像配准方法[6];基于控制点的配准方法[7];基于矩的配准方法[8];基于边缘的配准方法[9]。

在形殊点(shape-specific points)进行平面轮廓配准的基础上,文献[10]提出一种利用图像作张量积小波分解的近似分量进行图像配准的方法。它把原图像的配准问题转化为图像作张量积小波分解后的近似分量配准问题,节约了3/4的求取配准参数的运算量,可以用于实时的图像配准,有较好的配准效果。但是,由于在对图像分解时采用的是一维小波形成的张量积小波,它是二维小波的一种特殊形式,当利用它对待配准图像和配准图像分解时,只能体现水平和垂直2个方向的边缘信息。不可分小波是近年来发展起来的新的小波,它是真正的二维小波,是二维小波的一般情形,具有各向同性的特点,能提取各个不同方向的边缘信息,因而提取图像的边缘更全面、更丰富,在求取图像轮廓的质心点和加权质心点时,位置更准确、更可靠。其于此原因,本文提出基于不可分小波分解的图像配准方法。

2 图像的二维仿射变换模型

设有一幅图像f(x,y),将其作平面缩放、旋转、平移等仿射变换为图像f(x′,y′),变换模型为[10]:

其中,α为缩放参数;θ为旋转角度参数;(Δx,Δy)为平移参数。为表述简便,把仿射变换记为算子T,即:

即有:

在图像配准中,若g(x,y)为标准位置的图像,f(x,y)为待配准的原图像,则:

T[f(x,y)]=g(x,y)=f(x′,y′)

把图像f(x,y)配准为图像f(x′,y′)的过程也就是求参数α,θ,Δx,Δy的过程。

3 基于不可分小波的图像配准原理

3.1 图像的不可分小波分解

设图像作二维不可分小波变换的伸缩矩阵为[2,0;0,2],由于此矩阵的行列式的值为4,根据二维小波变换理论,此时对图像进行4个通道的小波分解,1个低通道和3个高通通道,若设分解的1个二维低通滤波器和3个高通滤波器分别为:H0={h0(k)}k∈Z2和Hi={hi(k)}k∈Z2(i=1, 2,3),则不可分小波计算分解系数的过程如式(2)所示[11-12]:

其中,Aj+1(m,n)为尺度为j+1时的近似系数,也是原始图像数据,而Aj(m,n)是j尺度层的图像数据,它是j+1层的图像数据Aj+1(m,n)进行小波分解后的低频分量数据;{Aj(m,n)}是{Aj+1(m,n)}的概貌,它是{Aj+1(m,n)}的缩略表示,与它在轮廓上是相似的;而{D(1)j(m,n)},{D(2)j(m,n)},{D(3)j(m,n)}分别为{Aj+1(m,n)}进行小波分解后的3个高频细节图像。

为了看出不可分小波分解与张量积小波分解的区别,选择具有水平和垂直边缘的图像通过上述2种方式分解后的低频和3个高频图像。其分解效果分别如图1和图2所示,图1为图像的张量积小波分解,图2为图像的不可分小波分解。

图1 图像的张量积小波分解

图2 图像的不可分小波分解

从图1和图2可以看出,不可分小波在提取图像边缘上的表现与张量积可分小波有很大区别。不可分小波可以提取图像中各个方向的边缘,具有各向同性的特点,而张量积小波只能提取图像中水平和垂直方向的边缘。不可分小波的这种特点可以使得它在图像配准中得到比较完整的图像轮廓,从而能更准确地求得图像对于伸缩、旋转、平移都不变的形殊点的准确位置,提高图像的配准质量。

3.2 不可分小波配准原理

根据上述不可分小波分解的特点,选用图像作小波分解后的3个高频分量之一用于图像配准,即通过配准高频子图像来配准原图像。图2(b)和图2(c)是备选的理想类型,它们提取边缘的效果比图2(d)要好,因此,以式(2)中的第2个式子为例,研究高频子图像的配准参数与原图像配准参数的关系(式(2)中的第3个式子的规律与此相似),然后进行图像配准。

假设待配准的原图像为{f(m,n)},标准位置图像为{f(m′,n′)}。为了叙述方便,不妨设图像的大小为2M×2N(若图像的大小中行数或列数有为奇数的情况,可把其扩充为上述情形),这里Tm=m′,Tn=n′,T为仿射变换,下面分别研究伸缩变换、旋转变换和平移变换在不可分小波滤波前后坐标的变化情况。

3.2.1 伸缩变换

3.2.2 旋转变换

若T为旋转变换,它把图像{Aj+1(m,n)}变为:

而Aj+1(mcosθ+nsinθ,-msinθ+ncosθ)经过不可分小波高通滤波器{h1(m,n)}滤波后变为:

3.2.3 平移变换

若T为平移变换,设它把原图像{Aj+1(m,n)}变为:{Aj+1(m+Δx,n+Δy)},在此情况下,直接把滤波器与平移后的图像进行卷积然后进行下2抽样即可得变换后的图像,滤波器的下标不变,即根据式(2)的第2个式子,有:

从以上3个方面的分析表明,对原图像f(x,y)作仿射变换的图像T(f(x,y))=f(x′,y′)配准问题可归结为原图像和变换后的图像分别经过不可分小波高通滤波后得到的2幅高频子图像的配准问题。从而把原图像的配准问题转换为其相应的不可分小波分解后的高频子图像配准问题,且高频子图像的伸缩参数和旋转参数不变,平移参数是原图像配准参数值的一半。这样处理的优点是可以节约大量运算量,因为若原图像为M×N大小,求配准参数时的运算量为K,则小波分解后的高频子图像的大小约为M/2×N/2,则求配准参数的运算量为K/4。

4 配准过程

设g(x,y)为标准位置的图像,f(x,y)为待配准的图像,根据上述原理,将f(x,y)与g(x,y)的配准过程描述如下:

2)求配准参数。

(3)对原图像进行配准。

由于不可分小波分解后的高频子图像与原图像具有轮廓相似性,根据第3节的配准原理,原图像的缩放参数、旋转参数与分解后的高频子图像的缩放参数和旋转参数相同,即为α和θ,而原图像的平移参数(纵坐标平移量和横坐标平移量)应分别是高频子图像配准情况的2倍,即2Δx和2Δy,将所求得的参数代入式(1)即可实现原图像配准。

与文献[10]的方法相比,由于高频子图像本身就是图像轮廓的表现,因此配准过程中不需要提取高频子图像的边缘,这样可以大大节约求取配准参数时的运算量。

5 实验结果与评价

本文选择了多组图像进行配准实验,实验被分为2类:第1类,把标准位置图像进行微小的伸缩、旋转和平移,结果图像作为待配准图像;第2类,实际问题中由于不同传感器成像产生的仿射形变图像的配准。这里列出2组实验结果。第1组,医学MRI图像的模拟配准;第2组,实际多光谱图像与全色图像的配准。由于标准位置图像是一个多波段图像,而待配准图像是灰度图像,因此,为了有相同的比较基础,取标准位置图像的第1个波段所在图像进行配准。为了看出本文方法的配准效果,把它与基于张量积小波分解的配准方法(文献[10]方法)作对比。对于模拟图像的配准,图 3(a)为一幅180×180的人头颅的MRI图像,它是标准位置图像。图3(b)是对其进行缩放、旋转和平移的图像,它是待配准图像,其缩放量为0.8,旋转角为逆时针旋转20°,平移量为向右下移(10,2)。图3(c)为基于张量积小波分解的配准方法的结果图像,图3(d)为本文方法配准结果图像。图4列出了实际的多光谱图像与全色图像的配准结果,图4(a)为一幅364×366的多光谱图像,它是标准位置的图像。图4(b)为同一场景的369×394高分辨率全色图像,为待配准图像。图4(c)为基于张量积小波分解的配准方法的结果图像。图4(d)为本文方法配准结果图像。2组实验均在Matlab7.5环境下完成,按式(4)构造四通道不可分小波滤波器组[12]。

图3 MRI图像配准

图4 实际多光谱图像与全色图像的配准

本文构造的四通道不可分小波波滤器组如下:

从上2组图像的配准效果可以看出,对照标准位置图像,基于不可分小波分解后的图像灰度信息和光谱信息更自然,更接近标准位置图像,而基于张量积小波分解的配准结果图像的人工痕迹更明显,这是由于配准位置没有完全对准,使得较多像素点的灰度值使用的是插值的原因。另外,顺时针旋转偏差较大。

为了看出模拟配准的效果,把2种配准方法配准后的缩放、旋转和平移参数误差列于表1中。从中可以看出,基于不可分小波的配准方法的误差相对较小。

表1 缩放、旋转和平移参数误差

为了进一步看出2组实验的配准精度,采用客观量化指标均方根误差[13]去衡量配准程度,其表达式如式(5)所示:

其中,R为标准位置图像,即参考图像;F为配准结果图像。其值越小,表明F与R越接近,配准效果越好。

表2列出了上述2组实验的均方根误差值。由于第2组实验的标准位置图像是一个多波段图像,而配准结果图像是仅具有一个波段的灰度图像,因此,为了有相同的比较基础,取标准位置图像的第1个波段所在图像进行比较,求它与配准结果图像的均方根误差;另外,为了得出可靠的均方根误差值,可以去掉配准结果图像左侧和下方的大块黑值图像(灰度值为0),取标准位置图像和配准结果图像左上方相同位置的非0值图像计算均方根误差。

表2 2组实验的均方根误差值比较

从表2可以看出,本文提出的基于不可小波分解配准方法的均方根误差值比基于张量积小波分解的配准方法的值要小,说明本文方法有相对较好的配准效果。

另外,由于不可分小波分解后的高频子图像的大小约为原图像的1/4大小,且求取配准参数时不需要提取高频子图像的边缘信息,因此其求取配准参数的运算量比不作小波分解而直接对原图像提取轮廓而求取配准参数方法的运算量的1/4还少,从而大大节约了配准运算量。

进一步地,还可以对本文的基于不可分小波分解的图像配准方法的空间复杂度和运算复杂度进行计算。假设2幅原图像(待配准图像和标准位置图像)的大小均为M×N,且均为灰度图像(彩色图像可取其中的一帔),每个像素占64位,即8个字节(Matlab的double类型)。从第4节的配准过程可知,本文方法所需的存储空间主要由2个部分组成:原2幅图像所占空间,即标准图像和待配准的图像所占空间;它们分别分解后的2幅高频子图像所占空间;第3节中配准结果图可以使用原待配准图像的空间。质心点、加权质心点、配准参数所占空间与图像相比很小,不计入,因此整个算法所占空间大约为M×N×2和M×N/4×2,2个部分合并为20× M×N个字节长。本文方法的运算量主要由3个部分组成(主要计算乘法运算,加法不算):第1部分为2幅图像分别作不可分小波分解的运算量,主要是二维卷积的运算量,即为:(M+3)×(N+3)× 4×4×2,主要部分为:32×M×N;第2部分为求质心点和加权质心点的运算量,假设高频子图通过取阈值量化后的边缘点占高频子图像像素点的1/3 (使用本文滤波器滤波后再取阈值量化后约占27%),则运算量为:(M×N)/4×1/3×2=(M× N)/6;第3部分为配准原图像的运算量,按式(1),每个配准点要8次乘法,共需8×M×N。3个部分合计运算量为241×(M×N)/6。对这个运算量显然比不作不可分小波分解而直接配准的运算量要小。

6 结束语

利用图像作为不可分小波分解后的高频子图像较好地保持了原图像的边缘和轮廓的特点,本文提出了一种通过配准高频子图像从而配准原图像的图像配准方法。理论推导和实验结果表明所提出的配准方法是正确的,此方法有较好的配准效果,是一种可行的图像配准方法。相对于基于张量积小波分解的图像配准方法,本文方法无需提取分解后的高频子图像的边缘,因而有较高的配准速度,从量化评价指标看,该方法有较高的配准精度。由于可见光、红外、医学、遥感等图像与其作不可分小波分解后的高频子图像都具有轮廓相似性,因此该方法都可用于对这些图像进行配准,具有普遍性。

[1] Li Yang,Verma R.Multichannel Image Registration by Feature-based Information Fusion[J].IEEE Transactions on Medical Imaging,2011,30(3):707-720.

[2] Wen Gongjian,Lv Jinjian,Yu Wenxian.A Highperformance Feature-matching Method for Image Registration by Combining Spatialand Similarity Information[J].IEEE Transactions on Geoscience and Remote Sensing,2008,46(4):1266-1277.

[3] Lu G,Yan J,Kou Y,et al.Image Registration Based on Criteria of Feature Point Pair Mutual Information[J]. IET Image Processing,2011,5(6):560-566.

[4] 朱冰莲,田学隆,宋维杰.基于人工免疫系统的医学图像配准[J].仪器仪表学报,2009,30(7):1416-1419.

[5] 徐志刚,苏秀琴.基于小波分解与多约束改进的序列图像配准[J].仪器仪表学报,2011,32(10): 2261-2266.

[6] 王阿妮,马彩文,刘 爽,等.基于角点的红外与可见光图像自动配准方法[J].光子学报,2009,38(12): 3328-3332.

[7] 李 映,崔扬扬,韩晓宇.基于线特征和控制点的可见光和SAR图像配准[J].自动化学报,2012,38(12): 1968-1974.

[8] 左 欣,戴修斌,张 辉,等.基于Legendre正交矩的模糊形变图像的配准方法[J].电子学报,2011,39 (12):2824-2830.

[9] 谌安军,陈 炜,毛士艺.一种基于边缘的图像配准方法[J].电子与信息学报,2004,26(5):679-684.

[10] 刘 斌,彭嘉雄.图像配准的小波分解方法[J].计算机辅助设计与图形学学报,2003,15(9):1070-1073.

[11] Liu Bin,Peng Jiaxiong.Image Fusion Method Based on NonseparableWavelets[J].Machine Vision and Applications,2005,16(3):189-196.

[12] 刘 斌,彭嘉雄.基于四通道不可分加性小波的多光谱图像融合[J].计算机学报,2009,32(2):350-356.

[13] 刘 斌,刘维杰,马嘉利.基于三通道不可分对称小波的多聚焦图像融合[J].仪器仪表学报,2012,33(5): 1110-1116.

编辑 顾逸斐

Image Registration Method Based on Nonseparable Wavelet Decomposition

LIU Bin,SUN Bin,YU Fang-chao,TANG Hu-xiao
(School of Mathematics and Computer Science,Hubei University,Wuhan 430062,China)

Tensor product wavelet only emphasizes on the edge of the horizontal and vertical direction.Nonseparable wavelet is isotropic,can extract the edge of the image in all directions,and can obtain relatively complete outline of the image.When this kind of characteristics is applied to the image registration,it can acquire the accurate positions of the invariant points of the affine transform.Based on this characteristic,this paper proposes an image registration method through calculating the registration parameters of the high-frequency sub-images of the nonseparable wavelet decomposition of the original image.This method can transform the registration of the original image into the registration of its high-frequency sub-images.The correctness of the proposed registration method is proved according to the fast algorithm theory of wavelet decomposition.A four channel nonseparable wavelet filter bank is constructed and the registration steps of the method are given.Experimental results show that the method has better registration results.The amount of computation for computing the registration parameter is less than a quarter of the registration parameters computation of the original image.When compared with registration method based on the tensor product wavelet decomposition,the method has higher registration precision.

image registration;nonseparable wavelet;affine transform;filter bank;centroid point;weighted centroid point

10.3969/j.issn.1000-3428.2014.10.047

1000-3428(2014)10-0252-06

A

TP391.41

国家自然科学基金资助项目(61072126);湖北省自然科学基金资助重点项目(2012FFA053)。

刘 斌(1963-),男,教授、博士、博士生导师,主研方向:图像处理,小波分析与应用;孙 斌,讲师、硕士;余方超,硕士研究生;唐虎潇,本科生。

2013-09-30

2013-11-28E-mail:liub@hubu.edu.cn

中文引用格式:刘 斌,孙 斌,余方超,等.基于不可分小波分解的图像配准方法[J].计算机工程,2014,40(10): 252-257.

英文引用格式:Liu Bin,Sun Bin,Yu Fangchao,et al.Image Registration Method Based on Nonseparable Wavelet Decomposition[J].Computer Engineering,2014,40(10):252-257.