Gabor二进制编码异源图像匹配方法*

涂国勇，李壮，周韶斌，李伟建，于友合(.中国酒泉卫星发射中心，甘肃酒泉72750；2.国防科技大学航天科学与工程学院，湖南长沙4007；.中国人民解放军9626部队，湖南怀化48000)

Gabor二进制编码异源图像匹配方法*

涂国勇1，2，李壮1，2，周韶斌1，李伟建1，于友合3(1.中国酒泉卫星发射中心，甘肃酒泉732750；
2.国防科技大学航天科学与工程学院，湖南长沙410073；3.中国人民解放军96326部队，湖南怀化418000)

异源图像匹配是图像处理领域尚未解决的问题。其中，合成孔径雷达图像与光学图像差异较大，用现有方法匹配通常难以得到满意结果。针对这个问题，提出一种基于Gabor编码的异源图像匹配方法:选取一组Gabor滤波器，分别对大图和小图进行Gabor卷积；采用池化方法对卷积结果进行压缩表示；对池化结果二值化并转换为二进制表示得到Gabor二进制编码特征；采用二进制位操作计算实时图与基准图对应窗口特征的相似性，相似性最大值对应图像匹配结果。本方法采用二进制对图像进行描述，减少了计算量，同时也更好地描述了异源图像间的共性特征。实验结果表明，本方法具有较高的匹配概率，计算时间少于现有方法。

图像匹配；异源图像；Gabor滤波器；二进制编码；特征池化

由不同类型传感器获得的图像被称为异源图像。由于不同传感器间的成像特性存在差别，同一场景在异源图像上可能呈现完全不同的图像，因此传统的同源图像匹配方法一般无法直接应用于异源图像。

现有的异源图像匹配方法可以分为两类:基于特征的方法和基于区域的方法。基于特征的方法包括:利用边缘特征的匹配方法［1］、利用轮廓特征的匹配方法［2］、利用人造景物特征的匹配方法［3］、综合边缘特征与点特征的匹配方法［4］等。此类方法要求异源图像中能够检测到一致的特征，因此通常只适用于图像之间差异较小的情况。当异源图像差异较大时，如合成孔径雷达(Synthetic Aperture Radar，SAR)图像与光学图像，很难提取到一致特征，从而难以采用基于特征的方法进行匹配。

基于区域的方法将整幅图像的灰度信息或者基于灰度的区域描述进行匹配。常用的基于区域的异源图像匹配方法有互信息［5］、相位一致性［6］、梯度场相关［7］、隐含相似性［8］、子区一致性［9］、色调映射［10］等。其中，互信息及其各种改进算法在异源图像匹配中使用得最为广泛。互信息是两个随机变量统计相关性的测度。当两帧具有共同物理结构的图像达到最佳匹配时，对应窗口内的互信息应为最大值。由于互信息方法不需要对不同成像模式下图像灰度级间的关系作任何假设，也不需要对图像进行分割或任何预处理，因此特别适合用于异源图像的匹配［11］。然而，尽管互信息对于红外图像和可见光图像匹配效果很好，但其对SAR图像与可见光图像的匹配效果却不甚理想。另外，互信息方法需要对每个搜索窗口计算联合熵，其计算量很大，处理时间较长。

本文提出基于Gabor二进制编码的异源图像匹配方法。方法通过Gabor卷积、池化、二值化、二进制表示等操作提取异源图像的共性特征，通过二进制位操作对图像特征进行快速匹配。与已有方法相比，其具有更高的匹配概率和更少的计算时间。

1 异源图像匹配问题描述

图像匹配的目的是寻找两图之间的几何变换参数，根据图像场景大小将输入图像分别记为小图Ia和大图Ib，则图像匹配可以表示为式(1)描述的全局寻优问题，即在变换空间UT中寻找使图像相似度S达到最大值的变换参数Tm。

式中，T(Ia)是对小图实施几何变换T得到的变换图像，S［T(Ia)，Ib］是T(Ia)与Ib的相似性度量，UT表示几何变换空间。本文提出基于Gabor二进制编码的异源图像共性特征描述，并应用该特征解决二维平移空间中的异源图像匹配问题。当UT为仿射空间或射影空间时，只需在对应空间进行特征相似性计算并寻找极大值即可得到匹配结果。

异源图像匹配一直都是图像处理领域的一个难题。异源遥感图像难以匹配的原因主要在于:

1)图像中可能存在严重噪声，如SAR图像中的斑点噪声。

2)图像间的灰度非一致变化。

图像间的灰度关系可以分为线性映射关系、非线性映射关系和非一致映射关系。对于不同光照情况下拍摄的同源图像，通常满足线性映射关系，可用归一化协方差相关方法进行匹配。对于可见光图像与红外图像，近似满足非线性映射关系，可以用互信息、相位一致性、隐含相似性、色调映射等方法进行匹配。对于差异较大的异源图像，如SAR图像与光学图像，图像间的灰度级不满足一致对应关系，但是局部的边缘存在一定的对应性。常用边缘匹配方法对这类图像进行匹配。但是，对边缘的定义存在很大的主观性，而且在SAR图像和光学图像中提取出对应的边缘也是一个艰难的问题。

2 Gabor二进制编码匹配方法

方法分为四个步骤:选取一组Gabor滤波器分别对大图和小图进行卷积计算；采用池化方法对图像进行压缩表示；对池化结果进行二值化并用二进制表示得到Gabor二进制编码特征；采用二进制位操作计算实时图与基准图对应窗口特征的相似性，得到匹配结果。

图1为计算图像的Gabor二进制编码特征过程示意。其中步骤①计算图像与Gabor滤波器的卷积，步骤②对卷积结果进行池化、二值化并转化为二进制表示。图4中给出了池化尺度W分别为2，4，8时的Gabor编码特征。在进行图像匹配时，可以在池化尺度8上对两幅图像计算特征实现粗匹配，在池化尺度1上计算特征实现精匹配。

图1 Gabor二进制编码特征计算过程Fig.1 Feature calculation procedure of Gabor binary coding

2.1 Gabor滤波器

二维Gabor函数为二维椭圆高斯函数调制的复平面波，定义如式(2)，其中:x'=x cosθ+y sinθ，y'=-x sinθ+y cosθ；ax，ay为椭圆高斯函数的标准差；wx，wy为滤波器径向中心频率的分量；角度θ决定了Gabor函数的方向。二维Gabor奇函数和偶函数分别如式(3)、式(4)。二维Gabor函数的频率响应如式(5)。

一组包含2个尺度，4个方向的Gabor滤波器如图2所示，其中(a)图为Gabor奇函数，(b)图为Gabor偶函数。

图2 可视化的Gabor函数Fig.2 Visualization of Gabor functions

研究表明，Gabor奇函数比Gabor偶函数更适合用于描述异源图像的共性特征［12］。因此，采用Gabor奇函数构成滤波器组。Gabor滤波器中心频率变化对特征图像相似性影响较小，方向变化对特征图像相似性影响较大。本文采用1尺度8方向的Gabor滤波器组，参数为wx=wy=0.125，ax=ay=4，θ∈{0°，22.5°，45°，…，157.5°}。

2.2 Gabor编码特征

采用Gabor滤波器对图像进行卷积。由于Gabor滤波器的取值范围为［-1，1］，卷积结果可能为正数或负数。若对输入图像反色，Gabor卷积结果也将发生符号反转。为了适应异源图像中的灰度差异，将Gabor卷积结果进行取绝对值操作。

设图像尺寸为w×h。对于图像上任意一点(x，y)，该点处的Gabor卷积结果可由一个n维向量v(x，y)表示，n为Gabor滤波器的数目。因此卷积结果需采用w×h×n字节数据表示。可以看出，图像经Gabor卷积运算后得到的数据大小远大于原始图像的数据大小。出于存储空间和计算效率考虑，需对数据进行压缩表示。

首先进行池化操作。在图像中等间距划分大小为k×k的像素池。对于像素池pm，n(其中m，n分别为像素池在水平方向和垂直方向的编号)，将池中的点进行求和，有s(m，n)=x，y)。全部像素池的求和结果组合起来构成了对原始数据的池化表示。池化操作后的数据量由w×h×n字节降为w×h×n/(k×k)字节。

对池化结果进行二值化，并用二进制数进行描述，得到Gabor二进制编码特征。具体方法为，将s(m，n)表示为［a1(m，n)，a2(m，n)，…，an(m，n)］，其中最大的d个值(本文中，设置d= 3)置为1，其他值置为0。并将得到的新向量转化为二进制数，向量中的每一维对应了二进制数中的一位。如当s(m，n)为8维向量时，b(m，n)为8位二进制数。则Gabor二进制编码特征大小为w×h×n/(8×k×k)字节。本文设置的参数中Gabor滤波器数目n=8，则Gabor二进制编码特征大小为w×h/(k×k)字节。图3为二值化及二进制表示的示意图。

图3 特征的二进制表示Fig.3 Feature binarization

Gabor奇滤波器对图像中对应方向的边缘有较强的响应。因此Gabor二进制编码特征可以看作是对图像中边缘方向的一种表达。方法中的池化操作相当于对像素池中的卷积结果进行空间平滑，增加了特征的稳定性。二值化操作在每个位置上选择三个最强的边缘方向，并且赋予同样的值，提高了特征对异源图像差异的适应性。二进制表示将每个位置上的特征压缩到一个字节表示，减少了特征存储空间。图4为同一区域的可见光图像与SAR图像及各自的Gabor二进制编码特征的放大显示。特征图尺寸远小于原图尺寸。相比原始异源图像，特征图具有更好的灰度一致性，可采用简单快速的比较方法进行相似性计算。

图4 异源图像的Gabor二进制编码特征Fig.4 Gabor binary coding features ofmulti-sensor images

2.3 特征匹配

采用二进制位操作对图像特征进行匹配。对于小图与大图中的对应窗口，分别计算二者的Gabor二进制编码特征B1，B2。则特征相似性定义为

S(B1，B2)=∑m，nfbit［B1(m，n)＆B2(m，n)］

(6)式中:＆为按位与操作；fbit(·)为按位累积函数，其输出值为输入二进制数据值为1的位的数目。如二进制数00011100，其按位累积结果fbit(00011100)为3。可以用移位和位与操作快速计算fbit(·)。另外，还可以根据系统位宽，将多个字节组成32位或64位的双字，再用式(6)计算特征相似性，进一步减少CPU计算时间。

将Gabor二进制编码特征应用于第1节中的图像匹配框架，即得到基于Gabor二进制编码的异源图像匹配方法。

3 实验结果

为了对不同算法进行对比实验，首先构建了测试图像库。图像库中包括13组异源图像，每组图像包括1幅基准图和对应不同位置的多幅实时图。其中，基准图为可见光图像，大小为400× 400像素，实时图为SAR图像，大小为200×200像素。

定义匹配成功率为

式中，NSuccess为匹配成功(结果距离真值小于5个像素)的次数，NTotal为总的匹配次数。

分别用互信息方法、相位一致性方法、梯度场相关方法和本文方法对测试图像进行匹配。互信息、相位一致性和本文方法的代码都在MATLAB上实现并采用单核运算，梯度场相关方法在C语言下实现。匹配结果如表1。

表1 匹配方法比较Tab.1 Comparison ofmatchingmethods

由表可知，本文方法的匹配成功率远远高于其他方法。采用本文方法的单次匹配时间为0.36s，其中对大图的特征计算时间为0.29s。在景象匹配图像制导中，大图通常为预加载的基准图，可以事先进行大图的特征计算，则实时匹配时间只有0.07s。在互信息方法中，二维联合直方图及联合熵的运算占了大部分的计算时间，而这些运算需要小图的参与，故实时计算时间远大于本文方法，由于相位一致性方法中没有对特征进行压缩表示，特征计算时间和相似性计算时间均高于本文方法，该方法也可以事先计算大图特征，其实时匹配时间为0.42s。梯度场相关方法是SAR图像与光学图像匹配效果较好的一种算法，其总的处理时间最短，但是无法进行离线预处理。

部分匹配结果如图5，图中只给出了MATLAB环境实现的3种方法的处理结果，图中的亮度最大值对应了匹配结果。本文方法的相似性最大值对应了正确匹配坐标。在相位一致性和互信息的相似性分布图中，正确匹配坐标只对应了局部极大值，其全图最大值分别对应了不同的错误匹配坐标。实验结果说明本文方法具有更高的可靠性。

图5 一组对比结果Fig.5 A group of comparison result

4 结论

针对SAR图像和光学图像匹配问题，提出了基于Gabor二进制编码特征的匹配方法。该方法不仅匹配概率高于传统方法，而且对计算时间和存储空间的需求也很小，特别适合在计算能力受限的运算平台上使用。Gabor函数可以在频域不同尺度、不同方向上提取图像的特征。文中提出的Gabor二进制编码特征本质上是对图像不同区域中尺度和方向信息的一种描述。尺度、方向信息通常由被拍摄的场景决定，不易受拍摄条件、拍摄器材的影响。因此，Gabor二进制编码特征非常适合用于异源图像匹配。另外，该特征还可以应用于目标识别、目标跟踪等领域。

由于特征中用到的Gabor滤波器具有方向性，因此该特征无法做到旋转不变。受此限制，本文提出的匹配方法只适用于平移变换空间内的匹配，其在仿射空间匹配问题中的应用有待进一步研究。

References)

［1］Kim Y S，Lee JH，Ra JB.Multi-sensor image registration based on intensity and edge orientation information［J］.Pattern Recognition，2008，41(11):3356-3365.

［2］Pan C，Zhang Z，Yan H，et al.Multisource data registration based on NURBS description of contours［J］.International Journal of Remote Sensing，2008，29(2):569-591.

［3］Wegner J D，Soergel U.Registration of SAR and optical images containing bridges over land［C］//Proceedings of the EARSeL Symposium:Remote Sensing—New Challenges of High Resolution，2008.

［4］许辉，吴诗其.LEO卫星网络中基于蚂蚁算法的分布式QoS路由［J］.计算机学报，2007，30(3):361-367.XU Hui，WU Shiqi.A distributed QoS routing based on ant algorithm for LEO satellite network［J］.Chinese Journal of Computers，2007，30(3):361-367.(in Chinese)

［5］Pluim J P W，Maintz J B A，Viergever M A.Mutualinformation-based registration of medical images:a survey［J］.IEEE Transactionson Medical Imaging，2003，22 (8):986-1004.

［6］Kovesi P.Image features from phase congruency［J］.Journal of Computer Vision Research，1999，1(3):1-26.

［7］Haber E，Modersitzki J.Intensity gradient based registration and fusion of multi-modal images［C］//Proceedings of Medical Image Computing and Computer-Assisted Intervention，2006.

［8］李壮，杨夏，雷志辉.基于空间子区一致性的异源图像匹配方法［J］.国防科技大学学报，2011，33(1):31-34.LI Zhuang，YANG Xia，LEI Zhihui.Multi-sensor image matching based on spatial subarea congruency［J］.Journal of National University of Defense Technology，2011，33(1): 31-34.(in Chinese)

［9］Hel-Or Y，Hel-Or H，David E.Fast template matching in non-linear tone-mapped images［C］//Proceedings of the IEEE International Conference on Computer Vision(ICCV)，2011，1355-1362.

［10］Parmehr EG，Zhang C，Fraser C S.Automatic registration of multi-source data using mutual information［J］.International Society for Photogrammetry and Remote Sensing，2012，7: 303-308.

［11］徐一丹，李斌，李壮，等.空间关联与多子区规范化梯度方向直方图的异源图像匹配［J］.国防科技大学学报，2014，36(4):112-117.XU Yidan，LI Bin，LI Zhuang，et al.Multi-sensor images registration using multi-areas standardized histogram of oriented gradient and spatial adjacent similarity［J］.Journal of National University of Defense Technology，2014，36(4): 112-117.(in Chinese)

Gabor binary encoding for multi-sensor imagematching

TU Guoyong1，2，LIZhuang1，2，ZHOU Shaobin1，LIWeijian1，YU Youhe3
(1.Jiuquan Satellite Launch Center，Jiuquan 732750，China；2.College of Aerospace Science and Engineering，National University of Defense Technology，Changsha 410073，China；3.The PLA Unit96326，Huaihua 418000，China)

Multi-sensor imagematching is a challenging problem in image process field.As synthetic aperture radar images and optical images have significant differences，most existingmethods cannot achieve satisfied matching result.To respond to this issue，a new multi-sensor image matchingmethod based on Gabor binary encoding was presented:the big and small input images were first convoluted respectively by a group of Gabor filters；the compressed representation was executed on the convolution resultby using poolingmethod；the binarization of pooling resultswas conducted and it was transformed into binary code to create Gabor binary encoding features；the similarities of corresponding window features between real-time images and reference images were calculated by using bitmanipulation and the maximum value indicated the matching result.Thismethod describes images by binary representation，so the computation complexity ismuch lower than that of the traditionalmethod，while the common characters are better revealed.Experimental results show that the proposedmethod hasmuch highermatching rate and requiremuch lower computation time than those of the existingmethods.

imagematching；multi-sensor image；Gabor filters；binary coding；feature pooling

TP391.41

A

1001-2486(2015)05-175-05

10.11887/j.cn.201505027

http://journal.nudt.edu.cn

2014-10-26

国家自然科学基金资助项目(61402489)

涂国勇(1970—)，男，湖南张家界人，高级工程师，硕士，E-mail:tgyphq67215@163.com