基于无迹变换的KL散度异源图像匹配方法

王　佳,王　平,华小强,吴丰阳,曹亚菲

(1.国防科技大学ATR重点实验室，长沙　410073；2.湖北航天技术研究院 总体设计所，武汉　430040；3.中国人民解放军火箭军驻长沙地区军代室，长沙　410205)



基于无迹变换的KL散度异源图像匹配方法

王佳1,王平1,华小强1,吴丰阳2,曹亚菲3

(1.国防科技大学ATR重点实验室，长沙410073；2.湖北航天技术研究院 总体设计所，武汉430040；3.中国人民解放军火箭军驻长沙地区军代室，长沙410205)

针对红外/可见光异源图像匹配，提出基于无迹变换的KL散度异源图像匹配方法。首先，分别提取异源图像Sobel边缘特征点，并校正红外特征点集；然后，分别构建两特征点集的高斯混合模型，采用无迹变换法求解两高斯混合模型的KL散度，对红外特征点集的高斯混合模型进行相似变换,寻找到使KL散度最小时的变换矩阵Tmin，此即两特征点集精确匹配时的变换矩阵。实验结果表明：提出的算法在噪声和出格点较多情形下仍能正确匹配，且能快速收敛。

Kullback-Leibler散度；无迹变换；高斯混合模型；异源图像匹配

异源图像匹配技术在导航制导领域有着重要的应用，作为地形匹配、目标识别的关键技术，是提高导航制导精度的核心模块。异源图像采用多模成像机制，克服了单模成像信息源单一、适用范围小的缺陷，但也对图像匹配算法提出了很高的要求。由于成像机理的差异，异源图像中对同一事物的描述往往呈现出极大的差异，因此需要采用异源图像匹配方法。当前异源图像匹配方法，从是否引入概率模型对特征空间进行建模，可分为基于确定性模型的方法和基于概率模型的方法。基于确定性模型的方法，主要是将两组待匹配图像的特征都默认为有效特征，应用相似性测度进行运算，并找到此测度空间中的峰值及其变换矩阵，以达到精确匹配的目标。典型的方法有：① 梯度相关法[1-2]，先求图像的梯度，再对其梯度值求相关；② Hausdorff距离匹配方法[3]；③ 基于霍夫变换的匹配方法[4-6]等。但是，此类方法对待匹配特征不加区分的直接运算，会将噪声及出格点等退化特征和有效特征同时引入相似性测度中，极易受退化特征的干扰而造成误匹配。基于概率模型的匹配方法，对待匹配特征赋予概率值，从而考虑了特征的有效性，最终可强化有效特征的权重和弱化噪声与出个点特征的权重，达到剔除干扰、精确匹配的目的。因此基于概率模型的匹配方法优于基于确定性模型的方法。典型的方法有基于互信息的方法[7]、基于CPD(coherent point drift)的方法、基于信息几何理论的方法[8]、基于概率图的方法[9]。

由于异源图像的成像波段不同，即使采用共性特征检测算子，提取出的特征集之间仍然会存在差异，因此必须使用一种能全局运算、统计判决的相似性测度进行特征集的匹配，而且该相似性测度必须具有良好的辨识性和单调性。KL散度就十分适合异源图像的匹配。本文将KL散度作为异源图像匹配相似性测度，以前视红外实时图像和可见光基准图作为异源图像素材进行匹配研究。实验结果表明，提出的方法能较好地完成在强退化特征条件下的异源图像匹配任务。

1　相似性测度选择及求解

1.1相似性测度的选择

相似性测度作为两幅图像是否匹配的判决依据，是图像匹配的核心，因此相似性测度选取的好坏直接关系到匹配方法的成败。好的相似性测度应满足辨识度高、鲁棒性强及运算量小等特性。KL散度(Kullback-Leibler divergence)[10]法作为一种度量两个概率分布之间差异的方法，已广泛应用于一维信号的语音识别上，而在二维信号的图像领域应用较少，且其具有3个十分适合作为相似性测度的性质。KL散度的定义如式(1)所示。

(1)

其中f(x)和g(x)是两个概率密度函数，通常f(x)和g(x)采用高斯混合模型进行建模。KL散度具有3个重要性质：① 自相似性：D(f‖f)=0; ② 自辨识性：D(f‖g)=0(当且仅当f=g)；③ 非负性：D(f‖g)≥0，(对任意的f,g)。自相似性和自辨识性表明KL散度具有良好的区分能力，非负性表明KL散度存在下确界，适合相似度判断及收敛条件设定。

由于两个高斯混合模型(GMM)的KL散度无法使用传统的Riemann积分求解，故只能采用逼近的方法进行求解，又由于该表达式是非线性的，传统的逼近方法无法满足精度及实时性要求，必须寻找更优的方法。由于无迹变换[11-12]对于含有高斯函数的表达式具有简便易行的优势，且当待逼近的表达式是线性或者二次函数时，这种估计是精确的[13]，因此可采用无迹变换法进行求解。

1.2无迹变换法求解KL散度

无迹变换(unscented transform，UT)，是一种通过非线性变换来计算随机变量统计特性的方法。将其应用于含有GMM的KL表达式中是基于如下理论：当用固定数量的参数去逼近一个高斯分布时，会比逼近任意非线性函数或变换更容易。即在原状态分布中，按照某一规则选取一些点(称之为sigma点)，并使这些点的均值和协方差近似等于原状态分布的均值和协方差，再将这些sigma点代入非线性函数中，这就得到相应的非线性函数值。因此，首先要建立2个特征点集的高斯混合模型。

在对红外/可见光异源图像分别提取Sobel边缘特征后，分别对这2个特征点集建立高斯混合模型：

(2)

(3)

其中：式(2)表示由红外特征点构建的高斯混合模型；式(3)表示由可见光特征点构建的高斯混合模型；ai、bj表示混合的权值；N(x|μi,∑i)，N(x|νj,Γj)表示均值分别为μi，νj及协方差矩阵为∑i，Γi的高斯函数。对于点数分别为m、n的红外和可见光特征点集，其权重分别为：ai=1/m,bj=1/n(i=1,…,m;j=1,…,n)。

根据无迹变换理论，对于如下表达式：

(4)

其中：N(x|μi,∑i)是高斯函数；d为x的维数。若h(x):Rd～R为任意的非线性函数，则存在2d个采样点(sigma点)x={x1…x2d}：

(5)

(6)

其中：μi是高斯函数的期望；λk是协方差矩阵∑i的第k个的特征值；ek是协方差矩阵∑i的第k个特征向量。则以上2d个sigma点可以使得式(7)成立。

(7)

将式(2)代入KL散度表达式中得到

(8)

其中：

(9)

因此无迹变换求取KL散度的表达式为

(10)

1.3精确匹配方法与实现步骤

异源图像特征点集匹配可归结于求使两特征点集各同名点重合时对应的变换矩阵，即寻找一个变换矩阵T，使其中一组特征点集在此变换矩阵下达到与另一组特征特点集中对应同名点重合。根据KL散度的自辨识性，即寻找使KL(f‖gT)值最小的变换矩阵Tmin，gT表示对高斯混合模型g进行变换，特别的当KL(f‖gT)=0时，表明两特征点集对应点完全重合。因此可通过对红外特征点集的高斯混合模型进行变换，寻找最小的KL散度值。若变换矩阵为T={R,s,t}，其中R是旋转矩阵，s是缩放参数，t是平移参数，对于一个高斯函数N(x|μi,∑i)，其变换后结果为：

(11)

其中，RT是R的转置矩阵。本文利用梯度下降法进行迭代寻优，求出Tmin，即求出了使两个特征点集在欧氏空间中精确匹配的变换矩阵。算法步骤如表1所示。

表1　基于无迹变换的KL散度匹配步骤

2　实验结果与分析

2.1模拟数据实验

为验证算法，进行三组标准点集匹配实验，测试了一种理想情况和两种干扰情况，将本文算法Kullback-Leibler divergence of Unscented Transform(KL-UT)和Iterative Closest Point(ICP)算法以及Kernel Correlation(KC)算法进行对比，对比实验结果如图1所示，其中图1(a)、(b)和(c)分别是不存在出格点和噪声、仅存在噪声、同时存在噪声和出格点3种情况下不同算法的点集匹配结果。从实验结果可以看出：不存在出格点和噪声的情况下，本文算法和KC算法能取得较好的结果，而ICP由于初始位置的影响，使得匹配失败。当存在大量噪声或同时存在噪声和出格点时，本文算法能够取得更好的结果。

2.2真实图像实验

红外图像采用实际获取的航空图像，可见光基准图像采用卫星遥感图像如图2(a)、(b)所示。

图1　不同算法的点集匹配结果

Sobel边缘检测算子提取特征点集，结果如图3(a)、(c)所示。利用成像姿态参数将红外边缘特征点校正为正下视[14]，如图3(b)所示。对比图3(b)、(c)发现，红外图像边缘特征点集包含大量的噪声及出格点，使得匹配难度增大。3种方法匹配结果对比如图4所示，由于ICP算法易陷入局部极值中，从而出现了误匹配，KC算法匹配精度低于本文算法。图5(a)给出了可见光基准图在红外实时图中精确匹配的结果，图5(b)给出了本文算法的迭代收敛曲线，其中，KL散度值是将各特征点集进行归一化后再运算得到的，由曲线表明该方法收敛速度较快。在主频为2.40 GHz的Intel i7 CPU上进行实验，ICP算法平均耗时13.45 s，KC算法平均耗时23.30 s，本文算法平均耗时14.77 s。实验结果表明：本文算法鲁棒性较强。

图2　红外和可见光图像

图3　红外和可见光图像边缘特征点集

图4　不同算法的匹配结果

图5　实验结果

3　结束语

针对红外与可见光异源图像匹配易因噪声和出格点较多而导致算法失效的特点，提出了基于无迹变换的KL散度异源图像匹配方法，利用了KL散度对概率模型良好的辨识和评价能力，较好地完成了强退化特征条件下的异源图像匹配。后续可以通过算法优化及并行计算提高算法运算速度。

[1]HABER E,MODERSITZKI J.Intensity gradient based registration and fusion of multi-modal images[C]//International Conference on Medical Image Computing and Computer-Assisted Intervention.Springer Berlin Heidelberg.2006:726-733.

[2]刘松林,孙刚,牛照东，等.基于相对相位直方图的数字表面模型数据与遥感图像配准[J].光学精密工程,2014,22(6):1696-1705.

[3]李壮.异源图像匹配关键技术研究[D].长沙:国防科技大学,2011.

[4]李海,张宪民,陈忠.基于直线检测的棋盘格角点自动提取[J].光学精密工程,2015,23(12):3480-3489.

[5]王健博,朱明.基于字典描述向量的实时图像配准[J].光学精密工程,2014,22(6):1613-1621.

[6]刘松林,孙刚,牛照东，等.基于相对相位直方图的数字表面模型数据与遥感图像配准[J].光学精密工程,2014,22(6):1696-1705.[7]ISTENIC R,HERIC D,RIBARIC S,et al.Thermal and visual image registration in hough parameter space[C]//Systems,Signals and Image Processing,2007 and 6th EURASIP Conference focused on Speech and Image Processing,Multimedia Communications and Services.14th International Workshop on.[S.l.]:IEEE,2007:106-109.[8]MAES F,COLLIGNON A,VANDERMEULEN D,et al.Multimodality image registration by maximization of mutual information[J].IEEE transactions on Medical Imaging,1997,16(2):187-198.

[9]PLUIM J P W,MAINTZ J B A,VIERGEVER M A.Image registration by maximization of combined mutual information and gradient information[J].IEEE Transactions on Medical Imaging,2000,19:809-814.

[10]CAETANO T S,CAELLI T,SCHUURMANS D,et al.Graphical models and point pattern matching[J].IEEE Transactions on Pattern Analysis and Machine Intelligence,2006,28(10):1646-1663.

[11]HERSHEY J R,OLSEN P A.Approximating the Kullback Leibler divergence between Gaussian mixture models[C]//2007 IEEE International Conference on Acoustics,Speech and Signal Processing-ICASSP’07.[S.l.]:IEEE,2007,4:IV-317-IV-320.

[12]JULIER S J,UHLMANN J K.Unscented filtering and nonlinear estimation[J].Proceedings of the IEEE,2004,92(3):401-422.

[13]JULIER S J,UHLMANN J K.A general method for approximating nonlinear transformations of probability distributions[R].Technical report,Robotics Research Group,Department of Engineering Science,1996.

[14]GOLDBERGER J,ARONOWITZ H.A distance measure between GMMs based on the unscented transform and its application to speaker recognition[C]//INTERSPEECH.2005:1985-1988.

[15]朱鹏.前视序列图像地面目标识别定位方法研究[D].武汉：华中科技大学,2012.

(责任编辑杨文青)

Multi-Source Image Registration Method Based on Kullback-Leibler Divergence of Unscented Transform

WANG Jia1, WANG Ping1, HUA Xiao-qiang1, WU Feng-yang2, CAO Ya-fei3

(1.ATR Key Laboratory, National University of Defense Technology， Changsha 410073, China;2.Research Institute, Hubei Academy of Spaceflight Technology, Wuhan 430040, China;3.Representative Office of the PLA Rocket Force in Changsha, Changsha 410205, China)

A method for infrared/optical multi-sensor image matching based on Kullback-Leibler (KL) divergence of unscented transform was proposed. Firstly, we extracted Sobel edge points sets from the multi-sensor image respectively, and rectificated forward-looking infrared image point set; and then, we established Gaussian mixture models(GMM) on the two point sets respectively, and calculated the Kullback-Leibler divergence between the two GMM by unscented transform, and used derivative-free method to minimize the KL divergence, which the corresponding transformation matrixTminis the matching matrix of the two point set; Experimental results show that the proposed algorithm is robust to noise and outliers.

Kullback-Leibler divergence; unscented transform; Gaussian mixture model; multi-sensor image matching

2016-01-24

国家自然科学基金资助项目(61401504);中国博士后科学基金资助项目(2014M562562)

王佳(1987—),男,湖南郴州人,硕士研究生,主要从事计算机视觉、自动目标识别方向的研究，E-mail:wangj_cs04@sina.com。

format：WANG Jia, WANG Ping, HUA Xiao-qiang,et al.Multi-Source Image Registration Method Based on Kullback-Leibler Divergence of Unscented Transform[J].Journal of Chongqing University of Technology(Natural Science)，2016(8):137-142.

10.3969/j.issn.1674-8425(z).2016.08.022

TP751.1

A

1674-8425(2016)08-0137-06

引用格式：王佳,王平,华小强,等.基于无迹变换的KL散度异源图像匹配方法[J].重庆理工大学学报(自然科学)，2016(8):137-142.