基于归一化互信息和金字塔分解优化的图像配准算法研究

刘晓慧，杨新锋

基于归一化互信息和金字塔分解优化的图像配准算法研究

刘晓慧，杨新锋

针对红外和可见光图像的特点，提出了一种改进的以归一化互信息为相似性测度的异源图像配准方法。为了提高算法的效率，采用金字塔分解法对该算法进行了优化。以红外和可见光图像的配准作为验证实验，证明了该算法的有效性。关键词：多源图像；图像配准；互信息；金字塔分解

0 引言

图像融合[1]的概念起源于二十世纪七十年代后期，是将多个传感器在同一时间或不同的时间获取的关于某个具体场景的图像或图像序列信息、加以综合，以生成新的有关此场景解释的信息处理过程。其原理是将同一对象的多个源的图像合成到一幅图像中，以使融合后的图像比原来任何一幅都更容易被人们所理解。

通常在观察同一目标或场景时，多传感器在不同时间或同一时间获取的图像信息是有所差异的[2]。即使是单一的传感器，在不同观测时间、不同观测角度或不同的环境条件下获得的同一场景的图像信息也可能不同。这些图像问的不同就构成了多源图像信息间的互补关系，图像融合就是通过对源图像问这些冗余信息和互补信息、进行处理，使得到的融合图像更可靠的、更客观的、更精确和更全面的对某一场景进行图像描述[3,4]。

图像融合是计算机图像处理领域的一项新技术，已成为众多学科感兴趣的一个重要研究领域，其应用十分广泛[5-7]。

1 多源图像融合的流程

多源图像融合的流程一般为多源图像的预处理、图像配准、图像融合及图像的后续处理等步骤[8,9]，如图1所示：

图1 图像融合流程图

多源图像的预处理一般指对获取的不同源图像进行的初步处理，包括源图像信息的增强，图像的平滑滤波以及为后续图像配准做准备的边缘检测等处理，通过源图像的顶处理，可以实现图像的降噪，突出图像的重要的特征信息，为图像的精确配准提供保障。

图像的配准是指把在不同条件下获取的多源图像进行匹配的图像处理过程，是图像处理中的一个基本问题，也是图像融合前的重要步骤之一，也是难点之一，配准效果的好坏将直接影响到最终的融合效果。

图像融合即是把配准后的多源图像按照一定的方法进行信息、融合的过程，其算法的选取直接影响到融合效果。

后续处理是指对融合后的图像进行进一步处理的过程，根据目的不同其处理的方法也不同，比如为了突出融合图像信息而采用图像信息增强，特征提取的后续处理等[12]。

2 多源图像配准

多源图像由于是从不同的传感器获取的图像，由于获取图像时传感器的位置不可能完全一样，各个传感器的特点及获取的空间范围又有所不同，故所获取的源图像或多或少的存在不匹配的现象。由于我们融合时是要求所有源图像尽

可能是对同一场景同一目标的描述，故在融合前需要对图像进行配准处理，以便于后面的融合处理。

2.1 图像的预处理

从不同传感器中获取的源图像，受设备或者环境因素，或多或少的会含有噪声，有时候会对配准处理造成很大的影响，故在进行图像配准前，一般要多源图像进行预处理，为图像的配准奠定基础。

本文采用空域滤波的中值滤波的方法对图像进行预处理，去除红外图像的噪声。中值是滤波取其滤波窗口内经过排序后的中间像素的值，而与原来像素点的值没什么必然的联系。所以如果图像中某物体尺寸较小，排序后该物体没有像素点排在中间，那么滤波后该物体就会被腐蚀甚至消失，所以我们在进行中值滤波操作时先设一个域值，当只有该点的值与邻域中值的差大于域值时才取邻域的中值，否则就保留该点的值。这样的话，如果是噪声点，它和邻域的中值就会相差较大，就可以把它去掉。如果是物体，邻域中还有物体本身的点，所以邻域的中值和该点的值就不会相差太大，只要我们设置合适的域值，就可以保留该点的值，

2.2 基于梯度边缘信息的互信息配准方法

由于红外图像反映的是景物的辐射信息而可见光反应的是景物的反射信息，所以红外图像和可见光图像的灰度特性相差很大。从红外图像和可见光图像的灰度特点来看，其灰度映射关系通常是局部的，直接运用互信息的话并不能取得较好的效果。并且直接运用互信息法的过程中也没有用到红外图像和可见光图像的一些重要的边缘信息，故本文提出一种基于红外图像和可见光图像的梯度边缘信息，并以互信息和归一化互信息为相似性准则的配准方法，并采用金字塔分解的方法进行优化。该方法主要包括3个过程：源图像的梯度边缘信息提取、以归一化互信息为相似度准则的匹配和金字塔分解算法的优化。

（1）图像梯度边缘提取

图像的边缘是图像最基本特征。不论是何种图像传感器，其边缘均是图像信息最重要特征，也是多源图像配准最重要的参照信息。由于受图像质量的影响，往往难于凸显，因此必须采用有效的算法，检测出图像的边缘特征。

本文基于文献[10]的方法获取边缘图像，首先定义一个扩展结构Q为式（1）：

式（1）中，符号“*”表示卷积运算符号、Kp表示一个标准差的二斯高维核，Ix和Iy分别表示了图像梯度在 x，y方向上的分量，对图像中的每个像素点的Q进行特征值分解，得到两个特征向量w1和，以及两个特征值u1和u2（u1＞ u2），如果一个像素对应的两个特征值之间有较大的差值，则这个像素点很可能位于图像的边缘上。但是，强边缘上的点对应的特征值之间的差值，会远大于弱边缘上的点对应的特征值之间的差值。为了使差值与边缘的强弱无关。对于每个像素，定义参数c如式（2）：

对实验室可见光图像进行梯度边缘信息、提取作为实验，用canny算法进行边缘提取作为对比实验，其实验结果如图2所示：

图2 梯度边缘与Canny的效果图

图2中（a）图为原始的可见光图像，（b）图为采用canny算子提取的边缘图像，（c）图为本文方法的结果图像。由图中可以对比看出，该种方法提取的边缘图像不仅能够完整的提取出原图的所有边缘特征，而且能够将边缘扩展到附近区域。使能够用到的信息进一步增加，为配准的精度提供了信息保证。

（2）归一化互信息取大配准

在配准时的相似度准则的选择上，本文选用归一化互信息取大的相似度准则[51]，其中用于匹配的信息即为上一步中提取的边缘信息，因为边缘信息要比图像的整体灰度信息少很多，所以可以大大提高归一化互信息配准的速度，并且通过上一节的边缘信息的提取可以看出，每幅图像的边沿信息提取的很多，这就保证了归一化互信息配准的精度，其具体的实施原理和过程如下。

假设经第一步处理后的可见光图像和红外图像获取的边缘图像分别为和，则其熵为和，其联合熵为，那么其归一化互信息为式（3）：

其中式（4）、（5）、（6）：

式中a为相似性测度，T是空间变换关系。故其配准过程可表示如式（8）：

当边缘A和B达到最佳配准时，它们对应的图像特征的归一化互信息应为最大。

其进一步实现过程为：首光对参考图像A和浮动图像B按照给定的初始点计算多源图像配准A和的互信息，然后利用方向加速法 Powell算法依据归一化最大互信息理“空间几何变换——计算互信息值——最优化判断”的过程，直至搜索到满足精度要求的参数，最后输出配准参数。用所获得的配准参数对多源图像进行配准，获取最后的配准结果。

（3）金字塔分解优化

为了在保证配准精度的同时提高图像的配准速度，可以利用金字塔分解法对待配准的可见光图像和红外图像进行分解，分解的层数可以自行定义，一般分解到3级，（当原始图像分辨率不高的时候可适当降低金字塔的分解等级，以免出现分解后上层图像信息严重模糊的现象），即把图像的宽和高缩小为原来的1/8大小，这时最顶层金字塔图像的计算量为原图像的1/64，由此可见，金字塔分解可大大减少计算量。

其优化过程的实现是在源图像的预处理之后，把处理后的源图像进行金字塔分解，然后从金字塔图像的最高层开始进行归一化互信息配准，配准方法如前文所述，直到获得该层的最佳匹配参数，然后把此参数传给下一层的图像配准过程，作为配准的引导，以此来减少下一层的配准计算量，继而再获得更为精确的配准参数，如此循环，直到原始边缘图像为止，即为要求的匹配参数。该方法的匹配流程如图3所示。

图3 配准算法流程示意图

2.3 实验及结果分析

实验中令可见光图像为参考图像，红外图像为浮动图像。以可见光图像的左上角为原点，向右和向下为x和y的正方向，顺时针方向为旋转角的正方向。用金字塔分解法对参考图像和待配准图像进行三层分解，再分别对每层图像进行梯度边缘检测，获取边缘图像。

实验图像为人物可见光图像和红外图像，图像大小都为460*348，人物的可见光图像（即参考图像）原图及经金字塔分解后的各层图像如图45所示：

图4 可见光金字塔分解图像和各层边缘图像

图4（a）为原图（i=0），图4(b)为第一层图像（i=1），图4（c）为第二层图像（i=2），图4（d）为第三层图像（i=3），图4（e）为原图采用本文方法的边缘图像（i=0），图4（f）为第一层可见光图像的边缘图像（i-1），图4（g）为第二层可见光图像的边缘图像多源图像配准（i=2），图4（g）为第三层可见光图像的边缘图像（i=3）：

人物的红外图像(即浮动图像)原图及经金字塔分解后的各层图像如图5所示：

图5 红外图像金字塔分解图像和各层边缘图像

图5（a）为原图（i=0），图5（b）为第二层图像（i=2），图5（b）为第三层图像（i=3），图5（e）为原图采用本文方法的边缘图像（i=0），图5（f）为第一层红外图像的边缘图像（i=1），图5（g）为第二层红外图像的边缘图像（i=2），图5（h）为第三层红外像的边缘图像（i=3）：

第二组可见光图像和红外图像的配准结果如图6所示：

图6 人物图像的配准结果

图6（a）图为没有配准的源图像直接叠加的效果图，图6（b）为配准转换过的源图像的叠加图。获得的配准参数为：x方向位移-6，y方同位移-13，旋转角度为1.7，缩放

比例为1.02。

由图6可以看出，该种方法针对红外和可见光图像具有较好的配准效果。

3 总结

本文主要对源图像预处理和多源配准技术进行了研究。源图像的预处理主要为图像的去噪处理，本文首先采用改进后的中值滤波方法对红外图像进行去噪处理。针对多源图像的信息差异大等特点，提出了本文采用的基于边缘梯度信息的以归一化互信息为相似度准则的配准方法，并采用金字塔分解方法对该算法进行了速度优化。最后用两组同一场景的红外图像和可见光图像作为多源图像，进行了配准实验，验证了该方法的效果。

针对异源图像的配准，本文算法对边缘信息丰富的多源图像能够取得较好的效果，而对边缘信息不丰富的多源图像则配准效果不理想，在接下来的研究中应该更进一步完善特征信息的提取体系，把除了边缘以外的其他特征信息也加入到配准信息中来。

[1] 臧丽，王敬东. 基于互信息的红外与可见光图像快速配准[J]. 红外与激光控制, 2008, 37(l)：164-168.

[2] 汪静，张雪松. 红外与可见光图像自动配准算法的研究[J]. 红外技术, 2010, 32(3)：137-141.

[3] 孟令杰,廖楚江,等. 多源图像融合技术的发展与军事应用研究[J]. 航天电子对抗, 2010,27(3)：17-19.

[4] 吴泽鹏，郭玲玲,等.结合图像信息熵和特征点的图像配准方法[J].红外与激光工程,2013, 4(29)： 2848-2852.

[5] 李英杰，张俊举, 等.远距离多波段红外图像融合系统及配准方法[J]. 红外与激光工程, 2016,45(5)：0526002-1 - 0526002-7.

[6] An Jianni, Liu Guixi. Image mosaic algorithm basd on feature points matching and automatic transform parameters identifying [J]. Infrared and Laser Engineering, 2011, 40(3)： 564-569.

[7] Bai Lianfa, Han Jing, Zhang Yi, et al. Registration algorithm of infrared and visible images based on improved gradient normalized mutual information and particle swarm optimization [J]. Infrared and Laser Engineering, 2012, 41(1)： 248-254.

[8] Chen Chao, Qin Qiming, Jiang Tao, et al. An improved method for remote sensing image registration [J]. Acta Scientiarum Naturalium Universitatis Pekinensis, 2010, 46(4)：629-635.

[9] He Baigen, Zhu Ming. Improved fully affine invariant SIFT-based image matching algorithm [J]. Optics and Precision Engineering, 2011, 19(10)： 2472-2477.

[10] 崔伟,刘圣霞,等. 基于互信息和梯度的红外与可见光图像配准新方法[J].激光与红外,2011,41(2)224-228.

Research on Image Registration Algorithm Based on Normalized Mutual Information and Pyramid Decomposition Optimization

Liu Xiaohui1, Yang Xinfeng2
(1. Computer Network Center, Nanyang Institute of Technology, Nanyang 473004, China；2. School of Computer and Information Engineering, Nanyang Institute of Technology, Nanyang 473004, China；)

In this paper, based on the features of infrared images and visible images, a new improved registration method has been put forward. The method takes normalized mutual information as the similarity measure of heterologous image. In order to speed up the algorithm, the pyramid decomposition method has been used to realize algorithm optimization. Registration experiments with the infrared and visible light images have proved the validity of the algorithm.

Multi source image； Image registration； Complementary information； Pyramid decomposition

TP391

A

1007-757X(2016)11-0019-04

2016.07.03）

河南省科技攻关重点计划项目（122102210563，132102210215）；河南省高等学校重点科研项目计划（15B520008）

刘晓慧（1987-），女（汉），河南南阳人，南阳理工学院，计算机网络中心，助教，硕士，研究方向：计算机应用，南阳 473004

杨新锋（1979-），男（汉），河南南阳人，南阳理工学院，计算机与信息工程学院，副教授，硕士，研究方向：图像处理，南阳 473004