一种基于小波变换的可见光与红外图像融合算法研究

刘 倩，杜 宏，薛庆增

(中国北方车辆研究所，北京100072)

图像融合技术(Image Fusion Technology)是一门综合了传感器、图像处理、信息处理、计算机和人工智能等多种学科的现代高新技术.所谓图像融合是指对多个传感器采集到的关于同一场景或目标的互补信息进行适当的融合处理，以获取对同一场景的更为准确、更为全面、更为可靠的图像描述[1].图1为不同传感器在同一场景下所获的信息构成.

图1 传感器信息构成

基于像素级的融合方法大概可以分为3类[2]:

1)简单的图像融合方法.该方法直接对源图像中各对应的像素分别进行选择、平均、加权等简单处理，最终合成一幅融合图像.该方法实现起来简单，但是融合效果一般，应用范围有限.

2)基于塔形分解的融合方法.该方法是对源图像进行塔形分解，再对塔形分解的子图进行融合处理，最后通过逆塔形变换得到融合图像，是一种多尺度、多分辨率图像融合方法，其融合过程是在不同尺度、不同空间分辨率、不同阶层上分别进行的.根据图像的塔形分解类型，塔形分解的融合方法又分为:(1)基于拉普拉斯塔形分解的图像融合方法;(2)基于比率塔形分解的图像融合方法;(3)基于对比度塔形分解的图像融合方法;(4)基于梯度塔形分解的图像融合方法.

与简单的图像融合方法相比，该方法可以获得明显改善的融合效果.但是图像在进行塔形分解后，其数据总量比原图增加了约1/3，不利于图像的存储和传输.

3)基于小波分解的图像融合方法.该方法是对各源图像进行小波分解，形成多尺度分解图像，然后在各个分阶层上分别进行融合处理，形成融合后的多尺度小波分解图像，最后，通过逆小波变换重构融合后的图像.小波变换也是一种多尺度、多分辨率分解，并且具有非冗余性和方向性，这样既保证了图像的融合质量，又克服了塔形分解中数据量增加的问题.

本文是在小波变换的基础上，提出了一种红外与可见光图像融合算法.实验表明，该算法取得了很好的融合效果.

1 基于小波变换的图像融合原理

1.1 图像的小波分解

图像为二维信号，可以用二元函数f(x，y)来表示[3]，因此采用二维小波进行分解.设Vj是一个二维可分离的多分辨率分析，(j∈Z)是L2(R)上的一个多分辨率分析，其尺度函数为φ，小波函数为ψ，那么有相应于二维的可分离的尺度函数φ(x，y)和3个可分离的方向敏感小波函数，ψH(x，y)，ψV(x，y)，ψD(x，y)为:

沿着不同的方向小波函数会有变化，ψH，ψV，ψD，分别对应水平、垂直和对角3个方向.对于每一个j∈Z，它们的整数平移系为:

对于任意二维图像信号f(x，y)∈L2(R×R)，在分辨率2-j下有:

上式表明，在2-j分辨率上将图像分解为四个子图，分别用LL、LH、HL、HH表示，分解的塔形结构[4]见图2.

图2 图像小波分解塔形结构

1.2 基于小波变换的融合算法

小波分解后，图像的低频成分所包含的信息大致相同，所以采用加权平均的算法对其融合;而高频成分中包含着丰富的图像边缘信息，而边缘代表着信号的突变[5]，包含了图像的主要信息，所以本算法将重点放在如何将高频分量中的边缘信息加以强化，进而得到效果更好的融合图像.

为了便于表述，用A、B分别代表两幅待融合的源图像.本文提出的融合算法分为以下步骤:

1)对A、B进行小波分解，得到对应的低频和高频子图;

2)对小波分解后A、B的顶层低频近似分量取加权平均值[6]，作为融合图像在该尺度上的低频近似分量;

3)对小波分解后A、B不同尺度下不同方向的高频分量进行边缘检测，得到高频系数的边缘图像A1、B1;

4)将A1、B1中值为1(A1、B1为二值逻辑图像)的像素点与各个相应高频子图的像素点对应，并将这些像素点乘以一个系数做增强处理，记为A2、B2;

5)将增强后的高频子图A2、B2做相加处理，得到融合图像的高频子图;

6)将步骤2)和步骤5)得到的低频分量和高频分量进行小波逆变换，从而得到融合后的图像.图3为基于小波变换的图像融合原理.

图3 基于小波变换的图像融合原理

2 融合实验

为验证本文提出的算法，本文以MATLAB为开发平台，选取Biorthogonal小波系[7]中的bior3.7作为小波基，对红外成像传感器和可见光成像传感器生成的红外与可见光图像进行了融合实验.

红外成像传感器工作的波段为中波3～5 μm，长波8～12 μm，它只敏感于目标场景的辐射(主要由目标场景的辐射率差及温差决定)，而对场景的亮度变化不敏感.可见光成像传感器只敏感于目标场景的反射，而与目标场景的热对比度无关.因此由它们输出的可见光与红外图像具有互补性.

图4(a)为可见光图像，由于光线很暗，右边的黑色轿车几乎看不清，而左边的白色轿车却看得很清楚;(b)为3～5 μm的红外图像，图中的两辆轿车均较清晰，但纹理细节却模糊不清;(c)为融合后的图像，图中的两辆轿车不仅清晰可辨而且其纹理细节也清晰可见，达到了较好的融合效果.

图5(a)为可见光图像，图中的飞机外表的细节及背景树木的纹理十分清晰，而图(b)的红外图像却突出了飞机内部的发动机和背景树木的树干，经过融合得到图(c)，我们可以看到(c)综合了(a)和(b)的细节信息，具有更大的信息量.

图6(a)为可见光图像，(b)为红外图像，我们可以看到(a)中标识牌上的字母和树干的轮廓清晰可见，而(b)中的太阳光很清楚，经过融合后的图像(c)，既能看清标识牌上的字母，又能看清太阳透过树木的光线，也具有很好的融合效果.

图4 红外与可见光图像融合例1

图5 红外与可见光图像融合例2

图6 红外与可见光图像融合例3

3 结论

上述实验结果表明，该算法对可见光与红外图像具有良好的融合效果.这种算法以小波变换为基础，对不同分辨率下的图像的低频和高频分量进行融合，再通过逆小波变换进行融合图像的重构，从而得到融合后的图像.融合图像包括了可见光与红外图像不同的特征信息，信息量增大，提高了图像的分辨效果和人眼对场景目标的发现和识别概率.同时，经过融合处理，由于图像信息的有效重组和表述，有利于后续图象处理系统对信息的获取.

[1]夏明革，何 友，唐小明，等.图像融合的发展现状与展望[J/OL].舰船电子工程，2002，(6):2-3.[2010-06-04].http://d.g.wanfangdata.com.cn/Periodican_jcdzgc200106001.aspx

[2]刘桂喜.多传感器融合方法研究[D].西安:西安电子科技大学，2001.

[3]Rafael C.Gonzalez，Richard E.Woods. 阮秋琦，阮宇智，等译.数字图像处理[M].2版.北京:电子工业出版社，2010:39-40.

[4]王国锋，张 科，李言俊.基于小波多分辨分析的图像融合方法[J].红外与激光工程，2003，32(5):3-4.

[5]郭 佳.红外与可见光图像融合技术研究[D].西安:西安工业大学.2009.

[6]夏明革，何 友，欧阳文，等.基于小波分析的图像融合评述[J].红外与激光工程，2003，32(2):5-6. [2010-06-05].http://d.g.wangfangdata.com.cn/Periodical_hwyjggc20030218.aspx.

[7]张德丰.MATLAB小波分析与工程应用[M].1版.北京:国防工业出版社.2008:12-16.