基于小波变换的双波段红外图像融合方法

朱祥玲，吴钦章，陈 洪

(1.中国科学院大学，北京 100049;2.中国西昌卫星发射中心技术部，四川西昌 615000; 3.中国科学院光电技术研究所，四川成都 610209)

基于小波变换的双波段红外图像融合方法

朱祥玲1，2，吴钦章3，陈 洪2

(1.中国科学院大学，北京 100049;2.中国西昌卫星发射中心技术部，四川西昌 615000; 3.中国科学院光电技术研究所，四川成都 610209)

针对红外探测器长波图像和中波图像的特征，采用基于小波变换的方法实现双波段红外图像的融合。在对不同波段红外图像小波分解的基础上，对低频子带图像采用加权平均，对高频子带图像采用区域能量最大的融合规则得到融合图像的多分辨率结构，再利用小波逆变换重构融合图像。仿真结果表明，和普通基于空域加权平均的方法相比无论从主观视觉还是通过客观评价指标的计算结果来看，基于小波变换的双波段红外图像融合方法均具有更为理想的图像融合效果。

红外图像;小波变换;图像融合

1 引 言

红外成像作用距离远，可以探测被遮挡目标并且可以在黑暗条件下成像，在航天测控和成像制导等方面得到广泛应用。随着技术的发展，红外成像由单一波段逐渐向双波段发展，即红外探测器同时输出长波和中波图像。目标在不同的波段具有不同的辐射特性，有时用长波红外探测不到的目标却可以用中波红外有效检测出来。但是，目前双波段红外探测器不同波段的红外图像通常未能得到综合利用。本文结合不同波段红外图像的辐射特征采用基于小波变换的图像融合方法，对图像小波分解后的低频分量采用加权平均，对高频分量采用区域能量最大的方法实现了长波红外与中波红外图像的有效融合。仿真结果表明，采用本文的算法融合后的双波段红外图像内容清晰，空间细节丰富，其图像融合的客观评价指标优于基于普通空域加权平均的图像融合方法。

2 双波段红外图像辐射特性

在双波段红外探测中，一般采用中波波段(3～5μm)和长波波段(8～12μm)。目标辐射在不同的波段具有不同的辐射照度，红外辐射遵循普朗克辐射定律［1］，即:

其中，Mλbb是黑体的辐射光谱辐射出射度;λ是辐射波长;T是表面温度;c1是第一辐射常数，c1= 3.7418×108W·M－2·μm4;c2是第二辐射常数，c2=1.4388×104μm·K。

根据普朗克辐射定律，画出不同温度下黑体辐射出射度随波长的变化关系如图1所示。从图中可以看出，光谱辐射出射度随波长连续变化，每条曲线只有一个极大值。随着温度的升高，曲线峰值所对应的波长向短波长方向移动，黑体辐射中波长较短部分所占的比例增加。

图1 不同温度下黑体的辐射出射度随波长的关系

图2是双波段红外探测器不同波段的图像特征，由于目标在长波和中波波段具有不同的红外辐射特性，从成像效果来看区别较为明显，主要表现在以下方面:

图2 双波段探测器不同波段红外图像特征

(1)中波图像中温度较高的目标和温度较低的背景的灰度值相差比较大，目标比较明显;在长波段高温目标和温度较低的背景的灰度值相差比较小，目标不一定明显。

(2)中波图像目标与背景的对比度量化范围大，量化误差较大，图像场景细节相对比较少。长波图像量化误差比较小，低温场景的细节相对较为丰富。

(3)中波图像目标和背景辐射对比度变化范围大，量化后图像的灰度分布比较分散，场景中的高温区域越少，图像整体越偏暗。长波图像的灰度分布比较均匀，图像整体亮度较亮。

3 基于小波变换的红外图像融合

由于红外成像技术自身的特点，采用单一波段的红外探测器具有一定的局限性。有时用中波红外探测器难以发现的目标，用长波红外探测器可以有效地检测出来。将双波段红外图像进行融合处理，可以充分发挥红外探测器的性能。双波段红外图像融合通常采用空域加权平均的方法［2］，具有一定的图像增强效果。但是该方法没有和双波段红外图像的辐射特性结合起来，融合图像的目标轮廓和边缘细节因为平滑操作而变得模糊。本文结合双波段红外图像的辐射特性，采用基于小波变换的图像融合方法，其融合过程如图3所示。即首先对原始红外图像分别进行小波变换，将其分解在不同频段的不同特征域上。在不同的特征域上采用相应的算法对子带图像进行融合，构成多分辨率的小波金字塔结构，最后通过小波逆变换重构融合图像。

图3 基于小波变换的图像融合方法示意图

(1)红外图像的小波分解

在进行红外图像融合前，采用小波变换将图像分解在不同的特征域上。在本文中小波分解采用Mallat二维离散小波分解算法［3］，二维图像C(m，n)的小波分解过程为:

其中，Cj+1，Dhj+1，Dvj+1和Ddj+1分别对应于图像Cj经小波分解后的低频分量、水平高频分量、垂直高频分量和对角高频分量。H和G分别是尺度函数和小波函数对应的滤波器系数矩阵，H'和G'是矩阵H和G的共轭转置矩阵。

小波变换中小波分解的层数越多，获得的图像细节信息就会越多，融合的频率范围也越丰富。但是，小波分解的层数并不是越多越好，对不同种类的图像存在着不同的最佳分解层数［4］。小波变换层数增多不仅会大大增加图像融合算法的运算量，并且当小波分解尺度增大到一定程度时会产生方块效应引起图像的边界失真，这些图像损失在小波反变换时不能恢复。因此，图像小波分解的层数不能过高，在本文中采用2层小波分解。

图4是红外双波段图像小波分解的结果，从图中可以看出图像的能量主要集中在低频部分，图像的边缘和细节主要包含在高频部分，部分在长波图像的高频子图中表现不明显的图像细节在中波红外图像的高频子图中表现得更为清晰。

图4 红外双波段图像小波分解结果

(2)小波分解子带图像融合规则的选择

在红外双波段图像小波分解后的低频子带和高频子带分别采用不同的融合规则进行图像融合，设计融合规则的理论基础是［5］:小波分解后的低频部分表征图像的近似部分，高频部分表征图像的细节信息，高频波段的系数绝对值越大，表示该处亮度变化越剧烈，即可能包含图像的边缘、线条或区域边界。从图4红外双波段图像的小波分解结果可以看出，长波和中波图像的目标细节部分主要分布在高频部分，在低频方向的差异并不大。为了减少算法的运算量，在低频子带上采用加权平均的融合规则，即:

其中，fA(i，j)和fB(i，j)分别代表长波红外低频子带图像和中波红外低频子带图像在像素点(i，j)处的灰度值;ωA和ωB分别为相应的加权系数;ωA+ ωB=1。由于和长波红外图像相比，中波红外图像相对较暗，在进行低频子带融合时一般取ωA＞ωB。

红外双波段图像小波分解后的高频子带图像包含了目标或背景的细节部分，常用的高频子带图像的融合包括基于像素以及基于区域两种融合规则。基于像素的图像融合要求融合前的源图像之间严格配准，并且没有考虑邻近像素点小波变换的相关性。在小波分解中，高频子带系数之间存在着明显的区域相关性。考虑到小波变换时附近的波系数的影响，本文采用基于区域能量最大的高频子带图像融合规则。首先确定图像区域的尺寸，然后计算区域的图像能量。设两幅图像小波分解后的高频子带图像分别为Ak和Bk(k=1，2，3分别代表图像经小波分解后的高频水平子图、高频垂直子图和高频对角子图)，区域窗口大小为M×N(M=2l+1，N= 2v+1)，则图像在像素点(i，j)处的区域能量为:

根据区域能量最大原则，融合后的高频子带图像为:

其中，Fk(i，j)表示高频子带图像在像素点(i，j)处的融合值。

(3)图像重构

采用小波逆变换对经过融合的低频和高频子带图像进行重构得到融合图像，即:

4 图像融合效果的客观评价指标

如何评价图像融合效果是红外图像融合中的重要步骤，根据人的主观视觉评估的方法是目前最为常用的图像评估手段。主观评价法简单直观，但是当两幅图像差别不太大时评价结果因人而异，缺乏说服力。本文在主观评价的基础上，还进一步采用图像的信息熵、平均梯度、标准偏差和互信息量等指标对红外双波段图像的融合效果进行客观评价。

(1)信息熵(Information Entropy)

图像信息熵的大小反映了图像包含信息量的多少，定义为［6］:

其中，L表示图像灰度总的灰度等级;pi表示灰度值为i的像素数占图像总像素的比例。信息熵越大，表示图像所包含的信息量越大，融合效果越好。

(2)平均梯度(Average Gradient)

平均梯度反映了图像对微小细节和纹理变化特征的表达能力，也反映了图像的清晰度。一般来讲，平均梯度越大，图像越清晰。图像的平均梯度定义为:

(3)互信息(Mutual Information)

互信息用于反映融合图像与源图像之间的关联程度，互信息量越大，表明融合图像从源图像中获取的信息越多，融合效果越好。图像间互信息的定义式为［7］:

标准偏差反映了图像灰度值相对于图像灰度均值的离散程度，标准偏差越大，则灰度级分布越分散，视觉效果越好。图像标准偏差的定义为:

5 仿真验证

采用计算机仿真的方法对本文基于小波变换的红外双波段图像融合算法的效果进行验证，其中小波分解层数为2，小波基采用Harr正交小波。在小波分解后的低频子带图像采用加权平均的方法进行融合，加权系数分别为ωA=0.6，ωB=0.4。高频子带图像采用区域能量最大的规则进行融合，图像区域的大小取3×3。

图5是本文基于小波变换的双波段红外图像的融合效果，从图中可以看出采用普通基于空域加权平均的方法融合图像的清晰度有所提高，但图像的部分细节因为图像的平滑效应难以分辨。而采用小波变换的方法进行双波段红外图像融合后所得的图像细节更为突出丰富，如图中路面、行人以及轮船的轮廓等细节更为清晰可辨。

图5 小波变换图像融合效果

考虑到通过视觉判断的方法具有一定的主观性，本文还通过计算融合后图像的标准偏差、平均梯度、信息熵以及与源图像间的互信息等指标对图像的融合效果进行客观评价，计算结果如表1所示。

表1 红外图像融合的客观评价指标

从表1的计算结果可以看出，采用小波变换融合图像的标准偏差、平均梯度、信息熵以及互信息量均大于普通基于空域加权平均的融合图像，图像融合效果更为理想。

6 结束语

双波段红外探测器在航天测控和成像制导等方面的应用越来越广泛，本文提出的红外图像融合方法结合不同波段红外图像的辐射特性，利用小波多尺度分解的优点，有效实现了双波段红外图像的融合，可以充分发挥双波段红外探测器的性能。仿真结果表明，和普通基于空域加权平均的方法相比，无论从主观视觉还是通过客观评价指标的计算结果来看基于小波变换的双波段红外图像融合方法均具有更为理想的图像融合效果。

［1］RichardsonMark A.Low-cost pc-based high fidelity infrared signature modeling and siulation.［D］.Shrivenham: Cranfield Defence and Security，2007:2－15.

［2］Lallier E，Farooq M.A real time pixel-level based image fusion via adaptive weight averaging.［C］.Proceedings of international conference on information fusion，2000，22 (9):3－13.

［3］WEIMingguo.Practical wavelet analysis［M］.Beijing.Beijing Institute of Technology Publishing House，2005.(in Chinese)

魏明果.实用小波分析［M］.北京:北京理工大学出版社，2005.

［4］ZHAO Dapeng，SHI Jiaming.Study on the optimal parameters of image fusion based on wavelet transform.［J］.Laser＆Infrared，2007，37(2):189－193.(in Chinese)

赵大鹏，时家明.小波图像融合的最佳参数研究［J］.激光与红外，2007，37(2):189－193.

［5］LIU Songtao，SHEN Tongsheng，YANG Shaoqing.Multiresolution image fusion algorithm based on adaptive fusion rule［J］.Laser＆Infrared，2007，37(8):788－791.(in Chinese)

刘松涛，沈同圣，杨绍清.基于自适应融合规则的多分辨率图像融合算法［J］.激光与红外，2007，37(8): 788－791.

［6］覃征，鲍复民，李爱国，等，数字图像融合［M］.西安:西安交通大学出版社，2004:11－19.

［7］Qu G H，Zhang D L，Yan P F.Information measure for performance of image fusion.［J］.Electronics Letters，2002，38(7):313－315.

Fusion algorithm of dualwaveband infrared images based on wavelet transformation

ZHU Xiang-ling1，2，WU Qin-zhang3，CHEN Hong2
(1.University of Chinese Academy of Sciences，Beijing，100049;
2.Xichang Satellite Launching Center of China，Xichang，615000;
3.The Institute of Optics＆Electronics the Chinese Academy of Sciences，Chengdu 610209)

According to the radiation characteristics of long wave infrared image and medium wave image，a fusion algorithm of dualwaveband infrared images based on wavelet transformation is presented.Firstly，the low frequency subband images are fused with corresponding weighting coefficients，and then the high frequency sub-band images are fused according to the rule of themax region power.Finally，the fused image is reconstituted through the inversewavelet transformation.Computer simulation shows that the fused dual band infrared image based on wavelet transformation hasmore preferable effect in subjective visual and objective evaluation compared with the fusion algorithm of spatial weighed average.

infrared image;wavelet transformation;image fusion

TP751

A

10.3969/j.issn.1001-5078.2014.05.020

1001-5078(2014)05-0572-05

朱祥玲(1975－)，女，高级工程师，主要从事航天测控，图像处理方面研究。E-mail:zhuxiangling@sina.com

2013-09-10