一种新的红外与可见光图像融合算法*

何国栋， 石建平， 冯友宏， 谢小娟， 杨凌云

(安徽师范大学 物理与电子信息学院，安徽 芜湖 241000)

一种新的红外与可见光图像融合算法*

何国栋， 石建平， 冯友宏， 谢小娟， 杨凌云

(安徽师范大学 物理与电子信息学院，安徽 芜湖 241000)

提出了一种新的红外与可见光图像融合算法，首先应用非抽样Contourlet变换(NSCT)对图像进行多尺度、多方向变换，对变换的低频子带采用改进的能量加权法融合，带通子带融合采用最大系数与区域方差加权相结合方法，然后对融合的2个子带系数进行NSCT反变换，得到融合图像。对不同算法的融合实验结果进行比较，通过主观和客观评价，该算法融合效果较好。

图像融合; 非抽样Contourlet变换; 红外图像; 可见光图像

0 引 言

图像融合是一门建立在传感器、信号处理、图像处理和人工智能等理论基础上的新兴研究领域。图像融合提取多幅图像的重要信息，并将其融合为一幅图像，通过一幅图像表达多幅图像所包含的信息，得到一个准确、全面和立体的场景描述，实现以较少的资源表达最大的信息量。红外图像根据物体的热红外辐射特性成像，红外线能穿透一般的掩体，它常应用在夜晚或检测隐藏目标。可见光图像应用物体表面可见光反射特性成像，设备简单且应用较广，但是它受气候和能见度等环境因素影响较大。红外与可见光融合后的图像既能描述场景的环境信息，又能检测场景可能存在的隐藏信息，可以广泛应用于军事侦查和海关检测等领域，目前已经成为图像领域的研究热点[1]。

小波变换具有较好的时频特性，广泛应用于信号处理和图像处理等相关领域[2]。Contourlet变换是一种新的小波变换，它由Do M N和Vetterli M在2002年提出[3]，它比传统的小波变换具有更好的各向异性和更多的方向性，能够准确地表达图像的边缘细节信息，更好地稀疏表达图像[4]。由于Contourlet变换中存在上采样和下采样，会引入伪Gibbs效应[5]，导致图像的边缘较为模糊。2006年,Cunha A L，Do M N等人提出了非抽样Contourlet变换，它去除了上、下采样过程，它所具有的平移不变性有效地克服了伪Gibbs效应[6,7]，与Contourlet变换比较，它能更加清晰地表达图像。文献[8]将非抽样Contourlet变换与图像融合相结合，得到了较好的融合效果。

本文提出了一种新的红外与可见光图像融合算法，应用非抽样Contourlet变换对两类图像进行变换，得到低频和带通系数，对变换得到的系数分别采用不同的融合算子进行融合。仿真结果显示：与其他算法相比，本文提出的算法能更好地提取红外与可见光图像的重要信息，并进行融合，得到了较好的效果。

1 红外与可见光图像融合算子

非抽样Contourlet变换具有较好的图像表达特性，是图像处理领域重要的变换方法，本文对变换的高频和低频子带系数分别使用不同的融合算子。

1.1 低频融合算子

图像非抽样Contourlet变换得到的低频分量是源图像的概貌信息，红外图像和可见光图像在重要信息点往往表现互斥特性(隐藏在树叶后的人和树叶)，简单的加权平均可能会弱化重要的目标信息。文献[8，9]采用一种基于能量加权的低频信息融合规则，计算得到的区域能量即为融合的权值，获得了较好的效果，但该方法没有考虑目标信息的重要性，为突出目标信息，本文提出了低频融合算子。

首先对低频分量进行分块(N×N，N=3,5,7,…)，计算其能量值，然后根据公式(1)对低频系数进行融合

(1)

(2)

式中EI,i和EV,i分别为红外和可见光图像低频分量第i个子块的能量I，V分别表示红外图像和可见光图像。

1.2 高频融合算子

(3)

(4)

2 红外图像与可见光图像融合算法

本文提出了一种新的应用非抽样Contourlet变换的红外与可见光图像融合算法，具体融合实现步骤如下：

1)对待融合的图像进行非抽样Contourlet变换，得到k层、m方向的分解系数；

2)对分解的低频和高频系数应用本文提出的融合算法进行融合；

3)将上一步融合得到的融合系数进行非抽样Contourlet反变换，获得融合图像。

3 融合图像的评价

图像处理的评价主要有客观数值和主观肉眼观测2种，客观评价主要依靠具体的评价标准，主观评价则主要观测图像是否清晰等。本文采用偏差、均值和信息熵3个衡量标准对图像进行客观定量评价。

1)均值：均值反映的是一幅图像的平均灰度，均值过大或过小都将影响图像的视觉效果，图像融合提取了源图像的特征，一般融合后的图像均值会增大，其计算公式为

(5)

其中,F(i,j)为融合后图像的灰度值，M,N为图像的大小。

2)偏差：主要是计算融合后的图像与源图像之间的偏离程度，偏差越小，融合图像即更加接近源图像，较好地保留了源图像信息，偏差计算公式为

(6)

式中F表示融合图像，X(=I,V)表示源图像，M,N为图像的大小，最终的融合偏差是融合图像与两幅源图像偏差值的平均。

3)信息熵：为了描述信号包含信息量的大小，香农提出信息熵的概念，香农公式已经应用到图像领域中，用来分析图像包含的信息量大小，其计算公式如下

(7)

式中L为一幅图像总的灰度等级，Pi为灰度值为i的像素出现概率，信息熵越大说明图像包含的信息量越丰富

4 实验与算法效果分析

为了验证算法的有效性，本文选择3组红外与可见光图像进行实验，选择2种算法：1)Contourlet+本文算法(简称CT算法)；2)参考文献[9]提出的算法(简称R[9]算法)。对这3种算法的融合效果进行比较，图像如图1，融合的性能指标如表1。

源图像和3种算法得到的融合图像如图1所示，对同一组图像，对比不同的融合算法可以看出：1)本文提出的算法融合图像场景较清晰，从第一组图中可以看出，场景小树和小山丘较清晰；2)融合图像边缘保留较好，第二组图中轮廓分明的海岸线较前2种算法都清晰；3)从第三组图可以看出，红外图像中的目标信息相比其他2种算法保留较好，图中的红外目标(人)明显比其他算法清晰且突出。本文算法更好地提取了红外和可见光图像的重要目标信息，并进行融合，主观评价本文算法融合效果优于其他算法。

图1 源图像和融合图像Fig 1 Source images and fused images

第一组均值偏差信息熵 第二组均值偏差信息熵 第三组均值偏差信息熵红外97.4342-4.6656 97.9709-4.8429 80.2624-4.6828可见光84.0499-4.9258 114.1118-4.0990 21.6197-3.5501CT算法95.187221.64574.4372 117.081135.64064.1807 68.977032.51924.5609R[9]算法97.417021.40724.4384 119.815735.65394.0776 71.906932.52104.5690本文算法97.429821.88524.5662 119.843135.70524.1896 71.877832.78494.6780

5 结束语

利用非抽样Contourlet变换优越的图像描述性能，针对红外与可见光图像，本文提出了一种新的融合算法。根据两类图像的特点，分别对变换得到的低频子带系数和带通子带系数采用改进的基于能量和方差的加权融合规则，较好地保留了图像低频差异信息和高频边缘细节。对比不同算法的实验结果，本文提出的算法更好地提取了红外与可见光图像的重要特征信息，融合的图像清晰，目标特征明确，融合效果较好。

[1] 敬忠良,肖 刚,李振华.图像融合:理论与应用[M].北京：高等教育出版社,2007.

[2] 张明源,王宏力,陈国栋.基于小波分析的多源图像融合去云技术研究[J].传感器与微系统,2007,26(11):19-21.

[3] Do M N,Vetterli M.The contourlet transform:An efficient directional multi-resolution image representation[J]．IEEE Trans on Image Proc,2005,14(12):2091-2106.

[4] 焦李成,谭 山.图像的多尺度几何分析:回顾和展望[J].电子学报,2003,31(12A):1975-1981.

[5] Coifman R R,Donoho D L.Translation-invariant de-noising[M].New York:Springer Verlag,1995:125-150.

[6] Cunha Arthur L,Zhou Jianping,Do M N.The nonsubsampled con-tourlet transform:Theory,design,and applications [J].IEEE Trans on Image Processing,2006,15(10):3089-3101.

[7] Shensa M J.The discrete wavelet transform:Wedding the à trous and Mallat algorithms [J].IEEE Trans on Signal Processing,1992,40(10):2464-2482.

[8] 何国栋,于 梅,殷 兵,等.基于非抽样Contourlet 变换的医学图像融合算法[J].计算机工程与应用,2008,44(26):186-187.

[9] 何国栋,梁 栋,姚 红,等.基于非抽样Contourlet 变换的红外图像和可见光图像融合算法[J].微电子学与计算机,2009,26(2):8-11.

A novel image fusion algorithm for infrared and visible light*

HE Guo-dong, SHI Jian-ping, FENG You-hong, XIE Xiao-juan, YANG Ling-yun

(College of Physics and Electronic Information,Anhui Normal University,Wuhu 241000,China)

A image novel fusion algorithm for infrared and visible is proposed,firstly,the images are transformed at multi-scales and multi-directions using nonsubsampled contourlet transform(NSCT),and the transformed low frequency subband is fused by improved energy weighting method,and the bandpass subband coefficients is fused by method combined the maximum coefficients with regional variance weighting,then the fused two subband coefficients is reconstructed by inverse NSCT to get fused image.The fused experimental result of different algorithms are compared,it shows that this algorithm has better fusion effect than other fusion algorithms.

image fusion; nonsubsampled contourlet transform(NSCT); infrared image; visible light image

2014—01—15

中科院光电技术研究所微细加工光学技术国家重点实验室开放基金资助项目(KFS4)；安徽省高校省级自然科学基金资助项目(KJ2011Z138)；安徽师范大学校青年基金资助项目(2009XQN64)

TP 391

A

1000—9787(2014)04—0139—03

何国栋(1980-)，男，博士研究生，现主要从事信号处理、图像处理的研究。