基于四阶相关系数的NSCT域红外与可见光图像融合

杨如红，邵振峰，张 磊

(武汉大学测绘遥感信息工程国家重点实验室，湖北武汉430079)

1 引言

图像融合就是将源自不同传感器的同一目标或场景的图像进行综合处理，剔除冗余信息且尽可能保留互补信息，从而获得信息更丰富、更可靠的融合图像。红外与可见光图像融合是图像融合领域的一个重要应用。红外图像表征特定场景向外辐射能量的差异，具有良好目标指示性，但对亮度变化不敏感、对比度较低。可见光图像噪声低、清晰度高，含较丰富的细节信息。因此，两者的结合在安全监控、人类视觉辅助系统、智能交通、军事勘察得到了广泛应用。

近年来，多尺度分析方法在图像融合领域取得许多研究成果［1－3］。目前主要的多尺度分析方法包括小波变换、Curvelet变换、Contourlet变换和非下采样Contourlet变换(Nonsubsampled contourlet transform，NSCT)等。

Contourlet变换［4］将小波变换的优点延伸到高维空间，具有更好的方向性和多分辨率特性，但其上采样与下采样过程中不满足平移不变性，且冗余问题严重。为解决Contourlet变换存在的缺陷，A．L．Cunha［5］于 2006 年提出了非下采样 Contourlet变换，它不仅继承了Contourlet变换的多尺度、多方向的特性，还克服了Contourlet变换不满足平移不变性和频谱混叠等缺陷，具有更高的冗余度和平移不变性，能更好地表征图像的细节特征。在图像融合过程中，融合规则的设计也直接影响到图像融合的优劣。传统的融合规则即低频平均加权与高频绝对值取大［6］将会导致融合图像对比度下降。邓承志等［7］在低频部分采用基于粒子群优化算法的加权系数融合规则，考虑到不同传感器低频成分的差异，但在高频部分直接用加权局部能量取大值法，没有考虑邻域内像素间的相互影响，而且迭代运算速度较快，精度很难把握。叶传奇等［8］在处理高频部分时考虑到邻域内像素间的相关性，采用基于区域方差的选择策略，低频分量采用基于区域相似度的融合策略，融合性能增强，但其存在一定的模糊度。

本文充分结合红外和可见光图像的物理特性的差异，在高频部分采用基于其物理特性的加权融合规则，在低频分量，为避免匹配度“负值”现象，引入四阶相关系数匹配策略，更好地保留了目标信息，提高融合图像的清晰度，实验结果也表明本文算法的有效性。

2 非下采样Contourlet变换

为克服Contourlet变换的缺陷，本文利用非下采样Contourelet变换(NSCT)作为多尺度分析工具，其由两个步骤完成多尺度、多方向分解，主要基于一个非下采样金字塔(Nonsubsampled Pyramid，NSP)和一个非下采样方向滤波器组(Nonsubsampled Directional Filter Bank，NSDFB)结构，实现多尺度、多方向分解［5］。图1(a)为非下采样Contourlet变换的图像分解过程，在二维频率平面进行划分得到如图1(b)所示。

图1 非下采样Contourlet变换

3 融合策略

根据红外图像低频能量集中与可见光图像高频细节信息丰富的特点，本文采用图2所示的融合流程，其具体步骤是:首先，采用NSCT对源红外与可见光图像进行多尺度、多方向分解，分别得到对应的低频子带系数和高频子带系数;然后，低频部分考虑到红外和可见光图像物理特性差异，采用基于区域平均梯度的加权融合策略，高频部分采用区域相关系数匹配度的融合策略;最后，通过NSCT逆变换对处理后的系数进行重构得到融合图像。

图2 融合算法流程图

3．1 低频系数融合规则

低频系数反映了图像的能量分布，即源图像的近似特征，其占据了源图像大部分能量信息。传统的平均加权忽略了局部邻域内像素间的相关性，会降低融合图像对比度，损失部分有用的信息。红外图像和可见光图像同一目标的灰度分布特性相差很大，甚至极性完全相反。考虑红外图像的目标突出特点，一般的加权融合策略为尽可能地保留目标信息，往往采用红外图像加权系数大于可见光图像加权系数的方法，这样必然造成部分可见光图像光谱信息丢失，而增加了红外图像的冗余信息。因此考虑到红外和可见光图像不同的物理特性，本文采用基于区域平均梯度加权的融合策略，其具体公式如下:

vis(m，n)和Glinf(m，n)分别表示红外和可见光图像的区域平均梯度，平均梯度可以敏感地反映图像中的微小细节，还可以反映出图像的纹理变换特征。

3．2 高频系数融合规则

高频系数反映了图像的细节特征分布，包含丰富的纹理、轮廓信息。传统的系数绝对值选大法忽略了邻域间的相关性，未能完整提取图像的细节信息，融合图像会产生一定程度的模糊，因此本文采用基于区域匹配度的融合策略。由于红外和可见光图像灰度分布特性的差异，区域系数匹配度易出现“负值”现象，为此本文引入四阶相关系数［9］F计算邻域内红外和可见光图像高频系数的匹配度，并据此来决定融合图像的高频系数。其中四阶相关系数定义为:、

将高频分量分解成若干个M×N的区域子块，计算区域窗口内红外和可见光图像高频系数的匹配度F，然后设定一个阈值 th，当F＞th时，说明两者的匹配度高，需同时保留两者的有用信息。文献［9］采用区域四阶相关系数融合策略，但是没有考虑融合图像高频信息之间的互补性和冗余性，系数直接相加会影响融合图像的清晰度和对比度。因此本文引入加权系数R，来选择合适的高频系数，此时融合图像的高频系数定义为:

当F＜th时，说明两者的匹配度低，保留绝对值较大的高频系数，此时融合图像的高频系数定义为:?

4 实验和分析

为验证算法的有效性和实用性，本文利用两组不同的红外和可见光图像进行实验，并将本文提出的融合算法与小波变换融合方法、Curvelet变换融合方法和传统的NSCT融合方法的融合图像进行对比实验。在传统的NSCT融合方法中采用低频取平均、高频采用绝对值取大的融合策略。由于图像分解层数增加，提取的细节信息相应增加，但各子带间的相互干扰性也会增加，反而影响融合质量，因此本文多尺度分解层数选择为4。拉普拉斯塔滤波器选择“9－7”滤波器，方向滤波器选用“pkva”滤波器。

实验中图像的大小为256×256，匹配度F的阈值设置为0．9，实验结果如图3和图4所示。

从图3、图4均可以看出，本文提出的基于四阶相关系数的融合算法目标信息保留很好，同时场景细节信息丰富，而在小波变换、Curvelet变换和传统的NSCT方法中目标特征不明显，且图像存在一定的模糊度。为进一步验证本文所提方法的有效性，本文还选取一些公认评价指标［10］来评价实验结果，即熵、平均梯度、清晰度、空间频率，其中熵反映了图像中信息量的丰富度，熵越大，图像所包含的信息量越大，平均梯度、清晰度和空间频率反映了图像的细节对比特征，值越大，细节越丰富。表1、2分别为实验一和实验二融合图像的客观评价结果。

图3 实验一融合结果

图4 实验二融合结果

从表1和表2的客观评价结果可以看出，本文所提方法取得了较大的熵、平均梯度、清晰度、空间频率值，这与主观评价结果是一致，进一步说明本文所提方法可以得到更好的融合结果。

表1 实验一的客观评价指标

表2 实验二的客观评价指标

5 结论

针对红外和可见光图像的成像特点，本文所用多尺度算法在低频部分采用基于融合图像自身物理特性的加权系数的选择方案，高频部分考虑到高频分量的变化，引入区域四阶相关系数匹配度，降低融合图像的模糊度的同时，更好地保留了图像边缘和纹理等细节信息。两组不同实验表明，本文方法具有更好的鲁棒性，并且能得到更好的视觉效果，主客观评价上本文方法优于其他三种方法。

［1］ YANG Xiaohui，JIN Haiyan，JIAO Licheng．Adaptive image fusion algorithm for infrared and visible light image based on DT － CWT［J］．J．Infrared Millim．Waves，2007，26(6):419 －424．(in Chinese)杨晓慧，金海燕，焦李成．基于DT－CWT的红外与可见光图像自适应融合［J］．红外与毫米波学报，2007，26(6):419－424．

［2］ LIU Songtao，ZHOU Xiaodong．Recent development of imagefusion techniques［J］．Laser ＆ Infrared，2006，36(8):627 －631．(in Chinese)刘松涛，周晓东．图像融合技术研究的最新进展［J］．激光与红外，2006，36(8):627 －631．

［3］ SFirooz．Comparative image fusion analysis［C］．IEEE Proceedings of the Conference on Computer Vision and Pattern Recognition，2005:1 －8．

［4］ DoM N，Vetterli M．Contourlets:a directionalmultiresolu-tion image representation［C］//Image Processing，2002，International Conference on IEEE，2002，1:I－ 357 －I－360．

［5］ Da Cunha A L，Zhou J，Do M N．The nonsubsampled contourlet transform:theory，design，and applications［J］．Image Processing，IEEE Transactions，2006，15(10):3089－3101．

［6］ ZHANG Jinglei，ZHAO Eying．Fusion method for infrared and visible light images based on NSCT［J］．Laser＆ Infrared，2013，43(3):319 －323．(in Chinese)张惊雷，赵俄英．基于NSCT的红外与可见光图像融合方法［J］．激光与红外，2013，43(3):319 －323．

［7］ DENG Chengzhi，RAOWei．Shearlet based adaptive fusion of infrared and visible images［J］．Laser ＆ Infrared，2013，43(4):399 －403．(in Chinese)邓承志，饶伟．基于 Shearlet变换的红外与可见光图像自适应融合［J］．激光与红外，2013，43(4):399－403．

［8］ YE Chuanqi，WANG Baoshu，MIAO Qiguang．Fusion algorithm of infrared and visible light images based on NSCTtransform［J］．Systems Engineering and Electronics，2008，30(4):593 －596．(in Chinese)叶传奇，王宝树，苗启广．基于 NSCT变换的红外与可见光图像融合算法［J］．系统工程与电子技术，2008，30(4):593－596．

［9］ Zhenfeng S，Jun L，Qimin C．Fusion of infrared and visible images based on focus measure operators in the curvelet domain［J］．Applied optics，2012，51(12):1910 －1921．

［10］ WEIH，JING Z L．Evaluation of focus measures in multi－ focus image fusion［J］．Pattern Recognition Letters，2007，28(4):493 －500．