基于NSCT 的红外与可见光图像融合算法

王跃华，陶忠祥

(空军航空大学 航空军械工程系，长春 130022)

图像融合是指将2 个或2 个以上的传感器在同一时间或不同时间获取的关于某个具体场景的图像或图像序列信息加以综合，以生成新的有关此场景解释的信息处理过程［1］。红外与可见光图像融合则是在军事领域和安全监控领域具有广泛应用的一种图像融合方式。红外图像一般较暗、信噪比低、无彩色信息、缺少层次感，但却常有比较明显的目标信息;可见光图像光谱信息丰富，动态范围大，对比度相对较高，包含丰富的细节信息，但在黑暗背景下不易观察［2］。通过对红外与可见光图像的融合，提高红外目标的可识别度和图像的清晰度，获得更加详细准确的信息，可以使我们能在恶劣的环境下也能准确判断热源的位置，在军事作战、电子产品检测、资源探测等众多领域中都有广泛的实用价值。

目前，通过多尺度分解对图像进行融合是研究的热点。图像多尺度分解的常用方法主要有金字塔变换、小波变换、Contourlet 变换和非下采样Contourlet 变换(Nonsubsampled Contourlet Transform，NSCT)等方法。金字塔分解结构中不同分辨率细节彼此相关，算法稳定性差。小波变换克服了金字塔方法的算法不稳定性，但传统的小波变换虽然能高效处理一维分段连续信号，但由一维小波通过张量积形成的二维小波基只能获得水平、垂直和对角3 个方向上的信息，无法精确表述图像边缘方向信息，也不能最优表示含线或面奇异的二维图像。Contourlet 变换具有小波变换的多分辨率和时频局部化特性，还具备高度的方向性和各向异性，能很好地“捕捉”二维图像的几何结构，但由于在变换中需要进行上采样和下采样操作，因而不具备平移不变性，存在频谱混叠现象。而NSCT 则不仅具有小波变换的多分辨率和时频局部化特性，同时还具有很好的方向性和各向异性及平移不变特性，可以获得图像任何方向的信息。因此本文采用基于NSCT的方法进行图像融合。

1 NSCT 理论

NSCT 是一种离散图像的多尺度、多方向的分解方法，它是在Contourlet 变换的理论基础上提出的［3-4］。NSCT 变换可以分为非采样塔式滤波器(nonsubsampled pyramid filter bank，NSPFB)和非采样方向滤波器组(nonsubsampled directional filter bank，NSDFB)两部分，它将多尺度分析与多方向分析分开进行，并且取消了对相应信号分量直接进行上采样和下采样的操作。NSCT 首先采用NSPFB 对图像进行多尺度分解，原始图像经一级NSPFB 分解可产生一个低通子带图像和一个带通子带图像，以后每级NSPFB 分解都可在低通子带图像上迭代进行，再对每一级NSPFB 分解所获得的高频分量采用NSDFB 进行方向分解，从而得到不同尺度、方向的子带图像(系数)，最后将分布在同方向上的奇异点连接成轮廓段。其中NSPFB 分解使NSCT 具备了多尺度性，采用à Trous 算法实现NSDFB 又使得NSCT 具备了多方向性，二者的有机结合使得NSCT 具有Contourlet 变换的多尺度和多方向性，同时还具备了平移不变性。图1 给出了NSCT 的结构示意图。

2 基于NSCT 的图像融合

图像经多尺度几何分解后，得到的低频部分代表了图像的近似分量，主要反应了源图像的平均特性，包含了源图像的光谱信息和大部分的能量信息;分解后的高频子带代表了图像的细节分量，如边缘、直线、区域边界等，描述了图像的结构信息。因此，源图像分解后的高、低频部分需要分别进行融合，其融合算法的选择非常重要。

图1 NSCT

2.1 融合步骤

基于NSCT 的图像融合具体步骤如下:

1)对红外与可见光源图像分别进行J 级NSCT 分解，得到图像分解后各自的NSCT 系数:

其中:Cj0(x，y) 为低频子带系数;Cj，l( x，y) 为j 尺度下l 方向高频子带系数;

2)采用一定的融合规则对各分阶层上的不同频率分量进行融合处理，得到融合图像 F 的 NSCT 系数

3)对融合后的低频子带系数和各尺度层的高频方向子带系数进行NSCT 逆变换得到融合图像F。

2.2 融合规则

融合规则是图像融合中重要的环节，融合规则的好坏会直接影响融合结果的优劣。本文选择基于区域能量匹配度测度的融合规则，并对图像的高、低频子带分别进行融合。

区域能量定义为

其中M×N 大小为3 ×3、5 ×5 等(本文取3 ×3)，w ( m，n )=为窗口掩模。

区域能量匹配度定义为

设匹配度阈值为α(α 一般为0.5 ～1，本文取0.7)。

2.2.1 低频部分融合规则

低频部分是源图像的近似描述，包含源图像的大部分信息，其能量占图像全部能量的比例较大，而图像区域方差则反映了局部区域内图像信息量的丰富程度［5-6］，因此采用基于区域能量匹配度的能量方差决策选择与加权平均相结合的融合方法进行低频子带融合系数的选取。

区域方差定义为

能量方差决策值定义为

则若MI，V(x，y) ＜α，则融合后系数为

若MI，V( x，y) ≥α，则采用加权平均进行低频系数的融合，融合后系数为

其中，p1，p2为自适应调整因子:

2.2.2 高频部分融合规则

高频部分代表图像的细节分量，包含源图像的边缘细节信息。对于高频部分的融合，采用一种混合的融合规则。由于低层反映的是较粗的信息，为更好地维护像素邻域的相关性，是边缘线条更加自然，选用基于区域能量匹配度的区域方差选大融合法;高层信息反映的是细节信息，各信息之间有很大的独立性，因而采用像素点的绝对值取大的方法进行选取［7-8］。具体融合规则为:

1)融合图像在最高层分解尺度J(本文取J =4)上的各高频系数为

2)对于分解尺度J 以外的其他(J -1)层的高频系数，采用基于区域能量匹配度的区域方差选大方法进行融合，融合方法为:

若MI，V( x，y) ＜α，则:

若MI，V( x，y) ≥α，则采用加权平均进行低频系数的融合，融合后系数为

其中q1，q2为自适应调整因子:

3 融合评价指标及实验结果分析数

为了验算法的有效性，基于以上理论和算法，利用Matlab 7.0 编程对红外与可见光图像进行验证。本文提出的方法与以下几种融合方法进行对比(表1)。

表1 融合实验使用的融合规则

以下为实验结果:图2(a)和图2(b)分别为红外与可见光源图像;图2(c ～g)是采用表1 中融合规则1 ～5 的融合图像，实验采用4 层NSCT 对图像进行分解。

为定量评价不同融合方法用于红外与可见光图像融合的性能，本文采用标准差，信息熵，平均梯度及交叉熵为图像融合评价指标。图像的标准差反映了图像灰度相对于灰度平均值的离散程度。标准差大，则图像灰度级分散，图像的反差大，可以看出更多的信息;信息熵反映图像的信息丰富程度，熵值越大，图像所包含的信息就越丰富，融合质量就越好;平均梯度(清晰度)反映了图像的清晰程度，还能反映出图像中微小细节反差与纹理变化特征，是描述图像清晰程度的一个物理量，平均梯度越大，图像越清晰，信息保留越多;交叉熵直接反映了2 幅图像对应像素之间的差异。交叉熵越小，说明图像之间的差异越小，融合后的图片从原始图片中提取的信息量越多，则融合效果越好。比较结果如表2。

图2 红外与可见光图像及不同融合规则的融合图像

表2 图像融合性能评价

由表2 可以看出，使用本文NSCT 变换和融合规则进行融合得到的融合图像，无论从信息熵、交叉熵，还是平均梯度和标准差，使用本文融合规则得到的实验结果均要强于使用其他融合规则，其结果基本与视觉特性保持一致。

4 结束语

利用红外与可见光图像提供的互补和冗余信息，可以有效改善图像的信噪比，并且获得更为可靠的图像信息。本文提出的基于NSCT 变换的图像融合规则，通过大量实验表明，使用此方法获得的融合图像具有更多的细节信息，并且能够表现出较好的融合性能。

［1］庄小婵. 图像融合算法研究［D］. 西安:西北工业大学，2007.

［2］葛小青.红外与可见光图像融合的研究［D］.重庆:重庆大学，2010.

［3］da Cunha A L，Zhou J P，Do M N.The nonsubsampled contourlet transform:Theory，design and applications［J］.IEEE Transactions on Image Processing，2006，15 (10):3089-3101.

［4］Zhou Jian ping，Cunha A L，Do M N.Nonsubsampled contourlet transform:Construction and application in enhancement［C］//2005 International Conference on I mage Processing.［S.l.］:［s.n.］，2005:469-472.

［5］李钢，王雷，张仁斌.基于特征能量加权的红外与可见光图像融合［J］.光电工程，2010，37(3):83-87.

［6］王乐山，李华锋，阿主拉且.非采样Contourlet 域内的区域对比度图像融合［J］. 计算机工程与应用，2010，46(35):185-187.

［7］林玉池，周欣，宋乐等.基于NSCT 变换的红外与可见光图像融合技术研究［J］.传感器与微系统，2008，27(12):45-47.

［8］王丹，周锦程.基于NSCT 的图像融合算法［J］.计算机系统应用，2010，19(2):185-189.

［9］宋英姿. 基于第二代Curvelet 变换的多聚焦图像融合［J］.四川兵工学报，2010(3):115-118.

［10］范永辉，王刚，曲文娟. 基于小波域分类隐马尔可夫树模型的图像融合算法研究［J］.激光杂志，2009(5):32-34.

［11］刘坤，郭雷，陈敬松. 一种有效的红外图像融合算法［J］.火力与指挥控制，2010(6):10-13.