一种新颖的红外与可见光图像融合方法

李婵飞，刘文晶

（1.汉口学院，湖北 武汉 430212；2.重庆邮电大学 移通学院，重庆 401520）

0 引言

多传感器图像融合是指对同一场景的多幅图像信息进行融合生成单幅图像的过程，使得融合后的图像更加符合人类对视觉的感知。近些年来，图像融合被广泛应用于生物识别、无损检测、军事监视、临床医学、遥感信息等领域[1-7]。

红外和可见光图像融合是多传感器图像融合研究的重要组成部分。红外图像主要是利用红外传感器来记录不同物体的热辐射信息，能较好地探测隐蔽的热目标，受环境变化影响较小。可见光图像是用来记录物体光谱信息的反射特性，主要包含的是图像的场景细节和边缘信息[8]。将红外与可见光图像进行融合，能够有效地将红外图像中的目标信息和可见光图像中的目标场景、细节边缘信息相结合，增强对场景的理解，突出热目标。

根据应用场合的不同，红外与可见光图像融合可以分为3个层次：像素级，特征级和符号级[9]。在红外与可见光图像融合过程中，基于像素级的多分辨率分析融合是一类应用广泛的融合方法。文献[10-11]将金字塔变换（Laplacian pyramid transform,LPT）应用于图像融合，但是LPT 会产生大量的冗余信息，对图像的方向特性不能有效表达；文献[12]将小波变换 （discrete wavelet transform,DWT）应用于图像融合，小波变换可以克服LPT的缺点，但是捕捉到图像方向信息有限（仅水平，垂直和对角方向），且会在图像局部区域产生振铃效应；文献[13]将平稳小波变换（stationary wavelet transform,SWT）应用于图像融合，SWT 能克服DWT 产生的振铃效应问题，但其分解策略和小波一样，仅对每层的低频成分重新分解，图像时频分辨率不高；文献[14]将轮廓波变换（contourlet transform,CT）应用于图像融合，但是由于缺乏平移不变性，导致Gibbs 效应的产生；文献[15]将非下采样轮廓波变换（nonsubsampled contourlet transform,NSCT）应用于图像融合，NSCT 能克服CT的缺陷，但是计算效率偏低，比较耗时。文献[16-17]将多分辨率分析工具和图像分割结合应用于图像融合，尽管该类算法融合图像可以较好地保持红外目标信息，但是对于红外图像的重要特征信息和可见光图像中特定的重要场景细节信息不能有效保持。因此，将红外图像的重要特征信息和可见光图像中特定的场景细节信息从源图像中提取出来引入图像融合过程是非常必要的。

鉴于上述考虑，提出了一种新颖的红外与可见光图像融合方法。利用支持向量机（support vector machine,SVM）[18]和图像腐蚀膨胀算法在图像分块的基础上将可见光图像分割为场景细节特征丰富的区域特征子图像和灰度场景子图像，在Canny 检测算子和最大内间方差方法基础上结合可见光特征子图像信息引入Laplacian 图像锐化算法将红外图像分割为边缘增强的目标子图像，特征子图像和灰度场景子图像。然后分别将两特征子图像，两场景子图像利用小波包[19]分解并择取不同的融合规则融合获得融合背景图像，将红外目标子图像融入到融合背景图像中获取最终融合图像。

1 小波包变换原理

多分辨率分析可以对信号进行有效的时频分解，但是其每层的分解都是在低频成分进行，因此它对高频段的成分分辨率影响较低。小波包分解（wavelet packet）是在多分辨率分析基础上发展起来的一种精细的信号分析方法，它能够为信号提供一种更为精细的分解方法，不仅对信号进行多频带划分，而且对多分辨率分析没有分解的高频成分进行再分解，提高了信号的时频分辨率，是一种更有价值的信号分析工具。

小波包变换主要分为分解和重构两个步骤，其分解和重构公式分别如(1)、(2)所示：

式中：h0(2l－k)和h1(2l－k)是多分辨率分析滤波器系数；g0(2l－k)和g1(2l－k)分别为小波包重构过程中的低通和高通滤波器组。

2 新颖的红外与可见光图像融合方法

一种新颖的红外与可见光图像融合方法主要利用支持向量机和图像腐蚀膨胀算法在图像分块的基础上将可见光图像分割为具有重要特征场景的特征子图像和灰度场景子图像，在Canny 检测算子和最大内间方差方法基础上结合Laplacian 算子图像锐化算法和可见光特征子图像将红外图像分割为边缘增强的目标子图像，特征子图像和灰度场景子图像。然后分别将两特征子图像，两场景子图像利用小波包分解并择取不同的融合规则融合获得融合背景图像，将红外目标子图像融入到融合背景图像中获取最终融合图像。该算法流程图如图1所示。

2.1 可见光图像分割

在可见光图像中，有价值的除了场景边缘细节和光谱信息之外，还应包含一些特定的重要场景特征信息。在红外和可见光图像融合过程中，如果将可见光图像作为一个整体和红外图像融合难以有效表达其特定场景特征信息，因此有必要根据可见光图像特点和图像融合目的对其进行分割。

由图2(a)可见光源图像可知，烟囱和屋顶等特征信息应该是图像融合过程中感兴趣的重要场景特征信息，如果利用简单的像素级融合不能有效地保持其丰富的场景细节边缘特征。因此提出利用SVM和图像腐蚀膨胀算法在图像分块的基础上对可见光图像进行特征子图像的划分。首先利用图像分块获取含有烟冲、屋顶的子图像块，再利用支持向量机将该子图像像素点进行分类以剔除烟囱、屋顶之外的场景信息，从而得到图像(b)。由图(b)可知，该子图像虽然包含烟囱、屋顶信息，还包含一些其他的小零星场景点。为了得到尽可能准确的烟囱、屋顶子特征图像，在(b)的基础上结合图像分块(c)（(c)为(b)图像分块之后的图像）和腐蚀膨胀算法可以得到比较准确的含有烟囱、屋顶的特征子图像(d)。

图1 图像融合算法流程图Fig.1 Image fusion method flow

图2 可见光源图像及其分割图像Fig.2 Original visible light image and segmentation images

2.2 红外目标提取增强

隐藏的红外热目标是红外图像中最为重要的信息，为了在红外和可见光图像融合过程中较好地保持该热目标信息，文献[17]提出了一种Canny 边缘检测和最大类间方差的目标分割算法。在此基础上，提出了一种红外目标提取增强法，首先利用Canny 检测算子获取目标边缘轮廓，利用Laplacian 图像锐化算子对该目标轮廓进行增强，并计算边缘内部区域均值Mean；然后利用最大内间方差法获取源红外图像分割阈值T*；如果Mean＞T*，则对应区域为目标图像，否则为红外背景子图像；最后根据节2.1 中的可见光特征子图像信息将红外背景子图像分割为红外特征子图像和灰度场景子图像。经过前述步骤得到增强的红外目标图像，特征子图像和灰度场景子图像。由图3可知，经过边缘增强的目标人物比原始目标图像更为清晰明亮，边缘轮廓更清晰突出。

2.3 低频融合准则

图像经小波包分解之后，低频部分主要包含的是源图像的概貌纹理近似信息，体现的是图像的大尺度特征，因此低频融合准则的好坏对图像融合质量起着重要作用。在图1中，根据特征子图像特点，融合准则1 择取系数取大法，该融合准则计算简单且可以较好地保持可见光子图像中丰富的烟囱、屋顶等重要场景细节信息。对于场景子图像融合来说，它们都可以看作一般的背景区域，为了更好地保持红外图像的近似纹理轮廓信息和可见光图像丰富的光谱细节信息，其低频子带融合准则3 择取能量梯度相结合的融合准则。假设E和AV 分别表示区域能量和平均梯度，则其具体融合准则如公式(3)所示：

2.4 高频融合准则

图像经过小波包分解之后，高频部分主要包含的是图像的边缘轮廓细节信息，体现的是图像的小尺度特征，且其数据量较大。为了更好地提取图像的细节信息，融合准则2和4 均是模值择大法。但是为了使得融合系数的选取更为准确可靠，在进行模值择大法之后，对融合系数进行系数修正。具体修正方法：如果某像素点融合系数来源于红外图像系数，但其3×3邻域内像素点融合系数均来自于可见光图像系数，则该像素点融合系数取自于可见光图像融合系数更为合理，因此有必要对其进行系数修正；反之，做相反的处理。经过系数修正的融合高频系数更为精确连贯。

3 实验结果与性能评价

为了验证本文提出方法的有效性，选取荷兰TNO Human Factors Research Institute在不同时刻拍摄的“UN Camp”红外和可见光序列图利用Matlab 软件进行实验验证。对比方法为：小波变换融合算法（方法1），平稳小波变换融合算法（方法2），非下采样轮廓波融合算法（方法3），基本小波包变换融合算法（方法4），文献[17]融合算法（方法5），文献[16]融合方法（方法6），文献[20]融合方法（方法7），提出方法。其中方法1～方法5的低频融合准则均是均值法，高频融合准则是模值取大法。除了方法3和方法7是自适应分解层之外，其他方法均采用相同小波基函数bior4.4 进行4 层分解。

文章主要通过主观和客观两方面对不同方法融合性能进行对比评价，主观直接通过人眼观察对比各方法融合图像的视觉效果，客观上采用标准差、信息熵、互信息、空间频率[21-22]4种指标进行评价，同时对不同方法的运行时间进行对比分析。各方法融合结果如图4～图7所示，客观评价指标如表1和表2所示。

观察图4、5、6、7可知，方法1～方法4 能综合可见光和红外图像信息，对红外图像目标人物和可见光图像屋顶、烟囱等信息有一定程度体现，但其融合图像亮度不高；方法5、6、7所得融合图像整体效果相对于前述4种方法有较大程度提升，但是在融合图像中，可见光图像的屋顶、烟囱等重要特征信息存在一定程度的昏暗模糊现象。对比而言，本文方法的融合图像整体对比度更高，反差更大，红外图像热目标及其边缘更为清晰明亮突出，可见光图像的烟囱、屋顶等重要特征信息得到了最大程度的清晰体现，且较好地保持了可见光图像的背景光谱信息。因此，本文融合方法在主观评价上融合效果最好。

比较表1、表2中不同客观评价指标可知，本文算法的标准差、信息熵、互信息、空间频率不仅是所有融合方法中的最大值，且相对于其他融合算法都有较大幅度提高。由此可知，本文方法融合图像有最高的对比度，包含更为丰富的图像信息且从源图像获取的信息最多，而且融合图像包含更为丰富的纹理细节特征，在空间域上最为活跃。另外，在运行时间方面本文方法的运行时间适中，满足实时性要求，从客观上评价上最为有效。

图3 红外源图像及其目标图像Fig.3 Original infrared image and target images

图4 源图像和不同方法融合图像（1814）Fig.4 Original images and fusion result of different methods（1814）

图5 源图像和不同方法融合图像（1830）Fig.5 Original images and fusion result of different methods（1830）

图6 源图像和不同方法融合图像（1819）Fig.6 Original images and fusion result of different methods（1819）

图7 源图像和不同方法融合图像（1824）Fig.7 Original images and fusion result of different methods（1824）

表1 不同方法融合结果客观评价指标Table1 Original images and evaluation result of different methods

表2 不同方法融合结果客观评价指标Table2 Original images and evaluation result of different methods

综合主、客观评价可知，本文方法是对比方法中性能最优的方法。

4 结论

为了提升红外与可见光图像融合效果，在融合图像中更好地突出红外热目标信息，更高效地体现可见光图像重要的场景特征细节信息并最大程度地保持可见光图像丰富的光谱信息，提出了一种新颖的图像融合算法。对于红外图像，不仅提取了红外热目标，且对该目标边缘利用Laplacian 图像锐化算法进行边缘增强；对于可见光图像，结合支持向量机和腐蚀膨胀算法在图像分块的基础上提取包含重要场景信息特征子图像。结合小波包变换对不同的红外、可见光子图像运用不同的融合规则融合，并对高频融合系数进行系数修正使其更为精确可靠。实验结果表明，本文的融合方法无论是从主观视觉效果还是客观评价指标上都要优于对比方法。