基于对比度金字塔与双边滤波的非对称红外与可见光图像融合

杨九章，刘炜剑，程 阳

（北京理工大学 仿生机器人与系统教育部重点实验室，北京 100081）

0 引言

在夜间低照度和浓雾等照明条件较差的情况下，可见光图像难以获得令人满意的环境与目标信息。红外图像可捕捉到场景热信息，为解决照明调节差的问题提供了一种有效的方法。由于红外图像采用的光谱与人眼可感受的光谱不在同一谱段，因而红外图像的特征往往不被人类视觉系统所偏好，导致空间细节的丢失和非自然的视觉质量的问题[1]。红外和可见光图像融合目的是利用两种光谱成像技术的特性，生成一幅复合图像[2]。在复合图像中同时获得清晰的目标热信息和更符合人类视觉习惯的背景信息。许多现实世界中的应用包括视频监控、物体检测和人脸识别均得益于该类融合技术[3]。近几年提出的融合方法[4]多数只是用相同的方法处理可见光与红外图像，没有充分利用两种图像的优势与区分两者图像的不同。本文提出融合方法以红外与可见光图像本身的优势作为出发点，差别处理红外与可见光图像，在融合图像中保留可见光的环境细节与红外图像的环境与目标信息。

红外与可见光生成图像的方法不同，红外和可见光图像在同一位置的强度往往具有较大差异。大多数红外和可见光图像的融合算法通过多尺度融合以更加符合人眼视觉[5]。例如，赵立昌等人通过机器学习确定多尺度融合的参数[6]，融合效果较好，能适应多种场景要求，但是该算法通用性较差，对不同场景需要不同的算法模型的问题。崔晓荣等人提出的基于二维经验模态分解[7]方法虽然能较为明显的突出目标，但是融合后图像对比度变化较大，不符合人眼视觉。李辰阳等人提出的基于改进谱残差显著性图的融合[8]方法通过残差图确定双树复小波分解的系数，融合效果较好，但是较为复杂，融合结果受残差图显著性影响较大。

在融合图像中保留可见光的环境细节与红外图像的环境与目标信息，本文先使用多尺度变换方法分解出图像的高频信息与低频信息，通过结合双边滤波器的特点，在分离出的低频部分对红外与可见光图像采用不同的处理方法，可充分利用红外与可见光的优势，达到同时保留红外图像的特征信息和可见光图像的细节信息融合效果，在高频部分使用绝对值取大的方法。

1 双边滤波器

双边滤波器可以平滑小规模细节的同时保留强边缘信息。它通过空间距离和高斯核的组合过滤空间和距离域中的图像，是一种非线性边缘保留滤波器[9]。高斯滤波核表示为：

图像I在点p的双边滤波表示为：

式中：σs和σr是标准的空间域距离的高斯标准差；通过距离p－q和强度I(p)－I(q)控制了旁边点的像素值对当前点的影响。

2 对比度金字塔图像融合

对比度金字塔[10]是一种常用的图像分解方法，与传统的拉普拉斯金字塔[11]不同，对比度金字塔每层获取的信息不是差值信息，而采用更加符合人眼视觉习惯的比值信息。对比度金字塔将图像分解为不同的空间频度，顶层的空间频度最低，每一层分别记录了对应空间频度的比值信息。

在融合过程中，根据金字塔每层信息的不同特点，选择不同的融合规则。传统的融合规则有加权平均法[12]，绝对值取大法[13]等。这种对于不同空间频度的分别处理，使得对比度金字塔图像融合的效果更加符合人眼视觉。

3 基于对比度金字塔与双边滤波的非对称红外与可见光图像融合

首先采用对比度金字塔将图像分解为高频与低频两部分：①对于低频部分，即金字塔图像分解的顶层图像，采用非对称的融合方法，即根据自身特点，对红外图像与可见光图像采用不同的处理方式注入最上层可见光图像中。②对于高频部分，即除金字塔顶层以外的其他层图像，采用经典的绝对值取大的方法。具体来说，对于低频部分，以最上层可见光图像作为初始图像。将红外图像与可见光图像自己的特征信息注入最上层的可见光图像。用双边滤波算法分别处理红外图像与可见光图像，由公式(2)与公式(3)获得红外与可见光图像的Ib。在获得Ib的过程中通过设置一个相对较小的σr值可以保留由强边缘分隔的“大尺度特征”，并删除由纹理特征主导的精细尺度细节。

此外，Ig(p)是仅通过使用空间高斯gsσ计算的对应高斯滤波图像，计算方法为：

其中，Ib与Ig相比，Ib包含某些额外的边缘信息。因此，分别通过以下减法获得保留在Ib中去除的精细纹理细节P0和附加的边缘特征P1：

在原可见光图像的低频信息基础上，将红外图像的P0信息加入其中，使原来模糊的边界变得清晰，将可见光图像的P1信息加入，可保留更多的图像细节，使得融合图像保留红外图像目标特征同时消除一部分因图像融合带来的可见光细节信息的减弱。

4 结果验证

为了验证本文算法的有效性，选取3 组的红外与可见光图像进行对比，并将本文算法与拉普拉斯金字塔（Laplacian pyramid,LP）、小波融合[14]（wavelet method）、双树复小波变换[15]（dual-tree complex wavelet transform,DTCWT）方法进行比较。实验计算机CPU 主频1.99 GHz，内存8 G，实验软件平台MATLAB R2014a。本文中LP、DP、DTCWT 的融合规则均采用低频系数取均值，高频系数为局部能量取大的方法，小波变换使用db2 波形。可见光和红外的源图像与采用不同方法得到的融合结果如图1～图3。

图1为House 源图像的融合结果，其中图(a)为红外图像，图(b)为可见光图像。可以看出红外图像中人物目标清晰，但无法分辨树木、房屋等景物的细节信息；而可见光图像中人物被遮挡，但是可以清楚看到树木、房屋的细节信息。图(d)、(e)、(f)分别为拉普拉斯金字塔、小波变换与双树复小波变换融合后的图像。可以看出图(d)左边模糊，整个图像细节丢失比较严重；图(e)的右下角图像模糊，整个图像对比度较低，没有突显目标特征。图(f)图像右边模糊，房屋边界不清晰。图(c)是本文算法获得的图像，可以看出融合图像既有红外图像中目标突出的优势，也能很好地保留可见光图像中树木、房屋的细节信息，更加符合人眼视觉。

图1 House 源图像融合结果Fig.1 Fusion results of House source image

图2为Road 源图像的融合结果，其中图(a)为红外图像，图(b)为可见光图像，可以看出红外图像中路上的人物目标清晰，但是道路、树木、房屋边界模糊。可见光图像中因为树木遮挡看不到人物目标。图(d)、(e)、(f)分别为拉普拉斯金字塔，小波变换与双树复小波变换融合后的图像。可以看出图(d)房屋边缘模糊，旁边的树木细节丢失较严重；图(e)房屋旁边树木边界不清晰，图(f)图像上方细节丢失严重。图(c)为本文算法获得的融合图像，可以发现融合图像既有红外图像中目标突出的优势，也能很好地保留可见光图像中树木、房屋，道路的细节信息，更加符合人眼视觉。

图2 Road 源图像融合结果Fig.2 Fusion results of Road image

图3为Ship 源图像的融合结果，其中图(a)为红外图像，图(b)为可见光图像，可以看出红外图像上方天空边界明显，但是船细节丢失严重，可见光图像船身细节保持完整，但是天空边界丢失。图(d)、(e)、(f)分别为拉普拉斯金字塔，小波变换与双树复小波变换融合后的图像。可以看出图(d)上方边界线较为模糊，图(e)中船的对比度失真，细节丢失严重；图(f)船身细节丢失严重，不符合人眼视觉。图(c)为本文算法将两幅图融合后的结果，可以发现融合图像不仅图像上方边界线比其他方法融合得到的图像更加突出，而且船的细节也更加明显。

图3 Ship 源图像融合结果Fig.3 Fusion result of ship image

根据以上3 组图片，通过主观视觉比较可以看出本文算法在图像融合的成像质量上有着较大优势。为了定量体现本方法的优势，通过客观参数指标比较本方法和其他算法，结果如表1所示。从表1中可以看出本文算法在平均梯度（average gradient,AG），信息熵（information entropy,IE），边缘强度（edge intensity,EI）这3 个指标中均表现更佳，说明由本文算法相比于其他3 种方法，处理所得的融合图像从原图像中获得的信息量最多、拥有更丰富的细节特征、图像边界更加清晰，与主观视觉所获得的结论相符。

表1 不同融合方法的客观指标对比Table 1 Comparison of objective indicators between different fusion methods

5 结论

本文提出了一种基于对比度金字塔非对称双边滤波的红外与可见光图像融合方法，通过非对称处理图像的低频信息，算法通用性较强，融合后图像中的目标边界更加突出，保留了更多的图像信息，提高了图像的清晰度。同时进行了3 组不同的红外与可见光图像的融合实验，结果表明该方法与拉普拉斯金字塔、小波融合和双树复小波变换方法相比，融合后的图像更加清晰，更符合人眼视觉。最后，平均梯度、信息熵、边缘强度等客观评价指标也说明本文方法比其他方法更具优势，是一种更为有效的图像融合算法。