基于HMSD和改进的显著性检测的图像融合

吴阳阳，李 旭，张鹏泉

（杭州电子科技大学 电子信息学院，浙江 杭州 310018）

0 引 言

图像融合是信息融合的一个分支。红外传感器抗干扰能力强，但其空间分辨率较低，缺少纹理细节。可见光图像具有更多细节信息和高分辨率，但在光照很弱或物体被遮挡的情况下效果不好［1］。为了利用可见光和红外图像的互补信息，红外和可见光图像融合非常必要，现已广泛应用于众多领域中［2］。

近年来，对可见光和红外图像研究人员提出了许多不同的融合方法。多尺度变换是广泛应用的红外与可见光融合方法。Zuo Y等人提出了双树复小波变换，是传统小波分解的改进，提高了计算效率［3］。刘斌等人提出了方向性对比度金字塔融合方法，得到了清晰度和分辨率更高的图像［4］。Da Cunha A L等人提出了非下采样轮廓波变换，具有平移不变性，突出了图像轮廓［5］。

显著性检测是图像处理领域的一个研究热点。文献［6］提出了一种频率调谐（frequency-tuned，FT）方法，基于Lab空间颜色以及像素与平均像素的欧氏距离计算显著值。Cheng M M等人提出了一种基于直方图的对比度（histogrambased contrast，HC）法［7］。Zhai Y等人提出了基于亮度对比度（luminance contrast，LC）图像显著性检测算法［8］。

本文提出了基于多尺度分解和改进的LC显著性检测的红外与可见光图像融合。采用梯度引导滤波器和高斯滤波器结合的图像分解模型对图像进行分解，将改进的显著性检测应用到融合规则上，得到伪影少、目标突出的融合图像。

1 相关理论

1.1 梯度引导滤波器

近年来，边缘保留滤波器是图像处理的一个研究热点。边缘保留滤波器在图像分解过程中具有良好的边缘保持性。常用的边缘保留滤波器包括引导图像滤波器、加权最小二乘滤波器和双边滤波器。引导图像滤波器［9］是一种计算复杂度低的边缘保留的局部滤波器，但其会遭受光晕伪影，所以本文使用梯度引导滤波器对图像进行混合多尺度分解，在引导图像滤波器中引入一阶边缘条件约束，图像的视觉外观更好［10］。

1.2 改进的LC显著性检测算法

LC显著性检测算法是以对比度为特征提取显著性，保留热辐射高和低的区域，导致融合图像中的非目标区域产生高亮，所以本文修改了算法，抑制了黑暗区域，使目标区域得到良好显示

式中 dis（Ik，Ii）＝Ik-Ii，其中，i 和k 为图像中像素的位置，dis为灰度值距离。

图1为改进的LC 显著性检测算法和LC 显著性检测对比。两种方法都可以保留最显著的对象，即2 个场景中的2个人。然而，LC方法保留了黑暗区域，如天空和窗户。改进的LC方法可以有效地提取红外图像中的显著性区域，如人物和建筑物轮廓，同时抑制非目标区域，如天空，并减少了伪影。融合后的图像中目标得到了很好的对比度，非目标区域保持干净。

图1 LC算法改进前后显著性

2 所提出的算法

2.1 多尺度分解

利用梯度引导滤波器的边缘保持特性和高斯滤波器的平滑特性，将红外和可见光进行多尺度分解，得到不同尺度的信息。对不同层次的图像采用不同的融合策略。最后，组合融合后的子层级重构融合图像。图2为多尺度图像分解的算法结构。

图2 多尺度图像分解结构

用ZT和ZG表示经过梯度引导滤波器和高斯滤波器得到的图像。初始化输入图像Z并赋值给Z（0）G，图像分解层数为3，i 为分解级别。源图像被分解成不同层次D ＝Z-ZT，E ＝ZT-ZG。其中，D为小尺度纹理细节层，E为大尺度边缘特征层。构建第i 层尺度分解D（i）＝Z（i-1）G-Z（i）T，E（i）＝Z（i）T-Z（i）G。分解的基层B ＝Z（3）G

2.2 图像融合策略

小尺度层包含源图像的纹理细节信息，为了保留较多的纹理细节，本文采用最大值的融合策略

大尺度层包含源图像的边缘特征，为了尽可能将红外信息注入融合图像，采用加权融合策略，计算权重系数Pi

归一化

计算红外光的融合权重

其中，采用高斯函数gσ对权值进行平滑处理，设置σ ＝2。

大尺度层的融合结果

基层中包含了最粗尺度的信息，包含了图像的大部分信息。为了使目标区域突出，本文使用了改进的LC 显著性检测。由于红外图像目标通常比背景更突出，只对红外图像进行显著性提取，保持红外图像目标区域的能量。经此处理得到的融合图像较好地保留目标区域的对比度，获得更好视觉效果。策略如下

式中 S为归一化的显著性值，BIR和BVIS分别为红外和可见光图像的基层。

最终重构融合图像

3 实验结果

为了验证本文算法的有效性，对已经配准的2 组红外与可见光图像进行融合，评估各融合算法的效果。融合算法包括：多分辨率奇异值分解（multi-resolution singular value decomposition，MSVD）［11］、交叉双边滤波器（cross bilateral filter，CBF）［12］、视觉显著映射加权最小二乘（visual saliency map weighted least square，VSMWLS）法［13］、基于引导滤波融合（guided filtering fusion，GFF）［14］、混合多尺度分解（hybrid multi-scale decomposition，HMSD）［15］。

3.1 主观性能评价

图3和图4为本文方法和其他算法的实验对比结果。从主观性能上评价，由图3可以看出，本文的算法人物目标突出，人和背景的对比度高，背景物体清晰可见，与其他算法相比融合效果更好。由图4 可以看出，本文的算法其中房屋左上角天空背景的伪影少，房屋门口的目标人物清晰，利于人类观测，融合结果更好。本文提出的算法对比度高、视觉效果优，更符合人类视觉观察。

图3 第1 组实验的融合结果

图4 第2 组实验的融合结果

3.2 客观性能评价

在本文中采用平均梯度（average gradient，AG）、信息熵（entropy，EN）、互信息（mutual information，MI）、QCB几种客观评价标准来对融合结果进行量化评价，如表1。上述的指标越大代表相融合效果越好。

表1 2 组图像的客观评价对比

从表1中第1 组图像可以看出，本文提出的方法除了QCB指标略低于HMSD算法，其他指标均高于其他算法；从第2组图像中可以看出，本文提出的算法指标都排在第1或第2位。说明通过本文获得的融合图像清晰度高，信息丰富，对比度高，视觉效果好。本文提出的算法在AG、EN、MI和QCB4个客观指标上有明显的优势，是一种较为优秀的融合方法。

4 结 论

由于可见光与红外图像的特点不同，使得融合图像中会存在目标不突出、对比度低、伪影多的问题。本文提出了一种基于混合多尺度分解和改进的显著性检测的红外与可见光图像融合方法。将改进的LC显著性算法结合到多尺度分解上，使得融合结果更加符合人类视觉，减少了伪影的产生，突出目标特性。由客观评价指标也证明了本文算法的优势。未来将进一步优化算法，研究差异化的融合策略在不同场景上的应用。