基于引导滤波二尺度分解的红外与可见光图像融合

张 慧，韩新宁，韩惠丽，常莉红

基于引导滤波二尺度分解的红外与可见光图像融合

张 慧1，韩新宁2，韩惠丽1，常莉红1

（1. 宁夏师范学院 数学与计算机科学学院，宁夏 固原 756000；2. 宁夏师范学院 资源环境与生命科学学院，宁夏 固原 756000）

为了降低多尺度分解融合算法的复杂性，并提高融合图像适应人类视觉特点，本文提出一种基于引导滤波二尺度分解的红外与可见光图像融合的方法。首先利用引导滤波对可见光图像实施增强的图像预处理，然后利用引导滤波将源图像分解为基础层和细节层。在细节层的融合规则中我们采用能量保护和细节提取的方法，最后将融合后的细节层与基础层合成融合结果。实验结果表明所给方法在提高视觉感知、细节处理、边缘保护等方面都有良好的效果。本文最后还讨论了可见光图像增强对融合方法的影响：从实验数据可知，增强可以提升融合效果，但在图像融合中融合方法才是关键。

引导滤波的二尺度分解；图像增强；能量保护

0 引言

在军事、导航、探测等领域的应用场景中，会使用红外和可见光成像系统来监测目标以获得所需信息。但从成像效果来看，红外图像可以提供目标的细节，而可见光图像能够提供植被、纹理、面积和土壤等背景细节。通过红外和可见光图像的融合，将两幅图像中相关联的有效信息合成为一个图像，从而弥补单一图像的不足、获取更丰富的图像细节[1-2]。

在可见光与红外图像融合中，根据数据信息处理的抽象程度以及提取图像的不同层次可以将图像的融合方法分为三种类型，分别为基于像素级、特征级和决策级的图像融合，我们研究的重点放在像素级的多尺度融合方法上[3-6]。一个有效的像素级融合方法应该将大部分有用的内容从源图像转移到合成图像，同时在融合过程中尽量减少信息丢失、避免引入伪影。为了实现这些要求，在多尺度分解中首先选用合适的分解变换策略如离散小波变换（Discrete Wavelet Transform，DWT）、曲波变换（Curvelet Transform，CVT）等对图像进行分解。但利用DWT和CVT分解过程中有可能产生伪影、边缘容易产生光晕反应等缺点，因此边缘保持技术应运而生。常用的保边滤波器有引导滤波（Guided filtering，GF）、滚动方向滤波（Rolling Guidance Filter，RGF）及交叉双边滤波器（Cross Bilateral Filter，CBF）等，这些滤波器将源图像分解为基础层和连续的细节层，同时保留边缘信息。文献[7]中所提方法（Multi-Scale Guided Fusion，MGF）利用引导滤波分解、构造显著性权重，最终所得良好的融合效果，这也证实选引导滤波作为分解工具有一定的优势。

大多数多尺度融合方法需要两个以上的分解级别才能获得令人满意的结果，因此需要更多的内存和计算时间；有些滤波器的分解过程实现起来很复杂，因此较为耗时。为了减少融合时间并降低多尺度融合算法的复杂性，有些研究者提出了两尺度分解的图像融合方法。在文献[8]中提出利用引导滤波将图像两尺度分解并构造加权平均系数，充分利用空间一致性进行基础层和细节层的融合。该方法（Guided filtering Fusion，GFF）在结构相似度上表现的非常好，但是整个融合过程耗时较长。为了实现快速融合，文献[9]中提出了一种基于显著性检测的两尺度的融合方法（Two-Scale Image Fusion，TSF）。该方法利用平均滤波器实现两尺度分解，再基于显著性的权重图构造算法将源图像的有用和互补信息集成到融合图像中。TSF方法耗时少、速度快，但是显著性权重构造不利于图像特征的保留，融合图像视觉效果相较其他方法还待提高。通过研究以上方法的优、缺点发现，为了降低算法的复杂性同时兼顾融合图像保边性的考虑，本文采用基于引导滤波的二尺度分解融合方法。

通过上面的分析，二尺度分解中构造显著性权重作为融合规则有缺点，所以必须考虑适合二尺度分解方法的融合规则。有些研究将稀疏表示[10]（Sparse Representation，SR）和脉冲耦合神经网络[11]（Pulse Coupled Neural Network，PCNN）作为融合规则引入图像融合的研究中。但基于稀疏的方法会导致融合图像细节过于平滑，图像局部模糊不清；基于PCNN的融合方法耗时太长，不适用于某些快速融合图像应用的要求。分析二尺度分解特点，由于分解的层数少，导致在细节层中仍然包含一些细节信息和能量，所以二尺度分解方法的融合规则必须解决细节层的能量保护和细节提取。

综上，本文提出一种基于引导滤波二尺度分解的红外与可见光图像融合的方法。首先使用引导滤波进行二尺度分解，在细节层的融合中需采用能量保护和细节提取的融合规则，最后将融合后的基础层和细节层合并成融合图像。同时，我们之前针对可见光图像增强的研究也取得很好的效果，在本文中也会利用引导滤波先对可见光图像进行增强的预处理，以期取得好的融合效果。

1 相关理论

1.1 引导滤波

引导滤波是一种基于局部线性模型的边缘保护的滤波器。

假设引导图像为，为通过线性变换所将输出图像，由文献[8]给出的线性变换的如下：

式中：是以像素为中心的一个正方形邻域窗，本文取3×3。利用式(2)来计算式(1)中的系数(c,d)：

式中：表示待处理图像；是为了防止c过大的正则化参数。

式(2)可以利用式(3)、式(4)的线性回归求解：

d＝P－c(4)

式中：||代表的是在窗体中像素的个数；和2是图像在内的均值和方差；P是在内的均值。由于像素领域块之间是有重叠的，因此最后的滤波输出是通过计算所有可能的平均值得到，如下：

1.2 基于引导滤波的可见光图像增强

为了实现对可见光图像的增强，采用基于引导滤波的高动态范围压缩的图像增强方法[12]，标记引导滤波算子为GF,(×)，则基本步骤可以表述如下（凡公式中涉及的参数可参阅文献[12]）：

首先，引导滤波作用于可见光图像，得到基础层b＝GF,()。

增强后的图像为：

1.3 基于引导滤波的二尺度分解

设EIV是经过增强的可见光图像，R代表红外图像。首先，引导滤波分解EIV和R，分别得到各自的基础层：

接下来，通过公式(12)、(13)获得细节层，完成二尺度分解：

基于引导滤波二尺度分解的融合框架如图1所示。

图1 基于引导滤波二尺度分解的图像融合流程

2 分解后的信息合成

2.1 基础层的信息合成

由于基础层系数的绝对值越大，对应的特征越显著，所以在基础层上采用传统的“绝对值最大”融合规则进行合并。

首先给出绝对值最大的系数：

那么在基础层的复合信息利用下式进行计算：

2.2 细节层的信息合成

由于二尺度分解特点，细节层在分解后包含一些细节和能量，根据文献[13]提出一种基于能量保护和细节提取的细节层融合规则。

首先给出一个活跃水平的测量方法记为WLE，定义如下：

这里＝{EIV,R}，是半径为，(2＋1)×(2＋1)的带权矩阵。中的每一个元素的值被设定为22r－，是4领域元素到中心的距离。

为了从源图像中完全提取细节信息，本文使用测量活跃水平的方法记为WSEML，定义如下：

EML如下定义：

细节层的最终活跃水平测量被定义为WLE和WSEML的乘法，因此细节层融合的规则如下：

最后，图像的融合结果通过＝B＋D完成。

3 实验结果与分析

3.1 测试集与相比较的融合方法

为了验证本文所提出方法的融合效果，选取如图2所给的9组红外与可见光图像的测试集。本文所提的方法记为E_GF_TSF，与本文所提方法进行比较的融合方法有TSF[9]，GFF[8]和MGF[7]方法，以及SR方法（DWT＋SR）和PCNN方法（CVT＋PCNN）。

图2 测试集

3.2 图像质量评价指标

为了更加客观地评价融合的效果，本文采用6种常见的融合指标对各种融合方法进行客观质量评价。6种融合指标分别为度量图像中信息丰富程度的熵（Entropy, EN）；度量融合图像中结构信息的标准偏差（Standard deviation, SD）；度量保留源图像信息量的互信息（Mutual information, MI）[14]；基于结构相似度的梯度评价指标G[15]和度量图像的感知显著性（Perceptual Saliency, PS）[12]，最后一个是运行时间。在评价指标中除了时间，这些评价指标的数值越大说明融合效果越好。

3.3 融合后的主观评价

鉴于文章篇幅的限制，从9组融合结果中给出其中两组的融合结果进行比较，如图3所示。

通过观察融合结果可以发现每种方法之间的融合差异。在SR方法的融合结果中，第一组图像中白板比较虚，第二组的图像明显有“块效应”，这是稀疏表示方法的弱点。基于PCNN方法的两个融合结果，无论是第一组的树叶还是第二组整个图像都很模糊，对比度较低，视觉效果比较差。GFF方法和TSF方法的融合结果较为相似，比前两种方法效果要好一些，但是也有一些缺憾，两种方法的融合结果丢失了一些纹理信息。如果将第一组图像放大后会发现树叶比较的模糊；第二组的图像中，两种方法的融合结果远处的树木轮廓还是比较模糊，层次不清。MGF方法整个融合效果还是不错的，但是在细节信息和灰度层次感的处理上还是有待提高。图4是我们将第一组融合图像的部分进行了放大，从图4中我们看出MGF方法融合的结果中白板周围的物体不清晰；利用MGF融合方法所得第二组图像中远处的树木显得比较“黑”，不太好辨识。本文所提E_GF_TSF方法的融合效果整体不错，在MGF方法中所出现的弊端，在本文的方法中都得到了改善。整个图像的对比度好，物体的辨识度高、细节信息处理较好，轮廓也比较分明。

图3 两组实验结果对比

图4 第一组实验结果放大图

通过实验结果展示和分析可以看出，本文所提出的方法无论是在边缘保护还是在对比度上都有很好的表现，所得融合图像适应人类视觉感知，有很好的视觉效果。

3.4 融合后的客观评价

表1给出的是9组图像经不同融合方法后所得客观评价指标的结果，由于篇幅原因，表中的数据是9组图像在同一方法、同一指标取平均值。通过观察6种客观评价指标的测试数据（加粗表明结果最好），本文所提出的方法在其中4项的评价指标中都是最好的，一项指标在6种方法中是排在第二。所以可以看出本文给出的融合方法在边缘保护、细节的融合处理以及视觉效果等方面都有不错的表现。TSF方法和MGF方法主要是融合快速为特点，所以这两种方法在时间上表现最好。本文所提方法由于还要进行可见光图像的预处理，因此较为耗时，但时间指标上与其他方法还有较大差距，这也是今后需要提高的地方。

表1 用SR 、PCNN、GFF、TSF、MGF和E_GF_TSF方法融合得到的指标

3.5 关于图像增强的讨论

在之前的研究中发现对可见光图像进行增强后，融合所得的结果无论是视觉效果还是评价指标方面表现都非常好，如果使用其他方法将可见光图像增强，是否就会比本文所提方法效果更好？带着疑问，我们进行了图像融合实验来对图像增强情况讨论。由于SR方法和PCNN方法融合效果一般，GFF方法耗时太长，因此下面就TSF、MGF和本文所提方法进行增强的讨论。图5是3种方法可见光图像未增强和增强后的效果图对比。

在图5中，GF_TSF是本文所提方法，只是没有进行可见光图像增强。而E_TSF、E_MGF分别代表将可见光图像增强后再使用TSF和MGF两个方法融合。通过效果图可以发现，在未增强的3张效果图中MGF和GF_TSF方法的融合效果较好，MGF方法人物等比较清晰，而GF_TSF方法路面的轮廓清晰。在增强后的3张图像中，是我们所提方法的融合效果好一些，尤其是路面上的细节都处理的很好。因此，我们所提方法无论是细节还是对比度上都比较适合人类的视觉感官。

表2是6种方法融合后的数据，和表1的数据处理方法一样，都是测试集中9组源图像评价指标的平均值。从表2中可以看出，可见光图像在未增强前，GF_TSF方法的数据整体最好，同样增强后也是我们所提方法的数据最好。

图5 不同融合方法的效果对比

表2 用TSF, MGF, GF_TSF, E_TSF, E_MGF和E_GF_TSF方法融合得到的指标

因此，我们从主观评价和评价指标的数据分析都可以发现，我们所提方法无论是在可见光图像未增强前还是增强后在融合效果和数据表现都比较好，增强后提高了对比度，使得融合后的效果更好。所以，对可见光图像的增强是可以提升融合效果，但是最终决定融合结果的还是要看融合方法是否有效。

4 结论

本文提出了一种基于引导滤波二尺度分解的红外与可见光图像融合的方法，首先利用引导滤波对可见光图像增强，以便在融合图像中获取更好的视觉效果。然后，再次利用引导滤波对处理后的源图像进行二尺度分解得到基础层和细节层，在细节层选用细节提取和能量保护的融合规则。最后，将融合后的基础层和细节层进行融合得到融合结果。主观评价与客观评价也证实了本文方法的有效性。

[1] ZHANG H, HAN X, ZHANG R. Multimodal image fusion method based on guided filter[J]., 2022, 36(1): 2254003-1-2254003-16.

[2] MA J, MA Y, LI C. Infrared and image fusion methods and applications: a survey[J]., 2019, 45: 153-178.

[3] ZHANG H, MA X, TIAN Y S. An Image fusion method based on curvelet transform and guided filter enhancement[J/OL]., 2020, https://doi.org/10.1155/2020/9821715.

[4] 张慧, 常莉红, 马旭, 等. 一种基于曲波变换与引导滤波增强的图像融合方法[J]. 吉林大学学报: 理学版, 2020, 58(1): 113-119. ZHANG H, CHANG L H, MA X. An image fusion method based on curvelet transform and guide filtering enhancement[J]: Science Edition, 2020, 58(1): 113-119.

[5] 张慧, 常莉红. 基于方向导波增强的红外与可见光图像融合[J]. 激光与红外, 2020, 50(4): 508-512. ZHANG H, CHANG L H. Infrared and visible image fusion based on guided filtering enhancement[J]., 2020, 50(4): 508-512.

[6] 张慧, 韩新宁, 韩惠丽. 基于滚动引导滤波的红外与可见光图像融合[J]. 红外技术, 2022, 44(6): 598-603.ZHANG Hui, HAN Xinning, HAN Huili. Infrared and visible image fusion based on a rolling guidance filter[J]., 2022, 44(6): 598-603.

[7] Bavirisetti, XIAO D P, ZHAO G H, et al. Multi-scale guided image and video fusion: a fast and efficient approach[J]., 2019, 38: 5576-5605.

[8] LI S T, KANG X D, HU J W. Image fusion with guided filtering[J]., 2013, 22(7): 2864 2875.

[9] Durga Prasad Bavirisetti, Ravindra Dhuli. Two-scale image fusion of visible and infrared images using saliency detection[J]., 2016, 76: 52-64.

[10] LIU Y, LIU S, WANG Z. A general framework for image fusion based on multi-scale transform and sparse representation[J]., 2015, 24: 147-164.

[11] Ganasala Padadma, Kumar Vinod. Feature-motivated simplified adaptive PCNN-based medical image fusion algorithm in NSST domain[J]., 2016, 29(1): 73-85.

[12] ZHOU Z, DONG M, XIE X, et al. Fusion of infrared and visible images for night-vision context enhancement[J]., 2016, 55(23): 6480-6489.

[13] YIN M, LIU X, LIU Y, et al. Medical image fusion with parameter- adaptive pulse coupled neural network in nonsubsampled shearlet transform domain[J]., 2019, 68(1): 49-64.

[14] Xydeas C S, Petrović V. Objective image fusion performance measure[J]., 2000, 36(4): 308-309.

[15] Hossny M, Nahavandi S, Creighton D. Comments on ‘Information measure for performance of image fusion’[J]., 2008, 44(18): 1066-1067.

Two-scale Image Fusion of Visible and Infrared Images Based on Guided Filtering Decomposition

ZHANG Hui1，HAN Xinning2，HAN Huili1，CHANG Lihong1

(1. School of Mathematics and Computer Science, Ningxia Normal University, Guyuan 756000, China;2. School of Resources Environment and Life sciences, Ningxia Normal University, Guyuan 756000, China)

We proposed atwo-scale image-fusion method for infrared and visible light image fusion based on guided filtering to reduce the complexity of multi-scale decomposition fusion algorithms and improve the adaptability of fused images to human visual characteristics. First, we used guided filtering to enhance the visible image and decomposed the source images into base and detail layers using guided filtering. In the fusion rules of the detail layer, we adopted the energy protection methods and detail extraction. Finally, we combined the fused detail layer with the base layer to synthesize the fusion results. The experimental results showed that the proposed method improves the visual effect, detail processing, and edge protection. We discussed the impact of visible image enhancement on fusion methods from experimental data. Enhancement can improve the fusion effect, but the fusion method is key in image fusion.

two scale decomposition of guided filtering, image enhancement, energy protection

TN911.7

A

1001-8891(2023)11-1216-07

2023-05-19；

2023-06-21.

张慧（1977-），女，宁夏固原人，硕士，教授，主要研究方向为图形图像处理。E-mail：2466437143@qq.com。

宁夏自然科学基金（2022AAC03331；2021AAC03028；2022AAC03300；2023AAC03330）。