基于导向平滑锐化滤波和多尺度分解的红外与可见光图像融合

余先涛，郭昭阳，孟立显，金其顺

(1.武汉理工大学 机电工程学院，湖北 武汉 430070;2.中国铁路武汉局集团有限公司，湖北 武汉 430071；3.中国铁路武汉局集团有限公司科学技术研究所，湖北 武汉 430071)

图像融合技术是图像处理中的重要分支，它的目的是将多源传感器在同一场景或同一目标上采集到的图像信息融合成一幅新的图像，以充分利用不同传感器的互补信息，从多方面获得场景或目标的描述，便于观察和后续的处理。其中红外与可见光图像融合是图像融合技术中的重点之一。红外图像传感器根据物体红外辐射的差异成像，其图像采集不依赖于外部光线，具有较强的抗干扰能力，但红外图像背景信息和分辨率较低，容易缺乏细节。可见光图像传感器根据物体对光线的不同反射能力成像，图像采集易受低光照或遮挡物等环境因素影响，但可见光图像通常具有丰富的场景边缘纹理细节。因此红外图像与可见光图像具有良好的互补性，融合图像既包含红外目标信息，又有丰富的纹理细节等场景信息，已广泛应用于隐蔽性武器检测、目标检测与跟踪等领域[1]。

红外与可见光图像融合研究中应用较为广泛的方法有基于多尺度分解的融合方法[2]、基于稀疏表示的融合方法[3]、基于子空间的融合方法[4]、基于神经网络的融合方法[5]等。其中基于多尺度分解的融合方法一直是研究和应用的热点，传统的基于多尺度分解的图像融合方法包括金字塔变换(pyramid transform)[2]、小波变换(wavelet transform)、非下采样轮廓波变换(nonsubsampled contourlet transform)等。该类方法的一般过程为将源图像进行多尺度分解得到一系列不同尺度的子图像，再将得到的不同尺度的子图像根据设计的融合规则进行融合，最后通过逆变换得到最终的融合图像。但融合结果中可能出现红外目标亮度较低，目标和场景边缘容易产生光晕和伪影。这是由于传统的多尺度分解方法忽略了空间一致性且在分解过程中边缘纹理没有得到良好保护所造成的。改进传统的多尺度融合方法使其具有良好的边缘细节和目标显著性成为近些年来关注的热点。朱浩然等[6]提出了一种基于迭代导向滤波与多视觉权重信息的红外与可见光图像融合算法，该方法有效地抑制伪影的产生。Chen等[2]将多尺度分解后的低频层融合由红外低频层权重决定，高频层融合采用最大绝对值规则，生成具有明显突出目标和丰富细节的融合图像。以上基于多尺度分解的融合算法有效改善了融合图像伪影和目标显著性问题，但存在一定的局限性，如融合图像对比度较低，边缘纹理存在“光晕”等。

针对这些问题笔者引入导向边缘感知平滑锐化滤波器[7],相对于导向滤波[8]有更好的边缘保护能力，解决了原始导向滤波出现的细节“光晕”现象，同时提高融合图像的整体亮度。

1 相关算法

导向滤波在平滑噪声的同时具有很好的边缘梯度保护功能，因此在大量的图像融合任务中得到应用，有效解决了双边滤波器的梯度反转问题，但是其本质是一个平滑滤波器。导向平滑锐化滤波器运用导向滤波的思想设计了一种统一的具有平滑和锐化功能的滤波器。

1.1 导向滤波

导向滤波是一种基于局部线性模型的快速边缘保护滤波器,基于块模型的定义为：

Jk(q)=akGk(q)+bk

(1)

式中：Jk(q)为期望输出；Gk(q)为引导图像第k块像素；ak、bk为线性系数。

ak、bk可通过最小化块上的损失函数来确定。

(2)

式中：Ik(q)为源图像位于q∈∀k的像素；ε为正则化参数。

通过式(2)可求得：

bk=μk-akγk

(3)

(4)

将式(3)中bk代入式(1)可得到一个新的块模型：

Jk(q)=μk+ak(Gk(q)-γk)=μk-akΔGk(q)

(5)

式中：ΔGk(q)=γk-Gk(q)为拉普拉斯算子的泛化。

1.2 导向平滑锐化滤波器

Deng等[8]利用导向滤波的思想设计出了导向平滑锐化滤波器,将平滑和锐化统一到一个滤波器中，利用参数的不同控制平滑锐化效果。

式(5)中要求输入图像Ik和引导图像Gk必须相关联，如果它们是正相关，那么ΔIk(q)和ΔGk(q)符号相同。如果是负相关，那么预期这两个拉普拉斯符号是相反的。因此，需要对制导图像上计算的拉普拉斯符号进行校正。式(3)中ak自动满足要求。根据以上讨论，以式(5)为基础定义基于块模型导向平滑锐化滤波器：

Jk(q)=μk+sign(φk)αk(Gk(q)-γk)

(6)

式中，αk为正参数。其负对数似然为:

(7)

D(αk)=-logp({Jk(q)}|αk)-logp(αk)

(8)

通过最小化代价函数D(αk)来确定滤波参数αk，相当于最大化后验。求解∂D/∂αk=0，令ε=1/θ2，η=κε得到最优解为：

(9)

(10)

由此可知，αk≥|ak|，原始的引导滤波器是导向平滑锐化滤波器在κ=0时的一个特例。类似于原始导向滤波器的实现，对图像中每个块计算参数αk；然后再执行加权平均操作。则基于块模型滤波输出式(6)可改写为：

(11)

通过保持其他参数不变，探讨不同κ值对平滑锐化滤波器的影响结果如图1所示。图1(b)和图1(c)显示0<κ<1时的平滑效果，较小的κ值会增加图像的平滑度。图1(e)和图1(f)显示κ>1时的锐化效果，较大的κ值会产生更清晰的结果。通过设置κ=1得到图1(d)所示图像，其与原始图像完全一致，因此，当κ=1时，滤波器不会产生平滑或锐化效果。假设给出了4个参数：块半径r，参数κ、ε和尺度参数s，可以看出其与原始的导向滤波器具有相同的复杂度O(N),它们都是由线性滤波器来实现的。

图1 不同κ值对平滑锐化滤波器的影响(设置r=11,ε=0.01,s=1)

2 算法实现

笔者利用导向平滑锐化滤波器的锐化功能，设计具体的融合算法。首先，利用源图像的多尺度分解获得高、低频信息。然后，针对不同的信息采用各种融合策略。最后使用相关反变换得到融合结果。该融合算法框架如图2所示。

图2 本文提出的图像融合算法框架

2.1 多尺度分解

在提出的融合方法中，首先对红外和可见光图像进行多尺度分解，采用了拉普拉斯金字塔分解源图像，因为它可将源图像分解为不同的空间频段，融合过程在不同的空间频率层单独进行。因此，对于每个分解层的不同频段的各自特征和细节，可以采用各种融合规则。此外，拉普拉斯金字塔分解运行时间短，可以提高算法的计算效率。

拉普拉斯金字塔构成是在高斯金字塔基础上演变而来，源图像I0作为高斯金字塔的第0层，对其进行高斯低通滤波和隔行隔列采样得到金字塔的第一层，重复以上过程构成高斯金字塔。则图像金字塔第k层为：

1≤k≤N,0≤i≤Rk,0≤j≤Ck

(12)

式中：N为金字塔的最高层编号；Rk和Ck分别高斯金字塔第k层的行、列数；ω(m,n)是一个具有低通特性的二维可分离5×5窗口函数。

(13)

高斯金字塔的当前层都是对其前一层图像先进行高斯低通滤波，再作隔行和隔列的降2采样而生成的。前一层图像大小依次为当前层图像大小的4倍。

1≤k≤N,0≤i≤Rk,0≤j≤Ck

(14)

(15)

式中:N为拉普拉斯金字塔最高层；LPk为拉普拉斯金字塔分解的第k层图像。

2.2 融合规则

低频部分代表了图像的大部分平滑区域，这些区域包含大部分图像能量，通常代表图像的背景信息。总的来说，图像的像素强度分布主要体现在低频信息中。高频部分通常表征图像的变化区域，如图像的边缘轮廓。传统的多尺度图像融合方法在低频和高频层设计融合算法时，忽略了高斯滤波器抑制噪声的同时平滑图像的固有特性，因此得到的融合图像边缘模糊，笔者对红外和可见光图像低频和高频层分别使用导向平滑锐化滤波器，再分别采用平均融合规则。以低频层融合为例，计算公式为：

M1=SSIF(In,Gn,i,e,k,s)，

M2=SSIF(In,Gn,i,e,k,s),

(16)

式中：M1和M2分别为低频红外和可见光滤波图像；In和Gn分别为低频层红外和可见光图像第n层图像；i,e,k,s分别为导向平滑锐化滤波器用户手动输入的参数；M为红外与可见光低频第n层的融合图像。高频层的融合规则与低频层一致。

2.3 多尺度重构

由式(15)可得：

(17)

从式(17)可知，将拉普拉斯金字塔的顶层由上到下用式(17)进行逐层递推，可以得到最终的红外和可见光高频和低频层融合图像。

3 实验结果和分析

为了测试和验证所提出融合算法的优越性，笔者选取TNO图像融合数据集中配准后的红外与可见光图像与4种先进的融合算法进行定性定量的分析。4种融合算法分别为：Chen等[2]提出的基于多尺度的融合算法LP(laplacian)；Li等[9]提出的基于导向滤波的二尺度融合算法GFF(image fusion with guided filtering)；Ma等[10]提出的基于梯度滤波的二尺度融合算法；GTF(infrared and visible image fusion via gradientlet filter)以及Ma等[5]提出的基于深度学习的融合算法FusionGAN(fusion generative adversarial networks),这些算法均来自公开的代码。所有实验均在一台配备2.5 GHz Intel Core CPU和4 GB内存的笔记本电脑上进行。经过实验对比，设置尺度分解层数为4，平滑锐化导向滤波器参数设置为：r=11，ε=0.01，s=1，可见光图像高频和低频层κ=7.5，红外图像高频和低频层κ=5。

3.1 定性分析

笔者选取TNO图像融合数据集中在不同场景下的Lake,Kaptein_1123,Kaptein_1654,Soldiers_with_jeep,Marne_04与其他4种融合算法进行对比。结果如图3所示。Chen等基于传统的LP方法改进的融合图像，虽然红外图像的高显著性得到保留，但融合图像边缘出现明显光晕，同时融合图像(d)和(e)中天空出现明显伪影。GFF中可见光图像背景细节在融合图像中未得到很好保留，红外目标显著性降低。GTF融合图像很好地保留了红外目标的显著性和可见光图像的背景细节，但亮度减低。基于深度学习的FusionGAN融合方法，融合图像的亮度偏低。笔者提出的融合算法，在保留红外目标的显著性和可见光图像背景细节上都有良好的表现，同时克服了传统基于拉普拉斯金字塔的多尺度图像融合中边缘光晕问题。

3.2 定量分析

定性分析时由于主观人为意识的干扰，相对缺乏客观性，因此进行客观的定量分析。选用平均梯度(mean grdient,MG)，空间频率(spatial frequency,SF)，熵(entropy,EN)，视觉保真度(visual information fidelty,VIF)，边缘强度(edge intensity,EI)5项常用指标对融合图像性能进行评价。

较大的平均梯度(MG)表示融合图像包含丰富的边缘纹理。空间频率(SF)表示图像梯度分布，包含水平和垂直梯度，根据人类的视觉系统，融合图像具有较大的空间频率对人类感知非常敏感，并且图像具有丰富的边缘纹理。熵(EN)反映图像中包含的平均信息量，较大的熵值表示融合结果的一致性和融合算法的优越性能。视觉保真度(VIF) 基于自然场景统计和由人类视觉系统提取影像信号的概念的图像质量评估参数，较大的值表明图像的视觉效果较好。边缘强度(EI)越高，图像质量越高，越清晰。

笔者将定性分析的5张图片再进行定量对比，结果如图4所示。从图4可知，在5种常用的图像评价指标中，笔者提出的融合算法均优于其他融合方法。本文的融合图像边缘纹理强度，图像清晰度，以及融合图像信息量都具有良好的效果。同时也进行了融合算法时间对比，结果如表1所示。融合时间越短，说明融合算法实时性越好。

图3 不同算法对TNO数据集上的5种图像融合结果定性比较

图4 5种融合算法得到的5张融合图像的定性比较

表1 不同融合算法下的融合时间 s

4 结论

针对传统的多尺度红外与可见光融合算法得到融合图像边缘光晕、伪影、噪声和边缘细节信息丢失等问题，提出了一种基于导向平滑锐化滤波的多尺度融合算法，通过参数设置，利用导向平滑锐化滤波器锐化功能滤波同时增强边缘细节，很好地平衡了高斯平滑效果。利用本算法得到的融合图像无论是在定性定量的分析上，还是运行速度上都有优异的表现。