基于非下采样轮廓波变换与引导滤波器的红外及可见光图像融合

丁贵鹏， 陶钢， 李英超, 庞春桥， 王小峰， 段桂茹

(1.南京理工大学 能源与动力工程学院， 江苏 南京 210094； 2.长春理工大学 光电工程学院， 吉林 长春 130022；3.陆军装备部驻吉林地区军事代表室， 吉林 吉林 132000)

0 引言

可见光成像传感器和前视红外成像传感器是两种常用的不同模态传感器。前视红外成像传感器依据物体温度不同或辐射率不同进行成像，属于被动成像，具有抗干扰性强、目标识别能力强和全天候工作等优势，在军事、安防等领域应用广泛[1]。但红外图像具有对比度低、信噪比低和成分复杂等缺点。可见光成像传感器捕捉的是场景表面反射的可见光强度信息，图像具有分辨率高、质量好并能够提供目标所在场景的细节信息等优点，但易受环境光线和气候影响，不能全天候工作。利用图像融合技术综合红外图像和可见光图像的互补信息，可得到一幅既具有较好的目标指示特性又具有清晰场景信息的图像，提高观察者对整个场景的认知度，进一步拓展红外成像的应用领域[2]。

近年来，国内外相关学者提出了许多红外与可见光图像的融合方法，其中基于多尺度分解的融合方法应用最广泛。该方法主要包括两个核心内容，一个是多尺度分解工具的选择，另一个是系数融合算法的设计[3]。多尺度分解工具主要包括各种金字塔变换和小波变换，如梯度金字塔、比率金字塔、离散小波、曲波、轮廓波、剪切波、非下采样轮廓波变换(NSCT)等[4]，文献[5]对多尺度分解工具在图像融合领域的应用进行了对比分析，结果显示具有平移不变性和灵活方向选择性的NSCT融合效果最好，应用也最广泛。

近年来，基于边缘保持滤波的多尺度分析方法在图像融合领域成为研究的热点。在平滑图像时，边缘保持滤波器可以保留图像的边缘信息以减少光晕，因此可以采用此滤波器对图像进行多次滤波，得到一个近似图像和多个细节图像；也可以采用方向滤波器组对细节图像进行方向滤波，生成多个方向细节图像[6]。但边缘保持滤波器容易在滤波图像中产生梯度反转，在融合图像中表现为虚假信息或“晕”现象。

图像子带融合算法多数都是针对分解后的系数直接计算单点活性测度、局部窗口活性测度或局部窗口匹配测度，如系数绝对值、窗口方差、局部窗口能量匹配等，然后进行加权平均或单点选择性融合。其中：根据单点活性测度的选择性融合易误选噪声作为融合系数，造成图像不稳定和不连续；根据窗口活性测度的选择性融合可以减少噪声影响，但也会导致轮廓间的模糊；根据活性测度的加权平均能够降低噪声敏感度，充分利用源图像间的互补信息，融合效果较好，应用也最广泛，但如果权值选择不合适，则容易降低融合图像的对比度和亮度，甚至产生灰度失真；根据局部窗口匹配测度进行单点选择或加权平均算法，易出现块效应[7]。

随着压缩感知理论的出现[8]，出现了许多基于稀疏表示的图像融合方法并取得了成功，但这类融合方法是以滑动分块为基础，图像块间的稀疏表示是独立进行的且表现为多值，采用平均聚合方法重构图像时容易丢失细节信息[9]。

基于深度学习的图像融合方法成为近年来广泛研究的热点，这类融合方法主要应用网络训练模型深度提取图像特征，然后进行融合操作，但图像集训练得到的深度学习模型对待融合图像并不一定最优，融合效果有时并不理想[10]。

为了克服上述融合方法的缺陷，本文采用NSCT作为多尺度分解工具，在不同频带内解析出图像中的重叠信息，利用窗口加权平均能量和改进的拉普拉斯能量两种活性测度构造显著特征图，对近似图像进行加权平均，以保持能量和剩余细节不丢失，利用引导滤波对方向细节图像的决策映射图进行滤波处理，通过邻域像素之间的强相关性进行权重优化，消除噪声的敏感性，然后对方向细节图像进行加权平均，保留源图像中目标边缘和细节信息。

1 NSCT方法

NSCT方法将多尺度分解和方向分析拆分进行：首先将图像送入非下采样金字塔滤波器组(NSPFB)进行多尺度分解，得到一个低通子带和多个高通子带。然后将高通子带送入双通道的非下采样方向滤波器组(NSDFB)进行方向分解，得到多个方向子带。非下采样金字塔(NSP)分解方式和NSDFB滤波结构使NSCT同时拥有了多尺度特性和多方向选择特性[11]。图1所示为NSCT方法的结构示意图。图1(b)中，数字1、2、3分别表示分解的层数，ω1、ω2分别表示频域的横坐标和纵坐标。

图1 NSCT变换Fig.1 Non-subsampled contourlet transform

2 引导滤波器

引导滤波器的滤波耗时与滤波器的尺寸大小无关，是基于局部线性模型的保边滤波器。在图像增强、抠图、超分辨率和着色方面得到广泛应用[12]。引导滤波器的滤波结果T是引导图像S在以像素p为中心的局部窗口θp中的线性变换，即

Ti=apSi+ep，∀i∈θp，

(1)

式中：Ti为输出图像在窗口θp中的第i个像素值，i为窗口θp中的像素顺序；Si为引导图像在窗口θp中的第i个像素值；θp为尺寸为(2r+1)×(2r+1)的正方形窗口，r为窗口半径；ap和ep为θp中的常数，其值E(ap，ep)可通过最小化输出图像T和输入图像F之间的平方差进行估计得到，

(2)

Fi为输入图像在窗口θp中的第i个像素值，τ为滤波器模糊度，以防止ap值过大。系数ap和ep能够利用线性回归直接求解，

(3)

(4)

当输入为红(r)、绿(g)、蓝(b)彩色图像时，可分别对输入图像的r、g、b通道进行引导滤波，得到滤波输出。当引导图像S为r、g、b彩色图像时，(1)式应改写为

(5)

式中：ap为1个3×1阶系数向量；Si为1个3×1阶彩色向量，此时引导滤波的输出可以按照(6)式进行计算：

(6)

式中：σp为窗口θp中S的3×3阶协方差矩阵；U为3×3阶单位矩阵；μp为窗口θp中彩色图像S的均值。

当引导滤波器用作平滑滤波时，令S=F，可以实现对输入图像的边缘保持平滑滤波处理。上述引导滤波器操作可以简单地用符号Gr,τ(S,F)来表示，τ为模糊度参数。图2和图3所示分别为引导滤波和边缘保持平滑滤波的示例，实验图像来自http:∥kaiminghe.com.

图2 引导滤波Fig.2 Guided filtering

图3 边缘保持平滑滤波Fig.3 Edge preserving smoothing filtering

3 基于NSCT与引导滤波器的融合方法

图4 红外与可见光图像融合过程的总体框图Fig.4 Block diagram of infrared and visible image fusion process

3.1 低频近似图像的融合规则

低频图像代表图像的大尺度区域，为源图像的近似，因此融合规则主要是处理好能量保存和细节提取两个关键因素。本文利用局部窗口加权平均能量以及改进的拉普拉斯能量和构造显著特征图，对低频近似图像子带系数进行加权融合，具体实现过程如图5所示。图5中，AE1、AE2局域窗口加权平均能量，SML1、SML2为改进的拉普拉斯能量和。

图5 近似图像融合规则实现过程Fig.5 Implementation process of approximate image fusion rule

图像通常被视为二维分段平滑信号，其能量主要包含在其低频分量中，在红外与可见光图像融合中，由于不同源图像采用不同的成像机制，不同源图像同一位置的像素强度可能会有很大差异，传统等权重平均的融合规则容易导致融合图像的能量丢失，某些区域亮度急剧下降，视觉感知效果差。为了解决上述问题，采用局域窗口加权平均能量作为活性测度，定义如下：

(7)

实际应用过程中，由于考虑计算效率因素，NSCT的分解层数不可能很高，低频近似图像中仍然会包含一些细节信息。为了提取细节信息，采用改进的拉普拉斯能量和[14]作为活性测度，

(8)

(9)

AEX(i,j)和SMLX(i,j)进行乘积，生成显著特征图，作为低频子带图像的活性测度，可以保持能量和细节信息的不丢失。具体见(10)式：

P1(i,j)=AE1(i,j)SML1(i,j)，
P2(i,j)=AE2(i,j)SML2(i,j)，

(10)

式中：P1(i,j)、P2(i,j)分别为低频近似图像的显著特征图。

归一化显著特征图得到权重系数，有

(11)

(12)

3.2 高频方向细节图像融合规则

高频方向细节图像中含有源图中小尺度纹理结构信息，一般认为绝对值大的系数表示图像中的突出特征，这也是许多文献中利用“系数绝对值取大”作为细节图像融合规则并取得较好融合效果的原因。但对于红外与可见光图像融合，“系数绝对值取大”规则容易将不相干的红外信息和噪声转移到结果图像中，从而使融合图像中缺少可见光图像的细节信息，不利于视觉观察。为了克服上述缺陷，将引导滤波器引入细节图像融合过程，利用邻域像素之间的强相关性进行权重优化，对方向细节图像进行加权平均，具体实现过程如图6所示。

图6 方向细节图像融合规则实现过程Fig.6 Implementation process of direction detail image fusion rule

首先将高频系数取绝对值作为细节图像的活性测度，

(13)

然后利用活性测度取大策略获得决策映射图，

(14)

(15)

(16)

式中：Gr,τ为引导滤波器。

最后将(16)式结果进行归一化处理，得到权重值：

(17)

以及高频方向细节图像的融合系数为

(18)

4 实验与分析

为了表明本文方法具有更好的融合效果，通过融合多组红外与可见光图像进行实验验证，整个实验过程包括自由参数的确定和典型融合方法的对比。实验结果评价采用视觉主观评价与客观指标评价结合的方法，客观评价指标包括互信息MI[15]、结构信息相似度SSIM[15]、边缘保持度Qab/f(a、b、f分别表示红外图像、可见光图像和融合图像)[15]、加权融合质量指数Qw[15]和边缘相关融合质量指数Qe[15]. 本文实验所用图像数据均来自http:∥www.imagefusion.org和https:∥figshare.com/articles/ TNO_Image_Fusion_Dataset/1008029. 图像均为配准之后的图像，配准方法可参考文献[16]。实验所用仿真软件为MATLAB 2014a，操作系统为64位Windows 7旗舰版，硬件系统的安装内存为8.00 GB，CPU主频为2.60 GHz.

4.1 自由参数的确定

本文融合算法中存在3个自由参数，分别为NSCT分解尺度数L、引导滤波器窗口半径r和模糊度τ. 为了确定这3个自由参数值对融合性能的影响，利用结构信息相似度SSIM[15]、边缘保持度Qab/f[15]、加权融合质量指数Qw[15]和边缘相关融合质量指数Qe[15]对测试图像集在不同参数组合下的融合结果进行客观评价，将每种评价指标的均值作为评价结果，最优结果所使用的参数值即为本文所采用的参数值。在图像融合研究领域中，针对多个参数对融合结果的影响，多采用控制变量法进行研究。也就是将其他变量固定，只有一个变量可以改变参数值，并在获得此变量的最优值后固定此变量，对其他变量重复此操作，最终确定出所有参数的最优值。由于篇幅有限，无法将参数确定过程中的所有实验结果一一列出，通常采用的方法是只列出每个参数的一组结果，此时其他参数设置为性能最优的值[17]。表1所示为测试图像集。图7所示为不同参数的融合性能客观评价值。表2所示为测试NSCT分解尺度数L对融合性能的影响时各尺度上方向分解数目。

表1 测试图像集

表2 NSCT的分解尺度数和对应的方向数

分析图7(a)可知：当参数L<4时，4种客观评价指标值随着L值增加而增大；当L>4时，各个评价指标数值开始逐渐下降。造成此结果的原因是当分解尺度较少时，显著特征不能很好地从源图像分离出来，在尺度较多情况下，低频图像中只有很少的细节区域，致使权重值在融合细节系数时不能达到最好的效果，因此通过综合考量，本文参数值L取4.从图7(b)中可知：SSIM和Qw两种评价指标值变化较小；Qab/f和Qe在r值为6时达最优，因此r值取6为最合适。从图7(c)中可见：SSIM和Qe两种评价指标值随着τ值的变化基本保持不变；Qab/f和Qw在τ值为10-4时达到最优，因此τ值取10-4为最合适。基于上述讨论，最后的实验参数设定为L=4、r=6和τ=10-4.

图7 本文融合方法在不同参数下的客观评价Fig.7 Objective performance of the proposed method with different parameters

4.2 不同融合方法比较与分析

为证明本文融合方法的优越性，将本文提出NSCT_GF方法与近年具有代表性的融合方法进行比较，主要有基于两尺度分解的引导滤波融合 (GFF)方法[18]、NSCT域内稀疏表示融合 (NSCT_SR)方法[19]、基于像素显著性的交叉双边滤波融合方法(CBF)[20]、基于深度学习的卷积神经网络融合(CNN)方法[21]、基于显著性检测的双尺度融合(TSSD)方法[22]。其中GFF和CNN方法作为两种标杆式融合方法，被许多文献引用。图8所示为不同融合方法对“烟雾中的士兵”图像的融合结果，图9所示为不同融合方法对图像“卡普坦_01”的融合结果。其中图8(c)～图8(h)和图9(c)～图8(h)为以上6种不同方法的对比融合结果，为便于观察和比较不同方法融合结果的优劣，采用红色方框对差异较明显的目标区域进行了标记。6种方法融合结果的客观评价如表3所示。

图8 不同融合方法对“烟雾中的士兵”图像的融合结果Fig.8 Fusion results of “soldier behind smoke” image by different fusion methods

图9 不同融合方法对图像“卡普坦_01”的融合结果Fig.9 Fusion results of “Kaptein_01” image by different fusion methods

表3 6种方法融合结果的客观评价

由图8可见：在红外图像中，一个被烟雾遮挡的士兵清晰地显现出来，而在可见光图像中烟雾和树木等背景和细节信息则远比红外图像更清晰；上述6种融合方法中都能清晰地呈现出树木信息，但NSCT_SR和CBF方法结果中烟雾信息缺失，虽然能清楚地观察到士兵，但整体视觉效果较差，如图8(d)、图8(e)中的士兵周围；GFF和TSSD方法的结果中烟雾信息并不明显，细节信息丢失严重，整体亮度较低(见图8(c)、图8(g))；CNN方法结果中烟雾信息清晰可见，但士兵信息缺失严重，融入了过多的可见光信息(见图8(f))；本文NSCT_GF方法可以很好地提取目标信息，并尽可能地增加可见光图像中的细节信息。融合后的图像亮度和区域对比度适中，视觉体验良好。

红外图像对热目标信息进行了很好的捕获，包括屋内灯光和路灯等目标都突出显示在图像中。可见光图像中提供了树木和低矮灌木丛等细节信息。与图8(d)、图8(e)类似，NSCT_SR和CBF方法融合结果中的空间信息混乱，缺少许多区域信息，产生很多错误信息，融合结果非常不利于人眼观察，如图9(d)、图9(e)中的树木周围和房屋前的甬路；GFF和TSSD方法结果中整体较暗，局部区域出现了“晕”现象，呈现的信息与源图像信息不符，容易误导观察者，如图9(c)、图9(g)上方红色方框区域内树木周围；CNN方法结果中出现了局部信息模糊现象，如图9(f)中左侧边缘红色方框区域内灌木丛信息；本文融合方法可以成功地将各源图像的优势信息融合在一起，保留重要细节，融合结果较其他图像清晰，整体图像亮度适中，更适合于人眼观察。

由图8中的数据分析可知，本文融合结果的各项客观评价数据均为最优，与上述主观分析结果一致，图中数据的大小也大体反映出融合图像质量的优劣，数值的大小与融合结果质量呈正比，指标越大，视觉感知越自然，反之则越差。

由以上实验结果分析可知，除本文NSCT_GF方法外，其他5种融合方法在融合结果中均出现一些明显缺陷，GFF方法是采用平均值滤波器，将源图像分为近似层和细节层，利用引导滤波器生成不同的权重图，由于固定的引导滤波器参数设置不能自适应源图像的变化，导致权重值并不能总是最优；NSCT_SR方法是采用NSCT方法分解源图像，低频子带采用稀疏表示和l1范数取大融合规则，高频子带采用系数绝对值取大规则，由于重叠分块稀疏表示会造成同一系数在不同块内的稀疏系数是多值的且不相等，重构时聚合平均策略容易使源图像的局部结构发生改变，丢失细节信息；CBF融合方法是利用交叉双边滤波器的输出与源图像进行差分运算获得细节图像，采用系数邻域的统计特性提取边缘强度作为权重，由于双边滤波器中的自由参数较多，固定的经验值使得权重值与源图像并不能达到最优匹配；CNN方法是采用孪生卷积神经网络获得特征图，将特征图送入高斯金字塔分解得到权重图，源图像进行拉普拉斯金字塔分解，根据子带图像的能量块匹配度进行选择性或加权性融合，由于块匹配度阈值是固定的，不能适应源图像的变化，拉普拉斯金字塔分解过程中需要下采样，容易在融合图像中产生块效应和虚假信息；TSSD方法是采用平均值滤波器将图像分解为近似层和细节层，近似层图像利用等权值的加权平均进行融合，细节层利用平均值滤波器和中值滤波器生成的视觉显著图作为权重图进行加权融合，等权值的加权平均规则会造成融合图像的灰度和对比度下降。

4.3 主客观评价分析

本文提出的融合方法在主观和客观评价两方面均有良好表现，这主要是因为本文所用的NSCT方法具有平移不变特性，能够在多尺度多方向上分离出源图像的重要特征，利用局部加权平均能量和改进的拉普拉斯能量以及构造的显著特征图作为低频近似图像的权重，能够在保持能量不丢失的同时保留残留的细节信息，在方向细节图像融合过程中引入引导滤波器，充分利用邻域像素间的强相关性进行权重优化，最优地分配权重，保留更多的细节信息和边缘。

为了表明本文所提方法具有更好的稳定性，对表4所示5对红外与可见光图像进行对比融合实验。表4对红外与可见光图像融合结果显示在表5中。表6显示了各个融合方法的各评价指标的平均值。

表4 5对红外与可见光图像

由表5中显示的融合结果可知：本文NSCT_GF方法得到的每一张融合图像都有更好的视觉效果，表明本文NSCT_GF方法的融合结果稳定、图像质量更高；其他融合结果中均包含有明显信息缺失的融合图像，例如GFF方法中带刺的铁丝网、战壕与士兵、树丛与人融合图像，NSCT_SR方法中士兵与吉普车、带刺的铁丝网、树丛与人和十字路口融合图像，CBF方法中士兵与吉普车、带刺的铁丝网、树丛与人和十字路口融合图像，TSSD方法中战壕与士兵和树丛与人融合图像，表6中的客观评价数据也验证了上述主观判断。但是，本文提出的NSCT_GF融合方法需要对源图像进行NSCT方法分解，在使用NSCT方法进行多尺度变换和逆变换时需要满足Bezout恒等式，增加了构造的复杂度，相比于两尺度分解融合算法，计算效率要低，以表6中第5对“Road”红外与可见光图像为例，图像尺寸为632×496，NSCT_SR方法和NSCT_GF方法中尺度滤波器为“pyrexc”，方向滤波器为“vk”，运行时间如表7所示。

表5 不同融合方法对表4中5对红外与可见光图像融合的结果

表6 不同融合方法融合结果的平均定量客观评价

从表7中可以看出，本文融合方法所需运行时间高于GFF和TSSD方法，低于NSCT_SR、CBF和CNN方法。随着硬件配置的提升和算法的优化，可以进一步缩短其运行时间，提高实际应用性能。

表7 不同融合方法的运行时间

5 结论

本文提出了一种基于NSCT变换与引导滤波器的红外与可见光图像融合方法。为了充分利用低频近似图像中的信息，设计了基于局部加权平均能量和改进拉普拉斯能量和的两种活性测度，构造出显著特征图作为近似图像的权重，最优分配系数比例；引导滤波器引入方向细节图像融合中，充分利用邻域像素之间的强相关性进行权重优化，能够将源图像中显著性细节特征保留在融合图像中，减少噪声的干扰。由实验结果可以看出，该方法在能量保持、细节保留、融合图像亮度和整体对比度方面都可以取得稳定的结果，在主观评价和客观评价两方面均优于本文中列出的具有代表性的融合方法。