基于双引导滤波的红外和可见光图像融合算法

刘 丹,朱鸿泰,程 虎,桑贤侦

(中科芯集成电路有限公司,江苏 无锡 214072)

1 引 言

单一图像传感器可能无法提供目标场景的完整信息,为了解决这一问题,“多传感器图像融合技术”应运而生[1-2]。目前常见的融合方式包括遥感图像融合、多聚焦图像融合、医学图像融合、红外和可见光图像融合等。其中,红外和可见光图像融合是最具研究价值的融合技术之一,广泛应用于目标跟踪、检测识别[3-4]等领域。

红外和可见光图像融合算法分为像素级、特征级、决策级三个层次。其中,像素级融合方式得到的图像信息最为丰富,本文所研究的融合算法是基于该层次进行的。Li等人提出的基于引导滤波的图像融合算法(Guided Filter Fusion,GFF)[5],采用均值滤波对图像进行分解,之后利用拉普拉斯、高斯和引导滤波生成显著图和融合权重,在多种应用场景表现出优越性能,但利用拉普拉斯算子生成的显著图会损失部分图像特征。之后,Gan[6]和Javed[7]等人通过调整GFF算法中的部分组件来提升算法性能,但算法时间开销增加。Shreyamsha提出的交叉双边滤波融合算法(Cross Bilateral Filter,CBF)[8],利用协方差矩阵的特征值计算融合权重,融合图像中会引入人工伪影。Zhou等人[9]采用非线性方式构造权重图,将重要红外特征注入可见光图像中,但在过度曝光场景下,部分图像特征会被淹没。近年来,深度学习在图像处理等领域展示出优越性能,也已成功应用于图像融合。Liu提出的基于卷积神经网络(Convolutional Neural Networks,CNN)[10]的融合算法,利用CNN计算权重高斯金字塔,但该算法对过曝光等低质量图像融合效果差;Zhang[11]提出的具有多分类约束的生成对抗网络可对低质量图像进行较好融合,但二者均存在算法时间开销大的问题,在图像融合服务于目标检测、跟踪等实时性要求高的场景时,上述算法不适用。Zhang[12]提出的用于多模态图像融合的压缩分解网络以及Ma[13]等人提出的基于显著目标检测的融合网络,在算法融合速度方面得到了改善,但这两种算法训练难度高,所需数据量大,对于小样本情况不适用。因此,尽管基于深度学习的图像融合算法在部分性能指标上得到提升,但在图像数据集、硬件条件受限,处理速度要求高的情况下,算法无法满足应用需求[14];

为解决上述问题,本文提出了一种基于引导滤波多尺度分解的图像融合算法,利用双引导滤波器将图像分解为小尺度纹理、大尺度边缘和基础图像;之后,直接利用纹理及边缘层图像构建显著性映射图,突出源图像显著性信息的同时降低算法复杂度;根据显著信息构造权重图,纹理层权重采用非线性方式构造,将互补的纹理细节信息以较大比重注入到融合图像中,边缘层权重采用等比例方式构造,简单但有效地将大尺度特征进行融合,同时不会出现由于过度注入而产生的图像对比度下降问题;基础层采用平均加权方式融合,控制图像的整体观感。

2 引导滤波

引导滤波器是一种边缘保持滤波器,其操作基于局部线性模型,以像素k为中心的局部窗口wk中,滤波输出q与导向图G之间关系如下:

qi=akGi+bk∀i∈wk

(1)

其中,wk表示半径为r的方形窗口;ak,bk是wk上的常系数,可通过最小化以下代价函数估计:

(2)

其中,ε是为了防止ak太大的正则化参数;I为输入图像。利用最小二乘法可得:

(3)

(4)

(5)

2.1 滤波核半径r的影响

由引导滤波原理可知,滤波核半径r越大,邻域像素的影响越大,平滑越明显。

2.2 正则化参数ε的影响

2.3 引导图像G的影响

引导滤波具有结构转移特性。当引导图像与输入图像相同时,则进行保持边缘的滤波操作;当引导图像与输入图像不同时,平滑操作由引导图像的结构来调节。

引导滤波是一种很好的保边滤波方法,不需要像其他滤波方法那样直接进行卷积操作,它可以通过使用积分图像技术[15]的盒形滤波器快速实现,计算时间与滤波器的参数无关。

3 基于引导滤波多尺度分解的图像融合算法

红外图像和可见光图像对同一目标场景的亮度响应可能存在较大差异,这主要是由于两类图像的成像原理不同所致。前者依据物体的热辐射特性进行成像,在光照不足或雾、烟等恶劣条件下仍能捕获目标;后者依据物体的光反射特性进行成像,图像分辨率更高,包含更丰富的纹理细节信息。基于此,结合引导滤波性质,设计图像多尺度分解框架,将红外和可见光图像分为小尺度纹理、大尺度边缘和基础图像,之后对两类图像的相应分量采用不同策略进行融合得到融合后图像。

3.1 多尺度图像分解

引导滤波器是一种良好的边缘保持滤波器,滤波器参数对滤波结果的影响已在第2节中进行了分析说明,其中,不同正则化参数ε对滤波结果的影响如图1所示。

图1 不同正则化参数的滤波结果

由图1可知,正则化参数越大,图像越模糊,滤波后图像包含的高频信息越少。为进一步验证滤波核半径对滤波结果的影响,测试不同ε(0.01,104)下滤波核半径分别为2、4、8、16的滤波结果和迭代滤波效果,如图2和图3所示。

图2 ε=0.01时不同滤波核半径的滤波结果和迭代滤波结果

图3 ε=104时不同滤波核半径的滤波结果和迭代滤波结果

由图2、3可知,当ε=0.01时,不同半径滤波器对图像的纹理细节信息起到平滑作用,图像边缘信息保留较好;当ε=104时,随着滤波核半径的增大,图像边缘成分被显著平滑,图像变得十分模糊。

综上,设计基于双引导滤波的多尺度图像分解方法,如图4所示。引导滤波器1的参数ε设置为非常大的数值,引导滤波器2的参数ε设置为非常小的数值。因此,级联的引导滤波器1反复平滑输入图像的高频成分,级联的引导滤波器2反复平滑输入图像的纹理细节,同时保留边缘特征。进而,我们可以通过以下计算得到滤波器2去除的纹理细节和相对于滤波器1额外保留的边缘特征。

图4 基于引导滤波多尺度分解的图像融合算法框架

D(j,0)=GFrj-1,ε1(I1_(j-1))-GFrj,ε2(I2_j)

(6)

D(j,1)=GFrj,ε2(I2_j)-GFrj,ε1(I1_j)

(7)

其中,j=1,2,…,n表示分解级数;GFr0,ε1(I1_0)=IvisorIir,滤波器1的最终输出结果表示多尺度分解的基础图像。上述图像分解思想与文献[16]类似,并将其推广到多尺度分解,得到红外与可见光图像在不同尺度上的特征信息。与传统引导滤波图像融合算法相比,本文采用双引导滤波器代替均值滤波器对图像进行更加精细地划分,融合时可更好的保留源图像中不同尺度上的特征信息。

多尺度分解获得的基础图像包含了最粗尺度的信息。理论上,我们可以继续进行分解操作,直至得到源图像的平均信息为止。但在实际应用中不需要这样做,因为基础图像中含有一定量的低频残余信息可以很好地控制融合后图像的整体观感。此外,该种方式需要大量的分解级数,这将大大增加算法计算量。结合不同正则化参数下不同滤波核半径的处理效果(图2、图3),设置分解级数n=3即可有效提取源图像中的纹理、边缘信息。

源图像I可通过分解后的多尺度图像和基础图像重构,表示如下:

(8)

3.2 权重图构造及图像融合

(9)

(10)

之后,利用Sigmoid函数进行调整,函数定义如下:

(11)

函数图像如图5所示,函数值在0～1之间,且在x=0时,f(x)=0.5。依据上述函数性质,构造基于S函数的对任意输入变量输出概率在0与1之间,且输出概率和为1的权重函数,表示如下:

图5 Sigmoid函数图像

(12)

(13)

(14)

根据权重图得到小尺度纹理层的融合信息为:

(15)

该融合策略可将源图像中的纹理细节信息尽可能多的注入融合图像中,融合结果如图6(a)所示。

图6 图像融合结果

(16)

(17)

根据权重图得到大尺度边缘层的融合信息为:

(j=1,i=1;j=2,…,n,i=0,1)

(18)

利用等比例映射策略得到的大尺度边缘层融合图像如图6(b)所示,可很好地保留源图像中边缘信息,同时不会引入额外的人工伪影。

基础层图像融合采用平均加权方式,将红外和可见光图像的最粗尺度信息进行整合,控制融合后图像的整体观感,如图6(c)所示,公式表示如下:

(19)

最后,将融合后的各层图像整合得到最终融合图像如图6(d)所示,公式表示如下:

(20)

3.3 彩色图像融合方法

根据彩色空间信息的表达形式,基于灰度图像融合方法,设计彩色图像的融合方式。传统方法通常将彩色图像按照RGB三基色分成R通道、G通道、B通道,后对三通道图像分别进行融合,之后将各通道融合结果合并形成最终融合图像。但是,由于彩色图像本身的复杂性,融合后图像会出现偏色失真严重等致命问题。

为解决上述问题,通过对色彩模型的研究,采用色彩模型转换方法对彩色图像融合进行优化。其中,YUV色彩模型可将图像亮度信息和色彩信息分离,Y描述图像亮度信息,UV描述色彩信息。所以,对彩色图像进行融合操作前,将RGB图像转换为YUV格式图像,后根据灰度图像融合策略,对Y通道图像进行融合,最后,将融合图像与UV通道图像YUV格式图像转换为RGB格式图像,得最终的融合图像。

4 实验结果与分析

本文所使用的红外-可见光图像对从数据集[17-18]中收集,涵盖多种场景及工作条件,如树木、战场、房屋、过度曝光和低照度等,部分测试数据如图7所示,图中第一、三行是可见光图像,第二、四行是红外图像。每对红外-可见光图像均已被严格配准,以确保图像融合算法可以成功执行及实验结果的准确性。算法参数设置如下:引导滤波器1和2的正则化参数ε1,ε2分别设置为104,0.01,滤波核半径rj+1=2rj,r1=2,分解级数n=3。实验在Matlab 2016a环境下进行,PC规格包括i7-10510U CPU(2.30 GHz),16.0 GB内存。

图7 红外和可见光图像数据

4.1 定性分析

在图像融合质量评价中,定性评价是一种重要的评价方法,它以人眼视觉系统为基础对融合图像质量进行评价。因此,为了验证所提算法的有效性,首先对其进行定性评估。并与其他基于多尺度分解、深度学习的图像融合算法CBF[8]、GFF[5]、CNN[10]进行比较。图8为不同算法在过度曝光图像上的融合结果。图8(a)可见光图像可提供场景信息,但是由于汽车灯光的过度曝光,汽车周围的行人不可见。图8(b)红外图像可提供行人信息,但缺少场景细节。由图可知,CBF算法会产生人工伪影;CNN算法汽车周围的人不清晰;与GFF算法相比,本文算法含更丰富的场景细节。

图8 不同融合算法在过度曝光图像上的融合结果

图9、10(a)可见光图像可提供树木、围栏等场景信息;图9、10(b)红外图像可提供可见光图像中由于树木遮挡、能见度低等原因导致不可见的人的信息。如图(c)～(f)所示,与其他融合算法相比,本文算法可成功地将互补的红外光谱信息注入到融合图像中,同时也很好地保留了可见光图像中的场景细节。

图9 不同融合算法在战场图像上的融合结果

图10 不同融合算法在树木图像上的融合结果

为验证本文彩色图像融合算法相比于RGB三通道分别融合方式的优越性,分别在停车场、房屋彩色场景图片上进行测试。由图11可知,利用本文方法处理得到的融合图像对色彩信息的保留效果更好,融合图像偏色失真问题更小,更贴近自然场景。

图11 不同彩色图像融合策略的融合结果

4.2 定量分析

定性评价不足以判断融合算法的有效性,因此本节将对算法的融合性能进行定量评估。使用平均梯度[19]、边缘强度[19]、空间频率[20]、结构相似度[19]和一种基于人类感知启发的度量标准[20]五种质量指标进行客观评价。前三种指标直接测量生成融合图像的质量,不需要使用输入图像。后两种是为图像融合设计的质量评价指标,测量输入图像与融合图像之间的相似性。不同图像融合算法的定量测试结果如表1所示,性能最优及次优的结果分别用下划直线及下划曲线区分显示。

表1 不同图像融合算法的定量测试结果

从表1可以看出,本文算法在空间频率、结构相似度、Qcv指标上表现最优,在平均梯度、边缘强度指标上表现次优。然而值得注意的是,虽然CBF算法在平均梯度、边缘强度指标上获得了最好的定量性能,但其定性性能不是很好,从图4可以明显看出,利用CBF算法得到的融合图像中引入了大量伪影。综上可得,本文算法能够将红外和可见光图像中的互补信息注入到融合图像中,信息损失少。

表2给出了不同图像融合算法在4种典型图像上的运行时间及21对测试图像上的平均运行时间。CBF算法利用双边滤波、特征值等方式进行图像融合,二者均比较耗时,导致算法时间开销大幅增加;CNN算法使用卷积神经网络计算权重金字塔,耗时最大;GFF算法虽然在图像分解阶段均采用两尺度分解方式,但图像分解或权重图计算操作复杂,导致算法运行时间增加;本文算法采用多尺度分解方式进行图像融合,引导滤波可使用盒形滤波器快速实现,利用分解的特征图构造显著图及权重图,无需引入额外特征提取操作,保证算法融合效果的同时提升处理速度。

表2 不同算法运行时间

5 结 论

本文提出了一种基于引导滤波多尺度分解的图像融合算法,用于红外和可见光图像的融合。该算法采用双引导滤波器代替均值滤波器对红外和可见光图像进行更加精细地划分;融合时,根据不同尺度层细节图像构造显著性映射图,用其代替额外的特征提取操作,突出源图像显著信息的同时大大降低算法复杂度;利用显著性映射图、Sigmoid函数构造权重图,有效地保留了源图像中的场景细节和边缘特征;利用先RGB到YUV色彩模型转换后融合方式,更好地保留了图像的色彩信息,减小融合图像的偏色失真。定性和定量实验结果表明,与其他图像融合算法相比,本文算法能更好地将红外和可见光图像中的互补信息注入到融合图像中,偏色失真小,引入伪影少,计算复杂度低。