基于加速引导滤波的图像像素级融合

陈洋，王世峰，都凯悦，王锐

（长春理工大学 光电工程学院，长春 130022）

随着视觉传感器的不断发展，红外传感器和可见光传感器获得的图像质量得到了提升，在导弹引导、航空航天、视屏监控、机器人、自主导航、医学等领域得到了广泛的应用，单一图像往往不能反映详细的信息，需要不同的图像进行融合，这样才能反映出机器提供给人们的详细信息，例如在遥感图像处理中，常常融合多聚焦的图像，用以提高特征提取的效果[1，2]。红外图像是根据物体的热辐射特性成像，能够拍摄到被遮挡的物体，发现隐蔽的目标，由于可见光图像受光照和气候等因素影响较大，因此将红外图像和可见光图像进行融合取长补短，可以得到空间中良好的视觉效果。

基于像素级的融合能够保留更多的原始信息，其中常用的方法是：1.基于空间域的图像融合，例如加权平均法，像素加权平均法是将感兴趣区域附上相对大的权值以获得优势显示，这种方式计算简单，并且实时性好，缺点是权值的大小无法准确确定。2.基于变换域的图像融合。如基于离散余弦变换的图像融合（DCT）[3-5]。还有将多尺度、多分辨算法应用到图像融合中，如基于小波变换的图像融合算法，基于Contourlet变换的图像融合算法等，虽然基于变换域的图像融合算法可根据不同的频段特性选择不同的融合策略，但是不同的频率段的像素缺乏相关性，重构后的图像会显得生硬而不自然，并且计算复杂度高，不利于实时处理显示[6，7]。

为了使融合过后的图像自然，耗时少，文中采用了基于改进的引导滤波的图像融合算法，充分利用可见光图像和红外图像的优势，适当提高目标对比度，提高观察效果。

1 引导滤波介绍及其改进

引导滤波器是基于局部线性模型的局部线性平移变量滤波器。和高斯滤波不同的是，引导滤波对图像滤波的同时也对边缘起到了一定的保留效果，和双边滤波相比，它具备保护边缘的优点，同时克服了双边滤波在主要边缘附近梯度变形的不足[8，9]。

1.1 引导滤波器

现在定义引导滤波器。引导滤波器的关键是假设引导图像Ii和滤波输出qi之间的是局部线性模型。设qi是Ii在以像素k为中心，滤波器模板wk的线性变换：

其中，ak是在滤波器模板wk（大小为（2r+1）*（2r+1））保持不变的线性系数。从上面等式可知Ii，qi两幅图像拥有相同的边缘信息，因为∇q=a∇I，为了确定的线性系数ak和bk，又假设输出图像qi是输入图像pi减去噪声n得到：

为了最小化qi与pi之间的差距，定义损失函数如下，并且参考岭回归模型[10]引入了正则化参数用于限制ak

根据线性回归模型可知ak，bk的解如下：

其中，μk是Ii在窗口|w|中的像素平均值，是窗口wk中的方差，|w|是窗口wk中像素的数量，是待滤波图像pi在窗口wk中的均值。

此外，在计算每个窗口的线性系数时，可以发现一个像素会被多个窗口包含，也就是说，每个像素都由多个线性函数所描述。因此，如之前所说，要具体求某一点的输出值时，只需将所有包含该点的线性函数值求平均值即可[11]，如下：

公式（7）至公式（17）给出了引导滤波的基本步骤和伪代码。fmean为一个均值滤波器（对应的窗口大小为（（2r+1）*（2r+1））），corr为相关运算，var为方差，cov为协方差运算。

（1）对引导图像I和输入图像P进行均值滤波并做相关运算

（2）求引导图像I的方差varI并且求出与源图像P的协方差covIP

（3）确定线性系数a和b

（4）求均值meana、meanb和输出滤波结果q

1.2 算法改进

对引导图像Ii和输入图像qi通过最近邻或者双线性插值的方式下采样减少像素点，这样所有的均值滤波都是在低分辨率情况下进行，在计算meana和meanb后进行上采样恢复到原有的尺寸大小，假设缩放比例为s，那么缩小后在进行均值滤波的时间复杂度从O(N)变为O(N/s^2)，最后采用的上采样方式依旧是最近邻或者双线性插值，采样过后的图像和原图像稍有差距，但是对实验结果影响不大。公式（18）至公式（34）以下是给出的改进算法的伪代码[12]。

（1）对引导图I、输入图p降采样，r′是新的滤波器模板尺寸

（2）对降采样的后的图像进行均值滤波并做相关运算

（3）求引导图像I的方差varI并且求出与源图像P的协方差covIP

（4）确定线性系数a和b

（5）求均值meana、meanb

（6）对均值meana、meanb上采样，从而得到最后的结果q

2 融合算法的基本流程

首先对红外图像进行滤波处理，通过加速引导滤波得到突出目标的红外图像，然后将它与可见光图像融合。

2.1 最大值滤波

利用滑动窗口对红外图像进行最大值滤波处理，获得红外图像中高亮部分。假设输入图像是IIR(z)，输出图像

其中，r(x)表示以x为中心坐标，滑动窗口边长是r。

图1 最大值滤波效果

图1（a）是原始的红外图像，图1（b）是经过最大值滤波后的图像，可以清晰地看出目标人物变得高亮。

2.2 加速引导滤波

其中，fastguidedfilter()表示加速引导滤波器，滤波器模板大小为（2r+1）*（2r+1），ε表示正则化参数，s表示采样尺度。图2是加速引导滤波后的图像。

图2 滤波过后的图像

2.3 像素级融合

融合规则有很强的灵活性，但最终目的是将滤波后图像和原始可见光图像融合成一幅图像。这里采用加权平均法进行图像融合。

其中，I是融合后的图像，Iv是可见光图像，IFGFIR是经过加速引导性滤波后的红外图像，α、β是图像权值，根据具体情况而言选择不同的权值。

3 实验与讨论

实验采用的是CPU i7-4790@3.6GHz，内存8GB。下面图3到图6是从公共数据集中（www.imagefusion.org）找的不同场景，低分辨率的可见光图像（左图）和红外图像（右图）。

图3 测试组一

图4 测试组二

图5 测试组三

图6 测试组四

为客观评价不同融合方法用于红外图像和可见光图像融合图像的性能，文中选择了基于平稳小波变换的图像融合法（SWT），和基于空间域的主成分分析的图像融合法（PCA）进行对比。分别从主观和客观评价算法，客观评价中由于标准的融合图像无法获得，这里采用的是无参考的评价标准：标准差（STD）、信息熵（En）、平均梯度（AG）和运行时间（t）作为主要的客观评价标准[13，14]。具体的融合图像的质量评价参数见表1至表4。

表1 图3中融合后的图像的质量评定

表2 图4中融合后的图像的质量评定

表3 图5中融合后的质量评定

表4 图6中融合后的质量评定

融合后的图像如图7到图10所示，其中的图a是利用PCA法融合后的图像，图b是利用SWT法融合后的图像，图c是文中方法融合后的图像。主观上看图7测试组一目标无论从人物的轮廓，还是背景上看，文中所述方法效果好于其它的两个方法。图8测试组二，PCA方法丢失文字信息，SWT方法对比原始红外图像，可以知道背景中丢失部分窗口亮灯信息。图9测试组三，PCA的方法过于明亮，SWT的方法过于暗淡，并且在招牌的字体对比对不够大，并且人物和车辆相比于文中提出的方法较为暗淡，没有凸显车辆和人物目标。图10测试组四，文中的方法在虽不影响观察效果，但是相比于PCA法和SWT法，还是过于明亮。

图7 融合后的测试组一

图8 融合后的测试组二

标准差（STD）反映了相对灰度均值的离散程度，标准差越大融合效果越好。信息熵（En）表示图像中所包含的平均信息量的多少；平均梯度（AG）能反映图像中细节反差和纹理变换，它在一定程度上反映了图像的清晰程度；运行时间（T/s）反应的是算法的复杂程度，运行时间越小越利于实时的处理。从表1到表4可以看见文中提到的方法的参数指标。相比较而言，虽然在表2和表4中个别指标略低于其他两种融合方式，但从整体而言文中的图像融合方法要略好于PCA融合法和SWT融合法。

图9 融合后的测试组三

图10 融合后的测试组四

4 结论

本文提出了一种利用加速引导滤波器对红外图像与可见光图像像素级融合的算法，先将红外图像进行加速引导滤波，增加目标区域的对比度，然后与可见光图像融合得到融合结果。实验表明，所采用的方法能够使融合图像具有较好的视觉效果，并且其客观的评价较高、运算速度较快。

在此基础上，今后的工作在于1）采用高分辨率图像进行像素融合，2）在实验条件允许下，可结合深度学习改进文中算法。