基于Gabor 滤波和显著性检测的红外与可见光图像融合

钟荣军，付芸

（长春理工大学 光电工程学院，长春 130022）

图像融合作为信息融合的一个重要分支［1］，它以图像为处理对象，涵盖了信号处理、计算机视觉、人工智能以及图像处理等各个方面［2］。可见光图像的优势在于它具有丰富的细节纹理信息和较高的分辨率，因此视觉效果好，方便观测。 然而，在环境条件较差的情况下，比如：弱光条件或有遮挡物，以及烟雾等条件下，就会造成一些重要的目标信息、细节信息等丢失的情况［3-4］。红外图像主要是通过热辐射的原理进行成像，因此，红外成像的环境适应性好，即使是弱光条件或烟雾等恶劣条件也能够很好地呈现出目标特征，但是，红外图像往往空间分辨率较低，细节纹理等信息较少［5］。因此，人们希望将红外图像和可见光图像进行融合，得到一幅同时含有两幅图像中有用信息的图像。

Liu 等人［6］提出了基于稀疏表示（Sparse Representation，SR）的图像融合方法，得到的图像具有更好的鲁棒性，并且含有更丰富的亮度信息，但是图像的边缘纹理信息会被平滑，丢失一些边缘特征。 Zhang 等人［7］在NSST 融合框架的基础上，利用显著性分析提取红外图像的目标信息，但是细节信息不完整。

针对这些问题，提出了一种基于Gabor 滤波［8-9］和显著性的红外与可见光图像融合方法。首先，通过显著性检测得到红外和可见光图像的显著层。其次，采用Frankle-McCann Retinex 增强算法对可见光图像进行增强。之后，引入Gabor 滤波器将红外图像和增强后的可见光图像分解为细节层和基础层，使用传统的融合方法对各个图层进行融合。 最后，采用多尺度的逆变换进行图像重组。

1 算法原理

提出了一种基于Gabor 滤波和显著性的红外与可见光图像融合方法，具体融合框架由图1 所示。

图1 融合框架

1.1 显著性检测

使用FT（Frequency-tuned）算法对已经配准好的红外图像和可见光图像进行显著性检测。图像包括高频信息和低频信息，在进行显著性检测时，一般用到的更多是图像的低频信息，因此，选择使用高斯平滑滤波来对高频信息进行过滤，消除图像的细节纹理特征、高频噪声等，定义如下：

其中，IR 表示红外图像；VISE表示增强后的可见光图像；Ii(x,y) 表示配准后的原始图像；Ii(G)表示经过高斯平滑滤波后的图像；( )x,y表示原始图像的像素点；*表示卷积；Gr,σ表示高斯平滑滤波器，其大小尺寸为(2r+ 1) × (2r+ 1)；σ为标准差。 同时，为了保留原有图像的像素强度分布特征，同时使图像边缘平滑，将尺寸和标准差σ都设置为5。 由于使用频率调谐的方法对显著性进行计算，因此还需要计算图像的平均像素，公式如下：

其中，Ii(A)表示原始图像的平均像素；N表示图像Ii的像素点的个数；X、Y分别表示图像Ii的行数与列数；Ii(x,y) 表示图像Ii第x行第y列的像素点的值。在得到公式（1）、公式（2）的结果之后，就可以根据FT 算法的定义直接得到图像的显著层，定义如下：

其中，IR 表示红外图像；VISE表示增强后的可见光图像；Si(x,y) 表示经过FT 算法得到的显著性图像即显著层；Ii(G)和Ii(A)分别是经过高斯平滑滤波后的图像和图像的平均像素。

1.2 图像增强

由于可见光图像受天气或环境的影响导致成像效果不好，因此先对可见光图像进行增强，之后再对配准好的红外图像和增强后的可见光图像进行分解。

采用Frankle-McCann Retinex 方法进行增强。算法采用了一种新的基于螺旋结构的迭代分段线性比较路径，螺旋结构路径像素点间的比较是一个由远到近的比较过程，在进行完一次比较之后，下一次做比较的两个像素点间的间距缩短为上一次比较间距的一半，并且比较路径的方向同时也按顺时针方向发生转变，就这样逐次比较直至像素点间距为1 为止，其比较路径如图2 所示。

图2 Frankle-McCann Retinex 方法比较路径

该算法的步骤如下：

（1）对原图像进行对数变换。将原图像的像素值从整数域转换到对数域，以便于减少数据的运算量，降低运算时间。 如果直接进行对数转换可能会导致负数、无穷数的出现，因此，可以将原图像的像素整体加1，公式如下：

其中，p(x,y) 代表输入图像p在坐标(x,y) 处的值；I(x,y) 代表经过对数转换得到的输出图像I在坐标(x,y) 处的值。

（2）进行像素比较和校正。 对于一幅x×y的图像I，离目标点距离最远的两个比较点之间的距离L为：

其中，fix 表示取整运算；I代表经过对数转换得到的输出图像；L代表两个比较点之间的距离。

（3）计算路径上的像素点。rn(x,y) 是上一次迭代的结果，将此次迭代差值累加保存到其中，最终得到此次的迭代结果rn′(x,y)，在完成一次迭代之后，再对二者求平均，作为最后的输出结果rn+1(x,y)。则：

其中，rn+1(x,y) 是n次迭代后的图像；n是迭代次数；max 是原图像的最大像素值；ΔI是目标点在此路径下的亮度差；rn′(x,y) 是此次迭代结果。

（5）对增强后的图像进行输出。n次迭代对图像起到了被压缩的效果，因此，需要对待输出图像进行拉伸处理以提高图像对比度。则：

其中，max 和min 分别是迭代结果rn+1(x,y) 的最大值和最小值；VISE是最后输出的增强图像，如图3（b）所示。在对图像进行增强之后，接下来就是对图像进行分解。

图3 可见光图像与可见光增强图像对比

1.3 Gabor 滤波

Gabor 滤波的具体过程为：将高斯函数与正弦信号的傅里叶变换进行卷积，得到Gabor 滤波器的复数形式，将其分成虚部、实部两个部分，分别对图像进行处理：

上述公式拆分为实部和虚部，公式如下：

其中：

其中，gim代表虚部；θ代表旋转方向的角度；像素坐标点(x′,y′) 为像素坐标点(x,y) 进行方向角θ变换之后的新坐标点；σ代表高斯标准差；γ代表Gabor 核函数的空间方向比例；λ代表正弦函数的波长；ψ代表正弦函数的相位偏移量。经过大量的实验，确定核函数的窗口尺寸为3×3，高斯标准差σ为0.56λ，Gabor 核函数的空间方向比例γ为1.2，正弦函数的波长λ为5，正弦函数的相位偏移量ψ为0。

通过上述公式，可以得到一个二维Gabor 滤波器，再使用核函数的窗口对图像进行滤波操作，公式如下：

其中，IR 表示红外图像；VISE增强后的可见光图像；Ii,im(x,y) 代表过滤后图像Ii,im坐标点(x,y) 的值；gim代表Gabor 滤波器虚部；Ii代表待过滤图像；wk代表尺寸为k的局部窗口。对于滤波后出现个别像素点的值大于255 或者小于0 的情况，使用下述公式将这些像素点的值转化为0 到255之间：

其中，di表示过滤后图像；Diθm表示将像素约束到［0，255］后的图像。 以上仅在一个方向上对图像进行滤波，接着使用下述公式将所有设定方向上的滤波后图像进行累加，有：

其中，IR 表示红外图像；VISE增强后的可见光图像；Diθm表示图像沿θm方向上滤波后的图像；θ为设定好的Gabor 滤波器旋转角度，其值为［0°，30°，60°，90°，120°，150°］；Diθ表示经过滤波累加后得到的图像。

按照下述公式对累加后的图像进行归一化，则：

其中，Di表示细节层图像；max 和min 分别表示取最大值和最小值。

将累加后的图像进行标准化，得到原图像的细节图层（如图4（c）、图4（g）），再用原图像减去细节层就是基础层（如图4（d）、图4（h）），公式如下：

图4 红外与可见光增强图像分解结果

其中，Bi表示基础层图像。

1.4 图像融合重组

首先，对图像的显著层进行融合（如图5（a）），图像的显著层包含了红外图像和可见光图像的亮度特征，为了尽量保留红外图像和可见光图像显著层的信息，采用“ 最大绝对”的融合方法进行融合，公式如下：

图5 融合的结果

其中，SIR为红外图像显著层；SVISE为增强后的可见光图像显著层；SF为显著融合层。

图像的细节层选择使用“最大绝对”的融合方法进行融合（如图5（b）），这样能够尽量保留红外图像和可见光图像的细节纹理信息，公式如下：

其中，DIR为红外图像细节层；DVISE为增强后的可见光图像细节层；DF为细节融合层。

图像的基础层选择使用“平均”的方法（如图5（c）），这样能够将两幅图像的整体信息都尽量保留在融合后的图像中，公式如下：

其中，BIR为红外图像基础层；BVISE为增强后的可见光图像基础层；BF为基础融合层。

最后，图像进行重建（如图5（d）），公式如下：

其中，BF为基础融合层；DF为细节融合层；SF为显著融合层；w为显著层融合加权系数。经过实验验证，w取值为0.2。

2 实验及结果分析

2.1 数据集选取及硬件设置

提出的方法在公开数据集TNO_Image_Fusion_Dataset 上进行了测试，包括各种丰富的场景，都是已经配准好的弱光下或者夜间图像。并且为了与现有的一些优秀的融合方法（即TIF（Two-Scale Image Fusion）［10］、CBF（Cross Bilateral Filter）［11］、VSMWLS（Visual Saliency Mapweighted Least Square）［12］、GFF（Guided Filtering Fusion）［13］、MSVD（Multi-resolution Singular Value Decomposition）［14］、ADF（Anisotropic Diffusion Fussion）［15］、DLF（Deep Learning Framework）、GTF（Gradient Transfer Fusion））进行对比，从公开数据集TNO_Image_Fusion_Dataset 中选取了两组配准完成的红外与可见光图像，并且使用Matlab 编程，在一台处理器为Intel（R）Core（TM）i5-6200U CPU@2.30 GHz 2.40 GHz，内存为8 GB 的电脑上进行仿真实验。

2.2 结果分析

分别用了八种现有的方法（即TIF、CBF、VSMWLS、GFF、MSVD、ADF、DLF、GTF）对于选定的两组图像进行融合，将融合后的结果进行统一展示，八种方法是基于公开代码，并且根据其原文对相关参数进行设置。

第一组实验图像采用“Kaptein_1123”红外与可见光图像进行测试，融合结果如图6 所示，图6（a）、图6（b）分别为可见光与红外原图像。从图6 来看，除了所提出算法的结果之外，其他的算法都不能同时保留左边的草丛和地上的细节纹理，MSVD 和GTF 算法的地面纹理不清晰，TIF 算法的人物目标周围还有阴影。CBF 的融合图像中，树、房子和目标人物边缘过大且目标变形，同时噪声较大，草丛和地面的纹理几乎没有。相对于提出的算法，其他几种方法的融合图像也较暗。

图6 “Kaptein_1123”红外与可见光图像以及融合结果

第二组实验图像采用“Sandpath”红外与可见光图像进行融合，图像以及融合结果如图7 所示，图7（1）、图7（2）分别为可见光与红外原图像。从图7 来看，GFF、GTF 算法的融合图像中那条林中小路比其他算法更暗，几乎不可见，并且图中的目标相较于其他几种算法来说不是特别明显，对以上算法的融合结果进行整体比较，所提出方法融合的图像整体亮度以及对比度比其他八种方法更高，更加便于观察、检测。

图7 “Sandpath”红外与可见光图像以及融合图像

为了更加客观有效地评价图像的融合质量，选用了六种评价指标，即平均梯度（AG）、像素交叉熵（CE）、边缘强度（EI）、信息熵（IE）、峰值信噪比（PSNR）、空间频率（SF），对两组融合图像进行了评价，并且和其他八种方法进行了对比，结果如表1、表2 所示，其中最优值进行加粗标注。

表1 “Kaptein_1123”红外与可见光图像融合效果评价

表2 “Sandpath”红外与可见光图像融合效果评价

表1 为“Kaptein_1123”红外与可见光图像融合结果的评价指标，表2 为“Sandpath”红外与可见光图像融合结果的评价指标。通过表1 中的数据可以看出，对于“Kaptein_1123”红外与可见光图像融合效果，本次提出的算法整体优于其他几种对比算法。图像质量评价中的平均梯度（AG）、边缘强度（EI）、信息熵（IE）、空间频率（SF）都有着显著的提高；通过表2 中的数据可以看出，对于“Sandpath”红外与可见光图像融合效果，本文提出的算法整体优于其他几种对比算法。图像质量评价中的平均梯度（AG）、边缘强度（EI）、信息熵（IE）、空间频率（SF）都是这几种方法中的最优值。由表1、表2 中的数据可知，本文提出的算法在评价结果中的最优值最多，客观验证了提出算法的优越性。

3 结论

提出了一种基于Gabor 滤波和显著性的红外与可见光图像融合的方法。该方法在传统的多尺度分解融合的基础上，解决了图像目标与图像背景不清晰的问题，并且还保留了原始图像中更多的细节。该方法能够使热源目标更加突出，有利于对融合后图像中目标进行检测、识别以及跟踪，并且由于使用了更符合人眼视觉效果的Gabor 滤波，使融合后的图像具有更加丰富的细节以及更好的视觉效果。 相比于其他方法，提出的算法融合的图像在主观上有着较好的清晰度和对比度，在客观评价指标上大部分指标也优于其他方法，并且由于使用了Frankle-McCann Retinex 增强算法，使弱光图像经融合后更加清晰，同时融合后的图像中呈现出清晰的梯度信息，在时间上比深度学习的方法更快。