基于权重的红外与可见光图像融合算法及其性能评估

刁伟轩

（吉林化工学院 信息与控制工程学院，吉林 吉林）

概述

红外图像通过红外传感器获得，可以记录不同物体发出的热辐射信息，并且根据热辐射信息差异将目标与背景区分开来。红外图像对场景亮度的变化特征并不敏感，且图像清晰度较低，这导致了红外图像不能提供足够的纹理细节信息[1]。相反，可见光图像能够较好地反应目标所在的场景细节信息，且清晰度较高。然而，由于受到夜间、复杂背景和烟雾等外部环境的影响，使可见图像中的目标不容易被捕获到[2]。仅仅使用红外图像的热辐射信息或者可见光图像的细节信息是不足以应用到计算机视觉应用中的。因此，为了解决这个问题，将红外与可见光图像两者的优势相结合，可以获得信息更全面、质量更高的融合图像。

近年来，学者们提出了多种红外与可见光图像融合方法，大概分为多尺度变换[3]、稀疏表示[4]、神经网络[5]、子空间[6]、显著性[7]、混合模型[8]和深度学习[9]等7类。然而，目前红外与可见光图像的融合方法存在一些困难，其中包括采用人工设计的融合规则、图像变换和活动水平测量的复杂度逐渐增加，执行难度不断提高。此外，现有方法通常选择与源图像相同的显著性特征嵌入到到融合图像中，从而使融合图像包含更多的细节信息。

1 算法

首先是图像预处理，将红外图像和可见光图像调整至相同尺寸大小，方便后续图像的处理和分析。红外图像和可见光的图像梯度权重综合考虑了两者的特征信息，使得在融合时能够更好地平衡它们之间的关系，充分利用两种信息源的优势。所以利用梯度计算红外与可见光图像的权重参数，并且通过线性组合和实际需要调整自适应权重。再使用加权平均方法将红外与可见光图像融合，最后根据视觉感官和客观指标对融合图像进行性能评估。

1.1 图像预处理

VI 表示可见光图像，IR 表示红外图像。获取红外和可见光图像的高度、宽度以及通道数，公式如下：

其中，H 代表红外和可见光图像的高度，W 代表宽度，C 代表通道数。通道数通常为3（RGB 彩色图像）或1（灰度图像），后续将红外图像调整至与可见光图像相同尺寸。

梯度表示图像中灰度值的变化率，梯度较大的区域通常对应着图像中的边缘或纹理。计算公式如下：

1.2梯度权重

不同区域的图像可能具有不同的梯度范围，引入权重可以使融合算法更加适应不同图像的特点。计算公式如下：

1.3 图像融合处理

利用加权平均方法实现图像融合，然后调整权重以控制融合效果，融合后的图像可以表示为：

其中，α表示自适应权重，将可见光图像和红外图像按照权重α和（1-α）进行加权平均，从而生成融合图像。整个自适应权重调整过程使得图像融合的权重不再是固定的，而是根据图像局部信息动态调整，以获得更好的融合效果。这对于处理不同场景下的图像具有更好的适应性。

2 实验

2.1 实验设置

为了评估算法性能，我们将数据集中红外图像与可见光图像的融合结果与三种流行的融合方法进行了比较，这些方法分别是各向异性扩散融合（ADF）双尺度图像融合（TIF）和视觉显著映射和加权最小二乘（VSMWLS）。

2.2 视觉质量评估

从图1（d）-（f）中可以看出，人的面部表情较为模糊，捕捉不到细节特征，且头部周围的背景对比度较低。图1（c）中人的面部表情更丰富，极大保留了可见光图像的纹理特征，融合后的背景也更加完善。

图1 不同算法的融合图像

图2（d）-（f）中正在跑步的人和右侧轿车的轮廓非常模糊，且中间的树枝与背景融为一体，难以区分。在图2（c）中，我们提出的算法的融合结果中人的动作和轿车的轮廓都是清晰可见的，不仅图像的对比度高，还保留了树枝的纹理特征，使我们更容易捕捉到树枝的细节信息。

图2 不同算法的融合图像

与图1 和图2 结果相似，图3（d）-（f）中路上的行人和左侧建筑过度曝光且分辨率较低，导致融合图像的视觉效果不佳。因此，我们提出的算法在视觉评估上可以获得质量更高的融合图像。

图3 不同算法的融合图像

2.3 客观指标评估

实验中使用四种常用的融合图像质量指标对我们提出的算法进行了评估，这些指标包括信息熵（EN）、互信息（MI）、标准差（SD） 和空间频率（SF）。以上四种评价指标都是正相关，它们的值越大，图像融合的质量越高。

表1～表3 中展示的是我们所提出的方法与ADF、TIF 和VSMWLS 方法的客观评估结果。表1～表3 中每个评价指标的最佳值都经过加粗处理。显然，我们的融合图像质量和性能更高。

表1 图1 中各融合图像的评价指标

表2 图2 中各融合图像的评价指标

表3 图3 中各融合图像的评价指标

3 结论

本文提出了一种基于权重的红外与可见光图像融合算法，旨在提高融合图像的质量和性能。我们将红外图像和可见光图像调整至相同尺寸，然后结合自适应权重与加权平均的方法使红外与可见光图像融合。最后根据视觉感官和客观指标对融合图像进行性能评估，实验结果表明，我们的算法无论是在视觉评价还是客观指标评价上，融合图像的质量都明显优于其他三种融合算法。

实验还有许多不足之处，比如文中使用的是传统的融合方法，图像融合的效率比较低。接下来会考虑引入更先进的技术或方法，如深度学习模型，以提高融合效果。