红外与微光图像融合方法

陈 雷，韩 军

(1.西安工业大学 光电工程学院,西安 710021；2.西安工业大学 兵器科学技术学院,西安 710021)

红外与微光图像融合是图像融合领域的研究热点之一。红外图像反映了目标的热辐射，可以穿透云、烟、雾等，在同等光照条件下具有较好的目标探测能力，但目标分辨率较低，背景较模糊，细节表现能力比较差[1]。微光图像信息相对丰富、场景细节纹理比较清晰、空间分辨率较高，但容易受天气影响，在低照度、烟雾和障碍物的情况下，目标识别结果较差。微光图像和红外图像具有互补性，采用某种方法或者技术手段，发掘两种图像各自的特征信息并进行有效融合，从而突出红外目标，增强场景信息，从而增加观察者对图像的理解力，在隐藏、迷惑的不利情况下能够快速、准确地发现和识别目标[2-3]。

许多学者致力于将红外和微光图像融合，以获得更全面的信息以供进一步应用。在过去的几十年里，图像融合算法得到了很大的发展和广泛的应用。至今为止提出了几种具有代表性的红外与可见光图像融合算法，包括多尺度变换[4]、稀疏表示[5]、神经网络[6]、子空间[7]、基于显著性的方法[8]、混合模型[9]等方法。文献[4]提出一种红外与可见光图像融合的目标增强多尺度变换(MST)分解模型，以同时增强红外图像中的热目标，同时保留可见光图像中的纹理细节。文献[8]提出了一种基于视觉显著性图(VSM)和加权最小二乘(WLS)优化的多尺度融合方法。这些方法在融合实现时通常包括图像变换、活动水平测量及融合规则设计等步骤，且都需要通过人为手动进行设置与操作，其过程相对复杂且计算量较大。

近年来，深度学习的研究越来越广泛，在图像处理领域，已经用于图像分类、识别、检测和融合任务，基于深度学习的图像融合方法可以自动提取深度特征，克服人工因素，使整个融合过程更加容易[10-11]。因此，文中自VGG-19图像分类模型得到启发，拟构建深度卷积神经网络(CNN)对红外和微光图像进行融合。

1 图像融合算法

(1)

g1(x,y)=Gσ1(x,y)*f(x,y) ,

(2)

g2(x,y)=Gσ2(x,y)*f(x,y) ,

(3)

=(Gσ1-Gσ2)*f(x,y)

=DOG*f(x,y) 。

(4)

(5)

图1 图像融合模型

VGG-19卷积神经网络网络结构如图2所示，使用了同样大小的卷积核尺寸(3×3)和最大池化尺寸(2×2)，(3×3)是最小的能够捕获上下左右和中心概念的尺寸，卷积核深度自64一直增长到512，可以更好的提取图片的特征向量。

图2 CNN网络结构图

2 结果与分析

为了清晰地阐述不同方法的融合效果，文中利用TNO数据库中10对红外和微光图像，将文中方法与8种不同的传统方法得到的融合结果进行对比，结果如图3和图4所示。这8种方法分别为非下采样剪切波变换和自适应脉冲耦合神经网络(NSST-PAPCNN)[12]、非下采样轮廓波变换(NSCT)[13]、曲波变换(CVT)[14]、卷积稀疏表示变换(CSR)[15]、双树复小波变换(DTCWT)[16]、交叉双边滤波器变换(CBF)[17]、潜在的低秩表示变换(LATLRR)[18]和加权最小二乘变换(WLS)[9]。

图3 前5组图像测试结果

图4 后5组图像测试结果

从图3和图4中可以看出，相较其他8种方法，文中方法融合的图像具有清晰的目标高亮性和丰富的细节纹理信息，图像更加自然清晰，识别效果较好。为了能定量的评价融合图像的性能，文中引入融合图像的客观评价指标，包括：

① 图像的熵(EN)，度量融合后的图像所包含的信息量。

② 互信息熵(MI)，融合图像包含源图像的信息。

③ 边缘特征(QABF)，是一种用于估计融合图像中重要信息保留程度的局部测度。

④ 差异相关的总和(FMI)，该方法基于信息论，测量图像特征之间的相互信息。

⑤ 结构相似度(SSIM)，测量源图像和融合图像之间的平均结构相似性。

⑥ 标准差(SD)，测量的是影响视觉注意力的融合图像的对比度。

⑦ 空间频率(SF)，测量融合图像的空间频率。

⑧ 差的相关系数和(SCD)，判断从源图像传输到融合图像的信息量。

红外和微光图像的实验平均值见表1，并对比了9种算法各评价指标的具体数据，如图5所示，x轴为10组数据集和平均值的序列，y轴为指标数值。

表1 融合图像的指标平均值

图5 评价指标对比曲线

从表1和图5中可以看出，文中方法的MI、QABF和SD均取得了最大值，其他指标也排在前3。其中，MI值表明文中方法融合的图像中包含了更多的源图像信息；QABF值表明融合图像的边缘信息更有优势；SD值表明融合图像具有更高的对比度。相较于其他方法，文中方法在保留热辐射信息和纹理细节信息方面具有较大的优势。

3 结 论

文中提出了一种基于深度学习的红外与可见光图像融合方法，同时保留了热辐射信息和纹理细节信息。该方法采用端到端模型，避免了人为因素的影响。在公共数据集上的实验结果表明，文中融合结果具有清晰的目标高亮性和丰富的细节纹理信息，通过对8种融合算法与8个最先进的评价指标的定量比较，文中方法不仅可以产生更好的视觉效果，而且可以在源图像中保留最大或近似最大数量的信息，对于图像融合的目标检测与识别系统具有重要的意义。