应用整体结构信息分层匹配的红外与可见光遥感图像融合方法

常新亚 丁一帆 郭梦瑶

(1 航天东方红卫星有限公司，北京 100094)(2 北京市遥感信息研究所，北京 100192)(3 北京化工大学，北京 100029)

红外成像能昼夜工作，适应不良天气，是对地观测卫星的主要探测手段之一。但是，与可见光成像相比，红外成像的空间分辨率依然较低；另一方面，弱小目标探测等实际应用亟需高分辨率的红外遥感图像。在此情形下，许多航天器，如我国的天宫一号(TG-1)目标飞行器、遥感14号和遥感28号卫星，同时搭载了红外、可见光等多种成像载荷，通过对红外载荷的成像数据进行图像融合或图像超分辨等处理，提高红外图像的空间分辨率。其中，图像融合是指综合多源图像的信息，获得对同一场景或目标更为准确、全面和可靠的图像，使之更加适合人的观察和分析、机器的处理[1]。遥感图像融合技术是遥感图像预处理的关键技术，也一直是数据融合领域的研究热点[2]。

目前，光学遥感图像融合研究主要针对可见光与多光谱图像、可见光与高光谱图像，可分为加性变换和比值变换两大类型[2]。其中，比值变换融合方法[3-4]主要采用与可见光成像谱段重叠的多光谱、高光谱谱段合成低分辨率可见光遥感图像；然后利用可见光图像与低分辨率可见光遥感图像的比值图像表征融合图像的空间细节；最后按像素点计算比值图像与多光谱、高光谱上采样图像的乘积生成融合图像。由于红外与可见光成像的光谱谱段截然不同，二者不存在重叠的成像光谱波段，因此比值变换方法不适用于红外与可见光遥感图像融合。加性变换融合方法可细分为频率域变换(FT)、分量替换(CS)两个子类。其中，频率域变换融合方法[5-6]首先分别对可见光与多光谱、高光谱图像进行频率分解，然后对可见光图像的高频分量及多光谱图像的低频分量进行逆变换生成融合图像。分量替换融合方法[7-8]首先对多光谱、高光谱图像进行矩阵变换，得到保留分量和替换分量，然后对可见光图像与保留分量进行矩阵逆变换生成融合图像。

红外与可见光成像的光谱谱段差异大，二者的光谱波段不重叠，因此，近年来加性变换方法被用于红外与可见光遥感图像融合。该方法利用频率域变换从可见光图像中提取反映地物空间细节的高频信息，侧重于将地物的空间细节有效注入红外遥感图像，往往由于空间细节的不当注入导致融合图像中部分地物模糊不清[9-11]。此外，现有方法未考虑待融合图像间的分辨率差异，而航天器红外与可见光成像分辨率往往相差很大，例如天宫一号采集的可见光与红外图像分辨率相差10倍，现有方法生成的融合图像细节模糊不清。

本文面向航天器红外与可见光成像的图像融合需求，提出应用整体结构信息分层匹配的图像融合方法，实现红外与可见光遥感图像的高保真融合。与现有方法将地物的空间细节有效注入红外遥感图像的融合思路不同，本文采用将红外图像整体结构信息替换可见光图像整体结构信息的新融合思路，可有效避免空间细节注入不当导致融合图像模糊不清的问题。

1 红外与可见光图像融合方法

假设红外图像I的地表采样间距是可见光图像P的N倍(N≥4)，分别以N/2k倍(k=1，…，|lbN|-1)比率对可见光图像P进行均值下采样，生成的均值下采样图像记为Pk。由于红外与可见光图像分辨率差异大，本文采用分层拟合思路，将整体结构信息采取分层匹配的图像融合方法。首先，将红外图像与可见光图像P1融合生成F1；然后，将融合图像F1与可见光图像P2融合生成F2；以此类推，最后将融合图像F|lbN|-1与可见光图像P融合生成F。其实现过程见图1。

图1 图像融合方法实现过程

1.1 整体结构信息提取

人眼视网膜含有锥状体和杆状体两类感光细胞，其中，锥状体获取的信息可以使人充分的分辨物体的空间细节，杆状体获取的信息可以使人充分地分辨物体的整体结构。借鉴人眼信息处理的机制，本文将图像数据分为整体结构信息和空间细节信息：整体结构信息是图像的低频成分，主要反映图像数据的整体趋势；空间细节信息的变化波动较剧烈，主要描述图像纹理和细节。图2展示了原始图像、整体结构和空间细节信息的特点，其中，整体结构信息的走势较平滑，空间细节信息则围绕着数值0上下剧烈波动。

图2 图像整体结构与空间细节信息示例Fig.2 An illustration of image overall structural information and spatial detail information

红外图像的分辨率较低，可见光和红外图像融合的目标是利用可见光图像的空间细节锐化红外图像，因此两者融合也被称为可见光锐化(Panshar-pening)[2]。可见光和红外图像融合只能从可见光图像中抽取空间细节信息来锐化红外图像，若引入可见光图像的整体结构信息则会改变红外图像中目标的温度特性，引起温度失真。此外，融入至红外图像的空间细节信息须与可见光图像保持一致，否则容易导致融合图像的空间细节模糊不清。根据上述整体结构和空间细节信息的特点，本文利用高斯滤波计算图像的整体结构信息，并将原始图像减去整体结构信息得到空间细节信息，见式(1)。

(1)

式中：U，H，D分别为原始图像、整体结构和空间细节信息；G为高斯滤波器；*为卷积运算符；i和j分别为图像中像素的行号与列号。

1.2 红外与可见光图像融合模型

现有方法侧重利用可见光图像的空间细节注入红外遥感图像实现二者的有机融合，但由于红外与可见光图像分辨率差异大，且可见光图像的空间细节自身复杂多变(见图2)，容易导致空间细节信息注入红外图像不当，从而造成融合图像中部分地物模糊不清。为了解决这个问题，本文认为理想融合图像与可见光图像的空间细节信息是一致的，二者的差异在于整体结构信息不同，因此，使可见光图像的整体结构信息与红外图像一致即可实现可见光图像与红外图像的高保真融合。

根据上述分析，本文通过消除可见光与红外图像的整体结构信息差异，提出利用红外图像整体结构信息匹配可见光图像整体结构信息的新融合思路，利用数据拟合实现可见光图像整体结构信息与红外上采样图像的强度匹配。首先，将可见光图像减去红外上采样图像，得到二者的差值图像；然后，通过高斯滤波计算差值图像的整体结构信息；最后，将可见光图像减去差值图像的整体结构信息，生成红外与可见光融合图像，见式(2)。

F(i,j)P(i,j)-(P(i,j)-I′(i,j))*G(i,j)

(2)

式中：I′为红外上采样图像(上采样至与可见光图像分辨率相同)。

考虑到航天器可见光图像与红外图像的分辨率差异大，为更精准地消除可见光与红外图像的整体结构信息差异，本文采用由低分辨率至高分辨率的分层匹配方案。首先，将红外图像上采样至与可见光图像P1分辨率相同，并按式(2)将之与可见光图像P1融合生成F1；然后，将融合图像F1上采样至与可见光图像P2分辨率相同，并按式(2)将之与可见光图像P2融合生成F2，以此类推，最后将融合图像F|lbN|-1与可见光图像P融合生成F。

总体而言，应用整体结构信息分层匹配的融合方法生成的融合图像温度保真与细节保真效果好。此外，由式(2)可知，融合方法仅涉及图像的卷积滤波及图像减法计算，计算复杂度低，也适用于遥感器的在轨实现。可见光图像的空间分辨率远优于红外图像，可见光相机相对红外相机成像的原始数据率高、数据量大，另外，考虑到目前在轨处理器水平(通常为V7、K7系列FPGA及数字信号处理器(DSP)架构)和硬件单机复杂度，在采用本文方法对可见光图像与红外图像进行融合之前，首先，应对可见光图像目标进行在轨快速筛选，提取疑似目标切片(或区域切片)，以大大减少可见光图像输入数据量；然后，通过卫星在轨定位解算实现可见光图像中目标切片与红外图像中对应切片的快速关联；最后，利用本文方法对可见光与红外图像的目标切片进行图像融合操作，生成高分辨率融合图像，以便后续应用时提取目标的高分辨率空间细节和温度特征辨识目标。随着在轨处理器的高速发展，如高等级图形处理器(GPU)、专用集成电路(ASIC)等技术的应用，未来也可以考虑本文方法直接在轨使用。

2 融合方法验证与分析

2.1 试验数据与评价指标

为了验证本文融合方法的有效性，使用我国天宫一号采集的红外与可见光图像进行融合试验。其中，可见光图像分辨率为1 m，红外图像分辨率为10 m。为了检验融合方法的温度保真与纹理保真性能，本文选取空间细节丰富且不同区域温度具有显著差异的图像进行试验分析，见图3(a)和图3(b)。此外，本文采用文献[12]中提出的温度扭曲度(Ds)、细节扭曲度(Dλ)、综合保真度(QNR)来评价融合图像。这些评价方法已在学术界广泛使用，可以客观度量融合图像的温度与细节保真效果。其中，Ds∈[0,1]，其值越小，温度保真效果越好；Dλ∈[0,1]，其值越小，细节保真效果越好；QNR∈[0,1]，其值越大，融合图像的综合保真效果越好。在本文试验中，整体结构信息分层匹配的高斯滤波器G取值如下。

(3)

2.2 试验结果分析

文献[9-11]是目前最新发表的可见光与红外图像融合方法，分别为图像分解法、总体变分法和频率变换法。这些方法均采用加性变换思路进行融合，侧重高效提取可见光图像的空间细节信息并将之注入至红外图像中。在试验中，将这3个方法与本文融合方法进行对比分析，结果如图3(c)～图3(f)所示。通过对比红外图像与融合图像的空间细节可以发现：图像分解法、总体变分法、频率变换法生成的融合图像存在一定程度的细节模糊，而本文融合方法获得的融合图像的温度与细节保真效果均较好。表1给出了融合图像的客观评价值，可知本文融合方法在温度保真、细节保真及综合保真方面均优于对比方法。

图3 图像融合方法试验效果对比Fig.3 Experimental comparison of image fusion methods

表1 图像融合质量定量评价

3 结束语

本文提出应用整体结构信息分层匹配的可见光与红外图像融合方法，采用数据拟合及分层匹配思路生成红外与可见光融合图像，实现大空间分辨率差异条件下(相差10倍以上)红外与可见光图像的高保真融合。试验表明，本文融合方法的温度与细节保真效果好，优于对比方法。该方法已在我国遥感14号和遥感28号卫星的遥感图像产品生产线上应用，且由于其计算复杂度低，并行性好，也适用于航天器的在轨应用。