一种结合结构与能量信息的全色与多光谱图像融合方法

宋加文，朱大明，左小清，付志涛，陈思静

一种结合结构与能量信息的全色与多光谱图像融合方法

宋加文，朱大明，左小清，付志涛，陈思静

（昆明理工大学 国土资源工程学院，云南 昆明 650093）

分量替换是遥感图像融合中的一种经典方法，其具有良好的空间保真度，但容易产生光谱失真，为此本文提出一种结合结构与能量信息的全色与多光谱图像融合方法。方法首先通过超球面颜色空间变换分解多光谱图像的空间和光谱信息。其次，通过联合双边滤波引入了两层分解方案。然后，将全色图像和强度分量分解为结构层和能量层。最后，提出结构层通过邻域空间频率策略融合，强度分量的纯能量层用作预融合图像的能量层。强度分量定义颜色的强度，通过将预融合结构层与强度分量的能量层结合，可以有效地结合源图像的空间和光谱信息，从而减少全色锐化图像的光谱失真。本文在Pléiades和QuickBird数据集上进行大量实验，并对实验结果进行定性和定量分析，结果表明所提方法与现有先进方法相比具备一定优越性。

全色锐化；超球面色彩空间；联合双边滤波；空间频率；全色图像；多光谱图像

0 引言

由于卫星传感器、星载存储和带宽传输的限制，遥感图像中多光谱（multispectral，MS）图像具有多个波段，光谱分辨率高，但空间分辨率较低。全色（panchromatic，PAN）图像为单波段，空间分辨率高，但缺少光谱信息[1]。全色锐化是指MS图像和PAN图像融合，生成具有高空间分辨率和高光谱分辨率的MS图像[2]，如图1所示。并且，随着高分辨率MS图像在目标识别、变化检测和城市区域分类等领域需求越来越高，全色锐化技术已成为遥感领域的一个重要而热门的问题[3-4]。

现有的全色锐化方法大致可归为4类，即分量替换方法（component substitution，CS）、多分辨率分析（multi-resolution analysis，MRA）方法、基于变分优化（variational optimization-based，VO）方法和机器学习（machine learning，ML）方法[5]。其中MRA方法光谱信息保持较好，但容易产生空间失真[6]。VO和ML方法目标是实现高质量的融合结果，但这通常会增加算法的复杂性以及计算量[7-8]。CS方法是一种经典的全色锐化方法，许多开创性的全色锐化技术都属于CS类。CS方法是将MS图像转换到一个新颜色空间，从而分离空间和光谱信息，并将空间信息部分或完全替换为PAN图像的空间信息，以提高MS图像的空间分辨率[9]。例如强度-色调-饱和度（intensity-hue-saturation，IHS）和主成分分析法（principal component analysis，PCA）等。CS方法简单高效，如果算法设计得当，也可以获得具有竞争力的结果[10]，但大多数CS方法存在光谱失真的问题。

目前，大量基于IHS变换或者YUV变换的CS方法被提出。这些方法通常先对MS图像进行IHS变换或者YUV变换提取强度分量I或亮度分量Y，从而分离MS图像的空间和光谱信息。其次对PAN图像和MS图像的分量进行分解，然后设计相应规则融合，最后逆变换实现融合。文献[11-13]提出将PAN图像和MS图像的分量通过非下采样剪切波变换（non-subsampled shearlet transform，NSST）得到高频子带和低频子带，并设计高频和低频融合策略对高频和低频子带进行融合。此类方法在保持图像空间和光谱信息方面取得一定效果，但方法受MS图像的波段限制，并且NSST分解会增加算法的复杂度和时间成本。干等人[14]提出一种使用滚动导向滤波双尺度分解遥感图像的融合方法，由于将图像双尺度分解使得方法计算效率较高，但因其基于YUV变换，所以也受MS图像波段数限制，并且YUV变换以及低频融合策略会使融合图像的植被等区域出现明显光谱失真。

针对以上问题，我们提出一种结合结构与能量信息的全色与多光谱图像融合方法。首先引入超球面色彩空间（hyperspheric color space，HCS）变换来实现大于3波段的遥感图像进行颜色空间变换。然后，图像通过联合双边滤波（joint bilateral filter，JBF）分解为结构层和纯能量层，两层分解使得方法具备较高的计算效率。最后，为有效结合图像的结构和能量信息，提出结构层通过邻域空间频率策略融合，MS图像强度分量的纯能量层作为融合图像能量层，融合策略可以减少融合图像的光谱和空间失真。

图1 降分辨率数据全色锐化示例

1 本文方法

1.1 HCS变换

目前大多数MS图像不仅包括红绿蓝（Red, green and blue，RGB）波段，还包括近红外等波段。但常见的颜色空间变换方法只能应用于RGB图像。HCS变换[15]与IHS等颜色空间变换类似，但HCS变换可以自由选择波段，并且支持大于3波段的遥感图像进行颜色空间变换。它是将图像从原颜色空间变换到超球形颜色空间，输入一个波段图像，可以在超球面空间得到的1个强度分量和－1个角度变量。角度变量定义颜色或色调，而强度分量定义颜色的强度，强度可以缩放而不改变颜色。

以下方程给出了从原始颜色空间到HCS的一般变换过程：

对应的逆HCS变换可表示为：

1＝cos1(5)

2＝sin1cos2(6)

－1＝sin1sin2…sin－2cos－1(7)

＝sin1sin2…sin－2sin－1(8)

式中：是输入MS图像的波段；是强度分量；1,2,…,－1是－1个角度变量。

1.2 图像分解

全色锐化的目标是结合PAN图像的空间信息与MS图像的光谱信息，如何有效分解图像之间的互补信息就成为实现全色锐化的首要问题。我们提出一种通过JBF分解遥感图像的方法。方法将强度信息和结构信息作为图像的两个重要特征，设计了一种分解图像结构和能量信息的方案，方法包括全局模糊和边缘恢复两个步骤。

1.2.1 全局模糊

为将输入图像的细节信息最大限度地传播到结构层，我们通过高斯滤波对图像进行整体平滑。如下所示：

＝*(9)

式中：是输入图像；(,)为方差＝2的高斯滤波，为标准差下的平滑结果。此过程会将输入图像的细节保留在结构层中。

然后，全局模糊图像使用加权平均高斯滤波生成：

式中：和分别表示输入图像和输出图像。和表示像素坐标；()为的相邻像素集合；s表示标准差；Z表示归一化运算。

1.2.2 边缘恢复

由于公式(11)在去除小结构的同时破坏了大尺度结构（大于s的结构），大尺度结构在一定程度上保留在能量层中。因此，我们引入了JBF来恢复图像的大结构，JBF类似于滚动制导滤波器，但只有一次迭代[16-17]。同时，在此过程中将获得能量层：

式中：d表示空间距离函数；r表示强度范围函数，计算如下：

式中：s和r分别控制双边滤波器的空间权重和范围权重。

1.3 融合规则与图像重构

PAN图像和分量通过以上JBF滤波过程得到能量层1和2，然后通过差分计算得到结构层1和2。

1.3.1 结构层融合

图像的结构层包含边缘、纹理和拐角等活跃信息，反映图像的主要细节信息。邻域空间频率（Neighborhood Spatial Frequency, NSF）可以有效地检测细节特征。故结构层通过邻域空间频率策略融合，并且融合的结构层可以通过以下公式获得：

其中NSF定义如下：

1.3.2 能量层融合

通过1.2节的分解过程，纯能量层图像中不包含结构信息。由于分量的能量层决定图像颜色的强度，因此提出分量的纯能量层用作预融合图像的能量层，从而减少因分量能量层的变化造成融合图像的颜色变化，进而实现较高的光谱质量：

F＝2(21)

式中：F表示预融合图像的能量层。

1.3.3 图像重构

将F,t与F结合得到¢：

¢＝F,t＋F(22)

¢替换MS图像分量并进行逆HCS变换得到最终融合图像。

1.4 融合流程

方法首先通过HCS变换将多光谱图像分解为分量和角度变量。其次，通过JBF将PAN图像和分量分解为结构层和能量层。然后，结构层通过邻域空间频率策略融合，强度分量的纯能量层用作融合图像的能量层。将强度分量的纯能量层和融合结构层结合，并与角度变量逆HCS变换即可得到融合图像。本文提出的融合方法的流程如图2所示，具体步骤如下：

1）MS图像上采样至PAN图像像素尺寸；

2）对MS图像进行HCS变换，得到强度分量和角度变量1,2,3；

3）根据分量对PAN图像进行直方图调整；

4）PAN图像分量和通过JBF分解，得到结构层(1,2)与能量层(1,2)；

5）结构层1和2通过邻域空间频率融合策略得到融合结构层F,t；

6）分量的能量层2作为预融合图像的能量层F；

7）F,t和F取和得¢；

8）将¢和角度变量1,2,3逆HCS变换，得到最终融合图像。

2 实验细节

本节将介绍实验的数据集、评价指标、参数设置和实验环境。然后在Pléiades和QuickBird传感器数据集上进行降分辨率实验，并从视觉效果、定量评价方面将所提方法与对比方法比较。对比方法包括：波段相关空间细节方法（band-dependent spatial-detail，BDSD）[18]、基于波段物理约束的波段相关空间细节方法（band-dependent spatial-detail with physical constraints, BDSD-PC）[19]、雾度校正优化的Brovey变换方法（optimized Brovey transform with haze correction, BT-H）[20]、基于上下文自适应局部参数估计的Gram-Schmidt方法（context-based Gram-Schmidt adaptive with local parameter estimation exploiting clustering，C-GSA）[21]、GS[22]、GSA[23]、Indusion[24]，具有调制传递函数匹配滤波器的广义拉普拉斯金字塔与基于全尺度回归的注入模型（generalized Laplacian Pyramid with modulation transfer function-matched filters with a full scale regression-based injection model, MTF-GLP-FS）[25]，具有调制传递函数匹配滤波器和高通调制注入模型的广义拉普拉斯金字塔以及具有基于初步回归的光谱匹配相位方法（generalized Laplacian Pyramid with modulation transfer function-matched filters and high-pass modulation injection model with a preliminary regression-based spectral matching phase, MTF-GLP-HPM-R）[26]和基于PCA和小波的模型融合方法（model-based fusion using PCA and wavelets, PWMBF）[27]。

图2 本文融合方法

2.1 实验数据集

本文使用21组Pléiades图像和16组QuickBird图像制作实验数据集，实验图像包括建筑、道路、植被等各种典型场景，部分图像如图3所示。Pléiades数据集由单波段PAN图像和4波段MS图像组成，PAN图像空间分辨率为0.5m，MS图像空间分辨率为2.0m，辐射分辨率为12位。QuickBird数据集是由4波段MS图像和一个单波段PAN图像组成，PAN图像空间分辨率为0.61m，MS图像空间分辨率为2.44m，辐射分辨率为11位。实验数据集细节可见表1。

图3 数据集图像示例

表1 实验数据集细节

2.2 评价指标

在定量评价中，我们选取光谱角映射器（spectral angle mapper，SAM）[28]、无量纲综合全局误差（dimensionless global error in synthesis，ERGAS）[29]、空间相关系数（spatial correlation coefficient，SCC）[30]、波段平均的通用图像质量指数（universal image quality index averaged over the bands，QAVE）[31]和Q2n[32]指标（4波段MS图像对应Q4）作为评价指标。

2.3 参数设置

本文方法中有2个自由参数需要设置，即JBF的高斯标准差s和r。通过测试发现，当s值较小时图像模糊，当s值较大时也会对视觉效果产生不好的影响。结合图4点线趋势，将s设置为3。由于r的不同值并不影响融合图像质量，因此将r设置为默认值0.05。

2.4 实验环境

文中所有方法都在相同的软件和硬件平台上运行。软件为MATLAB（R2017b）和Windows10操作系统。硬件为：AMD Ryzen 7 4700U with Radeon Graphics 2.00 GHz处理器，16GB RAM。

3 实验结果与分析

3.1 定性分析

在图5中：BT-H方法存在明显光谱失真，图像存在黄颜色伪信息；C-GSA、GS、GSA、Indusion、MTF-GLP-FS和MTF-GLP-HPM-R方法在图像中植被区域由于空间细节注入过多，虽然空间细节清晰，但图像颜色较浅，与地面真实（ground truth，GT）图像的光谱信息不一致；PWMBF方法图像颜色较浅，光谱信息丢失严重；BDSD、BDSD-PC和本文方法的图像在空间和光谱信息方面与GT最为接近，取得较好视觉效果。在图6中：GS和Indusion方法在图像中道路区域颜色较浅，其余方法的融合图像均取得较好视觉效果，均有效提升了MS图像的空间分辨率，但本文方法融合图像与GT图像色调更为一致。为进一步比较方法性能，对图6中所有图像求残差，残差图像如图7所示。在图7中可以明显看出BT-H和所提方法图像的残差信息更少，与GT图像更接近，证明所提方法有效结合了MS和PAN图像的空间与光谱信息。

图4 参数ss对图像质量影响分析。(a) QuickBird数据集 (b)Pléiades数据集

图5 QuickBird图像融合结果

图6 Pléiades图像融合结果

图7 图6残差图像

3.2 定量分析

表2和表3是数据集中全部图像定量评价的平均值，本文方法的Q4、QAVE、SAM、ERGAS和SCC定量指标值均为最优，方法运行所用的平均时间在所有方法中也较少。这表明本文方法的融合图像质量较高，空间和光谱信息被有效结合，算法简单高效，与上述定性评价的分析结果趋于一致。其中平均运行时间较少是由于方法双层分解图像，并且结构层与能量层融合使用的融合策略简单高效。而定量指标最优是由于所提出的结构层与能量层的融合策略有效结合源图像信息，使得融合图像失真小质量高。

表2 QuickBrid数据集融合结果定量评价

表3 Pléiades数据集融合结果定量评价

4 结论

在本文中，为减少光谱失真我们提出了一种结合HCS变换与JBF的遥感影像融合方法。首先，通过HCS变换可以实现了对任意波段的MS影像进行颜色空间变换。其次，通过联合双边滤波有效分解了源图像之间的互补信息。最后，提出一种通过邻域空间频率策略融合结构层，强度分量的能量层作为预融合图像能量层的融合策略。方法可以有效结合源图像的光谱和空间信息，减少光谱和空间信息失真。实验将所提方法与10种优秀的方法进行对比，结果表明所提方法在视觉感知和定量评价方面具有更好的性能表现。

[1] 朱卫东, 王虎, 邱振戈, 等. 自适应多尺度几何分析的全色和多光谱图像融合方法研究[J]. 红外技术, 2019, 41(9): 852-856.

ZHU Weidong, WANG Hu, QIU Zhenge, et al. Fusion of panchromatic and multispectral images based on adaptive multiscale geometric analysis method[J]., 2019, 41(9): 852-856.

[2] Vivone G, Dalla Mura M, Garzelli A, et al. A new benchmark based on recent advances in multispectral pansharpening: revisiting pansharpening with classical and emerging pansharpening methods[J]., 2021, 9(1): 53-81.

[3] LIU P, XIAO L, LI T. A variational pan-sharpening method based on spatial fractional-order geometry and spectral–spatial low-rank priors[J]., 2018, 56(3): 1788-1802.

[4] 王欧, 罗小波. 基于细节信息提取的全色与多光谱图像融合方法[J]. 红外技术, 2022, 44(9): 920-928.

WANG Ou, LUO Xiaobo. Panchromatic and multispectral images fusion method based on detail information extraction[J]., 2022, 44(9): 920-928.

[5] XIAO J, HUANG T, DENG L, et al. A new context-aware details injection fidelity with adaptive coefficients estimation for variational pansharpening[J]., 2022, 60: 1-15.

[6] WU Z, HUANG T, DENG L, et al. VO+Net: an adaptive approach using variational optimization and deep learning for panchromatic sharpening[J]., 2022, 60: 1-16.

[7] YANG Z, FU X, LIU A, et al. Progressive pan-sharpening via cross-scale collaboration networks[J]., 2022, 19: 1-5.

[8] WU Z, HUANG T, DENG L, et al. A new variational approach based on proximal deep injection and gradient intensity similarity for spatio-spectral image fusion[J]., 2020, 13: 6277-6290.

[9] Deng L, Vivone G, Paoletti M, et al. Machine learning in pansharpening: a benchmark, from shallow to deep networks[J]., 2022, 10(3): 279-315.

[10] ZHANG Z Y, HUANG T Z, DENG L J ,et al. Pan-sharpening via rog-based filtering[C]//2019-2019, 2019:2790-2793. DOI: 10.1109/ IGARSS. 2019.8899330.

[11] 侯昭阳, 吕开云, 龚循强, 等. 一种结合低级视觉特征和PAPCNN的NSST域遥感影像融合方法[J]. 武汉大学学报: 信息科学版, 2023, 48(6): 960-969. DOI: 10.13203/j.whugis20220168.

HOU Zhaoyang, LÜ Kaiyun, GONG Xunqiang, et al. Remote sensing image fusion based on low-level visual features and PAPCNN in NSST domain[J]., 2023, 48(6): 960-969. DOI: 10.13203/j.whugis20220168

[12] 吕开云, 侯昭阳, 龚循强, 等. 一种基于ASR和PAPCNN的NSCT域遥感影像融合方法[J]. 遥感技术与应用, 2022, 37(4): 829-838.

LUY Kaiyun, HOU Zhaoyang, GONG Xunqiang, et al. A remote sensing image fusion method based on ASR and PAPCNN in NSCT domain [J]., 2022(4): 829-838.

[13] 白鑫, 卫琳. 基于IHS变换与自适应区域特征的遥感图像融合算法[J]. 电子测量与仪器学报, 2019, 33(2): 161-167.

BAI Xin, WEI Lin. Remote sensing image fusion algorithm based on ihs transform and adaptive region features[J]., 2019, 33(2): 161-167.

[14] 干林杰, 谭荣建. 一种双尺度分解的高分辨率遥感影像融合方法[J]. 通信技术, 2022, 55(2): 174-180.

GAN Linjie, TAN Rongjian. A method for fusion of high-resolution remote sensing images based on Dual-Scale decomposition[J]., 2022, 55(2): 174-180.

[15] Padwick C, Deskevich M, Pacifici F, et al. Worldview-2 pan-sharpening[C]//2010, 2010: 1-14.

[16] ZHANG Qi, SHEN Xiaoyong, XU Li, et al. Rolling guidance filter[C]//(ECCV), 2014: 815-830.

[17] LI X, ZHOU F, TAN H, et al. Multimodal medical image fusion based on joint bilateral filter and local gradient energy[J]., 2021, 569: 302-325.

[18] Garzelli A, Nencini F, Capobianco L. Optimal MMSE pan sharpening of very high resolution multispectral images[J]., 2008, 46(1): 228-236.

[19] Vivone G. Robust band-dependent spatial-detail approaches for panchromatic sharpening[J]., 2019, 57(9): 6421-6433.

[20] Lolli S, Alparone L, Garzelli A, et al. Haze correction for contrast-based multispectral pansharpening[J]., 2017, 14(12): 2255-2259.

[21] Restaino R, Dalla Mura M, Vivone G, et al. Context-adaptive pansharpening based on image segmentation[J]., 2017, 55(2): 753-766.

[22] MENG X, XIONG Y, SHAO F, et al. A large-scale benchmark data set for evaluating pansharpening performance: overview and implementation[J]., 2021, 9(1): 18-52.

[23] Aiazzi B, Baronti S, Selva M. Improving component substitution pansharpening through multivariate regression of MS+Pan Data[J]., 2007, 45(10): 3230-3239.

[24] Khan M M, Chanussot J, Condat L, et al. Indusion: fusion of multispectral and panchromatic images using the induction scaling technique[J]., 2008, 5(1): 98-102.

[25] Vivone G, Restaino R, Chanussot J. Full scale regression-based injection coefficients for panchromatic sharpening[J]., 2018, 27(7): 3418-3431.

[26] Vivone G, Restaino R, Chanussot J. A regression-based high-pass modulation pansharpening approach[J]., 2018, 56(2): 984-996.

[27] Palsson F, Sveinsson J R, Ulfarsson M O, et al. Model-based fusion of multi- and hyperspectral images using PCA and wavelets[J]., 2015, 53(5): 2652-2663.

[28] Roberta H. Yuhas A F H G. Discrimination among semi-arid landscape endmembers using the spectral angle mapper (SAM) algorithm[J].3rd, 1992(1): 147-149.

[29] Alparone L, Wald L, Chanussot J, et al. Comparison of pansharpening algorithms: outcome of the 2006 GRS-S data-fusion contest[J]., 2007, 45(10): 3012-3021.

[30] Otazu X, Gonzalez-Audicana M, Fors O, et al. Introduction of sensor spectral response into image fusion methods. Application to wavelet-based methods[J]., 2005, 43(10): 2376-2385.

[31] ZHOU Wang, A C Bovik. A universal image quality index[J]., 2002, 9(3): 81-84.

[32] Alparone L, Baronti S, Garzelli A, et al. A global quality measurement of pan-sharpened multispectral imagery[J]., 2004, 1(4): 313.

A Panchromatic and Multispectral Image Fusion Method Combining Energy and Structural Information

SONG Jiawen，ZHU Daming，ZUO Xiaoqing，FU Zhitao，CHEN Sijing

(Faculty of Land Resources Engineering, Kunming University of Science and Technology, Kumming 650093, China)

Component substitution is a classical method for remote-sensing image fusion that has good spatial fidelity but is prone to spectral distortion. Therefore, a panchromatic and multispectral image fusion method that combines structural and energy information is proposed. First, the method decomposes the spatial and spectral information of multispectral images by hyperspherical color-space transformation. Second, a two-layer decomposition scheme is introduced through joint bilateral filtering. The panchromatic image and intensity components are then decomposed into structural and energy layers. Finally, the structural layer is fused by the neighborhood spatial frequency strategy, and the pure energy layer of the intensity component is used as the energy layer of the pre-fusion image. The intensity component defines the color intensity. By combining the pre-fused structural layer with the energy layer of the intensity component, the spatial and spectral information of the source image can be effectively combined, thereby reducing the spectral distortion of the pansharpened image. In this study, several experiments were conducted on the Pléiades and QuickBird datasets, and the experimental results were qualitatively and quantitatively analyzed. The results show that the proposed method has certain advantages over existing methods.

pansharpening; hypersphere color space; joint bilateral filter; spatial frequency; panchromatic image; multispectral image

TP751

A

1001-8891(2023)07-0696-09

2023-04-14；

2023-06-20.

宋加文（1997-），男，山东兰陵人，硕士研究生，主要研究方向为遥感图像融合。E-mail：717802899@qq.com。

朱大明（1970-），男，贵州安顺人，博士，副教授，主要研究方向为3S集成、融合及应用等。E-mail：634617255@qq.com。

国家自然科学基金（41961053）；云南省重大科技专项（202202AD080010）。