一种融合中分辨率多光谱与高分辨率全色图像的方法

王忠武，刘顺喜

（中国土地勘测规划院，北京100035）

一种融合中分辨率多光谱与高分辨率全色图像的方法

王忠武，刘顺喜

（中国土地勘测规划院，北京100035）

针对中分辨率多光谱与高分辨率全色图像空间分辨率差异大，导致融合结果难以较好平衡光谱信息保持和空间信息保持能力的问题，该文分析了7种常用融合方法用于中分辨率多光谱与高分辨率全色图像融合的优缺点及其融合质量的影响因素，提出了一种组合融合方法。该方法在保留Gram－Schmidt方法的细节注入方式的基础上，综合利用高通滤波法和Gram－Schmidt方法的优势构造低分辨率全色图像，确保在提高融合图像空间分辨率的同时有效降低其光谱变形。通过CBERS－02多光谱和IRS－P5全色图像的实验，证明了新融合方法的有效性。

融合；中分辨率多光谱图像；高分辨率全色图像

中空间分辨率（简称“中分辨率”）、大幅宽多光谱图像（如CBERS－02、02B卫星多光谱图像分辨率19.5 m、幅宽113 km；北京一号小卫星多光谱图像分辨率32 m、幅宽600 km等）在快速提供大区域全覆盖遥感数据、服务资源环境宏观监测方面具有显著优势［1］。为提高多光谱图像的地物解译潜力，资源环境遥感调查监测中常用高分辨率（优于5 m）全色图像对中分辨率多光谱图像进行Pan－Sharpen融合，以获得既具有多波段光谱又具有较高分辨率的融合图像。然而，业务应用中，由于多光谱和全色图像分辨率倍率、传感器波谱范围差异显著等原因，常用融合方法往往受到高分辨率全色图像的噪声和中分辨率多光谱的虚假信息的影响，难以较好平衡保持光谱信息和保持空间信息能力，融合效果不佳［2］。为此，ERDAS 9.2版提出多级高通滤波方法，采用两次高通滤波逐级提取细节信息并逐级滤除噪声，但是难以解决几何配准误差引起的光谱漂移现象，而且融合过程耗时长。本文从常用融合方法的原理出发，分析各方法的优缺点及其融合质量的影响因素，提出了一种组合高通滤波方法和Gram－Schmidt方法的融合方法，确保在提高融合图像空间分辨率的同时有效降低光谱变形，以提高中分辨率多光谱和高分辨率全色图像的融合效果。

1 常用方法的融合质量影响因素分析

Pan－Sharpen融合理论框架［2］如下：

其中：HMS为融合后高分辨率多光谱图像；LMS为对原始多光谱图像重采样至全色图像尺度的低分辨率多光谱图像；W 为空间细节注入方式；δ为空间细节信息，δ＝HRP－LRP，HRP为高分辨率（原始）全色图像，LRP为低分辨率全色图像。

由融合理论框架可知，影响融合质量的实际因素为W和LRP。LRP既可以通过HRP滤波得到，又可以通过LMS各波段变换或加权得到。

1.1 高通滤波（High Pass Filter，HPF）方法

HPF方法以多光谱和全色图像的分辨率之比作为参数，自适应构造高通滤波器对HRP进行多级高通滤波，获取高频信息注入LMS（注入比例由高频信息与LMS的标准方差确定），获得初步融合图像，将初步融合图像与LMS进行基于均值－标准差的直方图匹配，获得最终融合图像H MS［3］。采用直方图匹配方法调整初次融合图像的亮度，等价于对W、δ分别进行线性变换。在不考虑该过程的影响时，HPF方法可表示为：

HPF方法的本质是由HRP高通滤波构造LRP，当全色与多光谱图像的分辨率较高且相差不大时，此方法能获得较好效果。然而，中分辨率多光谱和高分辨率全色图像的融合质量受到多个因素的影响［4］：1）受分辨率差别较大的影响，过大的分辨率差距将导致重采样多光谱图像时，产生较多虚假信息，使融合结果出现光谱不连续、浮雕等效果；2）受全色图像噪声的影响，噪声会随高频信息一起注入LMS；3）受配准精度的影响，配准误差过大会导致细节信息注入位置不当，使融合结果不稳定。

1.2 Gram－Schmidt方法

Gram－Schmidt［5］方法首先采用某种方式（HRP高通滤波、LMS波段加权平均、外部自定义等）获得LRP，以LRP作为第一分量对LMS进行Gram－Schmidt正交变换，然后用直方图匹配后的HRP替换第一分量，进行Gram－Schmidt反变换获得H MS。Gram－Schmidt方法可表示为：

其中：ρ为相关系数，σ为标准差，GS1为Gram－Schmidt变换后的第一分量。获得较好融合效果的前提是LRP与HRP具有较大相关性。

对于中分辨率多光谱和高分辨率全色图像的融合，为避免HPF方法中HRP高通滤波构造LRP的缺点，通常采用LMS各波段加权平均构造LRP。然而，由于CBERS－02、02B、北京一号（BJ－1）等卫星多光谱图像与常用高分辨率全色图像的波段范围差异显著，直方图匹配难以实现LRP与HRP中所有同类地物灰度的完美匹配，LRP与HRP相关性不高必然导致H MS产生严重光谱变形。

1.3 PANSHARP方法

PANSHARP方法假设LMS、HRP与H MS之间存在线性关系，采用最小二乘和统计理论等方法自动拟合三者的关系，实现较好保持光谱信息的目标［6］。理论上，PANSHARP方法可通过多项式变换方法在Pan－Sharpen理论框架下表示。

对于中分辨率多光谱和高分辨率全色图像的融合，分辨率的巨大差异会影响不同面积的地物在不同尺度图像上的表现，例如高亮度、大面积地物在多光谱图像中的尺寸明显大于全色图像，低亮度、小面积地物在多光谱图像中难以发现而在全色图像中特征明显。这些客观现象极易破坏LMS、HRP与HMS的线性关系假设，从而降低PANSHARP方法融合质量。

1.4 亮度色调饱和度（IHS）变换法、主成分分析（PCA）变换法、Brovey变换法

IHS和PCA变换法的理论基本一致。首先，采用IHS［7］或PCA变换，将LMS分解为空间分量和光谱分量，然后参考空间分量对HRP进行直方图调整，并替换变换后第一分量，最后反变换获得HMS。相对于Gram－Schmidt正交变换，IHS和PCA变换很难得到相互独立的分量，导致H MS存在光谱变形。此外，直方图匹配也存在于此类方法中，同样会导致严重的光谱变形。不同于IHS变换法将细节信息等量注入LMS，Brovey变换法根据LMS各波段间的灰度比例关系注入细节信息。3种融合方法分别表示为式（4）、式（5）、式（6）：

其中：K为多光谱图像的波段数，ρ为相关系数，σ为标准差，PC1为PCA变换后第一分量。通常3种方法的融合图像光谱连续性较好，但光谱变形较严重。

1.5 Multiplicative方法

Multiplicative方法将HRP和LMS按照乘法组合方式进行合成，乘法系数为经验常数，如式（7）所示，其中A、B为经验系数，不合适的经验系数将会引起较严重的光谱变形［8］。

2 基于HPF方法和Gram－Schmidt方法的组合融合方法

根据以上分析，中分辨率多光谱和高分辨率全色图像的分辨率和波谱范围差异显著是造成以上方法融合效果不理想的主要原因。同样可知，HPF方法中高通滤波构造LRP方法能较好地提取细节信息，但易受到HRP噪声的影响，Gram－Schmidt方法中波段加权构造LRP方法能避免噪声的引入，但易受到来自LMS与HRP波谱范围不同引起的细节信息提取不佳的影响。由于中分辨率多光谱和高分辨率全色图像融合的目标是在提高空间分辨率的同时尽量降低光谱变形，因此可综合LMS构造LRP和HRP构造LRP两种方法的优势，在提取细节信息和抑制噪声之间实现较好的平衡，降低LMS构造LRP引起的光谱变形和HRP构造LRP引起的光谱突变［9］，显著提升融合效果。此外，Gram－Schmidt方法的细节注入方法综合考虑了LMS各波段间的灰度比例关系，以及与LRP间的相关性，是一种较好的细节注入方法。

综上，在保留Gram－Schmidt方法的细节注入方式的基础上，综合利用高通滤波法和Gram－Schmidt方法的优势构造低分辨率全色图像，本文提出组合HPF方法和Gram－Schmidt方法的新融合方法，以确保在提高融合图像空间分辨率的同时有效降低其光谱变形。在理论框架中表示为：

其中：LRPLMS和LRPHRP分别为LMS、HRP构造的LRP。

3 实验分析

为验证本文理论分析的正确性，选择CBERS－02多光谱图像和IRS－P5全色图像进行实验，实验数据分辨率相差约8倍，波谱范围差别较大（表1）。图像覆盖范围为吉林省境内，从原始全色图像中截取400 ×400像素作为实验区。调整原始多光谱图像色彩至自然真彩色，多光谱图像波段组

合方式为241，地物类型包括植被、裸地、水体、居民地等。由于天气的原因，图像中存在少量薄云及其产生的阴影。

表1 实验数据的分辨率与光谱范围Table 1 Resolution and spectral range of experiment images

图1（见封2）为各种融合方法的融合结果。经目视比较可知：1）HPF方法融合结果出现了较明显的浮雕效果，主要原因是分辨率相差大，多光谱图像重采样时增加了很多虚假信息；河流处出现了明显的马赛克现象，原因在于全色图像中河流的灰度值存在较小的差别，经过高通滤波后这部分细节信息被放大，并注入了多光谱图像。2）Gram－Schmidt方法融合结果中，裸地变为紫色，原因在于LRP与HRP的直方图相关性不高，采用线性拉伸或非线性调整的方法，无法使该类地物在两幅图像中的灰度值一致，导致提取细节信息时，灰度值的差异同时被提取出，并注入了多光谱图像，最终引起光谱变形。此外，薄云处也出现了严重的光谱变形。3）PANSHARP方法融合结果与Gram－Schmidt融合法的结果相似，裸地也变为了浅紫色，河流区域出现了空间增强过量的现象，薄云变为暗灰色，这会影响对图像的后续处理，特别是图像分类。4）IHS变换法的结果中，薄云处已经变为暗灰色，在无其他辅助资料参与的情况下，后续处理中容易将其误作裸地。PCA变换法的融合结果整体偏红，由PCA变换法的原理可知，空间细节是LMS和LRP的函数，LRP是LMS的函数，可以推断，整体偏红的融合结果主要是由于LMS加权拟合LRP不当所致。Brovey变换法的融合结果光谱变形最严重，多光谱图像的红、蓝波段被注入了大量多余光谱信息。5）Multiplicative方法的融合结果整体色彩偏暗，河流处几乎变为黑色，原因在于经验系数不适合于该景图像。6）本文方法的融合结果整体看，融合图像与原始多光谱的色彩基本一致，并且各波段光谱变化也较为连续。在本文所有实验的融合方法中，该融合效果最好，更利于后续的图像处理以及融合图像的应用。

在定性主观评价的基础上，同时采用定量评价指标进行客观评价。表2为各融合图像与原始多光谱图像的各波段相关系数及均值。Multiplicative方法和本文方法的相关系数全部达到0.94以上，其他方法的相应值基本在0.8以下，说明了两种融合方法的结果图像与原始多光谱图像的光谱离散度基本一致，具有较好的相关性，说明融合图像光谱保持性能较好。然而，从灰度均值看，Multiplicative融合图像的各波段均值与原始多光谱图像差距较大，在图像中表现为亮度值偏低，这与定性评价中Multiplicative融合图像整体颜色偏暗基本一致，相对而言，其他融合图像的均值与原始多光谱图像基本一致。综合考虑以上两个定量评价指标可知，本文方法融合质量最优。

表2 各融合图像的定量评价Table 2 Quantity assessment of fusion results

4 结论

对于中分辨率多光谱图像和高分辨率全色图像的Pan－Sharpen融合，本文提出了一种组合HPF和Gram－Schmidt方法的新融合方法，实验证明该方法能缓解空间细节增强过度导致光谱不连续、冗余信息增加过多导致光谱变形严重等问题，并有效提高融合质量。值得说明的是，相对于多级高通滤波法，本文方法仅需经过一次高通滤波计算，融合处理时间明显缩短，更符合业务应用的要求，经改进后可为中分辨率多光谱图像和高分辨率全色图像融合提供一种全新方案。下一步将主要开展加权系数的自动选择研究及更多数据的实验等工作。

［1］ 柴渊，李万东.土地利用动态监测技术与方法［M］.北京：地质出版社，2011.

［2］ 窦闻.多元遥感数据像素级融合统一理论框架研究［D］.北京：北京师范大学，2006.

［3］ GAMGKOFNER U G，PRADHAN P S，HOLCOMB D W.Optimizing the high－pass filter addition technique for image fusion［J］.Photogrammetric Engineering ＆Remote Sensing，2008，9：1101－1118.

［4］ 陈志刚，束炯.基于Savitzky－Golay方法的遥感影像融合［J］.地理与地理信息科学，2011，27（2）：26－29.

［5］ AIAZZI B，BARONTI S，SELVA M.Improving component substitution pansharpening through multivariate regression of MS＋Pan data［J］.IEEE Transactions on Geoscience and Remote Sensing，2007，45（10）：3230－3239.

［6］ ZHANG Y.A new merging method and its spectral and spatial effects［J］.Int.J.Remote Sensing，1999，20（10）：2003－2014.

［7］ 袁林山，杜培军，王莉，等.基于灰色绝对关联度边缘检测的多源遥感影像加权IHS融合［J］.地理与地理信息科学，2008，24（3）：11－15.

［8］ 柳文祎，何国金，张兆明，等.ALOS全色波段与多光谱影像融合方法的比较研究［J］.科学技术与工程，2008（11）：2864－2869.

［9］ 王忠武.Pan－Sharpen融合系统关键问题研究［D］.北京：中国科学院遥感应用研究所，2009.

Abstract：For pan－sharpening mid－resolution multi－spectral image and high－resolution panchromatic image，a better balance between spectral information maintaining and spatial information maintaining can hardly achieved because of the large resolution gap.Based on analyzing the characteristic and factors affecting fusion quality of seven popular fusion methods，a new fusion method is proposed to improve the resolution of the fusion result while minimizing the spectral distortion by combining methods of constructing low resolution panchromatic image in high pass filter resolution merging method and Gran－Schmidt spectral sharpening method and adopting the default injecting manner of the latter method.Experiment is carried out on CBERS－02 multi－spectral and IRS－P5 panchromatic image，and the result shows that the new method performs superiority.

Key words：fusion；mid－resolution multi－spectral image；high－resolution panchromatic image

A Fusion Method for Mid－resolution Multi－spectral Image and High－Resolution Panchromatic Image

WANG Zhong－wu，LIU Shun－xi
（China Land Surveying and Planning Institute，Beijing 100035，China）

TP751

A

1672－0504（2012）04－0042－04

2012－02－14；

2012－03－09

国土资源高分应用示范系统先期攻关项目（E0202／1112）

王忠武（1983－），男，博士，副研究员，主要从事土地遥感、遥感图像处理等研究。E－mail：wangzhongwu＠mail.clspi.org.cn