“资源一号”02C卫星PMS数据融合方法比较研究

王治中 张庆君

（1 中国空间技术研究院总体部，北京 100094）

（2 中国资源卫星应用中心，北京 100094）

0 引言

遥感数据融合是一种信息融合处理技术，可以克服单一遥感影像在几何、光谱和空间分辨率等方面的局限性，提高遥感图像的质量（quality，以下同），减少信息的不确定性，提高遥感影像的解译能力[1]。融合技术广泛用于土地利用调查、地质灾害、土地分类等行业，是遥感影像处理和分析领域中非常重要的研究内容[2-4]。为了提高遥感卫星数据的应用潜力，研究人员提出了许多遥感影像融合方法，并对Quickbird、CBERS-02B、Landsat、SPOT等遥感卫星数据进行了大量的融合效果分析研究[5-8]。

“资源一号”02C卫星于2011年12月21日成功发射，是根据我国国土资源主体业务需求定制的第一颗业务遥感卫星，主要应用于我国的国土资源调查、农业估产、环境保护、综合减灾救灾等领域。全色/多光谱相机（panchromatic and multispectral sensor，PMS）是“资源一号”02C卫星的主要载荷之一，包括一个全色波段（panchoromatic，PAN）和绿、红、近红外三个多光谱波段（multispectral，MUX），主要参数如表1所示。

表1 “资源一号”02C卫星PMS相机主要参数Tab.1 The main parameters of ZY-1-02C satellite PMS sensor

自发射成功以来，“资源一号”02C卫星PMS数据已经在诸多行业广泛应用，为了更好地挖掘其数据的应用潜力，有必要根据其数据特点研究分析合适的融合方法。本文以“资源一号”02C卫星PMS数据中的高分辨率全色影像和低分辨率多光谱影像作为数据源，比较研究了Brovey比值[9]、高通调制滤波（high pass modulation，HPM）[10]、色彩变换（intensity，hue and saturation，IHS）[11]、梯度金字塔[12]等四种常用遥感影像融合方法，从主观评价和定量分析两个方面对四种方法的融合效果进行综合评价。结果表明，IHS变换法可以很好地保持PMS数据多光谱影像的光谱信息，梯度金字塔可以显著增加融合后影像的空间细节信息。

1 遥感影像融合方法

遥感影像融合方法可以分为空间域、分量替换、多尺度分析三类。空间域方法对影像的像素进行空间域处理，特点是融合波段的个数无限制，常用的有比值融合法和高通滤波法。分量替换方法利用某种变换方法对多光谱影像进行坐标空间变换，得到影像的空间细节部分和光谱信息部分，用高分辨率全色影像代替空间分量，逆变换后得到融合图像，常用的方法有 IHS色彩变换法和主成分分析法（principal component analysis，PCA）。多尺度分析方法利用多分辨率工具分解影像，得到不同空间频带上空间细节信息系数和近似图像数据，根据规则对系数和图像数据进行融合处理，重构后得到融合图像，常用的多分辨率分析方法有金字塔方法和小波方法。

1.1 Brovey比值法

Brovey比值法将全色影像与比值直接相乘，全色影像的空间信息可以全部融合到新图像中，分辨率较高。其算法简单，运算速度快，是最为常用的一种比值融合方法，算法步骤如下[9]：

1）对各个波段的低分辨率多光谱影像进行插值，得到与高分辨率影像大小和分辨率一致的多光谱影像XSj。

2）将多个波段的低分辨率多光谱影像XSj直接累计相加求出估计的低分辨率全色影像PANXS，

式中 j为多光谱影像的波段。

3）将高分辨率全色影像PANHR与低分辨率全色影像PANXS相比得到比值，各个波段的低分辨率多光谱影像XSj再乘以比值，得到各个波段的融合影像XPj，

该方法特点是全色影像的空间信息可以全部融合到新图像中，但是光谱信息是在假设按照一定线性比例分配到新图像中，会造成光谱信息的丢失和失真。此外，对于非全色波段之外的红外波段数据无法融合。当全色影像的分辨率较高，且地物较为凌乱时，会引入全色影像的过多细节信息，导致融合影像出现大量噪点，并且光谱信息丢失。因此，聂倩等通过在Brovey公式中引入多光谱的比例参数，加大了光谱信息在融合过程中的作用，减少光谱信息的丢失且降低了噪声[9]。

1.2 HPM

HPM法也称为加权高通滤波法，是另一种常用的空间域融合方法，算法步骤如下[10]：

1）对各个波段的低分辨率多光谱影像进行插值，得到与高分辨率影像大小和分辨率一致的多光谱影像XSj；

2）高分辨率全色影像PANHR与各个波段的低分辨率多光谱影像XSj相乘；

3）用低通滤波后得到的全色影像进行归一化处理，公式为

式中 hlow为低通滤波器，对全色影像进行卷积处理。

该方法将高分辨率全色影像与低分辨率多光谱影像相乘，并用低通滤波后得到的影像进行归一化处理。低通滤波器的尺寸由高分辨率全色影像与低分辨率多光谱影像的分辨率之比决定。特点是光谱扭曲较小，但是低频滤波会丢失全色影像的纹理信息，也会引入高频噪声。

1.3 IHS

IHS方法属于分量替换类融合方法，利用IHS颜色空间变换对影像进行融合处理。由于IHS颜色空间可以较好地描述人的颜色感知能力，因此IHS融合方法得到了广泛的应用，算法步骤如下[11]：

1）对低分辨率多光谱影像XSj进行IHS变换，得到色度（H）、强度（I）、饱和度（S）三个分量。变换式包括球体变换、圆柱体变换、三角形变换、单六角锥变换等。本文使用最为常用的圆柱体变换，公式为：

式中 V1和V2为计算色度H和饱和度S的中间变量。

2）用全色影像PANHR作为新的I分量，与H分量和S分量进行IHS逆变换，得到融合图像。

为了提高高分辨率全色影像与低分辨率多光谱影像的I分量的相关性，要以I分量为标准，对其进行匹配变换，使之与I分量有相同的灰度均值和标准偏差。常用的匹配变换的方法有：直方图匹配、Wallis滤波器匹配。该方法的特点是一次操作即可完成三个多光谱影像波段的变换，但最多也只能处理三个波段。由于假设被替换的I分量完全是高频纹理细节信息，不含任何光谱信息，因此会造成光谱信息丢失。

1.4 梯度金字塔法

梯度金字塔法属于多尺度分析融合方法，它基于人类视觉系统的空间频率函数（对比敏感度）提取影像的梯度变化信息，比其它拉普拉斯金字塔和对比度金子塔方法，更为常用。算法步骤如下[12]：

2）对高斯金字塔中每层图像Gk（除最高层外）进行水平[1,-1]、垂直[-1,1]和两个对角线共四个梯度信息的提取，公式为：

式中 GPkq为第k层第q方向梯度塔形图像；dq为第q方向的梯度算子；是低通滤波器。

4）重构拉普拉斯金字塔，公式为：

该方法从多个尺度上分别提取图像的水平、垂直、45°对角线和 135°对角线等四个梯度信息，有效保留了全色影像的细节信息。但是该方法使用了多次卷积运算，计算量和复杂度均大于其它三种方法。为了提高融合效果，需要选择合适的金字塔系数和融合规则。刘贵喜使用梯度金字塔分解待融合的两幅影像，分别计算每层每个方向上影像的局部区域能量值，通过计算该区域的两幅影像的匹配度选择较大的区域能量值作为像素值，提高了融合结果的光谱信息[12]。

2 质量评价方法

融合影像质量评价方法可以分为主观定性评价和客观定量评价两种[13]。主观定性评价具有简单直观的特点，但评价速度慢，易受人为因素和观测条件的干扰。客观定量评价能够对大量图像进行快速评价，但评价指标不够全面，需要根据需求从多个方面进行多指标评价。目前，普遍采用两者结合的办法对融合影像质量进行综合评价。

2.1 定性评价

定性评价是由判读人员通过人眼直接对图像质量进行评估。当融合图像与原图之间差异比较明显时，这种方法可以快速地得出准确的评判结果。而当差异较小时，该方法则往往不能给出一个准确的判定。定性评价主要从空间细节信息、影像清晰度、色彩等三个方面进行。通过对图像上的田地边界、道路、居民地轮廓、建筑物边缘等地物的比较，可直观地得到图像在空间细节信息、清晰度等方面的差异。通过对比不同地物颜色之间的差异，得出图像在色彩保持度方面的差异。

2.2 定量评价指标

定量评价是基于数学统计方法，度量融合过程中输入图像信息正确转化到输出图像的能力。研究人员从人眼视觉系统出发，提出了包含多个评价指标的客观定量评价体系，覆盖图像的亮度信息、光谱信息、图像信息量、图像清晰度等四个方面[14-15]。

2.2.1 亮度信息

亮度信息主要针对M×N大小的融合影像F(m,n)的像素统计信息进行评价，常用指标包括均值和标准差。

影像标准差σ用来评价影像反差的大小，反映了影像的像素灰度离散情况。如果标准差大，则影像灰度分布分散，可以反映出更多的图像信息。如式（8）所示：

2.2.2 光谱信息

光谱信息通过比较 M×N大小的融合影像F(m,n)和插值后原多光谱影像B(m,n)之间的像素统计关系，评价融合影像的光谱信息保持能力，常用指标包括偏差、偏差指数、相关系数。

偏差δ是指两幅图像之间的平均误差，也称为光谱扭曲程度，公式为：

偏差指数ε，也称为相对偏差，描述了两幅图像之间灰度值的相对差异，反映了两者在光谱信息上的匹配程度，计算公式为：

相关系数Ccorr反映两幅图像之间的相似程度，

式中f为图像F(m,n)的均值；b为图像B(m,n)的均值。

2.2.3 图像信息量

图像信息量是基于信息论理论，从像素概率的角度评价M×N大小的融合影像F(m，n)的质量，常用指标包括信息熵和互信息。

信息熵ρ是指图像包含信息量多少，可以反映纹理信息丰富程度，公式为：

式中 P（l）为像素灰度的概率；l表示图像像素灰度的取值范围，即灰度级数。

互信息Imu，又称为相关熵，衡量融合图像从源图像中获取信息的多少，计算公式为：

式中 pAB为像素灰度的联合概率；pA为影像A的像素灰度概率；lA是影像 A的像素灰度级数；pB影像B的像素灰度概率；lB是影像B的像素灰度级数。

2.2.4 图像清晰度

图像清晰度利用像素之间的差分获取图像中梯度变化情况，评价融合影像的清晰程度，常用指标包括平均梯度和空间频率。

平均梯度Grad反映图像中微小细节反差和纹理变换特征，值越大图像越清晰，公式为：

空间频率SF反映了影像的空间总体活跃程度，空间频率越大，融合效果越好，计算公式为：

3 试验分析

使用“资源一号”02C卫星北京地区的PMS数据作为试验数据，分别用上文提到的Brovey比值法、HPM滤波法、IHS变换法和多梯度金字塔法对全色影像和多光谱影像进行融合处理，对融合结果从主观定性和客观定量两个方面进行评价。

3.1 试验区数据

试验所用的PMS数据于2014年1月14日在北京地区成像，包含了建筑物、道路和农田等地物信息，大小为900×900像素。经过配准后，误差在0.5个像素之内，多光谱数据将近红外波段作为红色波段（R），红波段作为绿色波段（G），绿波段作为蓝色波段(B)，进行真彩色合成显示。全色（PAN）数据如图1（a）所示，多光谱（MUX）数据如图1（b）所示。4种融合方法的融合影像见图1（c）~图1（f）。

图1 融合前后图像Fig.1 Original image and fusion images

3.2 定性评价

从整体视觉上看，四种融合方法都得到了高分辨率的多光谱影像。从图1影像中分别选取田地和建筑物的局部放大图，如图2~3所示。从纹理细节上看，四张融合影像都较原始多光谱影像纹理内容更加丰富。Brovey比值、IHS变换和梯度金字塔三种方法的清晰度和空间细节表现能力较好，原始多光谱影像上无法准确识别的田地、道路、建筑物边缘等线状地物融合后变得明显。HPM滤波法由于采用了高斯滤波器提取低分辨率全色影像，降低了全色影像中的地物边缘轮廓，使得融合图像的清晰度效果不如其它三种方法。

从光谱特征上看，IHS变换、Brovey比值和HPM滤波三种方法的光谱信息保持的较好，与原多光谱影像中的地物颜色基本一致。梯度金字塔方法的融合影像色彩变化明显，而且整体灰暗，不利于地物信息提取，这是因为融合过程中利用拉普拉斯滤波器从全色影像中提取的空间细节信息较强地影响了多光谱影像的光谱信息，丢失了光谱信息。

图2 融合前后田地放大图Fig.2 Enlarged image of land from original image and fusion image

图3 融合前后道路和建筑物放大图Fig.3 Enlarged Image of road and building from original image and building image

3.3 定量评价

从亮度信息、清晰度、光谱信息和信息量等四个方面对四种融合方法进行定量评价，统计结果见表2。

（1）亮度信息

把表2中图像的亮度信息（多光谱图像为三个波段亮度信息的均值）用折线图表示，见图4。梯度金字塔法的均值和标准差最大，这是因为在融合过程中拉普拉斯滤波器从水平、垂直、正向对角线、反向对角线等4个方向上提取了全色影像的梯度信息，增强了融合影像的灰度值。IHS变换法虽然均值比原多光谱影像略微降低，但是标准差超过了原多光谱影像，使得融合后影像的反差有所增加。HPM滤波法采用低频滤波器，使得融合影像丢失了全色影像空间细节信息，造成HPM方法的均值和标准差最低。因此，亮度信息指标最好的为梯度金字塔法，其次为IHS变换法，再次为Brovey比值法，最后为HPM滤波法。

表2 融合影像定量评价统计Tab.2 The quantitative evaluation statistics of fusion images

图4 亮度信息Fig.4 Brightness

（2）光谱信息

把表2中图像的光谱信息（多光谱图像为三个波段光谱信息的均值）用折线图表示，如图5所示。为了加大各值的差异，纵轴坐标用10的对数表示。IHS变换法的偏差和偏差指数均最小，说明该方法对原多光谱影像的光谱扭曲程度最小。梯度金字塔的偏差和偏差指数最大，说明光谱信息保持能力最差，这与定性评价的结果基本一致。在相关系数方面，四种方法相差不大，HPM滤波法的相关系数是最高的，说明该方法的融合影像保持了与原多光谱影像最高的线性相似程度。其它三种方法的相关系数均在0.88左右，与 HPM滤波法的结果相差不大，也较好地保持了与原多光谱影像的线性相似程度。因此，光谱保持能力最好的为IHS变换法，其次为Brovey比值法，再次为HPM滤波法，最后为梯度金字塔。

图5 光谱信息Fig.5 Spectrum information

（3）信息量

把表2中图像的信息量（多光谱图像为3个波段信息量的均值）用折线图表示，如图6所示。四种融合方法融合影像的信息熵均高于原多光谱影像，其中梯度金字塔法的信息熵最大。从互信息角度看，HPM滤波法从原多光谱影像中获取的信息最多，从全色影像中获取的空间信息最少，这与该方法相关系数指标最高的结果一致。IHS变换法则相反，与原多光谱影像的相关系数最低。因此，梯度金字塔方法的信息量指标最好，Brovey比值法次之，再次为IHS变换法，HPM滤波法最差。

图6 信息量Fig.6 Information

（4）清晰度

把表2中图像的清晰度（多光谱图像为三个波段清晰度的均值）用折线图表示，如图7所示。四种融合方法的平均梯度和空间频率都超过了原始的多光谱影像，说明均增加了空间细节的纹理信息。其中，梯度金字塔法的平均梯度值和空间频率值最大，说明该方法融合后的影像可以更好地突出空间细节纹理信息。HPM滤波法在清晰度方面最差，甚至低于全色影像，说明该方法的融合影像没有提高清晰度，这与定性评价的结果是一致的。因此，梯度金字塔法的清晰度最好，IHS变换法次之，再次为Brovey比值法，最后为HPM滤波法。

图7 清晰度Fig.7 Clearness

4 结束语

本文以“资源一号”02C卫星PMS数据为例，使用IHS变换、HPM滤波、Brovey比值、梯度金字塔等四种常用的遥感影像融合方法进行了数据融合试验，从定性评价和定量评价两个方面对四种方法的融合结果进行了分析比较。定性分析结果表明，梯度金字塔、IHS变换和Brovey比值三种方法的空间细节信息明显，IHS变换、Brovey比值和HPM滤波三种方法较好地保持了光谱信息。定量分析结果表明，梯度金子塔法在亮度信息、信息量和清晰度方面优于其它三种方法，但是丢失了原多光谱图像的光谱信息，光谱保持能力较差。IHS变换法在光谱保持方面表现最好，与原多光谱影像相比，光谱扭曲度较小，但是亮度信息和清晰度表现能力一般。Brovey比值法在所有定量评价方面表现居中。HPM滤波法由于采用高斯滤波器提取低频信息，丢失了较多的全色影像空间细节信息，在亮度信息、信息量和清晰度方面表现最差。因此，定性评价和定量评价的结果基本一致。

由此可见，四种方法中，IHS变换融合方法在保持光谱信息方面具有突出的特点，梯度金字塔融合方法则在亮度信息、信息量和清晰度等空间信息增强方面具有突出的特点。为了进一步挖掘“资源一号”02C卫星PMS数据的应用潜力，作者下一步将尝试将IHS变换和梯度金字塔两种方法进行结合，研究新的融合算法，以获得在增强空间信息和保持光谱信息方面效果更好的融合影像。

References)

[1] 贾永红. 多源遥感影像数据融合技术[M]. 北京: 测绘出版社, 2005: 4-5. JIA Yonghong. Data Fusion Technology of Multiple Remote Sensing Image[M]. Beijing: Surveying Press, 2005: 4-5. (in Chinese)

[2] 薛振山, 杨晓梅, 苏奋振, 等. CBERS-02与SPOT-5融合数据及海岸带土地利用调查中应用能力综合评价[J]. 遥感技术与应用, 2009, 24(1): 97-102. XUE Zhenshan, YANG Xiaomei, SU Fenzhen, et al. Application Research of Fused Image of CBERS-02 and Spot-5 Data in Land Use Monitoring of Coastal Zone[J]. Remote Sensing Technology and Application, 2009, 24(1): 97-102.(in Chinese)

[3] 薛东剑, 张东辉, 何政伟, 等. 多源遥感影像融合技术在地质灾害调查中的应用[J]. 遥感技术与应用, 2011, 26(5): 664-669. XUE Dongjian, ZHANG Donghui, HE Zhengwei, et al. Application of Multi-source Remote Sensing Image Fusion in Geohazard Investigation[J]. Remote Sensing Technology and Application, 2011, 26(5):664-669.(in Chinese)

[4] 赵德刚, 占玉林, 刘成林, 等. 面向土地覆盖分类的MODIS影像融合研究[J]. 遥感技术与应用, 2009, 24(6): 827-831. ZHAO Degang, ZHAN Yulin, LIU Chenglin, et al. MODIS Image Fusion for Land Cover Classification[J]. Remote Sensing Technology and Application, 2009, 24(6): 827-831.(in Chinese)

[5] 张宁玉, 吴泉源. Brovey融合与小波融合对QuickBird图像的信息量影像[J]. 遥感技术与应用, 2006, 21(1): 67-70. ZHANG Ningyu, WU Quanyuan. Information Influence on QuickBird Images by Brovey Fusion and Wavelet Fusion[J]. Remote Sensing Technology and Application, 2006, 21(1): 67-70.

[6] 王奇, 李杏朝, 李俊杰, 等. CBERS-02B星HR与CCD影像融合研究[J]. 遥感技术与应用, 2008, 23(4): 467-470. WANG Qi, LI Xingchao, LI Junjie, et al. Evaluation on Fusion of CBERS-02B CCD and HR Images[J]. Remote Sensing Technology and Application, 2008, 23(4): 467-470.(in Chinese)

[7] 于君明, 周艺, 王世新, 等. ETM+影像融合的评价分析[J]. 遥感技术与应用, 2009, 22(6): 733-738. YU Junming, ZHOU Yi, WANG Shixin, et al. Evaluation and Analysis on Image Fusion of ETM+[J]. Remote Sensing Technology and Application, 2009, 22(6): 733-738.(in Chinese)

[8] 林丽娟, 徐涵秋, 陈静洁, 等. 异源、同源传感器影像融合的比较研究[J]. 遥感技术与应用, 2010,25(5): 619-626. LIN Lijuan, XU Hanqiu, CHEN Jingjie, et al. Study on the Comparison of Image Fusion for the Same-source and Different-source Sensor[J]. Remote Sensing Technology and Application, 2010, 25(5): 619-626.(in Chinese)

[9] 聂倩, 闫利, 蔡元波. 一种Brovey变换图像融合法的改进算法[J]. 测绘信息与工程, 2008, 33(3): 38-39. NIE Qian, YAN Li, CAI Yuanbo. Improved Brovey Transform Image Fusion Method[J]. Journal of Geomatics, 2008, 33(3): 38-39.

[10] LIU J G. Smoothing Filter-based Intensity Modulation: a Spectral Preserve Image Fusion Technique for Improving Spatial Details[J]. International Journal of Remote Sensing, 2000, 21(18): 3461-3472.

[11] WELCH R, EHLERS M. Merging Multiresolution SPOT HRV and Landsat TM Data[J]. Photogrammetric Engineering and Remote Sensing, 1987, 53(3): 301-303.

[12] 刘贵喜, 赵曙光, 杨万海. 基于梯度塔形分解的多传感器图像融合[J]. 光电子激光, 2001, 12(3): 293-296. LIU Guixi, ZHAO Shuguang, YANG Wanhai. Multi-sensor Image Fusion Scheme Based on Gradient Pyramid Decomposition[J]. Journal of Optoelectronics Laser, 2001, 12(3): 293-296.(in Chinese)

[13] 王海晖, 彭嘉雄, 吴巍. 评价多传感器图像融合效果方法的比较[J]. 红外与激光工程, 2004, 33(2): 189-193. WANG Haihui, PENG Jiaxiong, WU Wei. Comparison of the Methods of Evaluating the Performance of Multi-sensor Image Fusion[J]. Infrared and Laser Engineering, 2004, 33(2): 189-193.(in Chinese)

[14] 黎新亮, 赵书河, 柯长青, 等. 遥感图像融合定量评价方法及实验研究[J]. 遥感技术与应用, 2007, 22(3): 460-465. LI Xinliang, ZHAO Shuhe, KE Changqing, et al. The Study of Methods of Quantitative Evaluation on Remote Sensing Image Fusion and Actualization[J]. Remote Sensing Technology and Application, 2007, 22(3): 460-465.(in Chinese)

[15] 李超, 朱满, 赵家平. 多源遥感影像融合效果的定量评价研究[J]. 测绘与空间地理信息, 2010, 33(3): 143-146. LI Chao, ZHU Man, ZHAO Jiaping. Research of Quantitative Methods for Evaluation of Multi-source Remote Sensing Image Fusion[J]. Geomatics & Spatial Information Technology, 2010, 33(3): 143-146.(in Chinese)