基于传感器光谱特性与分类的遥感图像融合

倪 翠，关泽群，林 怡

（同济大学 测量与国土信息工程系，上海200092）

大多数的资源卫星可同时提供高分辨率的全色影像（PAN）和低分辨率的多光谱影像，如Landsat 7，SPOT，IKONOS，Quickbird等.越来越多的遥感应用需要综合利用多光谱与全色影像各自的优势，以获得分辨率高、光谱信息多的遥感数据，为环境研究和土地利用分析等领域提供重要的参考资料［1－2］，融合技术正是解决此问题的有效途径.

常用的遥感图像融合方法主要有通用的分量替换融合方法与基于多分辨率分析的融合方法［3－14］等.通用的分量替换融合方法中最常用的融合方法之一是亮度色度饱和度（IHS）变换融合方法，其计算代价较小，但是融合图像的光谱质量不高.针对IHS融合方法存在的光谱失真问题，不少学者相继提出了一些改进的方法.T.M.Tu等人以线性IHS变换为基础提出了一种广义IHS变换（GIHS）融合方法［7－8］，多光谱图像的亮度I由红波段（R 波段）、绿波段（G 波段）、蓝波段（B 波段）以及近红外波段（N 波段）的4个波段的平均值构成，该融合方法的主要特点是无需进行IHS逆变换，融合过程就是多光谱图像、全色图像和I分量之间的加减运算，减少了融合的计算代价，但融合图像的光谱失真依然较大。为此，Choi M［10］在GIHS融合方法的基础上，采用平衡参数的快速融合方法，通过调节平衡参数来控制融合图像的光谱质量和空间细节质量.该方法的主要不足在于没有给出如何选择最优的平衡参数.González－Audícana M 等［11］基于传感器的光谱响应函数，结合GIHS研究了一种快速遥感图像融合方法，但是该方法在构建遥感器的光谱响应函数时，参数的选择需要根据经验估计.

本文以GIHS融合方法为前提，充分考虑全色传感器的光谱范围以及光谱响应，引入高斯概率密度函数，在构造I分量和空间细节分量调制两方面进行了改进.

1 传感器的光谱特性

多数资源卫星同时搭载全色和多光谱传感器.理论上，各个多光谱波段应较好地分离且恰好与全色波段覆盖相同的光谱范围，然而实际并非如此，传感器记录的辐射能量是入瞳处的辐射能量与传感器的光谱响应共同作用的结果.表1给出了多种全色传感器的光谱范围.通过定义权值来估计全色波段的辐射值.以IKONOS影像为例，定义式如下：

式中：P，B，G，R，N分别对应全色、蓝、绿、红、近红外波段的辐射值；ωB，ωG，ωR，ωN分别为相应波段的加权系数；由于实际上全色波段比多光谱波段覆盖了更大的范围，考虑将这部分加上，在公式中用ε表示.

进一步推广，全色波段与其光谱范围覆盖下的多光谱波段近似满足以下线性关系：

式中：i为波段数；ωi为相应波段的加权系数；Mi为全色波段光谱范围覆盖下的多光谱波段.

表1 全色传感器的光谱范围Tab.1 Spectral range of panchromatic sensor

2 IHS变换和GIHS变换融合算法

2.1 IHS变换

IHS融合方法是一种比较成熟的经典方法，其基本思想是：将低分辨率多光谱影像从红（R）、绿（G）、蓝（B）空间转换到IHS空间.由于IHS彩色系统中，亮度I、色度H和饱和度S这3种分量之间的相关性很低，且I分量反映了图像的几何特征，因此用高分辨率的I分量替换原来的I分量后，再通过逆变换得到融合影像.具体流程如下［12］：

（1）空间转换

式中：R，G，B分别表示原始低分辨率多光谱图像R波段，G波段，B波段.

（2）用P图像作为高分辨率的I分量替代原来的I图像.

（3）逆变换

式中：［F（R），F（G），F（B）］T表示融合后的图像.

2.2 广义IHS变换（GIHS）

Tu等［7－8］等对IHS变换的实质进行了探讨，提出了一种快速IHS变换融合方法，考虑从RGB空间到IHS空间的彩色转换为线性变换，依据IHS变换融合思想，利用新的强度分量Inew（Inew＝P，P表示为全色图像的灰度值）替换I分量，再通过逆变换得到融合影像F，即有

式中：δ＝Inew－I，I＝（R＋G＋B）／3.

式（2）表明融合图像［F（R），F（G），F（B）］T可以通过对原始影像［R，G，B］T进行简单的加法运算获得.针对IKONOS影像，考虑到其全色波段的光谱范围覆盖了N，R，G，B4个波段（见表1），Tu等引入近红外波段（N）来构造I分量，同时将快速IHS融合方法从3个波段扩展到了4个波段，得到了一种广义的IHS变换.

3 基于分类加权的GIHS变换融合新算法

GIHS变换融合方法操作简单，计算量小，因而得到了广泛的应用.然而，其调整策略仅针对IKNOS影像，推广性较差.本文在充分考虑传感器光谱响应特性的基础上，从两个方面对GIHS变换融合方法进行了改进.

3.1 基于分类思想的I分量重构

由于全色波段与其光谱范围覆盖下的多光谱波段近似满足线性关系，因此，无论参与融合的波段为哪几个波段，均利用全色波段光谱范围覆盖下的多光谱波段来构造I分量，且根据各波段的光谱响应采用不同的加权系数，即有

加权系数ωi的确定至关重要.Dou［15］等通过全色与多光谱传感器的光谱响应函数进行线性回归，得到适用于一组IKONOS影像的系数.Boggione［16］等依据全色与多光谱传感器的光谱响应曲线覆盖的面积，得到一组系数.然而，实际应用中获得的遥感影像往往受到卫星工作状态、大气效应、成像误差等因素的影响，直接依据光谱响应函数得到的加权系数并不适用于所有影像，特别是受大气影响严重的影像.因此，本文在考虑传感器光谱响应的基础上，通过多元线性回归来获取加权系数.

首先根据遥感影像上不同地物特征，对影像进行分类处理（共分成j类），然后计算分类后的图像的加权系数，得到一系列Ij值，为下一步通过高斯概率调整空间细节分量提供了保证.不同于以往的对整幅影响直接求解I分量，增加分类这一过程，使得求得的I更加具有针对性，融合过程更加准确.

算法流程如下：

（1）对全色影像进行低通滤波和下采样，将其退化到与多光谱影像相同的分辨率.

（2）对多光谱影像进行分类，采用最大似然法分为j类.例如河流、建筑用地等.

（3）假设满足公式（2），对不同类地物的全色和多光谱影像进行多元线性回归，共得到j组构造I分量的加权系数ωi.文中对IKONOS影像进行实验，得到的系数为［ωB，ωG，ωR，ωN］.公式（2）中的常数项，在提取空间细节分量δ时对其进行均值调整.

3.2 基于高斯概率对空间细节分量δ的调整

传统的IHS方法将空间细节分量同等地注入参与融合的各个多光谱波段.本文方法将对其进行改进.根据上节计算得的一系列I分量，利用高斯概率［17］对空间细节分量进行调制后，再注入各个波段中，即公式（6）改写为

式中：Mk为参与融合的多光谱波段；δ＝Inew－I，Inew＝P，I分量依照公式（7）构造；fgauss（δ）为高斯概率密度函数；为了保持光谱响应特性，考虑注入的空间细节与原始多光谱波段成比例，则ak＝Mk／I.

为了使不同类的地物得到更好的融合效果，文中引入一种自适应调整的方法，即高斯概率分布.若随机变量x服从一个数学期望为μ、标准方差为σ2的高斯分布，其概率密度函数为

认为δ服从正态分布，也就是说x＝δ.通过分类的结果，可以从原有的一对全色和多光谱影像中获取到j组影像，从而计算出j个I分量（I1，I2，…，Ij），即j个δ值，进而求其均值与方差.公式（8）可以通过概率大小使得某一地物能更好地在融合过程中调整自身的空间细节和光谱信息，使各类地物合并之后得到的融合影像既具有较高的空间分辨率，又可以保留较全的光谱信息.

4 融合实验与分析

为了验证所提算法的有效性，对高分辨率的IKONOS图像的融合进行分析比较.由表1可以得出，IKONOS卫星PAN 图像的光谱范围是0.45～0.90μm，刚好覆盖多光谱图像1，2，3，4 波段.分别利用HIS变换、Tu的广义HIS变换、Choi的平衡参数法GIHS（其中参数取5）、Hong的基于atrous小波的GIHS融合方法（其中高频结合一致性检测选取绝对值最大）和基于分类加权的GIHS变换方法对其进行融合处理.图1为原始的多光谱图像与全色图像.

图1 原始图像Fig.1 Original image

首先采用本文方法对影像进行分类.由于影像上地物比较简单，考虑到减小计算量问题，实验中将其分为两类，如表2所示.由表中可以看出，不同的地类对应不同的I分量，计算出每组数据的均值与方差后，根据公式（9）得到相应地类融合的结果，再由遥感软件（ERDAS）进行合并，从而得到融合的最终结果.截取3，2，1波段合成，如图2所示.

表2 IKONOS 分类结果计算的I 分量的加权系数（由公式（8）计算）Tab.2 IKONOS weighting coefficient of I value based on classification result

图2 IKONOS融合结果Fig.2 Fusion results of IKONOS

由图2可以看出，实验中所有算法在光谱质量、空间细节质量方面都优于原始多光谱影像，表明本文算法和其他融合算法都提高了融合图像的质量.从光谱质量看，IHS变换融合结果存在较明显的光谱畸变，光谱信息损失较大.本文算法的融合图像，其光谱质量和GIHS、atrous＋GIHS 方法、Choi方法相比很难区分优劣，但优于IHS变换.从空间细节质量上，IHS 变换融合结果边缘不清晰，有失真现象.GIHS方法较好地保留了光谱信息，但是在空间分辨率上不如其他方法.本文算法融合的图像和atrous＋GIHS方法和Choi方法很难区分优劣，但是优于IHS和GIHS变换结果.

为了更客观地比较融合图像，本文采用以下指标对融合结果进行定量评价.

（1）空间细节质量方面.图像清晰度评价函数［18－19］是对所成像的清晰度进行评价，常见的包括基于梯度的函数，如TenenGrad 函数、Brenner 函数、平方梯度函数、Vollath 函数、加窗梯度函数.在图像处理中，梯度函数常被用来提取边缘信息，对于边缘信息多的图像应该有更大的梯度函数值；基于熵的函数，如熵函数等，根据香农信息理论，熵最大时信息量最多.因此认为清晰度越好的图像的熵值越大.各种算法的空间质量评价结果见表3.

表3 空间质量比较Tab.3 Comparison of spatial qualities

（2）光谱质量方面.采用均值偏差、相关系数、通用图像质量指数3个指标共同评价融合结果.其中均值偏差反映了融合影像与参考多光谱影像光谱特征变化的平均程度，理想情况下为0；相关系数反映了融合影像光谱特征保持程度，光谱信息保持越多，其取值越接近于1；通用图像质量指数反映了融合影像的光谱质量，其值越高，表明融合影像与参考多光谱影像的相似程度越高.各种算法的融合图像与原始多光谱图像对应波段间光谱质量评价结果见表4.

表4 光谱质量比较Tab.4 Comparison of spectral qualities

从表3的评价值可以得出，本文提出的方法在融合结果中，除了空间细节质量的Vollath 函数比atrous＋GIHS方法略差，在其他各个评价函数中均优于其他方法，而且清晰度值最接近全色图像.因此整体上看，本文提出的方法对于提高融合图像的空间分辨率比较适当.从表4中可以看出，本文提出算法的各个波段相关系数值虽然最大，但仅略高于atrous＋GIHS算法.结合其余两个指标的值，可以明显得出本文所提的算法在光谱质量的改善方面优于其他算法.综上所述，本文提出的方法所得到的融合结果无论是在空间质量上还是在光谱质量上均优于其他各种方法，融合结果不仅保留了原始多光谱影像的光谱信息，且最大程度地提高了空间分辨率，边缘清晰.

5 结论

本文从遥感的物理基础和影像特征出发，基于分类加权思想与广义IHS融合的方法，提出了一种新的光谱保持型遥感影像融合方法.该方法对广义的IHS融合方法进行了两点改进，首先考虑了遥感影像中地物的不同，对影像进行监督分类.在分类的基础上考虑全色传感器的光谱范围以及全色与多光谱波段之间的关系，采用多元线性回归重新构造了I分量.其次，根据高斯概率函数对注入的空间细节分量进行调制，根据概率大小自适应调整影像上某一地类在融合结果中的位置，使其光谱及空间分辨率达到最优.此外，本方法可以同时对所有的光谱波段进行融合.针对IKONOS影像进行实验，结果表明，本文提出的方法不仅空间细节质量提高了，最接近全色图像，同时又较好地保持了原有多光谱影像的光谱信息，综合性比其他方法要好.

［1］ Pohl C，Van Genderen J L.Multi－sensor image fusion in remote sensing：concepts，methods and applications［J］.International Journal of Remote Sensing，1998，19（2）：823.

［2］ Chen C M，Hepner G F，Forster R R.Fusion of hyper－spectral and radar data using the IHS transformation to enhance urban surface features［J］.ISPRS Journal of Photogrammetry ＆Remote Sensing，2003，58：19.

［3］ 杨恒，裴继红，杨万海.基于边缘信息的多光谱高分辨率图像融合方法［J］.自动化学报，2002，28（3）：441.YANG Heng，PEI Jihong，YANG Wanhai.A method to fuse multispectral and high resolution images based on edge information［J］.Acta Automatica Sinica，2002，28（3）：441.

［4］ Jorge Nenez，Xavier Otazu，Octavi Fors.Multi－resolution based image fusion with additive wavelet de－composition［J］.IEEE Trans on Geo－science and Remote Sensing，1999，37（3）：1204.

［5］ Zhou J，Civco D L，Silander J A.A wavelet transform method to merge Landsat TM and SPOT panchromatic data［J］.International Journal of Remote Sensing，1998，19（4）：743.

［6］ Thomas Claire，Ranchin Thierry，Wald Lucien，et al.Synthesis of multispectral images to high spatial resolution：a critical review of fusion methods based on remote sensing physics［J］.IEEE Transactions on Geoscience and Remote Sensing，2008，46（2）：1301.

［7］ TU Teming，HUANG P S，HUNG Chungling，et al.A fast intensity－hue－saturation fusion technique with spectral adjustment for IKONOS imagery［J］.IEEE Geoscience and Remote Sensing Letters，2004，1（4）：309.

［8］ TU Teming，HUANG P S，HUNG Chungling.A new look at IHSlike image fusion methods［J］.Information Fusion，2004，2（3）：309.

［9］ 吴艳，杨万，李明.多光谱与高分辨率图像融合算法研究［J］.光子学报，2003，32（2）：174.WU Yan，YANG Wan，LI Ming.Fusion algorithm of multispectral and high－resolution panchromatic images［J］.Acta Photonica Sinica，2003，32（2）：174.

［10］ CHOI Myungjin. A new intensity－hue－saturation fusion approach to image fusion with a tradeoff parameter［J］.IEEE Transactions on Geoscience and Remote Sensing，2006，44（3）：1672.

［11］ Maria Gonzalez－Audicana，Xavier Otazu，Octavi Fors，et al.A low computational－cost method to fuse IKONOS images using the spectral response function of its sensors［J］.IEEE Transactions on Geoscience and Remote Sensing，2006，44（3）：1683.

［12］ 周前祥，敬忠良，姜世忠.不同光谱与空间分辨率遥感图像融合方法的理论研究［J］.遥感技术与应用，2003，18（1）：41.ZHOU Qianxiang，JING Zhongliang，JIANG Shizhong.Comment on fusion theory for different spatial and spectral remote sensing images［J］.Remote Sensing Technology and Application，2003，18（1）：41.

［13］ 李旭，何明一，Michel Roux，等.一种超高分辨率遥感图像融合新算法［J］.电子与信息学报，2009，31（12）：2886.LI Xu，HE Mingyi，Michel Roux，et al.A new algorithm for fusion very high resolution remote sensing images［J］.Journal of Electronics ＆Information Technology，2009，31（12）：2886.

［14］ Shah V P，Younan N H，King R L.An efficient pansharpening method via a combined adaptive PCA approach and Contourlets［J］.IEEE Transactions on Geoscience and Remote Sensing，2008，46（2）：1323.

［15］ DOU Wen，CHEN Yunhao，LI Xiaobing，et al.A general framework for component substitution image fusion：an implementation using the fast image fusion method［J］.Computer ＆Geosciences，2007（33）：219.

［16］ Boggione G A，Pires E G，Santos P A，et al.Simulation of a panchromatic band by spectral combination of multi－spectral ETM＋Bands［C］∥Proceedings of International Symposium on Remote Sensing of Environmental（ISPSE），Hawai：［s.n.］，2003：321－324.

［17］ 何晓群.多 元 统 计 分 析［M］.北 京：中 国 人 民 大 学 出 版社，2004.HE Xiaoqun.Multivariate statistical analysis［M］.Beijing：Renmin University of China Press，2004.

［18］ Kinape R M，Amorim M F.A study of the most important image quality measures［C］∥Proceedings of the 25thannual international conference of the IEEE EMBS，Cancun：EMBS，2003：934－936.

［19］ George Osipenko. Symbolic Image， Hyperbolicity， and Structural Stability［J］.Plenum Publishing Corporation，2003，15：427.