基于AIHS的遥感影像融合方法及其应用研究*

胡佳伟，刘军清，汪　康，陈　鹏，李伟生

(三峡大学 计算机与信息学院，湖北 宜昌 443000)

0　引言

目前，很多遥感卫星都提供了两种影像，一种是多光谱影像(Multi-Spectral Image,MS图像)，另一种是全色影像(Panchromatic Image,PAN图像)。MS图像具有高光谱分辨率和低空间分辨率，PAN图像具有高空间分辨率和低光谱分辨率。现实中不可能直接获得光谱分辨率和空间分辨率都高的图像，因此很多学者试图将这两种图像进行融合，从而获得光谱分辨率和空间分辨率较高的图像。目前图像融合技术可以分为像素级融合、特征级融合和决策级融合三个层次，我国在该领域的研究起步相对较晚，实现算法多集中于像素级融合，与国外同行相比还存在很大的差距。研究者已提出的融合方法主要有IHS(Intensity Hue Saturation)变换、主成分分析(Principal Component Analysis，PCA)变换、Brovey变换、GS(Gram-Schimdt)变换等[1-2]。这些方法虽然能较好地增加MS图像的空间分辨率，但当高分辨率图像与MS图像波段之间的光谱响应范围不一致时，融合后的影像色彩畸变严重[3]。虽然有学者提出小波变换可以较好地解决这一问题，但融合图像的空间分辨率却低于IHS变换。鉴于此，本文提出了IAIHS变换融合模型，以期得到更好的融合效果。

1　融合方法分析

1.1　基于IHS变换的影像融合方法

IHS模型定义了三个互不相关又容易预测的颜色心理属性，即强度I、色调H和饱和度S。IHS变换能有效地从RGB图像中分离出空间和光谱信息，这种变换方法更接近人对图像的感知机理。RGB颜色空间和IHS颜色空间有着精确的转换关系，在色度学中，把从RGB颜色空间红(R)、绿(G)、蓝(B)到IHS空间的强度(I)、色调(H)、饱和度(S)的转换称为正变换[4]，相反地，把IHS变换成RGB称为反变换。IHS模型正变换通常采用下列公式实现：

(1)

(2)

(3)

其原理即RGB空间和IHS空间之间的变换，是将RGB空间的图像分解成强度I、色调H、饱和度S三个分量，属于色度空间变换。IHS反变换可表示如下：

(4)

式中V1和V2是变换中间变量。其原理是从IHS空间到RGB空间的变换，即为IHS反变换。

MS图像先进行IHS正变换得到H分量、S分量、I分量，保持H分量和S分量不变，用PAN图像的P分量替换MS图像的I分量，经过直方图匹配后得到新的I分量，再用新的I分量、原来不变的MS图像的H分量和S分量进行IHS反变换得到融合图像[5]。根据上述融合原理，在MS图像和PAN图像融合过程中强度分量I将被PAN图像的P分量替换。强度I可以通过下式计算而得：

(5)

式中Mi为MS图像第i个频带，αi是一个以常数1/n为值的组合系数。然而大多数MS图像包含了4个波段，即RGB和红外波段。为了解决此问题，研究者们通过使用α=1/n(这里n表示的是波段数)来扩展这个方法。其过程是首先对MS图像4个波段中的每一个波段进行上采样，并将每个波段范围标准化到0～1之间，完成上述初始化工作后，进行PAN图像直方图匹配，目的是确保PAN图像和MS图像的平均值和标准方差在相同的范围内[6-7]。P的计算如下：

(6)

式中σ和μ是标准方差和平均值。最后融合后图像为：

(7)

传统IHS变换融合方法具有计算简单、融合图像空间分辨率高等优点，但其光谱失真较大。后来有学者提出了一种自适应IHS变换融合方法，即AIHS变换融合法，它通过调整α系数，在保证空间分辨率的同时尽可能减小光谱失真。

1.2　基于AIHS变换的影像融合方法

为了解决IHS变换存在的光谱扭曲的不足，专家学者使强度分量尽可能地调整到接近PAN图像，期望通过调整α系数使强度尽量接近PAN图像的P值，如下：

(8)

可以利用梯度下降的方法和线性代数的方法求解微分方程来得到系数α。通过这种方式计算出的系数α与原始影像紧密相连，因此可保证影像的空间分辨率，同时也保持了影像的光谱分辨率。

因为P和I之间的差异很大，经过IHS变换方法融合后的MS图像通过式(7)虽然获得了高空间质量，但其存在严重的频谱失真问题。为了减少频谱失真，相关文献[8]中提出方法，通过解决下列优化问题获得的MS频带组合系数的自适应线性组合求出强度分量I：

s.t.αi≥0,…,αn≥0

(9)

在确定强度分量I之后，AIHS实现为：

(10)

其中WP是PAN图像由边缘引起的加权矩阵，WP定义为：

(11)

其中λ是调谐参数，ε是PAN图像梯度。

AIHS变换融合方法与传统IHS变换相比，在一定程度上解决了光谱扭曲问题，融合后的图像信息量较丰富，图像清晰，地物细节表现力好，但仍然具有光谱失真的问题。目前提出的AIHS变换方法自适应性不高，融合图像所显示的地形区域的颜色变化过大，过于平滑，于是本文提出了如下的融合方法改进。

2　融合方法改进

目前，大多数的全锐化融合方法过程可以分解为两个连续的步骤：一是空间细节提取，二是空间细节注入。空间细节提取步骤是从高空间分辨率的PAN图像中提取有用的空间细节图像；空间细节注入步骤是确定如何将提取的空间细节注入到上采样MS图像中。一般来说，提取空间细节由PAN图像及其低通近似图像之间的差异决定，根据计算低通近似PAN图像的方法，全锐化方法可以大致分为两个主要类别：线性组合近似方法(LCA)和空间滤波器近似方法(SFA)。

AIHS变换融合方法属于线性组合近似方法，在该变换融合法中求解系数α的过程就是一个自适应的过程，得到的融合图像仍然存在着光谱扭曲的不足，现将该方法改进如下。

PAN图像融合进MS图像的过程中，PAN图像经过空间细节提取之后将空间细节注入到MS图像，这时PAN图像由边缘引起的加权矩阵(或调制系数)决定了PAN图像的空间细节注入到MS频带中的多少。一方面，如果注入的空间细节不够，融合后的空间质量就没有之前的高，另一方面，如果注入的空间细节过多，则融合后的图像就会产生大量的冗余信息，导致频谱失真。

为了实现从PAN图像边缘到融合后图像的转移，AIHS方法中的加权矩阵是PAN图像边缘的函数。由于出现在PAN图像中的边缘可能不会出现在每一个MS频带上，因此将相同量的细节注入到不同的频带中的方法是不合适的，这将引起频谱失真。通过分析很自然地想到，如果能期望调制的每个MS频带的加权矩阵都不相同就能解决这一问题，所以提出了用MS图像的加权矩阵(MS诱导权重)来代替PAN图像的加权矩阵(PAN诱导权重)。应用MS图像加权矩阵为：

(12)

在PAN图像空间细节注入MS图像频带过程中，为了避免频谱失真，应该保持MS图像中每对MS波段之间的比例不变，为了达到这个目的，要使下式成立：

(13)

此外，为了保持每对MS图像波段之间的比例不变，需要重新定义一个加权矩阵来调制每个频带注入的空间细节的量。那么，可以用PAN图像加权矩阵WP和MS图像加权矩阵WMi之间的线性组合来表示每个MS频带适当的加权矩阵Wi，如下式所示：

(14)

通过改进后的IAIHS变换融合方法，融合图像能更清晰地显示出地物特征边缘，且图像对比其他全锐化方法融合图像在颜色方面更加清晰。接下来进行常见全锐化方法和改进后IAIHS变换融合方法实验，通过主客观评价对融合效果进行分析。

3　实验及结果分析

本文针对传统的全锐化方法IHS变换进行了实验，并在此基础上进行了AIHS变换图像融合实验和算法改进后的IAIHS变换图像融合实验。

在图像融合中对融合后图像进行评价是非常重要的。对融合效果的评价分为主观评价和客观评价，主观评价是指人眼的视觉特性所能观察到的图像质量的好坏，但这种评价会受到主观因素的影响；客观评价是指通过计算融合后图像的信息熵、平均梯度等参数来评价融合的效果[9]。

图1为待融合的MS图像，图2为待融合的PAN图像，此为待融合的两幅源图像。图3为IHS变换后融合图像，图4为AIHS变换后融合图像。图5为IAIHS变换后融合图像。

图1 MS图像图2 PAN图像图3 IHS变换后融合图像图4 AIHS变换后融合图像图5 IAIHS变换后融合图像

IHS变换融合图像色调变化大，但存在光谱扭曲，用AIHS变换进行融合得到的图像色调变化小，说明对原始多光谱信息保存较好，进一步改善了IHS变换中存在的光谱扭曲。用IAIHS变换进行融合得到的图像较亮，更好地改善了空间质量，保持了光谱特性。

试验还从客观方面计算了MS图像、PAN图像、各种融合变换以及改进的IAIHS变换得到的融合图像的信息熵均值和平均梯度均值。待融合图像、各种融合变换以及IAIHS变换得到的融合图像第1、2、3通道的信息熵和平均梯度及最终信息熵均值和平均梯度值如表1、表2、表3所示。

表1　第1、2、3通道信息熵

表2　第1、2、3通道平均梯度

表3　信息熵均值和平局梯度均值

信息熵直接反映了一副图像所包含信息的丰富程度，信息熵越大，图像包含的信息越多，反之则越少，其计算公式如下：

(15)

其中H为图像的熵，L为图像的灰度级数，Pi为灰度值为i的像素点与图像总像素之比。熵值越大表明图像包含的平均信息量越丰富。

从表1和表3中数据分析可知改进后的IAIHS变换融合图像的信息熵均值略大于AIHS变换融合图像，说明了在图像包含的信息丰富程度方面，IAIHS变换得到的融合图像更具优势。

平均梯度反映了图像中微小细节反差与文理变化特征，同时也反映了图像的清晰度。它的值越大则融合后图像纹理越清晰。其计算公式如下：

(16)

其中M和N分别是图像的行数和列数。

ΔIx=g(i+1,j)-g(i,j)

(17)

ΔIy=g(i,j+1)-g(i,j)

(18)

其中g(i,j)为像素点的灰度值。

对表2和表3中数据进行分析可知，改进后的IAIHS变换融合图像的平均梯度值略大于AIHS变换融合图像，说明了在图像纹理清晰方面，IAIHS变换得到的融合图像更具优势。IAIHS变换融合结果无论是从信息量还是从光谱扭曲方面，都明显优于其他各种变换方法。其信息量和光谱保真度较高，说明融合的影像信息量较丰富，图像清晰，光谱扭曲现象较弱。

4　结论

高分辨率PAN图像与低分辨率MS图像的融合，是在RSI分析中得到高分辨率MS图像的一种有效方式。本文针对用传统IHS方法和AIHS方法融合得到的图像存在严重的频谱失真和光谱质量低等问题，对待融合图像由边缘引起的加权矩阵替换进行了分析，提出了一种改进后的IAIHS变换融合方法。理论分析与实验结果表明，IAIHS变换方法能有效避免频谱失真，改善空间质量，同时保持光谱质量。

[1] Lu Shanlong, Zou Lejun, Shen Xiaohua，et al.Multi-spectral remote sensing image enhancement method based on PCA and IHS transformations [J].Journal of Zhejiang University(Science A), 2011,12(6)：453-460.

[2] 刘军，邵振峰.快速离散Curvelet变换和IHS变换集成的遥感影像融合方法[J].测绘科学，2012，37(1)：121-124.

[3] HA W，GOWDA P.HOWELL T A.A review of potential image fusion methods for remote sensing-based irrigation management： part II[J].Irrigation Science，2013，31(4)：851-869.

[4] TU T M，SU S C，SHYU H C，et al.A new look at IHS -like image fusion method[J]. Information Fusion， 2001(2)：177-186.

[5] 祝晓坤，庞国丰.一 种基 于 IHS 圆柱变换模型的影像融合质量综合评价方法[J].测绘科学，2011，36(4)：136-138.

[6] NAVANEETH K， RAMAKRISHNAN， PHILOMINA S.A Bi-level IHS transform for fusing panchromatic and multispectral images [J].Pattern Recognition and Machine Intelligence，2013(8251)：367-372.

[7] BALLESTER C，CASELLES V，IGUAL L， et al. A variational model for P+XS image fusion[J]. International Journal of Computer Vision， 2006，59(1)：43-58.

[8] RAHMANI S, STRAIT M, MERKURJEV D, et al. An adaptive IHS pan-sharpening method[J].IEEE Geoscience&Remote Senssing Letters,2010， 7(4): 746-750.

[9] 闫莉萍,刘宝生,周东华.一种新的图像融合及性能评价方法[J].系统工程与电子技术,2007,29(4):509-513.