高光谱图像融合算法研究与进展

张筱晗 杨 桄 杨永波 黄俊华

(空军航空大学 长春 130022)

高光谱图像融合算法研究与进展

张筱晗 杨 桄 杨永波 黄俊华

(空军航空大学 长春 130022)

高光谱图像融合是改善其图像质量的重要途径。将高光谱图像融合分为高光谱自身波段间的融合及其与高空间分辨率的其他遥感图像如全色图像等融合两大类。从分析高光谱图像融合特点入手,回顾了近年来出现的融合算法,阐述了其基本原理,进行了归纳、分类,指出各自的优缺点,并总结了现行高光谱图像融合算法的评价方法。最后,探讨了高光谱图像融合下一步的研究方向。

高光谱; 图像融合; 融合算法评价

Class Number TP751

1 引言

高光谱遥感能够获取地物丰富的光谱信息,在目标检测、精细分类、人工解译等领域有着广阔的应用前景[1]。然而,高光谱又存在严重的数据冗余问题,其信息量与波段数目并不成正比；此外,由于传感器能量有限,高光谱分辨率的获取往往以牺牲空间分辨率为代价,图像通常存在空间分辨率较低的问题。图像融合是提升高光谱图像质量的重要方法。高光谱图像融合与通常意义下的多源遥感图像融合有着细微的区别,除了参与融合的图像数量通常多于两幅,融合可能与数据降维联系在一起外,融合的结果也随需求不同而呈现出多种形式,既可能是汇集了多幅图像细节特征的灰度或合成彩色图像,又可能是空间分辨率得到提升的高光谱图像。

根据融合源图像类型不同,高光谱图像融合可以分为高光谱图像波段间融合与高光谱图像与他源图像融合两大类。高光谱图像波段间融合,是指对高光谱图像去除冗余、合并互补信息到单一图像[2]的过程。而高光谱与他源图像融合,包括高空间分辨率的全色图像、多光谱图像以及SAR图像等多源遥感图像,目的是整合几类图像的优势,改善高光谱图像的空间特性。本文对目前这两类高光谱图像融合的算法研究进行了回顾,总结了现有成果,概括分析了研究中所存在的问题,并对高光谱图像融合算法的发展进行了展望。

2 高光谱图像自身波段融合算法

传统的多源图像融合,如红外图像与可见光图像融合,针对的多是两类差异较大、互补信息明显的图像,而高光谱图像各波段图像成像条件相同,波段间相关性强,光谱特征差异不那么明显,一方面融合前基本不需要配准,可以方便实施像素级融合,另一方面,又要求算法具有善于保留细节信息、多波段输入等特性。这类融合有两大目的:一是集中展示图像信息,为目视解译服务；二是一种有效的降维手段。根据融合过程是否需将图像变换到频率域进行,融合算法可分为基于空间域以及基于变换域的两大类。前者直接在空间域上进行融合,后者则先将图像从空域转到频域再进行融合。

2.1 基于空间域的融合算法

基于空间域的融合算法主要有加权平均法、偏袒法、主成分分析法(Principal Component Analysis, PCA)等,其中PCA变换是处理相关性较大的高维数据的经典方法之一[3～5]。其基本思想是利用几个不相关、信息量大的综合变量来概括原始变量的信息。

(1)

易知,通过线性变换得到的矩阵Z可以有多种。若要用z1来代替原来的p个波段的信息,以方差来表征信息量,则增加限制条件,使

1)z1方差Var(z1)最大；

2)z1与其余波段zi不相关,即:

(2)

这样可以唯一确定变换矩阵A,从而求出Z。满足这些条件的z1称为第一主成分；同理进行迭代可以继续求出第二、第三主成分。通常前几个主成分可以包含原图像85%以上的信息。

PCA变换可以认为是原始高光谱图像方差意义下的波段最优融合方案。但是,这种最优是针对全局的,并没有考虑图像局部感兴趣信息,较为笼统。因此学者们作出各种改进。例如针对PCA线性分析未必适用于高光谱图像一些非线性特征的问题,Jia等提出分段主成分变换算法[6],将整个光谱空间分解成若干子空间,在各子空间中分别进行PCA特征提取,使高光谱数据特性得到充分利用；G. A. Licciardi等则提出非线性PCA算法(Non-linear PCA, NLPCA)[7],快速降低数据维数的同时尽量避免原始PCA算法可能造成的光谱失真；为改进原始PCA将整个波段图像视为一维向量造成空间上下文信息的浪费,Ch. Theoharatos等将二维主成分分析(two-dimensional PCA,2DPCA)工具引入高光谱图像融合[8],在不破坏空间信息的前提下使特征提取更为直观、迅速；王秀朋等则联合投影寻踪(Projection Pursuit,PP)算法[9],将PCA在全局最优分析特性与PP分析良好的局部特性相结合,改善了高光谱图像的特征提取融合效果；朱院院等针对复杂背景数据容易导致PCA融合丢失弱小目标的问题,选用欧式距离(Euclidean Distance, ED)、光谱角度(Spectral Angle, SA)、光谱信息散度(Spectral Information Divergence, SID)、正交投影散度(Orthogonal Projection Divergence, OPD)作为非监督分类相似性测度对PCA进行改进[10],提高了融合图像的对比度。

总体来说,PCA变换法原理简单、运算效率高,且为方差意义下的全局最优方案,适用于大目标、背景较均匀的高光谱图像融合。此外,在融合应用中PCA还常与其他方法结合使用。

2.2 基于多分辨率分析的融合算法

基于变换域的多分辨率分析的方法能够更有针对性的改善图像空间特性。Piella等提出的多分辨率分析框架[11]基本思想是采用某种多分辨率分析工具将融合源图像分解为低频与高频子带,采用合适的规则将两类子带分别融合,从而得到融合图像的高频与低频子带系数,最后通过逆变换将其还原为空间域上的图像。1983年Burt P.J和Adelson E.H提出的拉普拉斯金字塔变换[12]、90年代以来发展迅速的小波变换工具以及后来出现的多小波变换、脊波变换、曲波变换和轮廓波变换等各种多分辨率分析工具都被应用到图像融合领域,取得令人满意的效果。

小波变换在处理图像的过程中表现出良好的方向性、时频分析特性和各尺度上的独立性,使之成为图像融合应用最广泛的多分辨率分析工具[13]。直接应用小波变换加权平均的方法融合会导致融合图像出现分块现象,学者们纷纷对融合规则和小波工具进行了改良。针对小波融合中依据单一特征较为局限的问题,张钧萍等提出一种基于局部方差、局部信息熵、局部能量、局部梯度等多特征联合指标的确定低频与高频系数权值的融合规则[14],提高了融合图像的分类精度；陈瀚孜[2]将第二代提升小波应用到高光谱图像融合,使小波函数的构造更具灵活性,提高了运算速度并使恢复图像品质更好；董广军等则使用多个小波函数构成的小波包作为多分辨率分析工具[15],克服了传统小波在处理高频细节信息的不足。但是,小波变换反映的是信号的零维奇异性,在分析“点”的奇异性时是最优的[16],而实际图像地物轮廓更多的表现为“线”的奇异性,因此又有学者将更接近自然二维图像的最佳稀疏表达的脊波、曲波、轮廓波等变换引入高光谱图像融合。田养军等利用曲波变换(Curvelet)作为多分辨率分析工具[17]研究了高光谱图像融合在土地调查中的应用；常戚戚等将非下采样轮廓波变换(Nonsub Sampled Contourlet Transform,NSCT)应用到高光谱特征图像融合中[18]。与小波融合相比,这些多分辨率分析工具能够更好地保持高光谱图像的空间和光谱特性。

此外,将多分辨率分析与主成分分析相结合,综合这两类算法的特长,也是一种行之有效的融合方法。常戚戚、郭雷等提出了基于混合Contourlet变换和PCA变换的融合方法[19],首先对将选出的多波段高光谱图像进行Contourlet变换,利用PCA 变换对得到的系列多尺度多方向的子带系数分别进行自适应融合处理,再通过Contourlet逆变换得到结果,该方法能够有效抑制原始图像中的噪声；朱卫东等对多波段图像二代脊波(Bandelet)变换得到的系数和几何流进行PCA变换[20],得到其主成分后再经过Bandelet逆变换重构图像,融合图像性能也优于直接使用这两种方法得到的图像。

2.3 其他方法

除了上述提到的两大类方法,耦合脉冲神经网络(Pulse Coupled Neural Networks,PCNN)等也被成功引入到高光谱图像融合中。文献[21]采用多通道PCNN模型来对输入的多波段图像进行非线性融合处理,通过记录点火时刻的赋时矩阵等方法增强了融合结果；付朝阳则结合小波变换[22]、赵春晖等结合二代曲波变换[23],对低频、高频系数分别采取多通道PCNN模型按照不同融合规则得到融合结果,丰富了融合图像的纹理等细节信息。但是,PCNN参数要经过多次实验验证得到,不能自适应确定,限制了算法的通用性。

3 高光谱与高空间分辨率图像融合算法

除了自身融合,光谱信息丰富的高光谱图像与高空间分辨率的其他类遥感图像融合,各取所长,各补所需,也是研究的一大热点。同时根据融合目的不同,融合结果可以是空间分辨率提高的高光谱图像,也可以是提高了目视效果的灰度或假彩色图像。

3.1 基于分量替换的融合算法

假设融合前的高光谱图像为I1,高空间分辨率图像为I2。经过笔者归纳,发现许多算法的本质思想是“替换”,即对两类图像进行某种变换,然后以I2某分量去替换高光谱图像经变换后对应的分量,从而将I2的优良特性传递给I1,经过逆变换便可得到融合结果。例如经典的基于颜色空间变换的IHS方法[24],选取高光谱图像的三个波段赋值给R、G、B三通道,然后通过以下公式进行亮度与光谱信息分离:

(3)

(4)

(5)

其中I代表了高光谱图像的亮度信息,以I2取代I再进行逆变换,即可将I2的空间亮度等信息注入到融合图像中。类似的基于颜色空间变换还有Brovey变换、HSV变换[25]等方法,但是,这些方法一次只能对三个波段进行处理,且对融合图像的光谱空间造成一定扭曲,因此在实际应用中通常结合其他方法使用。如陆东华等利用高通滤波法来修正Brovey变换中使用的全色图像[26]、杨可明等将HSV与小波包变换结合实施融合[27]。此外,还有基于PCA变换的方法[28],以I2代替高光谱PCA变换的第一主成分；小波变换方法,以I2小波分解后的高频细节信息代替高光谱各波段图像小波分解的高频信息等；正交(Gram Schmidt)变换法[29],将高光谱图像变换到正交空间,以I2取代其变换后的第一分量等。此外,杨可明等还引入电力系统中常用的谐波分析思路[30～31],提取高光谱影像谐波分解后的一系列谐波能量谱特征分量中对光谱波形无贡献的谐波余项,将其替换为I2,再经过逆变换得到融合结果。

此外,英国学者Liu等提出了基于平滑滤波的亮度调节(SFIM)的融合方法,将图像DN值表示为太阳辐射值与地表反射率的乘积,采用平滑滤波的方法模拟低分辨率图像的DN值并进行分量替换,这种方法能够较好地保持光谱信息,但是会存在边缘模糊的问题；寒冰等对此进行了改进,结合瞬时视场角理论进行DN值重新分配,提高了融合图像的空间特性。

这些方法运算简单,能够提高高光谱图像的空间特性,但是不能很好地解决融合后光谱保持的问题,因此没有得到广泛认可。

3.2 基于光谱解混模型的融合算法

除了替换的思想,基于混合光谱分析(Spectral Mixture Analysis,SMA)的方法也被应用于高光谱图像融合。这种方法的思路是在对高光谱图像进行光谱解混的基础上,结合高空间分辨率图像的空间信息,不在破坏光谱特征的前提下将分解端元“定位”以提高高光谱图像空间分辨率。

非负矩阵分解(Nonnegative Matrix Factorization,NMF)是一种有效的光谱解混方法。它将高光谱数据视为矩阵,通过非负矩阵分解将其分解为端元光谱矩阵与丰度矩阵的乘积,然后经过一定处理、重构达到融合目的。崔艳荣等交替利用MNF方法对高光谱数据与高空间分辨率的多光谱数据进行分解[32],得到高光谱分辨率的端元矩阵以及高空间分辨率的丰度矩阵,相乘还原为融合图像；而安振宇等则引入光谱约束项对高光谱数据非负矩阵分解后的基底进行增强[33],保证了光谱信息的保持。

Estiman等提出运用极大后验估计(MAP)的方法,通过挖掘高光谱影像以及高空间分辨率影像之间的关系,基于随机光谱解混模型(SMM)实现高空间分辨率高光谱数据的模型估计,实现了高光谱影像整体空间信息的整体增强。丰明博等提出的基于投影和小波分解的多、高光谱遥感图像融合算法[34]也反映了光谱解混的思想。首先确定纯地物光谱,然后根据源图像利用投影的方法得到混合地物的比例,基于多光谱图像得到模拟的高光谱图像,再通过小波融合方法将模拟与真实的高光谱图像融合,一定程度上修正了融合结果的光谱特征；此外,Yeji Kim、Jaewan Choi等利用光谱解混技术来模拟扩充多光谱图像波段、进而提取相关波段的高频信息使之与高光谱图像融合[35]。此外,还有学者提出了基于边缘信息混合像元分解的光谱信息保持融合算法[36]。

基于光谱解混的高光谱图像融合能够很好的减少光谱失真现象,同时保持源图像的光谱和空间分辨率,提高了高光谱图像的质量,最充分的体现了高光谱图像融合的意义。但是这类算法对端元提取算法结果有较大依赖性,尤其是在地物光谱库不完善、缺乏先验知识的情况下不能正确提取端元会容易造成端元定位错误。

3.3 其他算法

除了基于替换和光谱解混两大思路,还有基于遗传算法、基于粗糙集理论、基于光谱空间复原等方法[37～39]。表1简单总结了这几种算法的优缺点。

4 融合算法评价

算法评价是算法研究的重要环节。除了评价融合算法自身的运算复杂度、稳定性等性能,对融合图像质量的评价也是判断融合算法好坏的一项重要内容。图像质量评价可分为主观评价和客观评价两大类。前者根据人眼对融合图像的视觉感受对色彩(灰度)、纹理信息、清晰度、对比度等作出判断[40],具有简单直观的特点,但是易受个人主观影响,且不能判断光谱信息的保持；客观评价则通过一系列指标对融合图像进行量化分析。对高光谱融合图像质量的客观评价要从其几何空间特性以及光谱空间特性入手[41]。

通常评价单幅图像空间特性的指标[21,27,35]包括均值、标准差、平均梯度、信息熵等,适用于融合图像单一波段的评价。这些指标越大说明融合图像对比度越高,细节信息越丰富。但是,由于高光谱图像会存在噪声污染,细节纹理信息与噪声都会提高图像的标准差、平均梯度等指标,在应用时也要注意结合图像实际情况。在评价高光谱与高空间分辨率图像融合算法时还涉及光谱特征保持度指标。这类指标包括图像相关系数[32](融合图像各波段与原波段像元光谱相关性)、波形保持度[31](融合图像像元波谱曲线与原光谱波形形态的相似程度)、波谱角误差[8](融合图像像元光谱与真实光谱之间的角度误差)等。光谱保持指标多散见于各文献,缺乏普适性的系统研究。此外,融合图像分类精度等应用性指标也常用于对融合算法质量评价。

5 结语

本文总结了目前国内外高光谱图像融合算法的研究进展,对各类算法进行了初步的分类和归纳。总体而言,高光谱波段间融合注重保留各波段的细节信息,因此能够进行针对性融合的多分辨率分析方法更受青睐；而对于高光谱与高分辨率图像融合,目前许多算法都由通用遥感图像融合方法基础上发展而来,而能够保持光谱特征的算法正在成为研究重点。笔者认为今后应在以下方面作进一步研究:

1) 对于高光谱自身波段间的融合,新提出的曲波、脊波等多分辨率分析工具虽然提升了融合图像质量,但是运算复杂度较高,对数据量大的高光谱图像来说更是增加了融合时间。因此,改善多尺度分析工具、合理快速选择融合波段都是值得研究的问题；

2) 高空间分辨率的遥感图像可以辅助高光谱图像进行校正、去噪、混合像元分解等处理,全面提高高光谱图像质量。因此,在研究融合算法时不能仅仅局限于提高其空间分辨率、避免光谱扭曲,要充分利用两类图像的信息,挖掘融合的价值；

3) 目前对高光谱融合算法的评价多是沿用传统多源图像融合中的方法,缺乏广泛认可的能够全面反映高光谱融合数据特性的评价指标。建立合理有效的高光谱图像融合评价体系也是下一步值得关注的问题；

4) 目前对高光谱图像融合更多的停留在理论层面,通过融合改善了空间特性的高光谱图像没有得到很好的应用检验。下一步研究中应加强理论实践相结合,推动高光谱遥感的应用。

[1] 张兵,高连如.高光谱遥感图像分类与目标探测[M].北京:科学出版社,2011.

[2] 陈瀚孜.高光谱图像融合算法研究[D].哈尔滨:哈尔滨工程大学硕士学位论文,2008:4-37.

[3] Wen Dou, Yun Hao,Chen, et al. A general framework for component substitution image fusion: An implementation using the image fusionmethod[J]. Comput ers and G eosciences,2007,33(2):219-228.

[4] Zheng Du, Myong K J. Band selection of hyperspectral images for automatic detection of poult ry skin tumors[J]. IEEE Trans. on Automation Science and Engineering,2007,4(1):332-339.

[5] Ch. Theoharatos, V. Tsagaris, N. Fragoulis. Hyperspectral image fusion using 2-D principal component analysis[C]//2ndInternational Conference on Space Technology. IEEE,2011:1-4.

[6] Jia Xiu-Ping, Richards John A. Segmented principal components transformation for efficient hyperspectral remote- sensing image display and classification[J]. IEEE Trans. On G. R. S.,1999,37(1):538-542.

[7] G. A. Licciardi, M. M. Khan, J. Chanussot. Fusion of hyperspectral and panchromatic images: a hybrid use of indusion and nonlinear PCA[C]//ICIP IEEE,2012:2133-2137.

[8] 吴学明,杨武年.基于2DPCA的遥感图像融合算法研究[J].地质科技情报,2008,27(5):97-103.

[9] 王秀朋,张洪才,赵永强,等.基于投影寻踪的高光谱图像特征融合算法[J].计算机测量与控制,2006,14(11):1539-1541.

[10] 朱院院,高教波,高泽东,等.基于相似性分类的高光谱主成分融合方法比较[J].光学技术,2016,42(2):97-103.

[11] G. Piella. A general framework for multiresolution image fusion: From pixels to regions[J]. Information Fusion,2003,4(4):259-280.

[12] Burt P J, Adelson E H. The Laplacian pyramid as a compact image code[J]. IEEE Transaction on Communication,1983,31(4):532-540.

[13] Tania Stathaki. Image Fusion: Algorithms and Applications[M]. Elsevier SingaporePte Ltd.,2014.

[14] 张钧萍,张晔.基于多特征多分辨率融合的高光谱图像分类[J].红外与毫米波学报,2004,23(5):345-348.

[15] 董广军,张永生,范永弘.PHI高光谱数据和高空间分辨率遥感图像融合技术研究[J].红外与毫米波学报,2006,25(2):123-127.

[16] 亓辰.高光谱与高空间分辨率遥感图像融合算法研究[D].哈尔滨:哈尔滨工业大学硕士学位论文,2008.

[17] 田养军,薛春纪,马智民,等.曲波变换的高光谱遥感图像融合方法在土地利用调查中的应用[J].遥感学报,2009,13(2):313-320.

[18] 常威威,郭雷,付朝阳.基于非采样Contourlet变换的高光谱图像融合算法[J].火力与指挥控制,2009,34(10):121-125.

[19] 常威威,郭雷,付朝阳,等.基于混合Contourlet变换和主成分变换的高光谱图像融合[J].宇航学报,2009,30(6):2360-2366.

[20] 朱卫东,李全海,徐克科,等.基于二代Bandelet和主成分变换的高光谱遥感图像融合[J].同济大学学报(自然科学版),2011,39(7):1068-1074.

[21] 常威威,郭雷,付朝阳,等.利用脉冲耦合神经网络的高光谱多波段图像融合方法[J].红外与毫米波学报,2010,29(3):205-210.

[22] 付朝阳,郭雷,常威威.基于小波变换和多通道脉冲耦合神经网络的高光谱图像融合[J].吉林大学学报(工学版),2011,41(3):838-844.

[23] 赵春晖,季亚新.基于二代曲波变换和PCNN的高光谱图像融合[J].哈尔滨工程大学学报,2008,29(7):729-735.

[24] 王克成.基于小波理论的超光谱图像融合研究[D].哈尔滨:哈尔滨工程大学硕士学位论文,2005:34-58.

[25] Kim Y, Eo Y, Kim Y, et al. Generalized IHS-Based Satellite Imagery Fusion Using Spectral Response Functions[J]. Etri Journal,2011,33(4):497-505.

[26] 陆冬华,赵英俊.基于改进型Brovey算法的高光谱数据融合技术[J].世界核地质科学,2006,23(3):177-182.

[27] 杨可明,钱小丽,王林伟,等.结合HSV和小波包变换的高光谱影像融合及信息识别研究[J].测绘通报,2014(5):11-15.

[28] Hassan Kousha, Hassan Gessemian. High Spatial Resolution and Hyperspectral Image Fusion[C]//19thIranian Conference on Electrical Engineering. IEEE,2011.

[29] 于海洋,闫柏琨,甘甫平.基于Gram Schmidt变换的高光谱遥感图像改进融合方法[J].地理与地理信息科学,2007,23(5):39-43.

[30] 杨可明,张涛,王立博.高光谱影像的谐波分析融合算法研究[J].中国矿业大学学报,2014,43(3):547-554.

[31] 杨可明,张涛,王立博,等.谐波分析法高光谱影像融合及其光谱信息保真度评价[J].光谱学与光谱分析,2013,23(9):2496-2502.

[32] 崔艳荣,何彬彬,张瑛,等.非负矩阵分解融合高光谱和多光谱数据[J].遥感技术与应用,2015,30(1):82-91.

[33] 安振宇,史振威.基于sc-NMF的高光谱图像融合[J].红外与激光工程,2013,42(10):2718-2724.

[34] 丰明博,刘学,赵冬.多/高光谱遥感图像的投影和小波融合算法[J].测绘学报,2014,42(2):158-163.

[35] Yeji Kim, Jaewan Choi, Dongyeob Han. Block-Based Fusion Algorithm With Simulated Band Generation for Hyperspectral and Multispectral Images of Partially Different Wavelength Ranges[J]. IEEE Journal of Selected Topics in Applied Earth Observations and Remote Sensing,2015,8(6):2997-3008.

[36] 余旭初,等.高光谱遥感应用分析[M].北京:科学出版社,2013.

[37] 马一薇.高光谱遥感图像融合技术与质量评价方法研究[D].郑州:信息工程大学硕士学位论文,2010.

[38] 董广军.高光谱与高空间分辨率遥感信息融合技术研究[D].郑州:信息工程大学硕士学位论文,2004.

[39] 邵军勇,潘泉.基于光谱复原的高光谱高空间遥感数据融合研究[J].微电子学与计算机,2005,22(8):108-111.

[40] 张良,邵琳.图像融合在高光谱遥感数据处理中的应用[J].计算机与数字工程,2010,244(2):118-122.

[41] 满旺,陈绍杰.高空间分辨率与高光谱分辨率遥感数据融合研究[J].测绘,2010,33(6):243-247.

Research Progress of Hyperspectral Image Fusion Algorithms

ZHANG Xiaohan YANG Guang YANG Yongbo HUANG Junhua

(Aviation University of Air Force, Changchun 130022)

Hyperspectral images share rich spectral information while it also has the problem of data redundancy and low spatial resolution. Image fusion is an effective way to improve its quality. According to the resource images of fusion, hyperspectral fusion can be classified into fusion among bands of hyperspectral data and fusion with images having higher spatial resolution such as panchromatic image. In this paper, main fusion methods of hyperspectral image are reviewed. The basic theory of those algorithms is analyzed and their advantages and disadvantages are also discussed. Besides, current fusion algorithm evaluation including indexes and methods is also summarized. At last,the direction of future research of this field is given.

hyperspectral imagery, image fusion, fusion algorithm evaluation

2016年7月11日,

2016年8月28日

吉林省科技发展计划资助项目(编号:20140101213JC);吉林省教育厅“十二五”科研项目(编号:2015448)资助。

张筱晗,女,硕士,研究方向:高光谱遥感、图像解译。杨桄,男,博士后,教授,研究方向:遥感图像解译、地理信息系统。

TP751

10.3969/j.issn.1672-9730.2017.01.007