一种NSST与稀疏表示相结合的遥感图像融合算法

金 益 如,杨 学 志,*,董 张 玉,郑 鑫,李 国 强

(1.合肥工业大学计算机与信息学院，安徽 合肥 230009；2.光电控制技术重点实验室，河南 洛阳 471009)

一种NSST与稀疏表示相结合的遥感图像融合算法

金 益 如1,杨 学 志1,2*,董 张 玉1,郑 鑫2,李 国 强2

(1.合肥工业大学计算机与信息学院，安徽 合肥 230009；2.光电控制技术重点实验室，河南 洛阳 471009)

针对现有遥感图像融合算法存在的光谱失真及空间细节丢失的问题，提出一种非下采样Shearlet变换(NSST)与稀疏表示(SR)相结合的图像融合算法。该算法利用NSST多尺度、多方向及平移不变的特性对全色图像与多光谱图像亮度分量进行变换分解,并根据稀疏表示能够有效捕捉图像结构特征的特点，对低频分量采用基于结构相关性的稀疏表示加权融合规则，从而减少光谱失真，对高频分量则利用基于改进的拉普拉斯能量和的方法，以保留细节信息,最后通过NSST与IHS逆变换得到融合图像。实验以WorldView-2不同场景下的影像为数据源，与传统的IHS、AIHS、IHS-WV、IHS-WV-SR、IHS-NSST融合方法进行对比，结果表明：新的算法不论在视觉上还是指标参数上都得到了有效提高，光谱分辨率和空间分辨率更接近于融合参考图像。

图像融合;多光谱图像;全色图像;NSST;稀疏表示

0 引言

受传感器设计物理上的限制，许多卫星单一传感器获得图像的空间分辨率和光谱分辨率呈现逆相关的关系[1]。随着遥感图像的应用需要日益增多，如何充分利用多光谱图像与全色图像之间的互补性与冗余性，获得一幅高空间、高光谱分辨率的融合图像成为现今遥感应用领域的研究热点[2]。

当前，图像融合方法主要分为三大类：主分量替代法、多尺度变换法以及基于模型的方法。主分量替代法主要包括IHS (Intensity-Hue Saturation)、PCA (Principal Component Analysis)、GS (Gram-Schmidt)等，这类方法能得到空间分辨率增强的融合图像，但光谱失真较严重。多尺度变换法主要包括小波变换(Wavelet Transform,WT)、拉普拉斯金字塔(Laplacian Pyramid)以及Contourlets等[3]，小波变换能够将图像进行多尺度分解，但其方向数有限，拉普拉斯金字塔、Contourlets等高维函数表示法虽克服了方向数的限制，但其并不是表示高维信号的最优基。在此基础上，Labate等提出一种新的接近最优的多维函数稀疏表示方法——剪切波(Shearlet)变换[4]，其具有多尺度、多方向的特点及良好的时频局部特性，且其紧支撑区间随尺度变化而“各向异性”，能够实现对二维图像的最优逼近。近年来，基于模型的图像融合方法成为图像处理领域的研究热点。该类方法采用不同的空间先验知识求解图像复原模型中的病态反演问题(ill-posed inverse problem)[5]，图像复原结果即为图像融合结果。随着Donoho提出的压缩感知(Compressive Sensing,CS)理论用于数据的采集[6]，压缩感知和稀疏表示理论被越来越多地应用到图像处理的各个领域。2011年，Li等尝试将稀疏表示运用到多光谱与全色图像的融合中，提出了一种基于压缩感知理论的多光谱与全色图像融合方法，并取得了较好的结果[7]。近年来，基于稀疏表示的方法以其优越的融合效果被越来越多的应用到遥感图像融合中[8,9]。

稀疏表示理论能够通过一系列的线性映射恢复出未知的稀疏信号，且它强调图像的自然属性及结构信息，但在稀疏表示解决图像融合问题的过程中，滑动窗口的运用容易造成细节丢失及边缘平滑，且图像复原模型的构造对融合结果影响较大，为此，2015年Liu等提出了基于多尺度变换和稀疏表示的图像融合方法，以改进上述问题[10,11]。该方法以多尺度变换为基础，对IHS变换后的图像进行小波、Contourlets等变换，低频上采用一种基于稀疏表示的最大值融合方法，高频上采用绝对值最大法，最后通过重构及逆IHS变换得到融合结果。然而，小波、Contourlets等多尺度分解只能捕获有限的方向信息，且缺乏平移不变性，容易造成图像细节模糊以及光谱失真；低频融合采用最大值融合规则，尚未考虑图像的结构特征及相关性，光谱信息保持的能力有限；高频融合采用绝对值最大法，仅仅考虑了单个像素的特性，容易造成图像结构信息的丢失。

针对上述问题，本文提出一种新的基于NSST与稀疏表示的图像融合方法，利用NSST对IHS变换后的多光谱图像亮度分量及全色图像进行多尺度、多方向的分解，使图像具有时移不变性，能够更好地捕获图像的几何结构和细节信息等；对得到的低频子图采用基于结构相关性的稀疏表示融合框架，在保留多光谱图像亮度分量的亮度、对比度(即光谱信息)的前提下，对结构信息的稀疏表示系数采用基于结构相似度的加权融合方法，更好地保持图像的结构，减少光谱失真；高频子图则考虑到像素间的相关性及图像的结构特性，采用了基于改进的拉普拉斯能量和的融合规则；最后进行NSST及IHS逆变换得到新的融合结果。

1 NSST与稀疏表示

1.1 非下采样Shearlet变换

Shearlet变换是一种多维函数稀疏表示方法，由合成小波理论衍生而来，采用具有合成膨胀的仿射系统构造函数基。对于一个连续小波，二维仿射系统可表示为：

(1)

如果对于任意的ψ∈L2(R2),Ψast(x)满足Parseval框架(紧框架条件)，则该仿射系统的元素称为合成小波。其中，a∈R+为尺度参数，s∈R为剪切参数，t∈R2为平移参数。

Shearlet是合成小波的一个特例，此时二参数扩张组Γ满足：

(2)

其中:a=4,s=1[12]。

NSST是一种非正交变换，它的离散化过程主要通过非下采样拉普拉斯金字塔变换和剪切波滤波器组相结合来实现。首先，非下采样金字塔滤波器用于实现非下采样剪切波变换的多尺度剖分。随后，把标准的剪切波滤波器从伪极化网格系统映射到笛卡尔坐标系统，利用傅里叶变换，直接通过二维卷积完成滤波，避免了下采样操作，使其具有平移不变性。变换后各尺度上各方向子带的大小都与原图像相同，图像的冗余度得到了很大的提高[4]。

1.2 稀疏表示

x=Dα

(3)

对于一个x及过完备字典D，式(3)有许多不同的解α，稀疏表示问题就是求解最稀疏的α,α∈RH×1，使α中的非零值个数最少。它可以转化为以下最优解的求解问题：

(4)

其中:‖α‖0代表α中包含的非零值个数，λ为常数。

由于式(4)是一个非凸函数，无法求出最优解，因此它常常被转化为一个l1范数问题，使它成为一个近凸函数，以得到最优解：

(5)

目前，这种转化方式被广泛用于稀疏表示问题的求解。对于该l1范函数常用的求解方法包括正交匹配追踪法(OrthogonalMatchingPursuit,OMP)、基本追踪法(BasisPursuit,BP)、选定算子的最小绝对收缩法(theLeastAbsoluteShrinkageofSelectionOperator,LASSO)等[9]。本文采用正交匹配追踪法(OMP)来计算最优。

1.2.2 字典训练 过完备字典的选取决定了信号稀疏编码的能力，它在稀疏表示中起重要作用[13]。目前，字典的选取主要分为两种，一种是利用DCT(DiscreteCosineTransform)、CVT等基函数作为字典，但它的适用性不强；另一种是通过对大量训练集的学习得到字典，这种方法适用范围广且结果较好。本文采用学习的方式得到字典。

为了使字典更具通用性，能在不同变换域使用，且考虑到自然图像变化较平缓的特点，采用自然图像进行训练。从自然图像中提取100 000个8×8大小的图像块作为训练集，使低频分量上的分量可以很好地利用该字典进行稀疏表示。此外，为了更好地提取图像块的结构信息，适应本文低频上采用的基于结构的稀疏表示融合方法，令训练后得到的字典中的每个原子均减去均值并除以其方差，以保证只包含图像的结构信息。

记W={w1,…,wj,…,wH}为训练集，其中wj为自然图像块的结构信息转化后的列向量。通过解决下述问题得到训练字典D：

(6)

其中:Λ={α1,…,αj,…,αH}代表一个包含稀疏表示系数的矩阵，Ω为算法中设定的非零系数个数的最大值。本文利用K-SVD算法求解最优化问题[10]。

2 NSST与稀疏表示相结合的图像融合算法

新的融合算法以多尺度变换融合框架为基础，利用NSST多尺度、多方向、平移不变的特性把图像分解成高频子图及低频子图，并针对不同子图的变换域特性采用不同的融合策略。NSST变换后的低频子图是原始图像的逼近表示，不具有“稀疏”性，因此，在低频上采用稀疏表示，并结合多光谱图像及全色图像的图像特性，利用结构相似度对稀疏表示系数进行融合。NSST变换后的高频子图细节信息丰富且具有多方向性，采用改进的拉普拉斯能量和(Sum-Modified-Laplacian,SML)方法进行融合。

2.1 低频图像融合

一幅图像可以分解为亮度、对比度及结构3个要素[14]，亮度、对比度均表示了原图像的光谱信息，因此，保留多光谱图像亮度分量的低频分量MIL的亮度、对比度信息，即保留原多光谱图像的光谱信息；MIL的空间结构信息与全色图像的低频分量PL的空间结构信息则可利用稀疏表示原理最优化表示，在此基础上考虑保持多光谱图像结构的前提下注入更多的全色图像的细节信息，以减少光谱失真。低频融合流程如图1所示。

图1 低频图像融合流程Fig.1 The flow diagram of low frequency subband fusion algorithm

利用滑动窗口技术自左向右、自上而下将MIL、PL分为多个小块对，其中滑动窗口重叠长度为b。对{MIL,PL}上的第t对图像块{x,y}，亮度记为当前块中所有离散信号的均值{μx,μy}，对比度利用图像块方差的平方根来估计，记为{σx,σy}，图像块的结构信息记为{sx,sy}。对每个图像块P，它的结构s与均值μ、对比度σ的关系为：

(7)

每对图像块结构信息的相似度定义为：

(8)

其中:C是为了避免分母为零而引入的常量，一般C取零。σxy表示为：

(9)

可以注意到，sx与sy的相关性实际上就是x与y的相关系数。

αf=(1-Cs(x,y))×αx+Cs(x,y)×αy

(10)

然后，利用字典D可得融合后图像块的结构列向量ψf：

ψf=Dαf

(11)

FL(t)=(sf+μx)×σx

(12)

在图1中n取4，即滑动块大小为4×4，对应字典大小为16×256。

2.2 高频图像融合

高频子带系数包含丰富的细节信息，稀疏性较好。由于图像像素间存在较大的相关性，所以在融合过程中对每个像素利用当前像素及其局部区域内的能量共同表示其特征。相较于常用的方差、能量、空间频率等指标，改进的拉普拉斯能量和能更好地反映图像的细节信息[15]。改进的拉普拉斯(ML)以及改进的拉普拉斯能量和(SML)表示为：

MLl,k(i,j)=|2Hl,k(i,j)-Hl,k(i-step,j)-Hl,k(i+step,j)|+

|2Hl,k(i,j)-Hl,k(i,j-step)-Hl,k(i,j+step)|

(13)

其中：Hl,k表示NSST变换后第l尺度第k方向上的高频分量，step是一个可调变量，在本文中取1。

(14)

其中:参数A、B表示滑动窗口大小为(2A+1)×(2B+1),本文取3×3。

高频子带融合系数的计算式为：

(15)

其中:MIH、PH分别表示多光谱图像亮度分量及全色图像的NSST高频分量，MIH_SML、PH_SML分别表示MIH及PH的改进的拉普拉斯能量和。

2.3NSST与稀疏表示相结合的融合算法步骤

新的融合算法实现步骤描述如下:1)将上采样后大小与全色图像P相同的多光谱图像变换到IHS色彩空间，提出其中的亮度分量I记为MI;2)将MI与P分别进行NSST变换，得到低频分量MIL和PL，以及高频分量{MIH1,1,MIH1,2,…,MIH1,k}和{PH1,1,PH1,2,…,PH1,k};3)利用低频图像融合模型对MIL与PL进行融合得到低频融合结果FL;4)利用高频图像融合模型对{MIH1,1,MIH1,2,…,MIH1,k}与{PH1,1,PH1,2,…,PH1,k}进行融合得到高频融合结果{FH1,1,FH1,2,…,FH1,k};5)将低频结果FL与高频结果{FH1,1,FH1,2,…,FH1,k}进行NSST逆变换得到融合的亮度分量，记为FI；6)用融合的FI替代原IHS中的亮度分量并进行逆变换得到高分辨率多光谱的融合结果图像。

3 实验及其结果分析

本文提出的方法主要与以下5种方法进行比较：IHS[16]、基于小波的方法(IHS-WV)[17]、自适应IHS(AIHS)[18]以及基于小波和稀疏表示的方法(IHS-WV-SR)[10,11]，此外，为了进一步验证本文方法的有效性，将本文方法与直接利用NSST的方法(IHS-NSST)进行了对比。

3.1 数据及参数设计

WordView-2能够提供0.46m分辨率全色图像和1.8m分辨率的多光谱图像,本文实验数据包含了WordView-2多个区域的遥感图像数据(http://www.datatang.com/datares/go.aspx？dataid=614242)，共有经过几何校正等预处理步骤的23对多光谱与全色图像，其中多光谱图像大小为128×128，全色图像大小为512×512，并且提供了部分几乎没有光谱失真的高分辨率多光谱融合参考图像用于融合质量评价。为了使本文的实验结果同时在光谱和空间细节上有一个更好的参照，笔者选用了该数据集提供的高质量的参考图像作为融合参考图像。本文列出了海边、植被以及住宅3组不同场景的实验结果，每个区域都具有一定的特征，使实验结果全面且具有代表性。

参数设计方面，IHS-WV和IHS-WV-SR方法中的小波均选用“db4”小波。IHS-WV的分解层数为4层，IHS-WV-SR方法中小波分解层选用原作者使用的1层，IHS-NSST方法和本文提出的方法中的非下采样Shearlet变换均选用3层，每一尺度下其方向数均为[2 3 3]，滤波器参数设置为[3 5 5]。IHS-WV-SR及本文方法的稀疏表示中，Ω为6。对于滑块的大小选取，考虑到太小的滑块包含的边缘纹理及边缘细节信息不明显，无法更好地提取并融合低频分量上的结构信息，而如果滑块选取过大，则大大增加了稀疏表示融合计算的复杂度，因此，折中考虑，实验中选用8×8大小的滑块，对应训练的过完备字典大小为64×256；在稀疏表示中滑块的步长选取上，考虑到图像块移动的步长对稀疏表示的耗时影响较大，步长过大时计算量虽小，但块与块间的独立性大，可能会造成融合结果产生块效应[19]，而步长过小，则大大降低了运算效率，且块与块间重叠面积较大易导致重叠区域的平滑效应，影响低频分量的融合结果[10]，因此，折中考虑，步长选取4。

3.2 实验结果及分析

按照前文介绍的算法原理和步骤，选用海边、植被、住宅3组数据，对不同融合方法进行试验。本文引用以下评价指标对图像融合的结果进行评价：图像相关系数(CorrelationCoefficient,CC)、光谱角映射(SpectralAngleMapper,SAM)、均方根误差(RootMeanSquareError,RMSE)、相对平均光谱误差(RelativeAverageSpectralError,RAME)、相对整体维数综合误差(RelativeGlobalDimensionalSynthesisError,ERGAS)[18]以及平均质量指数(UniversalImageQualityIndex,UIQI)[20]。CC、SAM、RMSE、RAME用于评价图像的光谱保持能力，ERGAS与UIQI从光谱和图像细节信息保持两方面评估图像的全局质量。

3.2.1 海边图像融合 海边图像既包含丰富的细节信息，又包含丰富的光谱信息，实验结果如图2(见封2)所示。从主观上看，如图2d、图2e所示，AIHS方法相比IHS方法对图像的光谱失真情况有所改进，但相对于参考图像(图2c)光谱损失都比较严重，颜色最浅；IHS-WV方法(图2f)相比图2d、图2e颜色保持上稍好，而由于IHS-WV-SR方法(图2g)在低频上利用了稀疏表示进行融合，使其在光谱信息保持上有了更明显的提升，颜色较深；图2h的细节信息保持较好，这是由NSST的多尺度、多方向的特性决定的，但相比利用稀疏表示的方法(图2g)而言光谱信息有缺失，颜色稍浅；而本文提出的方法(图2i)则结合了图2g、图2h的优点，不论在颜色还是细节上均最接近参考图像2c，融合结果最好。

表1列出了海边图像数据融合结果的客观评价指标，其呈现结果与主观结果相吻合。通过比较CC、SAM、RASE、RMSE可以看到，IHS、AIHS、IHS-WV的光谱特性相对较差，ERGAS、UIQI表现出的整体融合质量也不好。IHS-NSST与IHS-WV-SR相比,IHS-WV-SR的光谱信息保持较好，而IHS-NSST的SAM和UIQI稍好，说明NSST变换能够更好地保持图像的几何结构和细节信息。而本文提出的方法不论从光谱保持指标还是全局指标上看都比其他方法的结果有明显提升，这是由于本文结合了IHS-WV-SR、IHS-NSST方法的优点，既利用了IHS-NSST的多尺度、多方向的几何特性与细节保持能力，又采用了新的稀疏表示融合算法更好地保留了图像的光谱信息，减少光谱畸变，使图像融合效果提升明显。

表1 海边图像不同算法融合结果的客观评价指标Table 1 Objective indicators for seaside image of different fusion algorithms

3.2.2 植被图像融合 植被图像包含了丰富的光谱信息。图3(见封2)的结果在光谱和空间细节差异在主观上表现最为明显。IHS方法(图3d)和AIHS方法(图3e)都存在较大的光谱失真，色彩差异严重；IHS-WV方法(图3f)光谱信息有所改进，而利用稀疏表达的IHS-WV-SR方法(图3g)则在光谱信息的保留上又有了进一步的提升，颜色更深，更接近参考图像；IHS-NSST在细节信息上的表现均比其他要好(图3h)，这一点在植被图像中主观上看到的最为明显，但颜色稍浅，在光谱信息保持上不如IHS-WV-SR(图3g)。而本文提出的方法则在细节、光谱信息上均有最好的表现(图3i)，最接近图3c。

表2列出了植被图像数据融合结果的客观评价指标，植被图像主观上展示的结果同样被证明。本文的方法在所有指标上都表现最好。比较CC、SAM、RASE、RMSE几种指标得出，IHS与AIHS光谱失真较严重，而由于植被图像光谱信息较丰富，使得IHS-WV-SR光谱保持能力的优点更为明显，除了UIQI稍差于IHS-NSST外，其余指标都比IHS-NSST好。而本文将NSST与稀疏表示相结合的算法的融合结果则一致呈现了最好的结果。

表2 植被图像不同算法融合结果的客观评价指标Table 2 Objective indicators for vegetation image of different fusion algorithms

3.2.3 住宅图像融合 住宅区域包含了丰富的细节信息，其总体表现与图2、图3一致，且本文提出的方法图像细节信息更为精细，光谱保持最好，颜色最接近于参考图像。表3列出了住宅图像数据融合结果的客观评价指标，整体趋势和表1一致，由于住宅图像细节信息较丰富，IHS-NSST方法的几何结构及细节信息保持能力的优点更为突出，表现为SAM、UIQI结果优于IHS-WV-SR，从其他指标来看，IHS-WV-SR依旧表现了较好的光谱信息。而本文方法在所有指标上都表现最好，这也证明了本文方法的有效性。

综上所述，对于不同特征的图像，新的融合算法均能从光谱特性和空间细节特性两方面对融合结果进行改善，使其在主观和客观上均表现较好。

表3 住宅图像不同算法融合结果的客观评价指标Table 3 Objective indicators for residential image of different fusion algorithms

4 总结与展望

为改善现有遥感图像融合算法存在的光谱信息及空间细节信息难以同时保留的问题，本文提出了一种新的结合NSST变换与稀疏表示的图像融合算法，并通过对WorldView-2海边、植被、住宅3组数据实验结果的分析得出：1)基于NSST的图像分解能够有效保留图像的空间细节、结构信息。2)基于结构相似度的稀疏表示加权融合规则，在提高空间分辨率的同时，更有效地降低了光谱失真。3)将NSST与稀疏表示方法相结合用于多光谱图像与全色图像的融合，在保持融合结果分辨率较高的同时光谱保真好，融合图像整体质量上得到了有效提升。在今后的研究中可以考虑采用并行处理进一步提升稀疏表示运算速度。此外，NSST变换不同分解层次对实验结果有不同的影响，分解层次的最优情况是下一步研究的重点。

感谢Liu等[10,11]提供的代码及实验数据的提供者北航数字媒体北京市重点实验室！

[1] GONZALEZ-AUDICANA M,SEALETA J L,CATALAN R G,et al.Fusion of multispectral and panchromatic images using improved IHS and PCA mergers based on wavelet decomposition[J].IEEE Transactions on Geoscience and Remote Sensing,2004,42(6):1291-1299.

[2] LI H,AN W,XU H,et al.Multisensor data fusion method to discern point targets[A].Signal and Data Processing of Small Targets 1997[C].San Diego:Proceedings of the SPIE,1997.575-582.

[3] SHAH V P,YOUNAN N H,KING R L.An efficient pan-sharpening method via a combined adaptive PCA approach and contourlets[J].IEEE Transactions on Geoscience and Remote Sensing,2008,46(5):1323-1335.

[4] EASLEY G,LABATE D,LIM W Q.Sparse directional image representations using the discrete shearlet transform[J].Applied and Computational Harmonic Analysis,2008,25(1):25-46.

[5] ZHANG L,SHEN H,GONG W,et al.Adjustable model-based fusion method for multispectral and panchromatic images[J].IEEE Transactions on Systems,Man,and Cybernetics,Part B:Cybernetics,2012,42(6):1693-1704.

[6] DONOHO D L.Compressed sensing[J].IEEE Transactions on Information Theory,2006,52(4):1289-1306.

[7] LI S,YANG B.A new pan-sharpening method using a compressed sensing technique[J].IEEE Transactions on Geoscience and Remote Sensing,2011,49(2):738-746.

[8] NEJATI M,SAMAVI S,SHIRANI S.Multi-focus image fusion using dictionary-based sparse representation[J].Information Fusion,2014,25:72-84.

[9] WANG W,JIAO L,YANG S.Fusion of multispectral and panchromatic images via sparse representation and local autoregressive model[J].Information Fusion,2014,20:73-87.

[10] LIU Y,LIU S,WANG Z.A general framework for image fusion based on multi-scale transform and sparse representation[J].Information Fusion,2015,24:147-164.

[11] LIU Y,WANG Z.A practical pan-sharpening method with wavelet transform and sparse representation[A].IEEE International Conference on Imaging Systems and Techniques[C].Beijing:IEEE,2013.288-293.

[12] GUO K,LABATE D.Optimally sparse multidimensional representation using shearlets[J].SIAM Journal on Mathematical Analysis,2007,39(1):298-318.

[13] JIANG C,ZHANG H,SHEN H,et al.A practical compressed sensing-based pan-sharpening method[J].IEEE Geoscience and Remote Sensing Letters,2012,9(4):629-633.

[14] WANG Z,BOVIK A C,SHEIKH H R,et al.Image quality assessment:From error visibility to structural similarity[J].IEEE Transactions on Image Processing,2004,13(4):600-612.

[15] QU X B,YAN J W,YANG G D.Multifocus image fusion method of sharp frequency localized Contourlet transform domain based on sum-modified-Laplacian[J].Optics and Precision Engineering,2009,17(5):1203-1211.

[16] TU T M,HUANG P S,HUNG C L,et al.A fast intensity-hue-saturation fusion technique with spectral adjustment for IKONOS imagery[J].IEEE Geoscience and Remote Sensing Letters,2004,1(4):309-312.

[17] PRADHAN P S,KING R L,YOUNAN N H,et al.Estimation of the number of decomposition levels for a wavelet-based multiresolution multisensor image fusion[J].IEEE Transactions on Geoscience and Remote Sensing,2006,44(12):3674-3686.

[18] RAHMANI S,STRAIT M,MERKURJEV D,et al.An adaptive IHS pan-sharpening method[J].IEEE Geoscience and Remote Sensing Letters,2010,7(4):746-750.

[19] YANG B,LI S.Multifocus image fusion and restoration with sparse representation[J].IEEE Transactions on Instrumentation and Measurement,2010,59(4):884-892.

[20] ALPARONE L,BARONTI S,GARZELLI A,et al.A global quality measurement of pan-sharpened multispectral imagery[J].IEEE Geoscience and Remote Sensing Letters,2004,1(4):313-317.

A New Algorithm for Remote Sensing Image Fusion Based on NSST and Sparse Representation

JIN Yi-ru1,YANG Xue-zhi1,2,DONG Zhang-yu1,ZHENG Xin2,LI Guo-qiang2

(1.SchoolofComputerandInformation,HefeiUniversityofTechnology,Hefei230009; 2.ScienceandTechnologyonElectro-opticControlLaboratory,Luoyang471009,China)

In order to remain both spatial and spectral information in remote sensing image fusion,a novel method based on a combination of Non-Subsampled Shearlet Transform (NSST) and Sparse Representation (SR) is presented.Firstly,source images are decomposed into low-pass and high-pass subbands by NSST,based on its characteristics of flexible multiscale,multidirection,and shift-invariant.Secondly,due to the characteristic of the SR effectively capturing the structural features of image,a weighted fusion rule based on the structure correlation coefficients of the SR is adopted in the low-frequency components to reduce spectral distortion,while a method based on Sum-Modified-Laplacian is adopted in the high-frequency components to preserve detail information.Finally,the fusion result is reconstructed by the inverse NSST and the inverse IHS transform.The proposed method is verified by WorldView-2 source data in separate scenes.Experimental results show that the proposed method can obtain better performance than the fusion methods based on IHS,AIHS,IHS-WV,IHS-WV-SR and IHS-NSST,whether in visual or indicator parameters.

image fusion;multispectral image;panchromatic image;NSST;sparse representation

2015-10-14；

2015-12-05

国家自然科学基金项目(61371154、41076120、61271381、61102154)；光电控制技术重点实验室和航空科学基金联合资助项目(201301P4007)；中央高校基本科研业务费专项资金资助项目(2012HGCX0001)；中央高校基本科研业务费专项资金资助项目(2014HGBZ0362)；合肥工业大学青年教师创新项目(2015HGQC0193)

金益如(1993-)，女，硕士研究生，研究方向为图像融合。*通讯作者E-mail:xzyang@hfut.edu.cn

10.3969/j.issn.1672-0504.2016.02.012

TP751

A

1672-0504(2016)02-0060-07