新型高光谱图像的超分辨率制图方法

王群明，王立国，刘丹凤，王正艳

(哈尔滨工程大学信息与通信工程学院，150001 哈尔滨)

新型高光谱图像的超分辨率制图方法

王群明，王立国，刘丹凤，王正艳

(哈尔滨工程大学信息与通信工程学院，150001 哈尔滨)

由于高光谱图像的应用在很大程度上受限于其较低的空间分辨率，为此提出了一种结合支持向量机和小波变换的高光谱图像超分辨率制图方法.先对高光谱图像进行光谱解混得到分量图，然后对分量图进行一级小波分解.各局域窗内中心像元的3个高频系数与邻域像元低频系数之间的对应关系表示为训练样本，用于支持向量机的学习.训练好的模型用来对低分辨率图像即分量图进行超分辨率制图.实验表明，这种借助小波变换来获取训练样本的学习方法无需先验信息，相比采用BP神经网络学习的方法，支持向量机的超分辨率制图效果更佳.

高光谱图像;超分辨率制图;小波变换;支持向量机

高光谱图像(Hyperspectral imagery，HSI)的光谱分辨率很高，但空间分辨率较低，混合像元普遍存在，这给其相应的应用带来了极大的困难.为提高HSI空间分辨率，可以从硬件途径或采用图像处理技术等.硬件上主要是通过减小感光元件尺寸、增加像元密度和采样频率，但由于造价昂贵使得这一途径难以实现.因此采用图像处理技术提高HSI的空间分辨率已成为遥感领域非常活跃的课题.

鉴于HSI的高光谱分辨率特性，自20世纪90年代以来，大量学者开展了关于光谱解混［1］(简称为解混)方法的研究.这推动了对解混分量图的超分辨率制图技术的发展.文献［2］利用高分辨率的图像来锐化低分辨图像即解混分量图.文献［3］通过融合高分辨率图像来获得超分辨率结果.文献［2］和［3］中均需附加的高分辨图像.Atkinson［4］所提出的空间相关性理论假定像元内地物分布与邻域像元密切相关.以此理论为基础，文献［5－6］采用Hopfield神经网络(HNN)模型作为能量工具，对输出的神经元采用约束能量最小的原则求解超分辨率结果.但该方法需大量的迭代求解时间.针对这一不足，文献［7］通过高分辨率图像来学习混合像元内地物分布与邻域像元内各类分量值之间的对应关系，来训练BP神经网络(BPNN)，训练好的网络便可快速地用于实现解混分量图的超分辨率制图.文献［8］对高分辨图进行小波分解，用BPNN学习小波分解后局域窗内中心像元的3个高频系数与邻域像元低频系数之间的对应关系，训练好的网络用于预测低分辨率图的小波系数，进而获得超分辨率结果.同样，文献［8］和［9］亦需附加的高分辨图来构建训练样本，而这些先验信息在实际应用中一般是很难获取的，这在一定程度上限制了这些方法的应用.

然而对于小波变换而言，不同尺度之间的高频系数和低频系数均存在着明显联系［9－10］.大尺度下低频系数与3个高频系数之间的对应关系可用来描述小尺度下的这种关系.根据这一特点，本文对低分辨率图进行一级小波分解，将这种对应关系表示为训练样本，利用低分辨率图自身的空间信息，消除对先验信息的依赖.此外，由于BPNN模型具有以下缺点:1)模型预测准确度与初始化网络权值有关，而随机的初始化使得输出具有不确定性;2)收敛速度偏慢，而且极易陷入局部最优;3)模型的训练效果依赖于大量的训练样本，而这些样本在实际应用中很难充分获取.为此，本文采用对高维度、小样本、非线性等模式识别问题具有高性能学习能力的支持向量机(support vector machine，SVM)［11］来进行学习，以获得更佳的超分辨率制图效果.

1 原理与方法描述

1.1 基于小波变换的训练样本提取

二维图像的小波分解是采用小波变换将1幅图像分解成1幅低频图像和3幅高频图像.设Fj表示经j层小波分解后的低频图，Fj经j+1层分解后的低频成分为Fj+1，三幅高频图即水平、垂直和对角方向分为Hj+1、Vj+1和Dj+1.图1为小波分解示意图.有关小波变换的具体原理可参考文献［9］.

图1 二维图像小波分解示意

由于图像经Haar小波分解后得到的低频成分等于该图经均值滤波器重采样后所得的低分辨率图，因而，Haar小波建立了低频成分和解混分量图之间的联系.本文采用Haar小波对解混分量图F0进行一级小波分解，得到4个小尺度的成分F1、H1、V1和 D1，用来构造三组不同的训练样本，它们有着相同的输入I.根据空间相关性理论假定的像元内地物分布与邻域像元密切相关，I可表示为下式:

在小波变换中，不同尺度之间的高频系数和低频系数均存在着明显联系［9-10］.大尺度下局域窗内邻域像元的低频系数与中心像元的3个高频系数之间的对应关系和小尺度下的相似.这样，从分量图F0所获取的大尺度下的训练样本可用于预测自身(大尺度)的3个高频部分H0、V0和D0，再经小波合成便能得到F0的高分辨率结果.可以看到，训练样本数据均源自解混分量图F0的小波变换，挖掘了低分辨率图自身的空间信息，无需其它先验信息.

1.2 基于SVM的超分辨率制图

在获得训练样本后，可用于智能学习机的学习.SVM能够有效处理高维度、小样本、非线性等模式识别问题，关于其优良的学习能力已不乏大量的文献叙述，本文使用SVM来进行学习.有关SVM理论的介绍可参考文献［11－12］，此处重点叙述基于SVM的超分辨率制图方法.

三组训练样本用来训练3个不同的SVM模型，具体如图2所示.训练好的SVM用来预测测试样本的 3 个输出高频成分即水平成分 O、垂直成分 O和对角成分 O.测试样本输入 I为

图2 基于SVM的超分辨率制图流程

2 仿真实验和结果分析

为了验证本文提出的超分辨率制图方法，进行了3组实验.其中，采用BPNN和SVM学习方法时，对样本进行了归一化处理(如式(1)和(2)).BPNN参数设置同文献［7］，SVM采用高斯核函数，惩罚因子设为1 000，核参数在前两组实验中取2，第3组实验中取1.3.

第1组实验采用1幅南京市某局部地区的水体分布图，如图3(a)所示.该图通过对原始彩色图进行最大似然分类后获得，原彩图可参考:http://www.ceode.cas.cn/txzs/dxyy/.图中包括两个类别:白色水体目标和黑色背景，大小为96×96像元.进行2倍的重采样处理，即每2×2个像元模糊为1个低分辨率像元，所得低分辨率图如图3(b)所示.可观察低分辨率图中目标和背景类的交界部分呈现大量的混合像元.采用BPNN和SVM结合小波变换方法进行2倍的超分辨率制图，所得结果分别展示于图3(c)和(d)所示.不难发现，两种超分辨率方法的视觉效果均明显优于图(b)，地物轮廓得到了更为清晰的重现，这也说明了基于小波变换的样本提取方法是合理可行的.同时，SVM相比BPNN方法的效果更佳，所得结果在视觉上最接近于真实高分辨率图.

表1给出了各种方法与真实高分辨率图之间的均方根误差(root mean square error，RMSE)和相关系数(correlation coefficient，CC)［7］的评价.对比几项数据，发现BPNN和SVM这两种超分辨率方法的结果的相比低分辨率图有着更高的CC和更低的RMSE，表明两种方法均在一定程度上提高了分辨率，亦证明了采用小波变换进行训练样本提取的方法的合理性.此外，SVM方法有着最低的RMSE和最高的CC(表1中最下一行数据)，意味着该方法结果最接近真实高分辨率图，因而从定量分析的角度证明了本文方法的优势.

图3 实验一结果

表1 实验一各种方法的定量评价

后两组实验对某HSI数据进行.该HSI为拍摄的圣地亚哥军事图像，大小为400×400像元，共126个波段.图4展示了由该立方体数据的第28、19和10三个波段合成的伪彩色图像.此处采用了文献［7］的实验方法，整个流程如图5所示.先对HSI立方体数据进行逐波段的重采样，获得低分辨率下的HSI数据，再对此数据进行光谱解混［13］与超分辨率制图，将所得结果与参考分量图即高分辨率结果进行对比评价.这样的处理是为了对各种方法有1个客观和定量的比较评价.实验中的重采样比例及超分辨率比例均取2.

图4 由HSI数据第28，19和10波段合成的伪彩色图

图5 实验2和实验3流程

第2组实验中，选取HSI的左上角某区域(如图4中方形标注A部分)进行实验.该区域覆盖两种地物:沙土和沥青，区域大小为100×100像元.图6(a)和(b)分别展示了两种地物的参考分量图和低分辨率分量图.图6(c)和(d)则分别展示了BPNN和SVM学习方法的超分辨率制图结果.通过视觉对比可看出两种超分辨率制图方法的有效性，相比图6(b)，两种方法的结果中更多的边缘细节信息得到了显示，且相比BPNN，SVM方法的结果中边缘更为清晰.表2给出了该组实验中各种方法与参考分量图之间的RMSE和CC.通过对比，同样发现BPNN和SVM两种超分辨率制图方法的结果相比低分辨率图更接近参考分量图，且SVM方法的结果最佳.

图6 实验二结果(左列:沙土;右列:沥青)

表2 实验2各种方法的定量评价

第3组实验选取中间某区域(如图4中方形标注B部分)进行了实验，区域大小为60×60像元.该区域覆盖3种地物:水泥、沥青和沙土.图7(a)和(b)分别为3种地物的参考分量图和低分辨率分量图.图7(c)和(d)分别为BPNN和SVM方法的超分辨率结果.通过视觉对比同样可看出三类地物超分辨结果中，SVM方法的效果最佳，边缘细节得到了最为清晰的展示，最接近参考分量图.表3列出了几种方法的数据评价，通过分析比较，亦能证明SVM方法有着最优的效果.此组实验进一步证明了本文方法的合理性及优势所在.

图7 实验3结果(左列:水泥;中列:沥青;右列:沙土)

表3 实验3各种方法的定量评价

3 结论

本文提出了一种结合SVM和小波变换的HSI超分辨率制图技术，借助小波变换挖掘低分辨率图自身的空间信息并提取训练样本，使得无需其他先验信息.利用SVM在学习能力上的优势，学习训练样本所描述的信息，并用于低分辨率的分量图的超分辨率制图.实验证明了本文方法的可行性及在精度上的优势.

光谱解混是对HSI光谱信息的挖掘，作为一项前期处理技术，其效果的好坏直接影响着后期的超分辨率制图.今后的工作中，一方面研究如何更充分地利用HSI的光谱信息，去提升与完善光谱解混技术;另一方面，更大程度地去挖掘低分辨率图自身的空间信息，提取更多更合理的训练样本以用于SVM的训练学习之中，获得更佳的超分辨率制图效果.

［1］KESHAVA N，MUSTARD J F.Spectral unmixing［J］.IEEE Signal Processing Magazine，2002，19:44 －57.

［2］FOODY G M.Sharpening fuzzy classification output to refine the representation of sub-pixel land cover distribution［J］.International Journal of Remote Sensing，1998，19(13):2593－2599.

［3］GROSS H N，Schott J R.Application of spectral mixture analysis and image fusion techniques for image sharpening［J］.Remote Sensing of Environment，1998，63(2):85 －94.

［4］ATKINSON P M.Innovations in GIS 4［M］.London:Taylor＆ Francis，1997.

［5］TATEM A J，LEWIS H G，ATKINSON P M，et al.Super-resolution target identification from remotely sensed images using a Hopfield neural network［J］.IEEE Transactions on Geoscience and Remote Sensing，2001，39(4):781－796.

［6］LING F，DU Y.Super-resolution land-cover mapping using multiple sub-pixel shifted remotely sensed images［J］.International Journal of Remote Sensing，2010，31(19):5023－5040.

［7］GU Y，ZHANG Y，ZHANG J.Integration of spatialspectral information for resolution enhancement in hyperspectral images［J］.IEEE Transactions on Geoscience and Remote Sensing，2008，46(5):1347－1358.

［8］MERTENS K C，VERBEKE L P C，WESTRA T，et al.Sub-pixel mapping and sub-pixel sharpening using neural network predicted wavelet coefficients［J］.Remote Sensing of Environment，2004，91(2):225 －236.

［9］MALLAT S G，HWANG W L.Singularity detection and processing with wavelets［J］.IEEE Transactions on Information Theory，1992，38(2):1617－1643.

［10］DAI X，GUO Z，ZHANG L，et al.Subpixel mapping on remote sensing imagery using a prediction model combining wavelet transform and radial basis function neural network［J］.Journal of Applied Remote Sensing，2009，3(1):1－15.

［11］VAPNIK V N.The nature of statistical learning theory［M］.New York:Springer Press，NY，1995.

［12］WANG L，JIA X.Integration of soft and hard classification using extended support vector machine［J］.IEEE Geoscience and Remote Sensing Letters，2009，6(3):543－547.

［13］HEINZ D，CHANG C I.Fully constrained least squares linear spectral mixture analysis method for material quantification in hyperspectral im agery［J］.IEEE Transactions on Geoscience and Remote Sensing，2001，39(3):529－545.

(编辑 张 宏)

A novel Super-resolution mapping method for hyperspectral imagery

WANG Qun-ming，WANG Li-guo，LIU Dan-feng，WANG Zheng-yan

(College of Information and Communications Engineering，Harbin Engineering University，150001 Harbin，China)

The application of hyperspectral imagery(HSI)is quite limited to its low spatial resolution.A new method for super-resolution mapping of HSI is proposed using support vector machine(SVM)and wavelet transform.Firstly，spectral unmixing is processed for HSI and the fraction images are obtained.Then the wavelet decomposition is processed on these fraction images.In the local window，the relation between the three high-frequency coefficients of the center pixel and low-frequency coefficients of neighbour pixels are described by training samples，which are used for the learning process of SVM.The trained SVM models are utilized to predict the super-resolution mapping results of the coarse resolution images，i.e.，the fraction images.Experiment results show that using wavelet transform can eliminate the dependence on prior information，and compared with the learning method based on BP neural network，SVM can produce higher accuracy super-resolution mapping results.

hyperspectral imagery(HSI);super-resolution mapping;wavelet transform;support vector machine

TP751

A

0367－6234(2012)07－0092－05

2011－03－23.

国家自然科学基金资助项目(60802059);教育部博士点新教师基金资助项目(200802171003).

王群明(1988—)，男，硕士研究生;

王立国(1974—)，男，教授，博士生导师.

王群明，wqm11111@126.com.