多波段遥感影像锐化方法研究进展

陶兢喆,宋德瑞,宋传鸣,王相海1,*

1. 辽宁师范大学地理科学学院,辽宁 大连 116029 2. 辽宁师范大学计算机与信息技术学院,辽宁 大连 116081 3. 国家海洋环境监测中心,辽宁 大连 116023

引 言

目前以遥感影像为基本数据类型的对地观测信息成为了监测和分析地球环境及资源的有力手段,已广泛应用于农林、地质、水文、海洋、气象、军事等领域,对人类的生产和生活产生了深远影响。在遥感影像中,多波段遥感影像是指宽波段入射光信号经过遥感平台中的分光元件所形成的反映不同的窄波段区间信息的三维影像集合,其包含二维空间信息和一维光谱信息,其中空间信息反映场景中的几何特性,由单个波段影像内容体现;光谱信息对应物体在不同波段的电磁波特性,由各波段影像对应位置处的像素所体现。多波段影像因传感器类型不同进一步可分为由若干个波段构成的多光谱(multispectral,MS)影像和由上百个波段构成的高光谱(hyperspectral,HS)影像。与单波段的全色(panchromatic,PAN)影像相比,MS或HS影像在提升了属性信息获取能力(光谱分辨率)的同时,其几何信息获取能力(空间分辨率)往往受限和下降,这种空间-光谱分辨率间的矛盾是由成像设备本身的机理决定的[1-2],例如,由EO-1卫星搭载的首颗星载高光谱成像仪Hyperion的空间分辨率为30 m,而同平台搭载的高级陆地成像仪的空间分辨率为10 m;典型的高空间分辨率商用卫星如GeoEye、WorldView等系列的MS和PAN传感器空间分辨率则分别在米级和亚米级。

近年来,随着遥感应用领域的深入和拓展,人们对遥感影像的空间分辨率提出了更高的需求。我国于2010年实施的“高分专项”,即高分辨率对地观测系统重大专项,体现了国家对有关问题的高度重视。该项目的实施全面提升了我国自主获取高分辨率观测数据的能力,并加快了我国空间信息应用体系的建设和相关产业的发展。然而,由于上述空间-光谱分辨率矛盾的缘故,同时具备高空-谱分辨率的遥感影像理论上难以通过现有硬件技术手段直接获取,而同时遥感影像相对而言也始终存在改善空间分辨率的可能性。这样通过软件方法对低分辨率(low resolution,LR)的遥感影像进行增强使其达到高分辨率(high resolution,HR)的方法被提出并受到重视[3-5]。这种为弥补遥感影像空间信息采集的不足,利用辅助影像增强其空间分辨率的过程被称为遥感影像的锐化(sharpening)。

尽管目前遥感影像的锐化研究已有超过30年的历程,但仍是遥感影像处理领域最富有挑战性的一个前沿方向,其中的许多关键问题仍有待被进一步探索和解决。本文对多波段遥感影像锐化方法的研究进展进行综述,首先对多波段遥感影像锐化的内涵进行了表述;然后以MS影像的全色锐化为主要视角对其研究进展进行分析和讨论;随后再对HS影像的锐化特点和一些特有方法进行归纳;最后对多波段遥感影像锐化方法发展现状进行讨论并展望未来。

1 多波段遥感影像锐化涵义

为了弥补多波段遥感影像空间信息采集不足的问题,自1986年的SPOT-1卫星起,MS遥感平台普遍几乎会同时(根据技术手段的不同,实际成像过程可能存在微小的时间差)获取MS和PAN影像。由于彼此配准且排除了拍摄姿态和时相因素等成像条件差异的影响,从而为后期通过影像处理手段对上述影像进行空-谱信息间的互补奠定了基础。在尽可能保留LR MS影像光谱信息的同时,利用与之配准的HR PAN影像增强其空间信息,从而得到HR MS影像的方法通常被称为 “全色锐化”(Pan-sharpening)。在全色锐化的基础上,近年来有学者探索了少数卫星/传感器,如哨兵2号(Sentinel-2)所获取的MS多空间分辨率波段影像间的锐化[6]。图1以MS影像的全色锐化为例,展示了遥感影像锐化对应的信源及输出影像的视觉效果差异。其中MS影像为3波段彩色合成方式显示,图1(a)中的LR MS影像经过了插值以便查看,所用数据来自高分二号卫星(GF-2)。

图1 遥感影像的锐化示例:MS影像的全色锐化(a):LR MS;(b):PAN;(c):HR MSFig.1 Sharpening example of remote sensing image:pan-sharpening of MS image

继MS的全色锐化之后,人们将其扩展至HS影像,利用辅助影像PAN、MS,甚至HS影像进行HS影像的锐化研究,也被称之为“超锐化”(Hyper-sharpening)。HS影像的锐化作为近几年刚起步的研究领域,可认为是对MS锐化研究在理论层面上的自然扩展。尽管目前总体上仍缺乏能够同时获取HS影像和与之成像条件匹配的HR辅助影像的遥感平台,该问题的兴起亦催生了诸如“HISUI”[7]、“PRISMA”[8]及“SHALOM”[9]等同时提供“HS-MS”或“HS-PAN”配准影像的遥感项目的研究。

上述多波段影像的锐化不同于传统影像处理中边缘信息的“锐化”,前者除了可以提升遥感影像的视觉效果外,基于互补遥感影像信息间所具有的相对合理的物理意义,对于遥感影像后继各类定性或定量化应用具有重要的实际意义。

2 多光谱遥感影像锐化研究动态分析

在有关文献中,锐化 (sharpening) 亦常被表述为“融合(fusion)”、“超分辨率(super-resolution)”和“分辨率增强(resolution enhancement)”等术语,以上述关键词在5种具有一定代表性的遥感出版物(分别为IEEE Transactionson Geoscience and Remote Sensing、IEEE Geoscience and Remote Sensing Letters、IEEE Journal of Selected Topics in Applied Earth Observations and Remote Sensing、IEEE Geoscience and Remote Sensing Magazine和ISPRS Journal of Photogrammetry and Remote Sensing)中对近20年相关文献发表总数进行统计(截止至2022年9月),结果如图2所示。

图2 锐化研究相关文献发表数量统计Fig.2 Statistics on the number of publications related to sharpening research

由图中数据可知,针对有关遥感影像锐化的研究成果总体呈逐年上升趋势。

综合目前已有的多光谱遥感影像锐化方法[5],以算法实现的技术为脉络,分别从基于成分替代(component substitution,CS)、基于多分辨率分析(multi-resolution analysis,MRA)、基于最优化模型(optimization model,OM)和基于深度学习(deep learning,DL)四个方面对多光谱遥感影像锐化方法的研究进展进行分析和讨论。

2.1 基于成分替代的锐化方法

基于成分替代(CS)类方法的出发点是基于MS影像中包含了与其对应的PAN影像相一致但分辨率较低的空间成分这一理论基础而进行的。因此,其基本原理是利用某种光谱变换从经过插值的MS影像中分离出该成分并用PAN影像对其进行替代,随后进行逆变换以实现在结果中对两者优势信息的整合(图3)。一些开创性的全色锐化方法通常可归为此类[5]。根据光谱变换的不同,早期的典型方法包括亮度-色调-饱和度(intensity-hue-saturation,IHS)变换、Brovey变换(Brovey transform,BT)、主成分分析(principal components analysis,PCA)变换和格拉姆-施密特(Gram-Schmidt,GS)正交变换等。

图3 基于CS的全色锐化典型流程Fig.3 Typical process of CS-based pan-sharpening

一般而言,CS类方法计算复杂度低且易于实现,经此类方法锐化后的空间视觉质量相对较好。空间成分的直接替代可较好地去除LR MS影像本身可能存在的频率混叠(aliasing)现象,且影像视觉质量相对而言不易受空间匹配失准的影响[2]。由于实用性较高,在常见的ERDAS、ENVI等大多数遥感影像平台均集成了此类方法。但该类方法总体上存在如下主要缺点:对光谱信息的保持能力一般相对较差,替代与被替代成分之间由于光谱信息的不匹配,会导致局部亮度差异、对比度反转等现象,从而引起光谱扭曲。

在CS类方法的改进工作中,一些工作侧重于光谱变换本身的研究,如解决彩色空间变换适用波段数的问题、改善非线性IHS变换的颜色溢出问题、引入非线性PCA等。其中,得益于Tu等[10]的效率扩展工作,基于线性光谱变换的CS方法往往可采取通用的公式化形式进行概括,用恰当的注入方式取代显式的光谱变换过程,进而提高效率。按照文献中的常用符号表示[2,5],该通用公式可表示为

(1)

(2)

采用类似式(1)或式(2)形式的方法分别称为基于加性注入或乘性注入规则的方法,简称加性或乘性方法。不同方法的主要区别在于权重和增益的设置。

公式化后的CS方法主要改进方向是减小替代与被替代成分间的差异从而提高两者信息匹配的程度。典型工作包括:利用最小二乘法计算PAN与MS影像之间线性组合权重的自适应GS方法(GS adaptive,GSA)[11];根据MS与PAN影像间的信息关联情况(相关系数),采取部分替代策略的自适应CS方法(partial replacement adaptive CS,PRACS)[12];综合考虑权重和增益的计算所形成的波段相关的空间细节(band-dependent spatial detail,BDSD)方法[13]。

有关的更新工作一般围绕通用公式下的具体方法展开,但出于公式化缘故,一些改进思路往往具有一定的普适性,如引入迭代过程的方法[14];采用空间局部化的处理策略[15-16];利用智能算法计算权重[17]等。一些针对典型方法的代表性更新工作包括采用图像分割/聚类引入空间自适应的GS-Segm方法(segmentation-based GS)[16]、空间自适应的非线性IHS(nonlinear IHS,NL-IHS)[15]、以引入物理约束的BDSD(physically constrained BDSD,BDSD-PC)为代表的BDSD相关改进方法[18]等。

2.2 基于多分辨率分析的锐化方法

基于多分辨率分析(MRA)类锐化方法的出发点是认为作为低空间分辨率的MS影像与对应的高空间分辨率的PAN影像相比丢失了高频细节信息,而这部分信息可由PAN影像提供。因此采用多尺度变换或其他空间域滤波从PAN影像中提取高频信息,然后将其注入到MS影像中以实现分辨率的增强。MRA锐化方法一般只改变MS影像的高频成分,而光谱信息(对应能量或亮度)通常集中在低频,因此相比CS方法能更好地实现光谱保持,但其空间质量稍差。早期MRA锐化方法的增强结果在视觉质量上并不尽如人意,比如采用小波变换的方法容易受吉布斯效应(Gibbs effect)影响。

在MRA方法的发展历程上,包含了两种典型处理思路,在早期Schowengerdt的著作[19]中分别对应为基于尺度空间技术的方法和基于空间域技术的方法。前者可追溯至面向广义融合的有关方法,通过分别设计相应的高、低频融合规则,将MS影像的光谱信息和PAN影像的空间信息注入到融合结果中;后者通常遵循结构注入(Amélioration de la Résolution Spatiale par Injection de Structures,ARSIS)的原则[20],在保留MS影像完整信息的情况下,以相对简单的空间域滤波方式从PAN影像提取高频信息,随后注入到经过插值的MS影像中(图4)。与CS方法类似,后一种思路可在避免或减少完整多尺度变换计算的情况下以通用公式的方式进行描述,也是目前MRA锐化方法更为主流的思路,其对应公式见式(3)

图4 两种典型MRA锐化思路示意(a):广义融合;(b):结构注入Fig.4 Diagrams of two typical MRA sharpening ideas(a):Generalized fusion;(b):Structural injection

(3)

式(3)中,PL为P的低通滤波结果。

由式(1)和式(3)可看出,符合对应公式的CS和MRA方法之间联系紧密,具有相互对偶的特点。在较好的优化策略下,两类方法可达到非常接近的质量[4]。而采用有关通用公式的方法也常被统称为基于细节注入模型的方法、基于注入模型的方法、基于通用融合框架的方法和快速锐化方法等。采用此类通用公式表示的CS和MRA方法也被称为基于二代技术的方法[2,5]。

总体而言,MRA方法的主要改进方向在于提高空间质量,其一是采用或引入空间局部自适应策略[21]、尺度间相关性[22]、迭代注入[23]、植被指数[24]等更复杂的注入模型设计[25]或引入相对先进的多尺度变换[26]、空间域滤波方法[27]等途径以更有效地实现细节信息的判别和提取;其二是从传感器成像的物理属性出发,通过利用调制传递函数(module transfer function,MTF)信息[28]或半盲模糊核估计[29]等方式更准确的刻画MS与PAN影像间的空间模糊退化关系。

此外,鉴于上述CS与MRA类方法间的互补特性,一些改进思路可能同时涉及两类方法,如去模糊策略、更准确的直方图匹配策略、对乘性方法引入雾校正机制等;而形成“CS+MRA”的混合(hybrid)方法也是常见思路,如IHS变换与小波变换结合的“加性小波亮度比例法”(additive wavelet luminance proportional,AWLP)[30]、PCA与轮廓波(contourlet)结合[31]、IHS和引导滤波结合[32]、空间PCA和MTF滤波器结合的方法[33]等。有文献指出,大多数的此类混合方法实际可归于采用了特定注入模型的MRA方法[2]。

具有代表性的、获得相对较多更新关注的MRA方法主要包括基于加性的多孔小波(additivetrous wavelet transform,ATWT)[34]、AWLP[35]、MTF信息匹配的通用拉普拉斯金字塔(Generalized Laplacian Pyramid with MTF-matched filter,GLP)[21]、基于高通调制的GLP(GLP with high-pass modulation,GLP-HPM)[25]等方法。

2.3 基于最优化模型的锐化方法

基于最优化模型(OM)的方法,也常称为基于模型(model-based)的方法、基于模型优化的方法、变分优化(variational optmization)方法和贝叶斯(Bayesian)方法等。该类方法往往与涉及超分辨率等典型图像重构反问题(inverse problem)的方法类似,有文献也将其归纳为基于超分辨率范式(paradigm)的方法[3]。一般而言,基于OM的方法从描述待求HR影像与观测影像间退化关系的影像观测模型出发,形成关于上述模型的目标函数(或称能量泛函),并进一步寻求目标函数的极小值来获得对应的锐化结果。由于HR影像的估计问题通常属于病态(ill-posed)问题,需引入关于待求HR影像的正则项(或称先验知识、惩罚项)为目标函数形成额外的约束条件,以保证解的唯一性和稳定性。

在问题建模方面,常以贝叶斯估计或研究泛函极值的变分法[36]为理论建模工具。其中前者的推导过程相对固定,一般以最大化后验概率估计(maximum a posteriori,MAP)的方式建立“以观测影像为样本,求解目标影像的条件概率密度函数的最大化”问题,根据观测模型中的噪声分布假设(通常为高斯白噪声分布)利用贝叶斯公式推导得出待最小化的目标函数;后者所形成的目标函数可能更为灵活,研究者们往往对待求影像的梯度、曲率、纹理等几何信息做出假设,同时通过建立HR-LR影像间的关联性或利用诸如光谱角等某种相似度量方式直接给出空间和光谱信息方面的约束项。近年来两类方法所形成的目标函数形式趋同,事实上两种方法也存在着本质上的联系[37]。通常对应的目标函数形式可描述为

argminx{Fλ(x,y)+FS(x,z)+R(x)}

(4)

式(4)中,x,y和x分别对应待求影像、LR MS影像和PAN影像。Fλ(·)、FS(·)和R(·)分别对应光谱保真项、空间保真项和正则项。

在基于OM的锐化方法中,不同方法的主要区别往往在于对正则项的选取和设计,常见的有信号的高斯分布、全变分(total variation,TV)、稀疏表示等相关内容。但由于建模思路的差异,一些方法未必严格符合式(4),比如可能在正则项中引入PAN信息以取代空间保真项。由于复杂正则项的引入,目标函数整体而言通常不存在闭式解,需利用最优化方法如梯度下降法、交替方向乘子法(alternating direction method of multipliers,ADMM)[38]等迭代求取结果的数值近似解。

该类方法的一些典型工作包括:Ballester等提出了首个面向全色锐化的变分模型[36]。他们在模型中引入空间退化假设、光谱退化假设(MS与PAN影像间的线性组合)的同时通过等高线图来体现信源几何结构的匹配,提出了“P+XS”(即“PAN+MS”)方法;Moeller等在P+XS方法几何匹配项的基础上,把待求结果与小波融合结果的匹配作为约束,提出了基于变分小波的增强方法(variational wavelet pan-sharpening,VWP)及效率更高的AVWP(alternative VWP)方法[39];Zhang等将MAP框架引入小波域[40],使得算法的抗噪声能力得到提升;马尔科夫随机场(Markov random field,MRF)常用于刻画影像像素邻域的空间相关性,Joshi等使用了非匀质高斯MRF(in-homogeneous Gaussian MRF)作为先验[41]。

TV模型在影像处理中的应用非常广泛,其鼓励影像的分段平滑,能够在保留边缘的同时去除噪声。典型的TV相关OM 锐化方法包括一般TV[42]、各向异性TV[43]、增强TV[35]、动态TV[44]、空-谱TV[45]、加权或方向TV[46]、二阶TV[47]等。一些复杂程度更高的几何项如描述局部曲率的海森矩阵(Hessian)、分数阶几何项等也被研究者考虑。

此外,许多方法将信号潜在的非局部相似[48]、低秩[49]或稀疏属性[50]等作为约束。其中,随着近年来压缩感知理论的兴起,以过完备字典学习为代表的稀疏表示方法是OM方法中常见的一大类别,意味着将HR MS影像表示为能够反映影像局部通用结构信息的字典元素(即原子,通常对应影像块形式)的稀疏线性组合。字典的训练和稀疏编码环节通常相对一致,前者往往通过K奇异值分解(K-singular value decomposition,K-SVD)、在线字典学习等方法得到,后者则基于基追踪、正交匹配追踪(orthogonal matching pursuit,OMP)、同步OMP(simultaneous OMP)等方法实现。基于稀疏表示的各类方法主要区别之一在于字典的设计。在训练样本类型或字典类型方面,典型思路有采用与观察影像无关的外部训练样本、以观测影像的初始锐化结果为训练样本;视影像块最近邻集合为字典、过完备学习字典与小波等正交基函数组成的混合字典、光谱字典、多尺度字典等。卷积稀疏编码技术[51]近年来也被采用,其原理与下文涉及的卷积神经网络有一定关联。

近年来随着ADMM等交替优化技术在各类影像重构问题中的发展,兴起了采用即插即用(plug and play,PnP)技术路线[52]的OM方法,可以有效地引入三维块匹配滤波(block-matching and 3D filtering,BM3D)[53]、K-SVD等成熟去噪方法解决目标优化问题,避免陷入对复杂正则项设计的过度关注。Teodoro等[54]以PnP的方式在正则项中引入了场景自适应的高斯混合模型(Gaussian mixture models,GMM)。

OM类锐化方法在具有较高的设计灵活度、算法通用度和综合质量的同时,也存在着算法复杂度高、参数不易选取、运行时计算量高昂的问题。

2.4 基于深度学习的锐化方法

基于深度学习(DL)的锐化方法近几年来开始流行,主要是利用起源于神经科学研究的人工神经网络,尤其是利用近年来兴起的基于DL的自编码器(autoencoder,AE)[55]、卷积神经网络(convolutional neural network,CNN)[56]、生成对抗网络(generative adversarial network,GAN)[57]等,通过大规模样本训练出具备一定泛化能力的网络模型参数来建立输入、输出影像间的非线性映射关系。由于真实的训练样本无法获取,通常采用模拟退化的方式生成LR-HR配对的训练样本[5]。

在典型的CNN网络结构中,除最初的输入层及最后的输出层外,中间的各层通常以 “卷积层+非线性激活层”为类似的基本模块组成整体的网络结构。在训练环节,各卷积层所对应卷积核中的参数更新是网络模型训练的核心部分,而非线性激活层所对应的激活函数(如修正线性单元,即rectified linear unit,ReLU[58])则为网络模型引入了非线性要素。在网络训练过程中,需在输出层后追加损失函数(loss function)作为更新依据,而损失函数实际与OM方法中的目标函数相对应。在每次迭代中,输入的训练样本由前向后逐层完成运算,通过随机梯度下降等优化方法对损失函数所得梯度依据链式法则进行反向传播,即从后往前依据各层的学习率(对应步长因子)逐层地更新有关参数,直至模型收敛。在测试环节则是直接以黑盒的形式使用训练好的网络模型,输入待测试影像并输出结果。模型参数通常固定,无法感知输入影像在网络内部的中间状态。基于DL的全色锐化一般流程如图5所示。

图5 基于DL的全色锐化一般流程Fig.5 General process of DL-based pan-sharpening

与基于OM的锐化方法类似,相对较早的DL类锐化方法的设计思路同样较多地受到超分辨率领域有关方法的影响,一些方法直接利用或沿用了典型的超分辨率DL方法或网络设计结构,如超分辨率卷积神经网络(super-resolution CNN,SRCNN)。其中,Huang等[59]于2015年在稀疏去噪AE的基础上,提出了首个DL的锐化方案;Zhong等[60]利用SRCNN改进了GS方法中的MS影像插值结果;Masi等[61]在SRCNN网络结构的基础上,提出了首个专门面向MS影像全色锐化的全卷积网络,即全色锐化神经网络(pansharpening neural network,PNN)方法,获得了较高的质量评价。

在DL锐化方法后继的发展方向中,往往倾向于引入更深层、更复杂的网络结构,如残差网络[56]、多尺度网络[62]、稠密连接网络[63]、GAN[64]、双流网络[65]、自注意力机制[66]、交叉特征融合网络[67]、面向HS影像的3D网络[68]等;或是与OM、细节注入类方法结合,如将深度先验嵌入OM方法[69]、将模型迭代计算过程用网络层的模块形式表达的深度展开网络等[70]。此外,对损失函数的改进也是一类较受关注的方向[71]。

相比基于OM的锐化方法,基于DL的锐化方法具有高效的运行时效率,且由于深层网络及非线性要素的引入使得该类方法在理论上能够达到超越传统方法的质量,在影像处理等领域也普遍获得了极高的关注度,近几年来也逐渐被应用于锐化问题的研究中。尽管颇具潜力,但此类方法往往因训练时长、参数调节和硬件算力要求等使其在现阶段的研究门槛偏高。此外,难以有效获取的真实训练样本、受限的泛化能力以及仍待挖掘的理论完备性也是此类方法面临的主要问题。

3 高光谱遥感影像锐化研究动态分析

与多光谱(MS)影像相比,高光谱(HS)影像存在如下特点:一是光谱维数及波段间信息冗余度高。典型的MS影像波段数为4、8或12,但常见的HS影像波段数为200左右,这将导致计算开销明显增加;同时HS影像的波段间(尤其是相邻波段)相关性较大,经PCA变换后,通常绝大多数信息集中在前几个主成分分量当中。二是HR辅助影像的多样化。MS影像的HR辅助影像通常仅对应PAN影像,且后者分辨率往往为前者的4倍。相比之下,PAN、MS影像(含RGB彩色影像)都有成为HS影像的HR辅助影像的可能,且主、辅影像间分辨率倍数关系也未必是4。三是与常见类型的HR辅助影像的光谱范围差异大。PAN、MS影像的波长范围通常为450～800 nm,一般限于可见光或可见光-近红外(visible and near-infrared,VNIR)区间;HS影像波长范围则一般为400～2 500 nm,覆盖VNIR和短波红外(short wave infrared,SWIR)区间。

尽管针对HS影像的主要锐化方法同样从属于CS、MRA、OM和DL 四类方法,由于HS影像存在的上述特点,许多MS全色锐化方法不能直接被有效地应用于HS锐化问题。这意味着HS锐化研究的常用方法类型与侧重点通常与MS全色锐化有所不同。

总体而言,在有关HS锐化的研究中往往更倾向于采用对多波段支持更为灵活的OM方法。除了前面第2节中提到的文献[40,45]等部分工作外,Hardie和Eismann等[72]在2004年最早地提出了基于OM的HS锐化方法,使用多元正态分布作为先验分布,先后建立了两个随机模型来分别刻画像素的局部关联和线性混合属性。此外,与MS全色锐化相比,光谱信息的保持往往对于HS锐化而言更为关键。先验设计通常围绕光谱信息展开[73-75]。

针对HS影像数据维度高的特点,通常采用子空间变换[76-77]的方式对HS影像降维,使得传统MS锐化方法能够形成有效扩展,避免维度灾难。其中的典型方法包括基于PCA域的引导滤波锐化方法(guided filtering in PCA domain,GFPCA)、稀疏表示方法、基于子空间矢量TV的HySure方法(hyperspectral image superresolution via subspace-based regularization,HySure)以及文献[54]等。

除子空间外,另一种常见的MS锐化向HS锐化的扩展思路是基于波段匹配[78]的方式(图6),主要用于解决辅助HR影像的多波段及信源间光谱差异大的问题。其中,Chen等[79]以扩展框架的形式,在光谱范围相关性的基础上对HS波段分组及插值使得每组HS波段与MS波段一一对应,每个分组对应一个全色锐化子问题;Selva等[78]所提出的框架更具一般性,对辅助影像的波段数及光谱范围的重叠情况均不做限定,为每个HS LR波段从HR辅助影像中以选择或合成的方式形成相应的辅助波段。Picone等[80]进一步对波段选择的标准进行了更为深入的讨论。

图6 常见的两类高光谱数据预处理手段(a):波段匹配;(b):子空间变换Fig.6 Two common preprocessing methods for hyperspectral data(a):Band matching;(b):Subspace transformation

考虑到HS影像自身的三维特性和信息的冗余特性,除DL方法中提到的使用3D卷积核的方法[68]外,一些方法利用张量表示[81]对HS影像进行变量描述和特性分析,避免了用二维矩阵描述时波段数据向量化造成的空间信息丢失问题等。文献[82]则利用隐马尔可夫森林模型探索了HS影像的变换域空-谱系数统计特性。与相对更追求算法实用性的子空间方法相比,此类方法更倾向于理论层面的探索。

解混(unmixing)是HS影像的一类重要且特有的应用。此类应用通过非负矩阵分解(non-negative matrix factorization,NMF)[83]、顶点成分分析(vertex component analysis,VCA)[84]等解混方法将HS影像分解为端元矩阵与丰度矩阵的乘积,其中前者象征纯净地物类型的光谱曲线,反映光谱信息;后者为地物组成比例,反映空间信息。由于其目的是获取亚像素级别的地物组成信息,与HS影像的锐化目的具有一定相关性,于是有许多HS锐化方法与之结合。其中一些方法以迭代解混的过程与锐化过程结合,典型方法包括Robinson等对解混和分辨率增强的先后顺序展开的早期的探索[85];Yokoya等[77]提出的耦合NMF(coupled NMF,CNMF)方法,以交替解混的方式实现HS与MS影像间的空-谱信息互补;Bendoumi等[86]进一步将影像划分为子块,以局部解混的方式改善误差并降低计算开销。另一类思路是以OM为基础,将解混有关的内容与正则项结合。需要指出的是,解混本身也是一种子空间变换或探索信号低秩特性的过程[76]。典型方法如将端元视为光谱字典中的原子,在丰度图上探索待求信号的局部或非局部性质等。此外,有文献在将超分辨率DL方法用于HS锐化时,将基于NMF思路的方法用于改善结果的光谱质量[87]。Kim等[88]则以CNMF方法的结果为初始解,针对信源光谱范围重叠较小的问题展开了研究。

4 锐化方法的发展现状讨论

近几年来,随着硬件条件及有关学科理论与方法的进步,影像处理领域中以OM和DL为代表的新型方法不断涌现,明显地提高了自然影像超分辨率、去模糊、去噪等典型问题的处理水平。相关研究的进步与流行也对遥感影像锐化产生了深刻影响,许多新的研究工作开始立足于上述两类方法。然而,相对传统的CS和MRA方法仍吸引着大量关注,近年来仍不断有相关的研究工作提出。结合一些数年来相对权威的锐化综述类文献及著作[2,4-5,89-90]对几类代表性方法的比较实验和讨论,认为锐化方法的现阶段发展存在两方面特点:

(1) 目前尽管多种类型锐化方法共同发展,更受主流认可的锐化方法仍是CS和MRA的方法。主要原因表现在以下两个方面:

一是从遥感影像锐化问题自身的特点来看,不同于同样追求分辨率增强的一般影像的超分辨率等问题,以PAN影像为代表的HR辅助影像为锐化过程提供了相对真实且准确的空间信息先验。这种来自于硬件或信源层面的辅助信息为锐化应用的质量下限提供了一定的保证。归功于上述应用特点,经过充分优化的CS和MRA类方法在锐化质量方面并不明显弱于许多先进的OM或DL方法,而后者的计算开销和算法复杂度往往远超前者。

二是从实际应用层面来看,在复杂成像条件和场景类型等因素的作用下所形成的真实影像内容可能千差万别,且遥感影像完整场景的数据维度往往远超自然影像,同时锐化通常处于遥感影像分析流程中的预处理环节,意味着锐化方法的算法稳定性、计算效率和操作便利性等因素是一个重要的考量因素。在影像内容变化相对较大的情况下,OM类方法将可能面临先验假设过于理想化、默认参数设置不兼容、参数调节繁琐以及字典容量不足的问题;而DL方法可能面临网络模型训练样本无法匹配真实影像空-谱退化过程、无法完全覆盖场景特征带来的适配挑战,同时DL类方法的稳定性仍有待提高[5]。在效率方面,尽管DL方法的运行时效率通常优于OM方法,但假如涉及重训练等适配问题,其时间开销在实际应用中往往是不可承受的。相对而言,更为轻量、易于实现和复现[35,4]的CS和MRA类方法将更受实际应用的青睐。

(2) 多波段遥感影像锐化领域呈现出多种方法的相互渗透,尤其是以细节注入模型为中心相互交融的趋势。由前文的分析可知,CS和MRA方法在统一的细节注入模型下的性能及改进方向趋同。而在OM或DL方法设计中以细节注入模型为基础,以及将超分辨率和去模糊等领域的方法引入细节注入模型等思路也是这一趋势的体现。有文献从贝叶斯视角分析了主要的CS和MRA方法[91],这类方法实际也可在满足特定的假设条件下用OM方法建模。某种程度上,这种跨应用领域、跨锐化方法类型的混合技术的原理探索及方案设计有助于更好地理解相关方法并形成方法间的优势互补。

5 展 望

多波段遥感影像的锐化已经历了三十多年的发展,尽管人们已提出了多种类型的全色锐化和超锐化方法,目前在有关研究中仍然存在一些亟待更深入解决的主要问题及未来可能出现的挑战。本文认为该领域今后的研究工作在以下几个方面应该受重视。

(1) 以遥感应用为导向的锐化方法。目前,尽管各种类型下的锐化方法不断被提出和更新,仅有少量相对早期的CS和MRA方法被集成到行业软件中,并真正服务于工程应用。一方面,在更具符合实际应用条件且优化程度相对更高的基于细节注入模型方法的基础上,进一步面向遥感信息服务提供商或遥感图像处理等平台开发有关的快速、自动化的锐化模块并非遥不可期,且对于整体行业应用而言也将产生重要意义。而DL类方法由于较高的运行时效率以及目前针对特定数据展现出来的优势,也在实际应用中具有较大的潜力,有望在未来得到进一步发展和完善后成为更主流的技术手段。另一方面,不同的遥感分析应用可能具有不同的锐化产品需求,需更多地关注有关真实应用下的锐化方法表现,或者以具体应用为导向设计专门的锐化方法。

(2) 更合理的无参考锐化质量综合评价。由于更能反映实际应用的需要,直接在原始分辨率影像上开展的全尺度实验在锐化研究中往往不可或缺,而与之相对应的无参考评价指标自身设计的合理性就显得至关重要。然而现阶段应用最广的QNR或其他的改进综合指标如HQNR等都在不同程度上存在着一定的缺陷或不足。同时,出于锐化问题的空间-光谱质量需求,目前还没有面向自然图像的无参考指标被成功的用于锐化领域。合理的评价体系对于锐化研究领域发展的重要性并不亚于具体锐化方法的设计,而在不合理的评价指标下,难以对锐化方法做出相对准确的评价。为此,对无参考综合指标展开更进一步的探索和改进是十分必要的。

(3) 复杂成像条件下的影像锐化。在传统锐化研究中,鉴于多波段影像及辅助影像几乎同时获取的缘故,往往无需额外考虑影像的配准、校正等预处理环节。随着全球卫星种类的不断增加以及可获取影像产品的不断丰富,面向多信源、多时相等复杂成像条件下的影像锐化时,可能出现由影像配准及校正、复杂分辨率比例(非整数、高倍率)、复杂影像关系模型建立(如时-空-谱关系、异质影像非线性关系)等问题带来的挑战。在此类问题下,传统锐化方法的有效性有待验证,而OM和DL两类新型锐化方法有望取得更大程度的性能突破。

(4) 新类型成像技术下的分辨率提升方法。随着基于压缩感知的成像(如快照式压缩成像)、立体成像、视频遥感等的硬件技术或信息采集层面的发展,不排除遥感图像锐化相关问题的思路和方法将随之产生较大变革,一些原本设计良好的锐化方案或方法类型也将可能不再适用。因此,研究者可关注和思考有关新型成像技术下的分辨率提升策略。