基于双字典的高光谱与多光谱图像融合

周子轩, 方 帅

(合肥工业大学 计算机与信息学院,安徽 合肥 230601)

0 引 言

高光谱(hyperspectral,HS)成像传感器可以在较宽的光谱范围内采集数十或数百个光谱波段。由于不同波长的材料往往具有不同的反射率,高光谱图像(hyperspectral image,HSI)具有较高的光谱分辨率和较宽的光谱范围,能够准确识别材料。高光谱成像在遥感、现代军事、医疗诊断以及环境检测等领域得到了广泛的应用。然而,由于传感器的局限性,在光谱分辨率和空间分辨率方面存在一定的冲突,具有大量波段的HSI通常具有较低的空间分辨率以保证较高的信噪比。低分辨率大大限制了高光谱图像的应用。相比之下,多光谱(multispectral,MS)传感器可以捕获更高空间分辨率和信噪比的图像。提高HSI空间分辨率的一种有效经济的方法是图像融合。越来越多的卫星会同时搭载HS传感器和MS传感器,可以获取同一场景下的低分辨率高光谱图像(low-resolution hyperspectral images,LR-HSI)和高分辨率多光谱图像(high-resolution multispectral images,HR-MSI),再通过图像融合的方式获得高分辨率高光谱图像(high-resolution hyperspectral images,HR-HSI)。

早期的LR-HSI和HR-MSI融合方法基于空间字典的Pan-sharpening[1-2]发展而来,光谱畸变较大。为了解决空间字典融合方法在光谱保持方面表现不佳的问题,文献[3]提出了一种将高光谱图像分解为端元光谱字典和丰度系数相互交替求解的融合方法,但由于函数的非凸性,导致融合结果不稳定。为了解决这个问题,研究者们通过对融合函数施加相关正则项约束,以缩小求解范围。文献[4-5]提出了一种贝叶斯框架下的融合算法,此方法引入先验知识降低问题复杂度,再通过最大后验概率实现对问题的求解;文献[6]提出了一种图像全变分的稀疏先验方法来平滑融合图像的空间。这些方法获得了较好的融合效果和稳定性,但先验信息并不能完全表达出图像的所有空间细节,针对此问题,许多研究者提出了不同的空间先验信息。文献[7]提出了一种非负光谱字典结构稀疏先验正则化的表示方法,该方法利用相似非局部块的强谱相关性,并施加非负稀疏先验来融合图像;文献[8]提出了一种稀疏低秩先验方法来融合图像。除此之外,由于张量与图像结构天然保持一致性,张量方法也被广泛用于研究高光谱与多光谱融合问题。文献[9-10]提出了稀疏张量分解的融合算法,将HR-HSI看作一个具有3个模态的张量,并通过对所学习的3个模态字典进行稀疏编码来估算核心张量,从而实现HR-HSI的重建。

通过以上分析,在高光谱图像融合问题上,字典学习方法经历了从空间字典到光谱字典的发展,并逐渐形成了一套较为成熟的方法体系。字典学习对于图像结构信息的捕捉有天然优势,基于光谱字典的融合方法一般是利用光谱字典来保持融合图像的光谱连续一致性,同时施加图像空间结构信息的先验性,得到高质量的融合目标图像。对于HSI而言,光谱特性比空间特性往往更加重要,因此相较于基于空间字典的融合算法,基于光谱字典的方法融合的图像有更好的效果。然而这种融合算法在图像质量的表现上依旧有其局限性:首先像稀疏、低秩等这样常见的先验主要通过探寻图像本身存在的固有特性而作用在图像的融合过程中,如果图像存在一些未知的结构特征,那么仅仅依靠先验约束,期望融合出高质量的目标图像则会存在较大困难;其次仅有光谱字典的目标函数优化只存在于光谱域内,而HSI属于三维数据结构,在寻找全局最优的过程中会存在较大的阻力。

本文提出一种基于双字典的高光谱与多光谱图像融合算法。在原有的光谱字典基础上,再引入空间字典,在光谱域和空间域中分别融合出光谱型高分辨率高光谱图像(spectral high-resolution hyperspectral images,Spc-HR-HSI)和空间型高分辨率高光谱图像(spatial high-resolution hyperspectral images,Spa-HR-HSI),最终在迭代更新中获得高质量的目标图像。从图像的融合效果上看,凭借空间字典捕捉未知图像结构的能力,使得融合图像的空间细节信息更加丰富;从函数优化的角度上分析,通过基于空间字典的空间域,为函数优化提供了另一个维度的路径,在交替迭代的联动下,两域图像彼此约束,相互促进,从而使得找寻全局最优解的可能性大大增加。除此之外,对融合图像施加与空间字典相辅相成的局部和非局部低秩先验约束, 进一步增强目标图像的视觉效果的细腻度。

1 融合算法

本文的整体思路:首先利用已知的LR-HSI 和HR-MSI分别训练光谱字典和空间字典;然后基于双字典在光谱域和空间域内分别融合出Spc-HR-HSI和Spa-HR-HSI,且随着迭代的进行,让两域图像相互约束,彼此促进,逐渐融合出理想的HR-HSI。具体分为2个阶段:① 字典训练,本文光谱字典选择非负光谱字典,这是由于非负的谱字典更符合实际情况,通过块坐标下降算法使得收敛效率更高,本文空间字典选择PCA字典,空间域内的分块操作,使得字典训练过程的计算量非常大,通过PCA降低字典所在维度,提高运行效率;② 图像恢复,利用训练好的双字典,并施加局部低秩和非局部低秩的先验信息约束,使得双域图像相互约束,彼此促进,最终融合出高质量目标图像。整个流程如图1所示。

图1 本文算法流程图

1.1 问题的描述

(1)

其中,H为空间退化线性算子矩阵。

(2)

其中,R为光谱退化线性算子矩阵。

Spc-HR-HSI和Spa-HR-HSI分别是目标图像在光谱域和空间域下的表示。为了达到图像在光谱域和空间域下的统一,使用F范数约束两域图像。在退化模型下,总的目标函数式表示为:

(3)

字典学习算法一般用于学习图像中隐藏的细节信息,按图像维度可以分为空间字典学习和光谱字典学习。其中,空间字典将三维结构图像按照空间维度展开,学习图像空间域的结构信息,而光谱字典将图像按照光谱维度展开,学习图像光谱域的光谱信息。通过以上2种表示方式可以将Spc-HR-HSI和Spa-HR-HSI分别表示为光谱字典矩阵D1与空间字典矩阵D2的线性组合,用公式可以表示为:

(4)

其中:D1为光谱字典矩阵;A1为光谱系数矩阵。

(5)

其中:D2为空间字典矩阵;A2为空间系数矩阵。

在字典学习方法中,为了获得稳定且精确的目标图像,需要对系数进行适当的稀疏约束。一般用L0范数定义稀疏性。然而,L0范数会使得函数非凸,不利于求解。用其最接近的凸松弛L1范数代替作为系数的稀疏约束。综合式(3)～(5),得到总的优化目标函数为:

{D1,A1,D2,A2}=

(6)

其中,‖·‖1表示L1范数。

1.2 字典学习

1.2.1 光谱字典学习

考虑到X的每个像素可以看作是由少量的光谱特征组合而成。本文选择非负的光谱字典矩阵D1,可以表示为:

s.t.d1i≥0,b1j≥0

(7)

其中:d1i为D1第i列字典原子,元素非负;b1j为B1第j列系数,元素非负;α为平衡系数。

整个函数可通过ADMM算法求解,从而获得D1。

1.2.2 空间字典学习

传统的空间字典,如离散余弦变换字典、小波字典,不足以表征自然图像的复杂结构。通过使用 KSVD算法从示例图像块中学习的通用字典可以更好地适应局部图像结构。一般来说,字典必须非常完备,以便它们可以表示各种图像局部结构。然而,在图像恢复的情况下,具有过完备字典的稀疏编码是不稳定的,因此本文将采用PCA方法学习D2。具体来说,首先按空间字典大小对HR-MSI分块,然后对分块后的局部图像进行K-means算法聚类。考虑到图像的空间信息主要体现在高频信息上,本文使用局部块图像的高通滤波输出作为聚类特征,从而在不考虑像素强度的情况下专注于图像块的边缘和结构,并有助于提高聚类的准确性。获得聚类数据后,从每个聚类中学习一个PCA子字典[11],所有的子字典组成了一个完备的大字典。

1.3 低秩特性

对HR-MSI进行基于SLIC算法的超像素分割。本文假设分割为K1块邻域图像,其中每一块邻域图像可以看作是近乎同质的。对局部图像施加低秩约束,由于图像与系数是对应的,可以表示对A1施加低秩约束。

在字典训练阶段,本文将HR-MSI按K-means聚类算法划分为K2个聚簇类,因此每个聚簇类的所有局部块也是可以看作同质的。对每个聚簇类的所有局部块同样施加低秩约束,因为聚簇类的对象是全局图像,所以每一个聚簇类包含很多非局部块,也即非局部低秩。类似于局部低秩,可以表示对A2施加低秩约束。

1.4 系数求解

在局部和非局部低秩约束下,总的优化函数表示为:

s.t.a1i≥0

(8)

通过变量分离求解,令D1S1=Z1,D2S2=Z2,S1=A1,S2=A2,S1=Q,最终拉格朗日函数表达式为:

{A1,A2,Z1,Z2,V2,V2,V3,V4,V5}=

(9)

图2 Spc-HR-HSI和Spa-HR-HSI融合结果

1.5 图像重建

(10)

2 实验分析

2.1 实验设计

为了验证本文基于双字典和低秩特性的高光谱和多光谱图像融合算法的有效性,设计如下实验:

1) 本文在传统光谱字典融合方法的基础上增加了空间字典融合。为了验证空间字典对融合算法的有效性,对比只使用光谱字典与本文双字典的融合算法性能表现。

2) 本文算法通过增加局部和非局部低秩先验约束,使得目标图像的融合质量进一步提高。为了验证局部和非局部低秩特性对融合算法的有效性,对比有无局部和非局部低秩特性算法的性能表现。

3) 为验证本文算法整体性能,在2个具有代表性的高光谱数据集上,与目前比较经典的CNMF[3]、Hysure[6]、Fuse-S[12]、NSSR[7]和CSTF[10]5种算法进行比较,并且CNMF、Hysure、Fuse-S以及NSSR算法均是基于光谱字典学习的融合算法。其中:CNMF利用解混思想求出端元光谱矩阵和丰度系数,交替更新得到融合图像;Hysure建立在光谱字典的基础上,增加全变分正则项估计目标图像;Fuse-S通过PCA降维求出光谱字典,在此基础上增加从观测图像中得到空间字典和相应的主动编码系数的支持度,从而求出目标图像;NSSR则考虑到光谱字典的非负结构特性,学习非负光谱字典,并将非局部相似特性作为先验约束,最终融合出目标图像;CSTF是基于张量方法的融合算法,将高光谱图像分解为3个模态字典与核心张量,其中3个模态字典分别为x和y空间模态字典以及z光谱模态字典,通过求解出这些变量,进而获得融合的目标图像。

2.2 实验数据和参数设置

本文算法对于同一场景下且没有发生地物变化的HR-MSI与LR-HSI均适用。本文选择具有代表性的Pavia University高光谱数据集进行实验。

2.2.1 实验数据集

Pavia University数据集由反射式光学系统成像光谱仪(reflective optics system imaging spectrometer,ROSIS)光学传感器获取。图像尺寸为610像素×340像素×115像素,空间分辨率为1.3 m,光谱覆盖范围为0.43～0.86 μm。在去除水蒸气吸收波段后剩下93个波段。本文取M=128、N=128、L=93大小的数据进行实验。采用类似于IKONOS的反射光谱响应滤波器生成尺寸为128像素×128像素×4像素的HR-MSI,HR-HSI经点扩散函数下采样4倍获得LR-HSI。

2.2.2 参数设置

2.3 实验结果和分析

为了对各算法融合结果进行评价,本文选取4种评价指标检测融合结果的光谱质量和空间质量,分别是PSNR、均方根误差(root mean square error,RMSE)、相对全局精度误差(error relative global accuracy,ERGAS)、光谱角(spectral angle mapper,SAM)和通用图像质量指数(universal image quality index,UIQI),以下为实验结果与分析。

1) 空间字典对比。在无低秩情况下,对比只使用光谱字典(谱字典)与本文提出的双字典算法对Pavia University数据集融合结果的影响,结果见表1所列。

表1 空间字典的对比结果

从表1可以看出,增加了空间字典的融合算法,使得融合目标图像的质量提升较大,间接地说明了空间字典对于图像空间信息的捕获非常有效。

2) 局部和非局部低秩性对比。在本文双字典基础下,对比没有施加局部和非局部低秩约束(无低秩)与施加低秩约束(有低秩)在Pavia University数据集上的影响,结果见表2所列。从表2中可以看出,增加局部和非局部低秩先验特性使得目标图像的融合质量更高。

表2 低秩特性的对比结果

3) 各算法对比实验。本文对比了近年来比较经典的5种融合算法在Pavia University数据集的实验结果,如图3和图4所示。其中:图3为第10、第25和第40波段合成的融合结果图;图4为融合图像第20波段的残差图。从图3和图4可以看出,本文提出的算法融合效果在视觉上表现更加细腻。

图3 Pavia University数据集融合结果

图4 Pavia University数据集第20波段残差图

Pavia University数据集融合结果具体的量化评价指标数据见表3所列。从表3可以看出,本文提出的算法融合质量在整体上表现更好。主要原因是CNMF算法没有先验约束,导致融合结果不稳定且融合质量不佳;Hysure、Fuse-S以及NSSR算法均为有先验约束的光谱字典学习算法,总体上这3种算法效果较好且相互接近,差异性主要体现在施加的先验的信息上。CSTF算法为张量分解的方法,在施加稀疏先验的约束下,融合效果较好;本文算法基于双字典的学习,且施加局部与非局部低秩先验约束,在光谱域和空间域内分别融合出Spc-HR-HSI和Spa-HR-HSI,在迭代中彼此约束,相互促进,最终融合出视觉好质量高的目标图像。

表3 Pavia University数据实验结果

3 结 论

通过对现有高光谱和多光谱融合问题分析,发现传统光谱字典方法的空间先验信息不足以表达出融合图像所有的空间结构特征。本文提出基于光谱字典和空间字典学习的融合算法,首先在光谱字典的基础上新增空间字典,利用空间字典提取图像结构特征能力强的优势,捕捉先验信息无法表达的部分特征,从而提高图像的融合效果;其次通过基于双字典学习而形成的光谱-空间域增加了寻找函数优化最佳路径和最优解的可能性;最后为了充分利用高光谱图像的低秩先验,在局部和非局部低秩约束下,两域图像在迭代中相互约束,彼此促进,最终融合出高质量的HR-HSI。Pavia University数据集上的实验结果表明,本文算法比其他算法在融合效果上存在一定的优越性。