基于超像素分割的RGB与高光谱图像融合

洪科

（南华大学电气工程学院 湖南省衡阳市 421001）

1 引言

高光谱成像技术是一种新兴的成像技术，可以同时获取同一场景下不同波长的图像。然而，由于现有的高光谱成像设备无法实现图像在光谱分辨率和空间分辨率上同时高分辨成像，导致获取的高光谱图像空间分辨率比较低。将高空间分辨率的真彩色RGB与相同场景下的低空间分辨率高光谱图像进行融合从而提高高光谱图像的空间分辨率，是目前获取高分辨高光谱成像的有效技术[1]。

现有的高光谱图像融合算法包括基于全色图像和高光谱图像融合方法[2-7]以及真彩色RGB图像与高光谱图像融合算法[8-10]两大类。全色图像与高光谱图像的融合利用高分辨率全色图像准确的空间信息来修正高光谱图像的空间分辨率[11][12]，以提高高光谱图像的细节。相比于全色图像，真彩色RGB图像不仅空间分辨率高，而且有丰富的彩色信息，因此RGB与高光谱图像的融合获得了更多的研究。

Akhtar等人[13]提出了空间-光谱稀疏表示方法，将RGB图像划分成大小相同的图像块，以图像块为单元进行稀疏表示，有效利用了像素之间的局部相关性，提高了融合图像的质量。但是图像块中总会包含许多不同的物体信息，会导致将图像块为单元进行稀疏分解存在误差，因此本文提出了一种基于超像素分割[14]的RGB图像与高光谱图像的融合方法。利用超像素分割技术将图像分割成大小和形状能自适应变化的图像区域，然后以超像素块为基本单元对RGB图像进行稀疏分解，得到稀疏矩阵中的系数包含RGB图像的空间信息。最后，将稀疏编码矩阵与高光谱图像谱字典相结合重建得到高空间分辨率的高光谱图像。

本文采用CAVE公共数据集中的标准测试图像来进行效果验证，并与双三次插值法和空间光谱稀疏表示方法[13]进行比较分析。实验结果表明，在主观视觉上，本文的图像细节信息恢复良好。在客观指标上具有更大的峰值信噪比。

2 基于图像融合的高光谱图像超分辨率框架

基于图像融合的高光谱图像超分辨率的目的是从获取的低分辨率高光谱图像和相应的高分辨率RGB图像中，恢复得到高分辨率的高光谱图像其L表示高光谱图像的光谱维数和h是低分辨率高光谱图像的空间维宽度和高度，其中和M分别为高分辨率RGB图像的空间维宽度和高度。将Y和Z表示为目标高光谱图像X的线性表示，即：

其中Wi是以像素i为中心的窗口，hj为下采样时每个像素的对应的权重，因此X中的每个像素可以表示成窗口Wi中像素的线性组合。

在稀疏表示理论中，高光谱图像在地物的光谱特征集合为谱字典其中字典D中的基向量称为字典原子，利用K个这样的基向量可以组成字典D。由于混合端元的存在，高光谱图像每个像素可表示成少数潜在地物谱特征的线性组合，即：

3 基于超像素分割的高光谱图像超分辨率稀疏重建模型

3.1 基于在线字典学习法的光谱字典

表1：不同方法的PSNR评价指标比较

图1：500nm lemons融合结果

如前所述，为获得高空间分辨率的高光谱图像，首先我们需要求解公式（5）中的光谱字典D，我们将公式（5）转化为如下的最小化目标函数：

在处理比较多的数据时，一般的字典学习方法运行时间会比较长，而在线字典学习[15]一次只处理少数的数据，采用随机近似的方法，这样算法复杂度变得简单许多。在这里我们从训练样本集随机切割t个样本，定义为关于字典D和稀疏系数的优化问题目标函数式为：

3.2 超像素分割RGB图像

由于RGB图像含有3个波段，所以RGB图像的超像素分割与自然图像分割不同，如果直接对每个波段图像进行超像素分割，计算复杂度将会变高，由于RGB图像不同的成像波长，所以需要对每一个图像分别分割，首先，利用稀疏主成分分析法对RGB图像进行降维，这样超像素分割指导图就被得到了，之后，我们对每一个波段图像索引分割图像通过按照指导图的位置，即得到分割后的超像素块，并且超像素块有相似的尺寸。

3.3 稀疏编码求解

通过上述基于在线字典学习方法，求得光谱字典D后，我们对RGB图像进行了超像素分割，接下来为了得到目标图像X，将图像分成小的不相交的空间图像块来计算稀疏编码矩阵，采用同步正交匹配算法[16]求得A，用表示高分辨率图像超像素分割后的每个图像块，并通过对每个图像块进行稀疏分解，得到相应的稀疏编码矩阵AP，即

4 实验结果与分析

实验采用公共数据集CAVE中的高光谱图像。在本文中对高分辨率高光谱参考图像进行下采样处理，行和列的下采样因子均为8。在字典学习阶段，初始化字典原子数为300，在同步正交匹配追踪算法中，残差参数为10e-8，在每次迭代的时候，选取20个字典原子。对于像素分割的高光谱图像重建算法中，在稀疏分解过程中超像素块所用原子数量为20，重建结果比较好，超像素个数大于1000时，重建效果趋于稳定。

图1为lemons图像在不同高光谱图像恢复算法的500nm波段的重建图像。图1（a）为低空间分辨率高光谱图像，图1（b）是经过双三次插值后得到的高光谱图像，整体比较模糊，图1（c）为空间光谱稀疏表示方法，图1（d）为本文方法重建得到的高光谱图像，通过与前面两种方法相比较，其在lemons表面能够更好地恢复更多的图像细节信息，图1（e）为参考图像。

从客观指标PSNR上，我们也可以对恢复图像进行质量评估，PSNR的值越大，表明高光谱重建图像的质量越高。PSNR的计算公式如下所示：

在这里，Xi和分别代表参考图像和重建图像在第i个波段的样子。PSNR代表着真实参考图像与重建图像之间的相似度，其值越高，重建图像质量越好。评价结果如表1所示。

5 结论

由于我们所获取的高光谱图像空间分辨率和光谱分辨率不能兼得，为了提高高光谱图像的空间分辨率，本文提出了一种基于超像素分割的RGB与高光谱图像融合方法。实验结果表明，与传统的双三次插值，空间光谱稀疏表示方法做比较，本方法在主观视觉方面，图像的空间细节信息恢复的更加好，边缘更加清楚，客观指标PSNR上，我们的值也具有优势，所以对于高光谱图像，本方法能够在一定程度上不错地提高其空间分辨率。