贾应彪,冯 燕
高光谱摆扫型压缩成像及数据重建
贾应彪1,冯 燕2
(1. 韶关学院 信息科学与工程学院,广东 韶关 512005;2. 西北工业大学电子信息学院,陕西 西安 710129)
高分辨率的应用需求使得传统的高光谱遥感成像系统面临高速率采样、海量数据存储等难以突破的瓶颈问题,压缩感知理论为传统高光谱遥感所面临的瓶颈问题提供了解决可能。针对高光谱压缩感知成像,提出了一种摆扫型高光谱压缩成像系统,该系统采用光栅、柱面透镜、二维编码孔径和线性传感阵列等光电器件,一次曝光中可获取空间像素点的光谱维向量对应的多个压缩采样值。在压缩感知数据重建过程中,为了充分利用高光谱图像的空间相关先验信息,提出了一种空间预测迭代重建算法。实验结果表明,与标准压缩感知重建算法对比,该算法在压缩感知采样率超过0.2时重建图像信噪比可提高10dB以上。所设计的系统简单易实现,可应用于星载、机载等遥感平台的高光谱压缩成像。
高光谱遥感;压缩成像;摆扫型;数据重建
近几十年来,高光谱遥感成像技术在各领域获得了广泛应用。在真实地物场景的高光谱成像中,为了获得更高的空谱分辨率,传统的高光谱成像方案不得不采用规模更大的传感阵列,导致其在星载、机载等遥感成像平台使用时较为困难[1],而采用压缩感知(compressive sampling,CS)技术来实现高光谱数据采集,也就是高光谱压缩成像,为解决这一问题提供了可行思路[2]。
高光谱压缩成像,除了能获得更高的分辨率外,在数据采集的同时也达到了数据压缩的效果,因此该研究方向受到众多学者的关注,相关的研究成果多,提出的方案也多,但目前影响较大的主要有两类:一类是基于编码孔径成像的光谱压缩成像方案[3-4],另一类是基于单像素相机提出的高光谱压缩成像方案[5-6]。这些高光谱压缩成像方案都需要传感器一次性获取图像在整个空间范围内的信息,而在实际的高光谱遥感应用领域,通常都是利用遥感平台(机载或星载)的固有运动,采用基于行的推扫或基于像素的摆扫方式来逐步获取图像在整个空间范围内的信息,因此,推扫型或摆扫型高光谱压缩成像方案的研究更具实际应用价值[7]。
对于高光谱遥感压缩成像系统,获取的压缩采样数据不能直接被应用,需要重建原始高光谱图像。目前高光谱压缩感知图像重建方面的研究很受关注,提出的方法也很多,如文献[8]在高光谱数据重建时在高光谱图像的空间和谱间相关性的基础上引入高光谱的结构相似性,建立了多正则优化重建模型。文献[9]提出了一种联合低秩与稀疏先验的高光谱联合重建方法。文献[10]在分块压缩感知基础上采用谱间预测来提高重建精度。但这些优秀的重建算法大部分都是针对具体的成像模式,不一定适用于推扫型或摆扫型高光谱压缩成像方案的数据重建。
针对机载、星载高光谱遥感平台等实际应用场合,本文设计了一种摆扫型高光谱压缩成像系统,在该成像系统数据重建时,通过充分利用高光谱图像相邻像素点之间的相关性,提出了一种空间预测迭代重建算法,获得了较高的重建精度。
高光谱遥感图像通常由几十或几百个光谱波段图像数据构成,整个图像数据可以看作一个三维图像立方体,每个空间像素点(像元)对应一个光谱维向量(光谱矢量),每个波段对应一个二维图像。一般情况下,高光谱图像可以表示成一个三维数据立方体×N×N,其中为光谱波段的数目,即空间像素点的光谱维向量大小,N和N分别为二维空间的水平和垂直方向像素数目。
为了更清晰地描述将要提到的高光谱光谱维向量压缩采样,这里把高光谱三维数据立方体改用的二维矩阵来表示,矩阵尺寸为×N,这里N为空间像素的总数目且N=N×N。显然,矩阵的行向量,·对应各波段图像,列向量·,j为空间像素点对应的光谱维向量。
在高光谱光谱维向量压缩采样方案中,对各空间像元对应的光谱维向量分别做压缩感知采样,具体压缩采样过程的数学模型为:
=·,j(1)
高光谱光谱维向量压缩感知采样模式下的被采样信号为光谱维向量,相当于将高光谱图像分成多个光谱维向量,分别对各光谱维向量进行压缩感知采样,可以通过采用摆扫型扫描方式,依次获取各空间像素点的光谱维压缩采样信息。
参考传统的高光谱遥感摆扫型成像方式,本文提出了高光谱摆扫型压缩成像方案,如图1所示。该方案采用基于像素的摆扫型成像扫描方式,逐点实现空间像素点所对应光谱维向量的压缩采样,即在一次曝光时间内通过线型传感器阵列获取该像素点光谱维向量的多个压缩采样值,再通过摆扫运动依次扫描获取其它空间像素点的压缩采样值。获取各光谱维向量的压缩采样值后,再采用压缩感知联合重建算法来恢复原始的高光谱数据。
图1 摆扫型高光谱压缩采样与重建示意图
图2给出了摆扫型高光谱压缩采样获取单个采样值的光学实现方案。图2中,输入的光信号为高光谱图像中某个空间像素点对应的光学信号,其本质为多个光谱信号的组合。输入光信号通过衍射元件光栅(或其他色散元件)转换成一系列包含不同波长的光谱线,这里衍射光栅相当于实现了光信号由光谱维到空间平面的转变,将输入光斑转换成了一条线状光谱。线状光谱通过条状的一维编码孔径来实现空间编码,该步骤相当于对不同波长的光谱赋予一个不同的权值,即对不同波长的光谱信号乘以一个不同的系数,达到压缩感知采样的效果。对于通过编码孔径后的光谱线,通过使用会聚透镜再聚集成一个光斑,并由光电探测元件来获取相关光信息,这样就获得了光谱维向量的一个压缩感知采样值。
在压缩感知理论中,要恢复原信号,对压缩采样值数目有一定的要求,每个压缩采样值都应该是对原信号不同的随机编码。如果采用单像素相机的串行方式来获取多个压缩采样值会需要一个连续采集过程,将导致采集时间较长,不适合用于高光谱机载平台。在摆扫型压缩采样模式下,需要在一次曝光时间内同时获取空间像素点光谱维向量对应的所有压缩采样值。本文的思路是采用并行方式来实现在一次曝光时间内获取多个压缩采样值,所谓并行在本质上就是同时采用多个如图2所示装置对光谱维做采样来得到多个压缩采样值。图3给出了并行获取多个光谱维压缩采样值的模型,这里的光谱维向量压缩感知采样还是采用图2描述的方法,通过柱面透镜和二维编码孔径来实现一个并行的光谱维压缩感知采样过程。与图2一样,输入的光信号先通过衍射光栅转换成一条线状光谱线;该线状光谱通过扩散柱面透镜转换成二维光谱面;光谱面传播到达二维编码孔径实现压缩感知随机编码,编码后的光谱面经柱面会聚透镜会聚成条状光线,再经线阵列传感器收集对应的光子强度。压缩感知编码主要由具备随机透射模式的编码孔径实现,编码孔径尺寸为/,其中每条垂直编码孔径实现一个压缩感知随机编码。垂直方向的个光谱信号经过编码孔径编码后再由柱面透镜会聚于一点,由相应的传感器获取光谱强度,获取一个压缩感知采样值。条光谱线平行通过柱面会聚透镜各自会聚一点并由一个线性阵列传感器捕获相应光子强度信息,实现了一次曝光过程同时获得个压缩采样值。
对于摆扫型高光谱压缩成像的数据重建,最简单的方法莫过于单独采用1优化算法[11]重建每个空间像素点的光谱维向量。由于没有考虑高光谱图像的空间相关特性,单独重建各光谱维向量的重建精度不高。本文提出一种新的重建算法,先把简单的1优化算法重建各光谱维向量作为初始化步骤,再通过高光谱图像的空间预测方式来迭代改善算法的重建精度。
预测迭代重建思想可用于多向量压缩感知的数据联合重建,已经在图像及动态磁共振的压缩感知重建中得到了应用[12-13]。
在给出本文的空间预测迭代算法之前,先做出相关设定:
当然,预测主要在空间相邻像素点的光谱维向量之间进行,相关的预测方法较多,后面的实验环节将对空间预测方法做出讨论。
定义e·,j(k)为预测误差,则:
Fig.3 Schematic diagram of parallel imaging
由式(3)的设定,若能求得e·,j(k)的一个相对精确的估计,则可通过下式求得·, j(k)的一个同等精度的估计值:
由前面的设定可推导出存在如下关系:
式中e·,j(k)为已知量,可由上次迭代过程获取的高光谱图像通过预测及其他相关运算求得,则求e·,j(k)仍是一个典型的压缩感知重建问题。
空间预测重建原理如下:压缩感知理论中,在同等压缩感知采样方式下(相同的观测矩阵,相同的观测值数目,相同的重建算法),信号稀疏性越强则其重建精度会越高[12]。通过选择合适的预测函数实现相对准确的空间预测过程后,预测误差e·,j(k)将比原信号·,j具备更强的稀疏性,当采用相同的重建算法时,由e·,j(k)重建预测误差e·,j(k)的重建精度要远高于由·,j重建·,j的重建精度。
重复上述预测重建步骤多次,则可得到高光谱图像较为精确的重建表示。
具体算法步骤如下:
步骤1 给迭代次数赋初值:=0;
步骤2单独重建各光谱维信号(·,j为·,j(k)在稀疏基上做稀疏分解的表示形式:
步骤5 求两压缩采样值之差:
步骤6 求预测差值(·,j(k)为e·,j(k)在稀疏基上做稀疏分解的表示形式):
步骤7 求光谱维估计值:
步骤8 判断是否满足迭代终止条件,否则转步骤3。
这里采用了两组实验数据来仿真测试所提重建算法性能,实验数据来自世界上第一台摆扫型航空成像光谱仪AVIRIS采集的Cuprite场景[14],选取其中第一场景和第二场景的128波段高光谱图像,各波段图像的大小亦选取为128×128;把重建的高光谱图像信噪比值(Signal to Noise Ratio, SNR)作为衡量重建性能的基本标准。
1)左右邻域预测1,预测公式为:
2)四邻域预测2,预测公式为:
3)八邻域预测3,预测公式为:
在3种预测方式中,对于空间图像四周边缘的像素点,其预测邻域局限在空间图像内部。
图4测试了3种预测方法在不同采样率下的重建性能及迭代收敛情况,测试数据为Cuprite第一场景,选择了两种不同压缩感知采样率(/为0.2和0.4),稀疏基为离散余弦基。由图4可知,采用不同的预测方法,高光谱重建性能有所不同,其中四邻域预测与八邻域预测性能基本相当,八邻域稍强一点,而左右邻域预测则性能最差,这说明预测用的源信息越全面,预测效果越好,提高的重建性能就更多;另外压缩感知采样率越高,迭代收敛越快,总的说来,本文所提方法的迭代过程收敛较快,迭代计算5次~10次就基本收敛,图像重建速度也较快。
图4 不同预测方法测试对比
为了说明本文重建算法的有效性,将本文算法(采用八邻域预测)与相关重建算法进行对比。这里选用了两个对比算法,一个是最原始的单独重建各光谱维向量,即不考虑各光谱维向量之间的相关性;另一个对比算法多目标贝叶斯压缩感知重建算法[15],该算法在多向量压缩感知数据重建领域较为有名,经常用于实验对比。实验对比结果如图5所示,3种算法的稀疏基均选离散余弦基。由图可知,与对比算法相比较,本文提出的算法较大地提高了重建图像的信噪比。尤其是当采样率高于0.2时,本文算法比多目标贝叶斯算法重建精度提高超过10dB。
值得一提的是,对于场景1,本文算法比多目标贝叶斯算法的性能提高不如场景2理想,这是由于场景1空间信息变化比较大,空间相关性不如场景2,空间预测的准确性会有所下降。另外采样率越高,本文算法性能越好,这是因为采样率高时各光谱维向量的重建精度也高,所做的空间预测也更准确。
图5 不同算法重建性能对比
图6为采样率较低时(采样点数取全部点数的10%),采用不同方法得到的场景2高光谱图像的第80波段的重建图像。从图6可以看出,在采样率很低时,单独重建各光谱维向量所得图像在视觉上基本无法识别,采用多目标贝叶斯方法所得图像轮廓已较清晰,但部分细节仍不明显,而本文方法得到的图像在细节部分都已经比较清晰。
本文根据机载、星载等高光谱遥感平台提出了一种摆扫型高光谱压缩成像方案,该系统采用光栅、柱面透镜、二维编码孔径和线性传感阵列等光电器件,达到了同时获取多个光谱维压缩采样值的目的。针对提出的摆扫型高光谱压缩成像系统,本文研究了相应的图像重建方法,通过利用高光谱图像的空间相关特性,提出了一种空间预测迭代重建算法,实验结果表明:在采样率高于0.2时,采用本文所提的重建算法,重建图像的SNR值比多目标贝叶斯算法提高了10dB以上。
在高光谱对地遥感领域,由于高光谱图像大多用于分析地物类别,图像数据的失真会影响分类的准确性。因此,高光谱压缩成像系统需要进一步提高图像重建精度,才能在实际中获得更好的应用。在未来的研究工作中,在考虑高光谱空间、谱间相关性的基础上,可以进一步研究如何利用高光谱图像的结构内容信息来提高压缩感知重建精度。
图6 不同算法重建效果图
[1] Golbabaee M, Vandergheynst P. Joint trace/TV norm minimization: a new efficient approach for spectral compressive imaging[C]//19, 2012: 933-936.
[2] Willett R, Duarte M F, Davenport M A, et al. Sparsity and structure in hyperspectral imaging: sensing, reconstruction, and target detection[J]., 2014, 31(1): 116-126.
[3] Gonzalo R Arce, David J Brady, Lawrence Carin, et al. Compressive coded aperture spectral imaging: an introduction[J]., 2014, 31(1): 105-115.
[4] Gabriel Martín, José M Bioucas-Dias, Antonio Plaza. HYCA: a new technique for hyperspectral compressive sensing[J]., 2015, 53(5): 2819-2831.
[5] August Y, Vachman C, Rivenson Y, et al. Compressive hyperspectral imaging by random separable projections in both the spatial and the spectral domains[J]., 2013, 52(10): D4-D54.
[6] SUN Zhongqiu, CHEN Bo, CHENG Chengqi. A DMD-based hyperspectral imaging system using compressive sensing method[C]//, 2014, 92632B: 1-6.
[7] Fowler J E. Compressive pushbroom and whiskbroom sensing for hyperspectral remote-sensing imaging[C]//, 2014: 684-688.
[8] 贾应彪, 冯燕, 王忠良. 基于谱间结构相似先验的高光谱压缩感知重构[J]. 电子与信息学报, 2014, 36(6): 1406-1412.
JIA Yingbiao, FENG Yan, WANG Zhongliang, et al. Hyperspectral compressive sensing recovery via spectrum structure similarity[J]., 2014, 36(6): 1406-1412.
[9] 孙玉宝, 吴泽彬, 吴敏,等. 联合低秩与稀疏先验的高光谱图像压缩感知重建[J]. 电子学报, 2014,42(11): 2219-2224.
SUN Yubao, WU Zebin, WU Min, et al. Compressed sensing reconstruction of hyperspectral imagery jointly using low rank and sparse prior[J]., 2014, 42(11): 2219-2224.
[10] 贾应彪, 冯燕, 袁晓玲,等. 高光谱图像分块压缩感知采样及谱间预测重构[J]. 应用科学学报, 2014, 32(3): 281-286.
JIA Yingbiao, FENG Yan, YUAN Xiaoling, et al. Block compressed sensing sampling and reconstruction using spectral prediction for hyperspectral images[J]., 2014, 32(3): 281-286.
[11] CAND’ES E J, ROMBERG J K. The L1-magic toolbox[DB/OL]. http://www.l1-magic.org. 2008.
[12] Giulio Coluccia, Enrico Magli. A novel progressive image scanning and reconstruction scheme based on compressed sensing and linear prediction[C]//13(ICME), 2012: 866-871.
[13] Mun S, Fowler J E. Motion-compensated compressed-sensing reconstruction for dynamic MRI[C]//, 2013: 1006-1010.
[14] NASA. http://aviris.jpl.nasa.gov/html/avirisfreedata.html[DB/OL].
[15] JI S, DUNSON D, CARIN L. Multitask compressive sensing[J]., 2009, 57(1): 92-106.
Compressive Whiskbroom Sensing and Data Reconstruction for Hyperspectral Imaging
JIA Yingbiao1,FENG Yan2
(1.,,512005,; 2.,,710129,)
Owing to the requirements of high spectral resolution, conventional hyperspectral remote-sensing imaging systems are susceptible to bottleneck problems related to high rate sampling and mass data storage. Compressive sampling possesses the potential to solve many problems associated with hyperspectral remote sensing. An optical imaging system for compressive whiskbroom sensing in hyperspectral remote-sensing imaging is proposed in this paper. The proposed system comprises spatial grating, a cylindrical lens, a two-dimensional coded aperture, and a linear sensor array. The system, which enables multiple simultaneous compressive measurements, is designed for spectrum sensing operations. An iterative prediction reconstruction algorithm is designed based on the spatial correlation of hyperspectral images. Experimental results show that the reconstruction signal-to-noise ratio of the proposed algorithm is improved by more than 10dB when the sampling rate exceeds 0.2. The sampling simplicity of the system makes it suitable for hyperspectral compressive imaging in space-borne and airborne remote-sensing platforms.
hyperspectral remote-sensing,compressive imaging,whiskbroom,data reconstruction
TP75
A
1001-8891(2017)08-0722-06
2016-06-20;
2016-11-03.
贾应彪(1977-),男,讲师,博士,主要研究方向为高光谱数据处理和压缩感知技术。
国家自然科学基金(61071171),广东省自然科学基金(2016A030307044,2016A030307045),韶关市科技项目(441-99000311)。