图-谱结合的压缩感知高光谱视频图像复原

谭翠媚，许廷发，马 旭，张宇寒，王 茜，闫 歌

(北京理工大学 光电学院 光电成像技术与系统教育部重点实验室，北京 海淀 100081)

1 引 言

随着高光谱图像光谱分辨率与空间分辨率的不断提高，高光谱成像技术不断发展，高光谱静态成像已经不能满足研究需求，如何获得包括光谱维λ、空间维x、y、时间维t在内的四维高光谱视频图像成为该领域的研究热点[1]。目前相关技术已在物体识别、物体跟踪等领域[2-3]得到应用。现有针对高光谱视频采集的研究诸多，包括基于编码孔径的高光谱视频采集[4-5]、基于混合相机的高光谱视频采集[6]等。本文主要针对基于液晶可调滤波片(Liquid Crystal Tunable Filter,LCTF)高光谱成像系统的高光谱视频复原问题，研究如何从存在运动的高光谱图像中恢复出完整的高光谱视频图像。

文献[7]中利用基于LCTF的高光谱成像系统验证假设高光谱视频各帧中已知若干不同波段的图像进行高光谱视频图像复原的效果。然而在实际情况中基于LCTF的高光谱成像系统对动态场景进行采集，任一时刻只能获取一个波段的图像。而且文献[7]中利用光流法进行高光谱视频图像初步复原，由于采集到的动态场景图像不符合光流法要求相邻帧之间亮度保持不变的假设，因此针对实际情况的高光谱视频图像复原的效果不佳。

为了提升基于LCTF的高光谱成像系统的高光谱视频图像复原质量，本文提出一种基于空间维、光谱维相关性的压缩感知高光谱视频图像复原算法。该方法在实现高光谱视频图像复原的同时，使前景目标高光谱图像与背景高光谱图像彼此分离。仿真实验结果显示：其在峰值信噪比和视觉效果上均优于现有算法，验证了本文所提算法的有效性。

2 运动检测

2.1 基于液晶可调滤波片的高光谱视频成像

图1为高光谱视频的示意图，高光谱视频中的每一帧均为一幅高光谱图像。因此，高光谱视频图像为包括光谱维λ、空间维x、y、时间维t在内的四维数据结构体。对前景目标运动的动态场景进行成像记录，获得的高光谱视频图像可认为是运动前景目标高光谱图像与背景高光谱图像的组合，不同时刻前景目标的高光谱图像处于背景高光谱图像的不同位置。由于LCTF每一时刻只能选择一个可透过波长，因此对于动态场景的成像记录，基于LCTF的高光谱成像系统采集到的图像为存在运动的高光谱图像，不同时刻采集的不同波段的图像由于存在运动造成彼此场景内容有所不同。具体示意图如图2所示，本文主要研究如何从存在运动的高光谱图像中恢复出完整的高光谱视频图像。

图1 高光谱视频的示意图 Fig.1 An illustration of hyperspectral video

图2 基于液晶可调滤波片高光谱成像系统采集的图像示意图 Fig.2 An illustration of images captured by hyperspectral imaging system based on liquid crystal tunable filter

高光谱视频图像复原的原理流程图如图3所示。首先，通过前景目标检测获得运动前景目标的高光谱图像。同时，根据前景目标所在位置，将背景区域划分为运动区域(被前景目标遮挡的区域)和静止区域(未被前景目标遮挡的区域)，算法的重点在于运动区域的恢复。

图3 高光谱视频复原流程图 Fig.3 Flowchart of hyperspectral video restoration

由于高光谱图像具有空间相关性与光谱相关性，利用二者提供的稀疏先验信息进行运动区域的恢复。对静止区域进行分块字典学习，获取图像恢复所需的稀疏先验信息。由于运动导致前景目标的位置变化相当于对背景区域的部分采样，利用静止区域分块学习字典提供的稀疏先验信息，通过分块压缩感知重构可以实现运动区域的高光谱图像的复原，获得完整的背景区域高光谱图像。通过前景目标高光谱图像与背景区域高光谱图像的组合，即可得到完整的高光谱视频图像，实现基于LCTF高光谱成像系统的高光谱视频图像复原。

2.2 前景目标检测

由于基于LCTF的高光谱成像系统采集的图像帧数较少，且每帧图像所在波段不同使得前后两帧间相同位置处的像素灰度值有所变化，根据这一特点本文采用视觉背景提取算法(Visual Background extractor,ViBe)进行前景目标检测。

对于某像素p，背景像素样本值空间定义为：

M(p)={v1,v2,…,vN} , (1)

式中，vi表示像素p的背景像素样本值空间中的第i个样本值，N表示像素p的背景像素样本值空间中包含的样本个数。

随机从像素p及其八邻域的像素中选取N个像素值进行背景像素样本值空间初始化，每个像素值被选择的概率相同，初始化模型如式(2)所示：

M0(p)={v0[q|q∈NG(p)]} ， (2)

式中，q表示像素p邻域中随机选取的一个像素，NG(p)表示像素p邻域内的像素集合。

假设当前帧图像中某像素p的像素值为v(p)，SR(v(p))为以v(p)为中心，R为半径的区域，区域SR(v(p))中所含像素p的背景像素样本值个数为num={SR(v(p))∩{v1,v1,…,vN}}，通过比较num与给定的阈值min，若所含的样本数num大于或等于阈值min，则像素p为背景像素，否则为前景像素[8-10]。

利用Vibe算法对存在运动的高光谱图像逐帧处理，得到运动前景目标的高光谱图像。同时，根据前景目标所在位置，将背景区域划分为运动区域(被前景目标遮挡的背景区域)和静止区域(未被前景目标遮挡的背景区域)。只要恢复运动区域，得到完整的背景区域高光谱图像，结合前景目标的高光谱图像，即可获得高光谱视频图像。

3 图-谱结合的压缩感知高光谱视频图像复原

3.1 压缩感知理论

本文利用高光谱图像的空间相关性与光谱相关性，通过压缩感知进行运动区域恢复。压缩感知(Compressive Sensing)理论充分利用了大部分信号具有的稀疏特性，通过随机投影实现对压缩数据的直接采集[11-12]，广泛应用于高光谱图像处理领域[13-16]。传统压缩感知算法将整幅图像转换成一维信号，导致重构过程计算量庞大，恢复速度缓慢。对此Gan提出分块压缩感知[17]，将原有图像分成若干图像块，对每个图像块独立进行测量，以降低观测矩阵和重构算法的计算量。根据压缩感知理论，

y=Φx=ΦΨθ， (3)

式中，x∈RN表示原始值，y∈RM表示观测值，Φ∈RM×N表示观测矩阵，且M

(4)

式中，ω为平衡稀疏度与近似误差的参数。

(5)

3.2 静止区域的字典学习

高光谱图像空间相关性与光谱相关性提供的稀疏先验信息由静止区域学习的字典进行表征。由于高度冗余的过完备字典进行稀疏分解时具有潜在的不稳定性容易出现视觉伪影，本文采用主成分分析(Principal Component Analysis,PCA)进行PCA字典学习[18-19]，将静止区域分块训练得到的PCA字典作为运动区域压缩感知重构的稀疏基Ψ。

将静止区域分为n个大小为B×B×λ的不重叠图像块，λ为波段总数，第i个图像块的列向量表示为ci∈RB2·λ×1,i=1,2,…,n。字典训练的目标函数用公式表示为

(6)

式中，C=[c1,c2,…,cn]表示用于训练字典的图像块列向量的集合，Λ是C相对字典Ψ的表示系数矩阵。计算图像块列向量集合C的协方差矩阵Ω，由PCA获得正交变换矩阵T。根据PCA理论可得

(7)

3.3 压缩感知高光谱视频图像复原

图-谱结合的压缩感知高光谱视频图像复原的具体实施过程如下：

(1)将运动区域分为m个大小为B×B×λ的不重叠图像块，第i个图像块的列向量di∈RB2·λ×1。

(2)构造每个图像块的观测值列向量y：对于第i个图像块，根据运动前景目标检测结果，观测值列向量yi由列向量di中剔除检测出前景目标位置所在的像素值后余下的像素值构成，被剔除的像素值表示被前景目标遮挡的区域。设第i个图像块中未检测出前景目标位置所在的像素个数为K，则观测值列向量yi∈RK×1。

(3)构造每个图像块的观测矩阵Φ：对于第i个图像块，Φi初始值是大小为B2λ×B2λ、对角为1的对角矩阵，对角线元素与列向量di的像素值一一对应。根据运动前景目标检测结果，将检测出前景目标的像素位置对应的对角线元素置0，表示被前景目标遮挡；未检测出前景目标的像素位置对应的对角线元素维持1不变，表示未被前景目标遮挡。删除Φi中的全零行，得到观测矩阵Φi∈RK×B2·λ。

(4)将观测值列向量y、观测矩阵Φ、PCA字典Ψ代入式(4)、(5)，采用文献[20]的压缩感知算法分别恢复运动区域的每个图像块。

(5)由静止区域与恢复的运动区域得到完整的背景区域的高光谱图像。前景目标的高光谱图像与背景区域高光谱图像结合，即可得到高光谱视频图像，实现压缩感知高光谱视频图像复原。

4 实验结果与分析

本文采用文献[7]提供的高光谱视频图像资源，选取其中10帧高光谱视频图像作为原始高光谱视频图像。每帧高光谱视频图像波段覆盖范围为610～700 nm、间隔为10 nm共10个波段的高光谱图像，空间分辨率为752×480。利用基于LCTF的高光谱采集系统对动态场景进行成像记录时，采集到的存在运动的高光谱图像对应高光谱视频图像分别为：第1帧在610 nm处的图像、第2帧在620 nm处的图像、第3帧在630 nm处的图像、……、第10帧在700 nm处的图像共10个波段图像。本文的算法主要研究如何从存在运动的高光谱图像中恢复出完整的高光谱视频图像。为了降低算法复杂度，动态场景中只存在一个运动前景目标。所有仿真实验均在相同的计算平台(Intel i5-4590 CPU 3.30 GHz/8.00 GB内存)下完成。

4.1 前景目标检测结果

本文算法采用ViBe算法对存在运动的高光谱图像进行前景目标检测。利用610 nm波段的图像完成背景像素样本值空间的初始化。由于610 nm波段的图像内存在运动前景目标，建立的背景初始化模型中包含运动前景目标信息，因此利用ViBe算法处理610 nm波段与620 nm波段的图像时，每幅图像中检测出两个前景目标区域，分别为运动前景目标在610 nm波段与620 nm波段的图像所处的位置。为确定每幅图像中运动前景目标的真实位置，本文利用运动估计中常用的匹配准则：绝对差值和(Sum of Absolute Differences,SAD)进行判断，SAD为原始图像块中的每个像素与用于比较图像块中相应像素的绝对差之和。分别计算610 nm波段图像两个前景目标区域与620 nm波段图像两个前景目标区域的SAD，SAD最小值对应的两个前景目标区域即为运动前景目标的真实位置。前景目标检测结果如图4所示，图4中(a)～(j)分别为在610～700 nm波段、间隔为10 nm所采集的运动前景目标的高光谱图像。

图4 前景目标检测结果 Fig.4 Results of foreground object detection

图5 背景区域的高光谱图像 Fig.5 Hyperspectral images of the background area

根据前景目标所在位置，将背景区域划分为运动区域(被前景目标遮挡的背景区域)和静止区域(未被前景目标遮挡的背景区域)。只要恢复运动区域，得到完整的背景区域高光谱图像，结合前景目标的高光谱图像，即可获得高光谱视频图像。

4.2 静止区域的字典学习

将静止区域分为若干大小为B×B×λ的不重叠图像块，其中B=8，λ=10。利用所得图像块进行PCA字典学习，根据式(6)、(7)得到维度、原子个数均为640的PCA字典，用于后续的运动区域恢复。

4.3 压缩感知高光谱视频图像复原

将运动区域分为若干大小为B×B×λ不重叠图像块，其中B=8，λ=10。根据运动前景目标检测结果构造每个图像块对应的观测值与观测矩阵，结合静止区域学习的PCA字典，采用文献[7]的压缩感知算法进行运动区域的图像块恢复。由静止区域与恢复的运动区域得到完整背景区域的高光谱图像。图5中(a)～(j)分别为610～700 nm波段、间隔为10 nm，所采集的完整背景区域的高光谱图像。

前景目标的高光谱图像与背景区域高光谱图像结合，即可得到高光谱视频图像，实现压缩感知高光谱视频图像复原。图6所示为高光谱视频图像的部分图像复原结果。本文使用峰值信噪比(Peak Signal to Noise Ratio,PSNR)来衡量图像复原的效果。PSNR定义如下：

图6 高光谱视频的部分复原结果对比图 Fig.6 Comparison of some results of hyperspectral video restoration

(8)

式中，u、v表示高光谱图像空间维的两个维度；n表示高光谱图像的光谱维维度；MAXI表示图像像素能取的最大值，若每个像素用8位表示，MAXI=255。本文实验中u=752，v=480，n=10，MAXI=255。复原高光谱视频中的一帧高光谱图像表示为Hr∈Ru×v×n，原始高光谱视频中的一帧高光谱图像表示为Hg∈Ru×v×n。本文方法与文献[7]中的方法结果如表1所示。

表1 本文算法与文献[7]中方法的PSNR值对比

综合图6本文方法与文献[7]方法进行高光谱视频图像复原的视觉效果对比图与表1中两种方法的PSNR结果可知，本文方法的效果优于现有方法。

文献[7]方法复原图像中运动目标及其周围场景存在伪影及扭曲现象，而本文方法相应区域复原效果较好。主要原因是本文方法是针对基于LCTF的高光谱成像系统在动态场景中的实际成像情况，研究如何从存在运动的高光谱图像中进行高光谱视频图像恢复；而文献[7]的方法主要是利用基于LCTF的高光谱成像系统验证假设高光谱视频各帧中已知若干不同波段的图像进行高光谱视频图像复原的效果。在实际情况中基于LCTF的高光谱成像系统对动态场景进行采集，任一时刻只能获取一个波段的图像。此外，文献[7]中利用光流法进行高光谱视频图像初步复原，由于采集到的存在运动的高光谱图像不符合光流法要求相邻帧之间亮度保持不变的假设，因此实际情况中基于LCTF的高光谱成像系统的高光谱视频图像的复原效果不佳。本文方法根据LCTF高光谱成像系统每次只能采集一个波段图像的成像特点，基于高光谱图像空间维与光谱维相关性进行高光谱视频图像复原，有效提升高光谱视频图像复原质量。

5 结 论

针对LCTF高光谱成像系统对动态场景的成像特点，本文提出一种新的高光谱视频图像复原方法。首先，通过前景目标检测获得运动前景目标的高光谱图像，实现运动前景目标与背景区域分离。然后，基于高光谱图像空间维、光谱维相关性通过压缩感知理论与字典学习理论恢复被运动前景目标遮挡的背景区域，得到完整的背景区域的高光谱图像。最后，通过前景目标高光谱图像与背景区域高光谱图像的组合，得到高光谱视频图像，实现基于LCTF高光谱成像系统的高光谱视频图像复原。实验结果表明，本文提出的高光谱视频图像复原算法在主观视觉效果和客观评价指标上都优于现有方法，峰值信噪比平均提高5 dB以上，有效提升高光谱视频图像复原质量。