快照式光谱成像技术综述

高泽东，高洪兴，朱院院，李 杰，郝 群，刘 宇，陈 超，成 刚，曹 杰，孟合民

(1.北京理工大学 光电学院，北京 100081；2.西安应用光学研究所，陕西 西安 710065；3.中国人民解放军32180部队，北京 100012)

1 引 言

光谱成像仪通过采集场景的光谱辐射度收集三维(Three dimensional, 3D)数据集，称作数据立方体。数据立方体包括二维(Two dimensional, 2D)空间信息和一维(One dimensional, 1D)光谱信息[1-2]。通过降维融合显示[3]、地物分类[4]或目标检测识别[5-6]实现3D数据立方体的应用。从数据获取方式而言，光谱成像技术包括扫描式光谱成像与快照式光谱成像[1]。

扫描式光谱成像是指以时间序列测量数据立方体的1D或2D切片，其获取3D数据立方体通常有3种方式：点扫描：一次获取1D光谱曲线，通过2D空间扫描，获得完整3D光谱数据立方体；线扫描：一次获得1D空间信息+1D光谱信息，如带狭缝的光谱成像方式，常见的有棱镜或光栅色散型光谱成像方式、空间调制型光谱成像方式；谱扫描：一次获得一个窄带波段内的2D空间信息，如滤光片轮切换方式，AOTF、LCTF等可调谐滤光成像方式[7]。扫描式光谱成像传感器在采集有显著空间变化或光谱变化的动态场景时，由于需要扫描而无法获取准确的数据立方体[1]。然而，在实际应用场合，人们希望光谱成像仪无需扫描，能在一次曝光周期内获取完整的数据立方体，因此快照式光谱成像技术被提出[8]。本文对快照式光谱成像技术进行了系统的分析和研究，按照图像分割、孔径分割、光路分割和频率分割法对该技术进行了分类，研究了每种光谱成像技术的原理，分析了每种技术的优缺点，并进行对比及展望。

2 原理与分类

2.1 概念与原理

快照式光谱成像技术是指在探测器单个积分周期内测量3D数据立方体。而成像探测器是2D探测器，单个积分周期只能获取2D信息，因此快照式需要将数据立方体划分为多个2D数据以同时测量，再通过后处理将2D数据重新组合为3D立方体。最简易的快照式光谱成像仪为通道式光谱成像仪(Channel Spectral Imager, CSI)[9-10]。光谱数据立方体如图1所示。

图1 光谱数据立方体示意图Fig.1 Schematic diagram of spectral data cube

CSI通过多通道并行采集，解决2D成像系统不能一次采集3D数据的问题，如图2所示。每个通道由滤光片、光学系统和探测器构成，每个通道配置不同中心波长的窄带滤光片，一个通道获取一个窄带光谱图像，形成3D数据立方体。CSI具有原理简单、易于实现、相机可靠的优点。但由于多通道并行采集，各通道存在视差，各通道采集的窄带光谱图像需要配准；同时，一个成像通道对应一个窄带波段，光谱通道数取决于光学系统与探测器的数目，因此光谱通道数量较少，一般为3，4；采用多个探测器，体积、质量均比较大。

图2 通道式光谱成像原理Fig.2 Schematic diagram of channel spectral imager

由于通道式光谱成像技术存在光谱通道数较少、体积和质量较大等问题，其他快照式光谱成像技术得以蓬勃发展。经过近30年的发展，出现了多种快照式光谱成像技术，包括积分视场光谱仪(Integral Field Spectrometry，IFS)[8]、图像映射光谱仪(Image Mapping Spectrometry, IMS)[11]、像素滤光的多光谱探测器(Multispectral Sensor with Per-pixel Filters, MS-PPF)[12]、基于光场结构的光谱成像仪(Spectral Imager using Light Field Architecture, SI-LF)[13-14]、编码孔径快照式光谱成像仪(Coded Aperture Snapshot Spectral Imager, CASSI)[15]、基于复眼成像原理的多孔径分块滤光光谱成像仪(Multispectral Imager with Thin Observation module by Bound Optics, MSI-TOMBO)[16]、单片集成分块滤光的多光谱探测器(Multispectral Sensor with Integrated Tilted Filters, MS-ITF)[17]、多孔径渐变滤光的光谱成像仪(Spectral Imager with Multi-apertures and Linear Varying Filter, SI-MALVF)[18-19]、快照式高光谱成像傅里叶变换(Snapshot Hyperspectral Imaging Fourier Transform, SHIFT)光谱仪[20]、计算机层析光谱成像仪(Computed Tomographic Imaging Spectrometry, CTIS)[21]、基于分束器的光谱成像仪(Spectral Imager with Beam Splitting, SI-BS)[22-23]、基于滤光片堆栈的光谱成像仪(Spectral Imager with a Filter Stack, SI-FS)[24]、图像复分光谱成像仪(Image-replicating Imaging Spectrometer, IRIS)[25]、多光谱Sagnac干涉仪(Multispectral Sagnac Interferometer, MSI)[26]等。

2.2 技术分类

快照式光谱成像分类如图3所示，根据是否需要重构，分为直接测量与间接测量[2]两种方式。直接测量是指采集的2D图像经过简单的数据重排就可以获得3D数据立方体，而间接测量是指采集的2D图像需要经过算法重构才能获得数据立方体。根据是否需要迭代计算，将重构方法分为直接重构与迭代重构。

扫描式光谱成像技术的研究重点在于如何获取光谱信息，常从分光方式对它进行系统研究，有色散型、滤光型及干涉型等[7]。而快照式光谱成像的关注点是如何将3D数据立方分割为多个2D图像，根据分割方法归纳出图像分割、孔径分割、光路分割和频域分割4类。

图3 快照式光谱成像技术分类Fig.3 Classification of snapshot spectral imaging technologies

图4 图像分割原理Fig.4 Principle for image division

图像分割(Division of Image, DoI)方法将分割器件置于成像系统的像面上，并将像面上的图像分成小块，然后变形、收缩或定向到不同位置，在2D探测器上为光谱维色散留下足够的空间。图4为图像分割的基本原理。值得注意的是：像面图像分割是DoI方法的特征；DoI的图像分块、移动留白及分光，相当于在2D探测器上实现了点扫描或线扫描。常见的图像分割方法有积分视场(IFS)、图像映射(IMS)、像素滤光(MS-PPF)、基于光场结构的SI-LF和压缩编码孔径(CASSI)。其中IFS，IMS，MS-PPF，SI-LF属于直接测量的图像分割方法，而CASSI属于迭代重构的图像分割方法。

孔径分割(Division of Aperture, DoA)思想起源于通道式光谱成像。将多个孔径置于成像系统的光瞳处，通过多孔径场景复制，在2D探测器上得到多孔径的复制图像，如图5所示。最常见的是在成像系统的光瞳处放置微透镜阵列实现入射场景的多孔径复制。值得注意的是：孔径复制是DoA的特征，去除DoA的前端成像系统，DoA就蜕化成为CSI；DoA的孔径复制与分光，相当于在2D探测器上实现了谱扫描。常见的孔径分割方法有复眼成像(MSI-TOMBO)、复制滤光(MS-ITF)、多孔径渐变滤光(SI-MALVF)、傅里叶变换(SHIFT)和计算机层析(CTIS)。其中，MSI-TOMBO，MS-ITF，SI-MALVF属于直接测量的孔径分割方法，而SHIFT属于直接重构的孔径分割方法，CTIS属于迭代重构的孔径分割方法。

图5 孔径分割原理Fig.5 Principle for aperture division

光路分割(Division of Optical Path, DoOP)方法将入射光分成多个光路，如图6所示，然后定位到不同方向，每个光路分别获取不同的窄带光谱图像，如通过二色分光镜将一个光路分成两个光路，然后由两个探测器进行采集。DoOP的特征是将光路分成若干个子光路，相当于在2D探测器上实现了谱扫描。常见的光路分割方法有基于分束器的SI-BS、基于滤光片堆栈的SI-FS和图像复分IRIS，均属于直接测量的光路分割方法。

图6 光路分割原理Fig.6 Principle for optical path division

频域分割(Division of Frequency Domain, DoFD)方法是指在空间域或谱域中复用具有不同特性的光子，然后在相应的频域中分割得到信号的捕获方法。常见的频域分割法是多光谱Sagnac干涉。

3 图像分割

3.1 切片器积分视场光谱议

1938年，Bowen提出了首个快照式光谱成像仪：基于切片镜的积分视场光谱仪(Integral Field Spectrometry with Faceted Mirrors, IFS-M)[8]，其原理如图7所示。切片镜置于前置光学系统的像面，切片镜上有多个不同倾斜角度的长条镜(切片元件)，将像面上的图像切片成条带，条带图像经过折叠镜反射到不同的光瞳位置。在每个光瞳后面有准直镜、色散器、二次成像镜和探测器阵列，将每个瞳孔位置的条带图像色散，得到条带图像的色散图像，经过重排得到3D光谱数据立方体I((x,y,λ)。

图7 基于切片镜的积分视场光谱仪原理Fig.7 Schematic diagram of integral field spectrometry with faceted mirrors

由于切片镜的切片元件是全反射方法，IFS-M技术的光能利用率高，非常适合于红外测量。但却包含如下缺点：切片元件的数量决定了一维空间像素数，切片元件数量受到限制，使得空间像素数较少；为了保持瞳孔之间的距离，切片元件的倾斜必须很大，易在切片元件末端产生散焦；多个探测器导致其体积和质量很大。由于存在空间像素少、体积质量大等缺点，IFS-M没有得到广泛应用。

图8 微切片器的积分视场光谱仪原理Fig.8 Schematic diagram of integral field spectrometry with micro-slicer

基于微切片器的积分视场光谱仪(Integral Field Spectrometry with Micro-slicer，IFS-μ)[27]能够较好地克服上述问题，以减少光谱采样为代价，可采集更多的空间元素。IFS-μ使用与IFS-M相同的切片镜，但切片元件的平面更大。IFS-μ首先通过变形前置光学系统将输入图像的一个轴拉伸变形、放大，然后通过微切片器的切片、变形、缩小，使得图像的各个空间元素以窄条的形式呈现。这些窄条充分分离，可以在没有重叠的情况下进行光谱色散，如图8所示。通过微切片技术可实现100×100×120的光谱数据立方体。尽管如此，IFS-μ却只适用于空间像素数要求低、光谱通道数要求高的场合。

3.2 可变形光纤束积分视场光谱仪

基于可变形光纤束的积分视场光谱仪(Integral Field Spectrometer with Deformable fiber bundle, IFS-F)如图9所示。采用可变形光纤束，将成像物镜像面上的2D空间图像“拉直”为1D线图像，再经过光栅、棱镜等色散元件进行色散，获得1D线图像的色散图像，最后经过重排获得3D光谱数据立方体[28]。

图9 基于可变形光纤束的积分视场光谱仪原理Fig.9 Schematic diagram of integral field spectrometer with deformable fiber bundle

IFS-F的特点是：空间像素数取决于光纤的根数，空间像素数越多，光纤束越多，IFS-F的体积质量越大。因此，IFS-F具有较低的空间像素数，较高的光谱通道数，主要应用于高光谱分辨率、低空间分辨率需求的场合，如实时自动目标识别、IED/爆炸物/化学探测、生物识别生物医学、导弹拦截、爆炸闪电分析和燃烧诊断等。

2006年，美国Opto-knowledge公司研制了0.4～1.0 μm的4-DIS光谱仪，空间分辨率较低，仅有21×19，光谱通道数为300，时间分辨率达10 000 Hz，如图10(a)所示。2012年，Opto-knowledge公司采用4个可变形光纤束提升了空间分辨率，空间分辨率也仅44×40，如图10(b)所示[29]。

图10 Opto-knowledge光谱成像仪Fig.10 Opto-knowledge spectral imager

3.3 微透镜阵列积分视场光谱仪

图11 基于微透镜阵列的积分视场光谱仪系统布置Fig.11 Schematic diagram of integral field spectrometer with lenslet arrays

基于微透镜阵列的积分视场光谱仪(Integral Field Spectrometer with Lenslet Arrays，IFS-L)将微透镜阵列放置在物镜的像面上，如图11所示，微透镜空间采样像面上的图像得到中间像，并在光瞳平面将单个微透镜空间范围内的所有光束会聚成一点；光束会聚点之间的空白区域，为光栅色散留下了足够的空间；最后，在2D探测器阵列上形成会聚点的色散条带[30]。

系统的性能主要取决于微透镜阵列的设计。IFS-L的空间像素数取决于微透镜阵列的个数，光谱通道数取决于微透镜之间的间隙。其优点在于：微透镜产生的会聚点光束比入射光束更快(F数更小)；相对于IFS-F，IFS-L的微透镜阵列体积要小于可变形光纤束，有效减小了体积质量。折衷了空间像素数和光谱通道数，数据立方体尺寸可达200×200×27。但是，微透镜的使用降低了后面光学系统的F#数，对后端的光学器件提出了更高的要求。此外，为了有效利用探测器，会聚点色散留下更大的区域，需要微透镜阵列绕光轴倾斜，增加了系统的装调难度。

3.4 针孔阵列积分视场光谱仪

图12 超像素阵列相机原理Fig.12 Schematic diagram of hyper-pixel array camera

2009年，Bodkin提出了一种基于针孔阵列采样的积分视场光谱成像仪(Integral Field Spectrometer with Pinholes, IFS-P)，又称作超像素阵列(Hyper-pixel Array，HPA)相机。如图12所示，针孔阵列置于物镜的像面，替代IFS-L的微透镜阵列进行离散采样，针孔之间的间隔使每个采样点之间有足够的间隔，保证色散后的光谱不重叠[31]。

2009年，Du等提出了类似于HPA方案的基于棱镜的多光谱视频成像系统(Prism-based Multispectral Video Imaging System, PMVIS)[32]。2011年，Cao 等针对PMVIS空间分辨率低的问题，提出了一种基于混合相机的高光谱采集系统(Hybird Spectral Video Imaging System，HVIS)[33]，其基本原理如图13所示。一路利用灰度相机捕获光谱视频流，一路利用RGB相机捕获高空间分辨率的彩色视频，两路视频同步校准，通过实时光谱传播算法进行融合，最终获得既具有高空间像素数又具有高光谱通道数的光谱数据立方体。

图13 基于混合相机的高光谱采集系统原理Fig.13 Schematic diagram of hybird spectral video imaging system

IFS-P的优点是原理简单、计算量极小、实时性好，适用于探测大目标，常用于农业调查、环境监测。其缺点是：空间采样不连续，难以适用于小目标探测识别；针孔采样的光能利用率较低。

3.5 图像映射光谱仪

IFS-M技术适合于低空间像素数(10数量级)和高光谱通道数(100数量级)的应用场合。然而，对于许多应用，如显微镜，要求较高的空间像素数(100数量级)，光谱通道数只需10～40个，因此IFS-M难以大量应用。虽然微切片器(IFS-μ)能够实现更高的空间采样，但严重增加了系统设计的复杂性。

图像映射光谱仪(Image Mapping Spectrometry, IMS)类似于IFS-M，也使用切片镜，切片镜置于显微镜像面，将显微图像切片。IMS与IFS-M的显著区别是：IFS-M的切片镜中，一个切片元件一个倾斜角，而IMS的多个切片元件共享相同的倾斜角度，图像的多个切片被映射到同一个光瞳[11]，提高了空间分辨率。

进一步，切片元件长度N决定了x向空间像素数，切片元件的数量M决定了y向的空间像素数，倾斜角度种类L决定了光谱通道数λ，最终3D(x,y,λ)数据立方体的大小为N×M×L。图14所示的切片元件长度未知，8个切片元件将图像切割成8个条带，4个倾斜角使得光谱通道数为4，故最终的光谱数据立方体的大小为x×8×4。

图14 图像映射光谱仪原理Fig.14 Schematic diagram of image mapping spectrometry

IMS的优点是：每个光瞳由多个切片元件共享，允许更高的空间分辨率，通过高分辨率探测器可采集100×100×25或350×350×46的光谱数据立方体；微切片镜将整个系统的体积缩小到一个紧凑的尺寸，体积重量较小。其缺点是：切片元件的加工难度大，空间像元数y越多，切片元件数越多，切片元件宽度越小(μm级)，加工越难；小切片容易造成衍射，降低成像质量；在显微图像的衍射点进行切片时，一些反射光线会偏离几何光路，导致相邻切片图像间的串扰，串扰成为主要的背景噪声，严重影响光谱测量精度。

IMS类似于IFS-M，将图像进行空间分割，只需要简单的图像重排就可以得到3D数据立方体，因此归类为直接测量的图像分割技术。

3.6 像素滤光探测器阵列

图15 4×4滤镜单元拼接的马赛克快照式光谱成像原理Fig.15 Principle for mosaic snapshot spectral imaging composed of 4 × 4 pixel filter array

1976年，Bayer采用相邻2×2像素级滤镜单元获取RGB彩色图像，其中每个单元包括1个红色、2个绿色和1个蓝色的像素级滤镜。2014年，比利时微电子研究中心IMEC将此概念推广，提出了一种基于像素滤光的探测器阵列(Multispectral Sensor with Per-pixel Filters, MS-PPF)，将Fabry-Pérot像素级滤光片阵列整体集成在传感器表面。将相邻n×n像素滤镜阵列视作一个光谱体素单元，每个滤镜的中心波长不同时，就可同时获得n2个通道的光谱数据。图15是在CMOS传感器上方制作了4×4个滤镜单元，可同时获得16个通道的光谱数据[12]。不难知道，这种滤镜单元拼接的多光谱快照式成像方案通过牺牲空间分辨率来获取具有一定空间分辨率和光谱分辨率的光谱数据立方体。

MS-PPF的优点为：将单片滤镜阵列集成到标准CMOS探测器上，大大减少了系统杂散光、提高了灵敏度和成像速度；采用CMOS工艺技术，大大降低了成本，具有大规模制造的潜力；每个像素滤镜的晶片级设计可实现紧凑的快照式光谱采集，极大地增加了摄像机的便携性、灵活性和易用性，特别适用于尺寸和质量受限的应用领域，如小型无人机伪装目标侦察识别应用场合。其缺点在于：滤镜单元内不同滤镜对应的位置近似相同，当光谱通道数增大时，空间误差增大；光谱通道数较低，目前的技术水平是5×5，共25个光谱通道。

3.7 光场结构多光谱成像技术

2009年，Levoy在光场相机的基础上，提出了基于光场结构的多光谱成像技术(Spectral Imaging with Light Field Architecture, SI-LF)[13]。其原理如图16所示，SI-LF包括物镜、滤光片阵列、针孔阵列、探测器。针孔阵列放置在物镜的像面上，探测器放置在微透镜阵列的后方，滤光片阵列布置在物镜的孔径处。该结构可分解为两部分：第一部分是由目标、物镜、针孔阵列和探测器构成的光场相机结构；第二部分是由滤光片阵列、针孔阵列和探测器构成的小孔成像结构。

图16 光场结构的光谱成像原理Fig.16 Spectral imaging principle of light field structure

第一部分中，物镜将目标成像到针孔阵列，因探测器位于针孔阵列后方，会聚到针孔上的光线会继续传播，根据入射光的角度，重新在探测器表面分配入射光，在探测器上形成一个体素，即一个针孔对应多个探测器像元。第二部分中，针孔将滤光片阵列成像到探测器上，使得第一部分形成的体素内的小像元调制有滤光片阵列的光谱信息。将一个体素视为一个子单元，提取子单元相同位置的像素构成一幅窄带光谱图像。

SI-LF设计的变体包括用微透镜阵列代替针孔阵列和用线性可变滤波器代替滤波器阵列[14]。SI-LF的特点是：针孔数量等于3D光谱数据立方体的空间像素数；单个体素包含的像元个数等于光谱通道数；单个体素内各个像元的光谱配置与滤光片阵列的光谱配置一致；光场相机的结构实现了空间像素的复制功能。

SI-LF的优点是滤光片阵列相对于在平铺滤光的MS-IFT要大得多，制造难度大大降低，更容易实现。缺点在于：采用针孔，光能量损失较大；体素内各个像素的光来自于目标的不同方向，为使光谱调制效果较好，需满足朗伯体反射假设，即各个方向均匀反射。

Hagen与Gao把SI-LF归类为基于孔径分割的光谱成像技术，认为SI-LF类似于Tanida提出的MSI-TOMBO和IMEC提出的MS-ITF，均含有针孔或微透镜阵列[1-2]。本文则将SI-LF归类为基于图像分割的光谱成像技术，原因是：针孔位于物镜的像面上，功能上实现了对图像的空间采样，类似于IFS-L，IFS-P，而不是MSI-TOMBO和MS-ITF的场景复制；SI-LF在探测器上的采集图像类似于基于像素滤光的光谱成像技术MS-PPF。

3.8 压缩编码孔径快照式光谱成像仪

2007年，美国杜克大学Brady研究小组基于压缩感知理论，提出了双色散元件的编码孔径快照式光谱成像仪(Dual Disperser Coded Aperture Snapshot Spectral Imager，DD-CASSI)[15]。2008年，针对DD-CASSI双臂4f系统架构元件多、长度长、装调难等难点，Brady提出了单色散元件的编码孔径快照式光谱成像仪(Single Disperser Coded Aperture Snapshot Spectral Imager,SD-CASSI)[34]。

2009年，Brady针对SD-CASSI光路折转不易装调的问题，提出了直视型编码孔径快照式光谱成像仪(Direct View Coded Aperture Snapshot Spectral Imager,DV-CASSI)[35]。DV-CASSI原理如图17所示，包括物镜、编码孔径、带通滤光片、F/8中继透镜、Amici棱镜和CCD探测器。CASSI基于压缩成像理论，使用编码孔径在物镜的像面上对所成图像进行随机二值化编码，然后通过Amic棱镜对编码图像进行色散，由CCD探测器阵列采集空间与光谱混叠的复合图像，最后通过图像重构算法将采集的复合图像重构成3D数据立方体。图像重构是图像形成过程反问题的求解，常采用稀疏重建的梯度投影[36]或两步迭代收缩/阈值算法[37]。

图17 双色散元件的编码孔径快照式光谱成像仪原理Fig.17 Schematic diagram of dual disperser coded aperture snapshot spectral imager

CASSI不需要扫描，就可由一帧2D图像反演出场景的3D光谱数据立方体，成像过程具有强实时的显著优点；并且基于压缩感知理论，不牺牲空间分辨率换取光谱分辨率，因此空间分辨率和光谱分辨率均较高。然而，CASSI建立在压缩感知假设的基础上，它要求输入场景在梯度域中是稀疏的；而且，基于压缩感知理论的重构算法为迭代逼近算法，算法复杂度高、收敛慢，难以重构实时；此外，压缩感知概念采用信号的空间分辨率与图像质量的权衡，替代空间分辨率与光谱分辨率的折衷，使得结果数据质量不可预测，重构常会引入空间和光谱伪影，降低了空间分辨率较高的优势。

近年来，研究人员使用多次编码快照[38]、高阶图像重建模型[39]、优化编码孔径[40]和使用两个摄像机的混合设计[41]等方式提高CASSI的重建质量。

Hagen将CASSI归类为迭代重构的光路分割[2]，本文则将CASSI归类为迭代重构的图像分割技术，理由是：(1)编码孔径位于物镜的像面上，在像面对图像进行编码空间采样，类似于IFS-L、IFS-P；(2)如果场景完全稀疏，此时编码透光孔之间就有了足够的色散空间，类似于IFS-P。

3.9 小 结

图像分割方法目前已形成了3个技术方向：(1)基于视场分割器件的IFS；(2)基于像素滤光的MS-PPF；(3)基于压缩感知理论的CASSI。

IFS通过分割器件，如切片镜、可变形光纤束、微透镜阵列、针孔为分割器件等将视场分割。IFS技术成熟度较高，商业化程度高，在天文、工业、医疗、农业、安防等领域都得到了广泛应用。视场分割器件是关键核心部件，IFS的研究热点当前仍然聚焦于此。

MS-PPF依赖于先进的微电子工艺技术，它集成了薄膜技术与光刻技术，研究门槛高，主要受限于研究机构的基础设备、基础工艺和设计理念[42]，目前主要集中在具有高精尖微电子设计制作能力的研究机构，如比利时IMEC、芬兰SPECIM、法国SILIOS、美国PixelIteq公司等。

CASSI建立在压缩感知理论上，采用简单的实验装置便可实现快照式成像，受到许多研究人员的偏爱。改进编码方式、重建成像光路以及优化重构算法均可以提升CASSI性能，是近年来的研究热点。

4 孔径分割

4.1 多孔径分块滤光

2000年，日本学者Tanida提出了一种基于复眼成像原理的光电观测模块(Thin Observation Module by Bound Optics，TOMBO)架构[43]。2003年，Tanida将TOMBO架构应用到彩色成像，提出color-TOMBO架构，该方法是在微透镜上方附着R，G，B宽波段滤光片阵列，实现颜色滤波[44]。2004年，Tanida又将color-TOMBO中的滤光分割进一步推广到多光谱成像，提出MSI-TOMBO，如图18所示，即在TOMBO系统上配置空间分割的滤光片阵列[16]。

MSI-TOMBO的微透镜阵列实现了场景图像的光学复制功能，故归类为直接测量的孔径分割技术。

图18 基于复眼成像原理的光电观测模块架构原理Fig.18 Schematic diagram of thin observation module by bound optics

4.2 单片集成分块滤光

2013年，比利时IMEC发布了复制滤光的多光谱探测器(Multispectral Sensor with Integrated Tilted Filters, MS-ITF)[17]。MS-ITF是单片集成式器件，包括光学滤波器与CMOS探测器。如图19所示，光学滤波器含有4行8列，共32个滤镜单元，并直接制作在CMOS表面。32个的滤镜单元窄带宽度小于10 nm，覆盖了CMOS探测器敏感的600～1 000 nm波段。当采用2 048×1 088像素数的CMOS探测器时，4×8个滤镜单元实现了快照式获取256×256像素、32个通道的光谱数据立方体。

IMEC同时还提出了基于MS-ITF的快照式多光谱摄像机，如图19所示，它由一个物镜、一个光阑、一个微透镜阵列和一个多光谱探测器组成。物镜将远处的场景成像在光阑处，在物镜的光瞳处放置4行8列的微透镜阵列，微透镜阵列将光阑处的成像复制并中继到多光谱探测器，多光谱探测器上的4×8个滤镜单元分别滤光，并由CMOS传感器实时采集。原理样机在日光条件下的采集帧频大约为30 frame/s，在更高照度水平的条件下，如机器视觉应用中，可达到340 frame/s。

图19 基于复制滤光多光谱探测器的多光谱成像原理Fig.19 Schematic diagram of multispectral imager using multispectral sensor with integrated tilted filters

单片式MS-ITF探测器集成度高，使得光谱摄像机体积小、质量轻，适合大规模制造，大大降低了成本；此外，立方体重建简单，允许以视频速率实时、低延迟操作。但是采用的单片集成式光学滤波器，加工制作难度大。

值得注意的是：IFS-L的微透镜阵列实现的是光学采样(图像分割)功能，而MS-ITF多光谱像机的微透镜阵列实现场景图像的光学复制功能。因此，归类为直接测量的孔径分割技术。

4.3 多孔径渐变滤光

2018年，Hubold提出了多孔径渐变滤光的光谱成像技术(Spectral Imaging with multi-apertures and Linear Varying Filter, SI-MALVF)，其原理如图20所示，包括线性渐变滤光片(Linear Varying Filter, LVF)、微透镜阵列(Micro-lens Array, MLA)、隔板阵列、玻璃盖片与FPA成像器件。其中，MAL用于成像场景的多孔径光学复制，LVF实现光谱滤光，隔板阵列用于孔径之间的杂散光隔离[18]。

首先，假设LVF的变谱方向在较短的距离内，光谱近似不变。设计的关键是线性渐变滤光片LVF、微透镜阵列MLA、FPA探测器的位置关系。在Hubold的设计中，将MLA与FPA对正放置，将LVF放置在MLA的上方，如图20所示。如图21所示，在LVF与MAL对正放置时，MLA的高度方向(LVF的恒谱方向)对应区域所成的子图像是相同的，只能获得变谱方向微透镜个数的光谱图像，造成FPA探测器极大浪费。Hubold创新地提出将LVF相对MLA倾斜一定角度θ，如图22所示，此时MLA的水平x方向和垂直y方向对应区域的光谱均不相同，将光谱通道数提升至微透镜的个数。

图20 多孔径渐变滤光原理Fig.20 Schematic diagram of spectral imaging with multi-apertures and linear varying filter

图21 渐变滤光片与微透镜阵列对正放置Fig.21 Aligned position between LVF, MLA and detector

图22 渐变滤光片相对微透镜阵列旋转Fig.22 LVF rotation relative to MLA

Hubold采用3 243×4 864的CCD探测器，6×11微透镜阵列，可在450～850 nm波段内获取400×400×66大小的3D光谱数据立方体，体积紧凑，达到60 mm×60 mm×28 mm。

Hubold方法的优点是：通过倾斜LVF，大幅提升了光谱通道数；LVF的制作难度远低于分块滤光片，采用商用LVF将大幅降低光谱仪的制造难度；体积小、质量轻。其缺点是：虽然假设LVF变谱方向的光谱在较短的距离内近似不变，但是当单个微透镜覆盖的LVF区域较大时，光谱扰动明显，覆盖的区域越大，光谱扰动越大，不利于大孔径的光谱成像。

2019年，Mu等改变了系统结构，将MLA与CVF的位置颠倒，MLA放置在外侧，LVF放置在FPA探测器前面，不再旋转LVF，而是旋转MLA，大幅抑制了光谱扰动。Mu将该结构命名为光学复制与重绘成像光谱仪(Optically Replicating and Remapping Imaging Spectrometer, ORRIS)[19]。

MLA旋转一定角度后，每个微透镜沿着变谱方向移动Δx，如图23所示。平行于恒谱方向设计长条带，用于从子图像中取样数据进行重建，该长条带的宽度等于微透镜变谱方向的移动距离Δx，此时长条带区域内子图像将形成无缝平移。当长条带宽度与微透镜纵向个数的乘积等于光谱图像宽度W时，拼接后会形成完整的场景图像。因长条带的宽度很窄，满足LVF光谱不变假设，拼接重建后的图像光谱带宽很窄，光谱扰动微弱。

图23 光学复制与重绘成像光谱仪的透镜阵列旋转与图像重建Fig.23 MLA rotation and image reconstruction of optically replicating and remapping imaging spectrometer

性能上ORRIS原理样机能够在单个积分时间内捕获380～850 nm波段内80个连续光谱通道，空间分辨率为400×400像素，体积大约为50 mm (长)×70 mm (宽) ×70 mm(高)，质量为0.5 kg。微透镜阵列实现了场景图像的多孔径光学复制功能，因此将SI_MALVF归类为直接测量的孔径分割方法。

4.4 多孔径傅里叶变换

快照式高光谱成像傅里叶变换(Snapshot Hyperspectral Imaging Fourier Transform, SHIFT)光谱仪的想法是对Hirai于1994年开发的多图像傅里叶变换光谱仪(Multiple-image Fourier Transform Spectrometer, MIFTS)的扩展[20]。最初的MIFTS是基于迈克尔逊干涉仪和透镜阵列，而SHIFT光谱仪是基于透镜阵列后面的一对双折射Nomarski棱镜。

如图24所示，目标物经过N×M透镜阵列，复制为N×M个子图像阵列，再经过由两个Nomarski棱镜组成的双折射偏振干涉仪(Birefringent Polarization Interferometer,BPI)，最终探测器上的子图像产生光程差(Optical Path Difference, OPD)。由于BPI相对于探测器阵列旋转一个小角度δ，每个子图像具有不同的OPD，N×M个干涉子图像具有不同的光程差。通过依次提取每个干涉子图像来组装3D干涉图立方体。沿着干涉图立方体的OPD轴进行傅里叶变换，重建3D光谱数据立方体。

图24 快照式高光谱成像傅里叶变换成像原理Fig.24 Schematic diagram of Snapshot Hyperspectral Imaging Fourier Transform

SHIFT的优点是：基于Nomarski棱镜的设计能够有效减少相机的体积；双折射棱镜便于制造；共光路一体化设计，提高了对振动的鲁棒性。缺点是：采用微透镜阵列，使得干涉图子图像之间存在视差；由于依赖双折射效应，在成像非偏振场景时，SHIFT的光通量至少降低50%。

因SHIFT的微透镜阵列的作用是复制场景，而最终的3D光谱数据立方体需要傅里叶变换重构，为此将SHIFT归类为直接重构的孔径分割技术。

4.5 计算层析

1997年，Descour和Dereniak提出计算机层析成像光谱仪(Computed Tomographic Imaging Spectrometry, CTIS)，它由物镜、视场光阑、准直透镜、2D光栅、二次成像透镜和CCD等元件构成[21]，如图25所示。全息2D光栅色散元件将准直后的光束投影色散到3×3方向，通过最大期望迭代反演算法，可由获取的投影图像反演到3D光谱数据立方体。

图25 计算机层析成像光谱仪原理Fig.25 Schematic diagram of computed tomographic imaging spectrometry

Vandervlugt等人通过设计更高阶的2D光栅[45]，如5×5和7×7图案，实现更多方向的投影，产生更高的光谱分辨率。对于一个2 048×2 048的FPA，典型的CTIS设计将光阑成像到100×100的区域，沿着626像素长的外对角线给出投影，可生成134通道的光谱图像。

CTIS实现了瞬时快照式的光谱采集，且不需要任何滤光设备，具有很高的光转换效率。但是，CTIS只能将3D光谱数据投影到有限的若干个方向上，导致采集数据对应的傅里叶变换域存在一个圆锥形的采样丢失，这一圆锥丢失问题严重影响了重构的准确性；并且在实际应用中该系统具有校准困难，不稳定等问题，只适用于精密制造的测量仪器，实用性不强。

CTIS的2D光栅将场景投影到不同方向，类似于微透镜阵列的场景复制，又因需要迭代反演重构，因此将CTIS归类为迭代重构的孔径分割技术。

4.6 小 结

孔径分割方法主要包括场景复制与光谱分光两个过程。场景复制一般通过微透镜阵列实现。按照光谱分光方式可将现有的孔径分割技术分为滤光式、干涉式和色散式。其中，干涉式基于傅里叶变换原理，如SHIFT，通过干涉条纹反演数据立方体，要求仪器能获得高质量的干涉条纹，装调难度大。而滤光式原理简单，如采用微滤光片阵列的MSI-TOMBO、MS-ITF，采用渐变滤光片的SI-MALVF。微滤光片阵列方案的设计制作难度较高，新型渐变滤光片方案极大地降低了快照式光谱仪的研制难度，具有很好的研究前景。

综上不难看出，新型光谱分光的孔径分割快照式光谱仪是孔径分割技术的发展趋势。

5 光路分割

5.1 分束器

基于分束器的光谱成像(Spectral Imaging with Beam Splitting, SI-BS)源于通道式光谱成像，其思路是采用分束器将不同中心波长的光束转移到不同的成像通道，由多个探测器成像获取[9]。图26将一组二色滤光片作为分束器，每个二色滤光片反射预定义颜色的光，透射其他颜色的光，图中采用4个滤光片获取5通道光谱图像。这种方式的优点是：共光路，不存在视差，可以通过装调实现窄带光谱图像的精确配准，不需要通过后期的图像处理方式实现。但是，相机体积较大，质量较重。

图26 基于多个光谱分束器的光谱成像原理Fig.26 Spectral imaging principle using multiple spectral-beam splitters

1978年，Bleukens提出了一种用于彩色摄像机的分色棱镜组件，如图27所示，3个胶结的分束器立方体将入射光分成3个色带，每个色带由独立的探测器观察[22]。该组件使彩色摄像机结构更为紧凑，广泛用于RGB彩色摄像机。通过改变分束棱镜设计可以调整分束后的中心波长，实现3通道快照式光谱成像。2012年，Murakami 提出了四分色的分色棱镜，如图28所示，可实现4通道的快照式光谱成像，但是通过棱镜将入射光分成4束以上，在现阶段仍没有更好的办法实现[23,46]。SI-BS将光路通过分束器进行分割，不需要计算重构，归类为直接测量的光路分割技术。

图27 三通道分色棱镜组件Fig.27 Dichroic prism assembly

图28 基于四通道分色棱镜组件的光谱成像原理Fig.28 Spectral imaging principle using quarter prism assembly

5.2 滤光片堆栈

基于滤光片堆栈的光谱成像(Spectral Imaging with a Filter Stack, SI-FS)如图29所示。首先用准直镜对入射光进行准直，然后滤光片堆栈将不同光谱的光束反射到不同位置，并由聚焦镜收集，最后在探测器的不同位置形成不同波段的光谱图像[22]。其中，滤光片堆栈类似于SI-BS的分束器，由一组倾斜的双色滤光片构成，每个双色滤光片反射设计波段的光束，透射其他波段的光束。

与SI-BS不同的是，SI-FS滤波器堆栈集成在一起，缩短了光路，大幅减小了体积和质量；并且由于相邻之间的角度很小，因此不同波长之间的光路差异可以忽略不计。然而，滤波器堆栈中可以容纳倾斜角度的范围有限，很难进一步增加SI-FS的光谱通道数，最先进的SI-FS可以快照捕获12个光谱通道[24]。

由于SI-FS采用滤光片堆栈将入射复色光反射到探测器的不同位置，因此将该技术归类为直接测量的光路分割方法。

图29 滤光片堆栈原理示意图Fig.29 Schematic diagram of spectral imaging with a filter stack

5.3 图像复分

2003年，美国Heriot-Watt大学的 Harvey提出了图像复分成像光谱仪(Image-replicating Imaging Spectrometer, IRIS)，利用双折射介质的双光束偏振干涉法实现光谱滤波，利用Wollaston棱镜实现双光束的分离[25]。

图30 级联双折射干涉仪的光谱滤波和光线分离原理Fig.30 Spectral filtering and light separation principle of cascaded birefringent interferometer

最简单的双光束偏振干涉仪原理如图30所示，由两级双折射干涉仪级联而成，每个双折射仪由一个波片延迟器和Wollaston棱镜组成。输入光由一个偏振片线性极化，并传输到第一波片延迟器上，波片的快轴与偏振片的光轴呈45°对准。在寻常光和非常光两个偏振分量之间引入光程差b1t1，其中b1是第一波片的折射率，t1是第一波片的厚度。这两个偏振分量与波长相关，可描述为：

T‖=cos2(b1t1k/2),

T⊥=sin2(b1t1k/2),

(1)

其中k=2π/λ是波数。这两个偏振分量被Wollaston棱镜分离，并指向不同方向。然后第一束偏振光T‖进入第二波片延迟器，又产生两束正交的偏振分量，与原有的偏振分量产生干涉，经过第二Wollaston棱镜后指向不同的方向，描述为：

T‖,‖=cos2(b1t1k/2)cos2(b2t2k/2),

T‖,⊥=cos2(b1t1k/2)sin2(b2t2k/2),

(2)

其中：b2是第二波片的折射率，t2是第二波片的厚度。同样第二束偏振光T⊥进入第二波片延迟器、第二Wollaston棱镜后，也产生两束指向不同方向的偏振光：

T⊥,‖=sin2(b1t1k/2)cos2(b2t2k/2),

T⊥,⊥=sin2(b1t1k/2)sin2(b2t2k/2).

(3)

至此，产生了4束指向不同方向，具有不同光谱带的偏振光，如图30所示。

光束被分光为2n(n表示Wollaston棱镜的个数)束，同时滤波成2n光谱带，最后2n束光经成像镜成像在探测器上。

光谱图像直接记录，不需要反演计算，也不存在伴随反演的噪声放大。但由于需使用线偏振片，当成像非偏振场景时，会损失一半的光通量；而且需要具有充分折射率的大规格Wollaston棱镜，因此难以测量很多的光谱带，目前最多可测量16个通道的光谱带；此外，难以校正与偏振相关的色差。

IRIS通过级联多个Wollaston棱镜，将光路拆分为2n个，可归类为直接测量的光路分割技术。

5.4 小 结

光路分割方法基于通道式光谱成像方法，主要通过分束器或堆栈将光路一分为多。该类技术光路复杂、光谱通道数较少、体积质量较大，因此在快照式光谱成像领域的研究不活跃。可以预测研究新型紧凑、巧妙的分束器，增加光谱通道，减少体积和质量仍然是该方法的研究方向。

6 频域分割

多光谱Sagnac干涉仪(Multispectral Sagnac Interferometer, MSI)是色散补偿的Sagnac偏振干涉技术(Dispersion-Compensated Polarization Sagnac Interferometer, DCPSI)向光谱成像技术的延伸，其原理如图31所示[26]。

图31 多光谱Sagnac干涉仪原理Fig.31 Schematic diagram of multispectral Sagnac interferometer

入射光被线栅分束器WGBS分成两束。其中，反射光束(偏振方向垂直于纸面)通过闪耀光栅G2以与光轴呈正衍射角衍射，经过反射镜M2和M1的连续反射，放大横向剪切量，至闪耀光栅G1，经过G1负衍射角衍射，平行于光轴到达线性偏振片。透射光束(偏振光谱垂直于光轴)以反向光路最后也以平行于光轴方向到达线性偏振片。最终两束光与光轴平行、横向偏移地离开干涉仪，横向剪切量为：

(4)

其中：m是衍射级次，d是闪耀光栅周期，a+b+c是G1与G2的距离，λ为波长。再经过成像镜，在探测器上形成与波长无关的干涉条纹，其空间条纹载波频率为：

(5)

在DCPSI中通过引入单阶闪耀光栅(m=1)，形成了与波长无关的载波频率干涉条纹，实现了色散补偿。通过空间滤波和反演计算，可实时获取3个Stokes参数。MSI通过引入多阶闪耀光栅(m=2,3,4,5)，形成了与波长无关，但与衍射级次相关的干涉条纹；并且通过傅里叶逆变换，可以获得与衍射级相关的反演子图像。因多阶闪耀光栅的衍射效率的极大值与衍射级次相关，衍射级越高，衍射效率的主峰(闪耀波长)越向短波偏移，如图32所示。最终，每级衍射的反演子图像与光谱带唯一对应，实现了快照式四通道光谱成像。

图32 多阶闪耀光栅的衍射效率Fig.32 Diffraction efficiency of multi-order blazed grating

多光谱Sagnac干涉技术本质上是一种在重合的干涉场上同时测量多个不同光谱切片的多光谱方法。其优点是多个谱带之间本质是空间配准的，不需要进行配准处理，降低了后续处理的难度。其缺点是：光谱通道数较少，光谱带必须对应于光栅衍射级的闪耀波长；由于线性偏振输入，光吞吐率减半。因此，该技术目前的实用化程度不高。MSI在频域上进行分光，需要通过傅里叶变换重构，故将该技术归类为直接重构的频域分割技术。

7 对比分析

表1对比了17种现有光谱成像仪，列出了不同光谱成像仪的分割方法、重构方法、空间分辨率、光谱分辨率的受限因素、光通量利用率以及目前各种方案能达到的数据立方体规格。

表1 快照式光谱成像技术对比

7.1 空间像素数与光谱通道数的权衡

大多数快照式光谱成像技术采用空间分辨率换取光谱分辨率的方法，由2D空间图像重排或重构出3D立方体，为此快照式光谱成像难以同时获得较多的空间像素数和光谱通道数。

在实际应用中，应根据实际需求，对空间像素数与光谱通道数进行权衡。可变形光纤IFS-F由于低空间像素数、高光谱通道数，适用于动态目标跟踪识别需求。IFS-L，IFS-P，IMS，MS-PPF，SI-LF和MS-ITF由于像素数和光谱通道数适中，适用于光谱通道数与空间像素数需求均不高的探测识别场合。SI-BS，SI-FS及MSI一般应用于光谱通道数需求较少的场合。

7.2 图谱匹配

在实际应用中，希望获得的每个像素与光谱匹配，如果图谱之间失配，将为实际应用带来较大困难。如MS-PPF技术每个体素中的光谱实际上不能正确匹配到同一空间位置，光谱通道数越多，图谱失配越严重。基于孔径复制的MSI-TMOBO，MS-ITF，SI-MALVF和SHIFT，由于采用了微透镜阵列复制场景，场景之间存在视角场景，极易造成图谱失配，为此要进一步研究光谱通道图像的配准方法，提高图谱匹配性能。

7.3 空间采样的连续性

IFS-P和SI-LF采用针孔进行空间离散采样，难以用于小目标的侦察。虽然IFS-L采用微透镜会聚采样空间，但易造成空间光谱的混叠，为后续应用带来不便。因此，这些方案不适用于小目标侦察和光谱精度要求较高的场合。

7.4 光能利用率

光通量一直是制约光谱成像应用到远距离探测识别的关键因素。SI-LF通过针孔成像，将一个采样空间复制到多个像素通道。SHIFT，IRIS和MSI由于采用了偏振片，将光通量降至50%以下，大幅降低了光谱成像仪的探测识别能力。在一些应用场合，可通过高灵敏度探测器提高光谱图像的成像质量。

7.5 动态范围

在光谱成像中，成像系统、色散器和探测器的光谱响应率不同，导致不同光谱通道的图像亮度和对比度有很大差异。同一个成像探测器获取的不同光谱通道的图像，会出现有的像素过饱和，有的像素光照不足，难以兼顾不同光谱通道的成像质量，这给探测器的增益调整带来了难度。因此，快照式光谱成像需要采用具有大动态范围的探测器。

8 总 结

快照式光谱成像能够在单个积分时间内获取完整的3D光谱数据立方体，不需要通过时间序列点扫描、线扫描或谱扫描的方式获得立方体，满足动态场景的探测识别需求。根据分割策略，将快照式光谱成像分为图像分割、孔径分割、光路分割及频域分割4类。图像分割的特征是将分割元件置于成像系统像面；孔径分割的特征是在成像系统的出瞳处复制场景；光路分割的特征是在通过分光元件将入射光分成不同的光路。基于分割策略的分类方法能覆盖现有的各种快照式光谱成像技术方案。

本文综述了17种不同的快照式光谱成像技术方案的原理、优点及缺点，最后对比了它们的性能。在应用快照式光谱成像仪时，应根据实际需要权衡空间像素数与光谱通道数。对于像素与光谱匹配精度较高的场合，应避免使用像素滤光的MS-PPF，如果采用孔径分割的MSI-TMOBO，MS-ITF，SI-MALVF，SHIFT需进行高精度的光谱图像配准。当探测识别小目标时，应避免选择空间采样不连续的方案IFS-P，SI-LF。对于远距离探测识别，应采用高灵敏度探测器。为获得较高质量的光谱图像，应采用具有大动态范围的探测器。