基于编码重建的快照式光谱成像技术进展*

徐 豪，胡海泉，陈跃庭，徐文斌，徐之海

（1.浙江大学 现代光学仪器国家重点实验室·杭州·310007；2.北京环境特性研究院 光学辐射重点实验室·北京·100854）

0 引 言

光谱成像技术作为一种成像技术和光谱技术相结合的多维信息获取技术，与传统成像技术相比，其优势在于能探测获得被测目标的二维空间信息及一维光谱信息，是物质成分类型、热辐射特性等研究的主要信息获取手段。自20世纪诞生以来，光谱成像技术在农业、食品、资源勘探、环境保护、生物医学、军事等领域得到了广泛的应用。

传统的高光谱成像仪器由于拥有较复杂的光学系统以及精密机械装置，通常具有较大的体积和质量，制造成本高昂，且系统成像时间较长，需要在成像过程中保持照明环境、目标和系统的相对位置等条件不变，一般应用场景限制在实验室。如果需要对样品进行测量，则需要对样品进行运输和转移等操作，不可避免地限制了光谱成像技术在一些动态场景和对便携性要求高的场景中的应用。

近年来，这些应用场景对小体积、快照式的光谱成像仪器的需求日趋强烈，如一些农业及遥感应用中，需要光谱成像仪器能够被装载在无人机或航天器平台上进行动态测量，需要光谱成像仪器实时监控农作物生长状况；在工业流水线检测中，需要光谱成像仪器进行快速测量；在医学检测应用中，对光谱成像系统的实时性以及分辨率也有较高要求。与在实验室场景的应用不同，这些使用场景对光谱分辨率和光谱精度没有严苛的要求，反而对于数据的实时性、设备的便携性以及较低的成本负担等有着更高的期望，以便用较容易的手段获得可接受的数据。

为了减小光谱成像系统的体积与质量，提高其对动态场景的测量能力，众多轻小型、快照式光谱成像系统以及相应的优化方法不断被提出。本文首先介绍了光谱成像技术的基本原理以及现有的分类方法，随后对基于衍射元件编码、编码孔径、宽带滤光片编码的快照式光谱成像系统进行了展开介绍，讨论了这些技术各自的特点，最后对将来基于编码重建的快照式光谱成像技术的发展和应用进行了展望。

1 基本原理与分类

由于光谱成像数据既包含了二维空间信息，又包含了一维光谱信息，而常规的单次瞬态成像最多只能获取二维信息，所以光谱成像系统通常会牺牲时间或者空间来换取光谱信息。传统的三维光谱立方体数据获取可以分为两种方式：1）在成像系统前面放置窄带滤光片，通过单次曝光获得2D的窄带光谱特征，更换具有不同光谱通带的滤光片，进行多次曝光得到三维光谱数据；2）利用棱镜、光栅等色散元件将不同波长的光线区分开，一次成像只获得一维的光谱信息及一维的空间信息，通过推扫、摆扫等方式对待测目标进行扫描，将多次成像的一维光谱信息和空间信息进行拼接得到三维光谱数据。

自20世纪90年代以来，轻小型以及快照式光谱成像技术得到了蓬勃发展，一系列针对质量体积、成像速度、成本进行优化的光谱成像系统不断被提出和改进，这些成像技术从分光原理的角度可以分为滤光片型、色散型、干涉型以及编码重建型四类，图1分别展示了这四类中的部分光谱成像系统。

（a）基于窄带滤光片的系统

（b）基于迈克尔逊干涉仪的傅里叶变换光谱仪[18]

（c）基于色散元件的光谱成像系统

（d）基于编码重建的光谱成像系统[19]

基于窄带滤光片的光谱成像系统通过带通滤光片获得特定波段的光谱信息，窄带滤光片的通带数量一定程度上决定了系统最后的光谱通道数，常见的滤光方法有滤光片轮切换、声光可调谐滤光型（Acousto-Optic Tunable Filter，AOTF）、液晶可调谐滤光型（Liquid Crystal Tunable Filter，LCTF）、Fabry-Perot等可调谐滤光方式。这类在成像光路中引入滤光片，通过多次曝光获得多光谱数据的成像系统，具有成像速度慢、实时性差的特点，且光谱分辨率受到滤光片通带间隔的影响。为了解决实时性差的问题，有学者提出了将滤光片阵列集成在传感器表面，通过像素合并的方法，在×个小像元表面分别覆盖上×种不同的窄带滤光片，这样最后合并而来的大像素就具备了个光谱通道。这种系统可以和普通的相机达到相似的成像速度，能够用于动态场景的测量，但是由于进行了像素合并，像素分辨率会变为原有的1。在这类成像系统中，光谱通道数和空间分辨率指标相互制约，且考虑到像素之间的空间误差，光谱通道数也不能无限制增多。

基于干涉原理的光谱成像系统利用干涉原理获取被测物体的光谱信息，也称为傅里叶变换光谱成像仪（Fourier Transform Spectrometer）。如图1（b）所示，入射光经分束镜后一分为二，经过参考镜和扫描镜的反射产生光程差，在探测器上发生干涉，随着扫描镜的移动，探测器上的干涉信号也随之变化，探测器输出的信号同时包含了所有波长的强度信息，对信号进行傅里叶变换即可得到空间分布的光谱信息，实现高光谱成像。但是，由于这类系统在工作时需要进行扫描，所以也不能实现实时测量。

在色散型光谱成像系统中，物体反射的光线通过一条狭缝，随后变成一束准直光照射在光栅、棱镜等色散元件上，由于不同波长光线的折射或衍射特性不同，这些携带有物体光谱信息的光线被分离开，在传感器阵列的不同空间位置就得到了不同的光谱信息，通过狭缝的扫描即可完成三维光谱数据的获取。随着微纳加工技术的发展，这类系统也逐渐朝着集成化、微小型化的方向发展，图1（c3）所示为基于衍射光栅和平面波导的片上光谱仪，图1（c4）所示为基于阵列波导光栅的微型光谱仪。

随着计算机技术的发展，第四种基于编码重建的光谱成像技术应运而生，如编码孔径快照式光谱成像仪（Coded Aperture Snapshot Spectral Imaging，CASSI）、计算机层析光谱成像仪（Computed Tomography Imaging Spectrometer，CTIS）、基于旋转衍射的快照式光谱仪（Snapshot Hyperspectral Imaging with Diffracted Rotation）、基于深度学习的宽带随机编码高光谱成像仪（Broadband Encoding Stochastic Hyperspectral Imaging，BEST）等。得益于计算成像、神经网络、压缩感知等技术的编码重建能力，这类光谱成像技术可以通过编码等方式设计出更加巧妙的硬件系统，随后结合重建算法对采集到的编码图像进行重建，得到光谱数据立方体。相较于之前提到的光谱成像技术，这些基于编码重建的系统一般具有体积小、质量小、通量高的特点，但是由于需要复杂的算法甚至大量数据的辅助，这类技术也存在鲁棒性差、光谱分辨率不高，以及算法稳定性、泛化性有待提高等缺点。除了上面介绍的四类光谱成像技术，也有一些其他的传统算法或者基于神经网络的光谱插值算法，这类算法以常规的RGB图像作为输入，通过完成光谱插值输出多光谱数据。

本文后续章节将对基于衍射元件编码、编码孔径、宽带滤光片编码的部分快照式光谱成像系统进行展开介绍。

2 基于衍射元件编码的光谱成像技术

在传统的基于分光的光谱成像技术中，通过棱镜或光栅等分光元件将光谱信息分离开，然后用探测器对不同空间位置的光谱信号进行探测。这种简单的分光思路不可避免地需要进行多次测量，结合分光和编码的思路，一些轻小型快照式光谱成像系统借助衍射元件（Diffractive Optical Elements，DOE）对入射光场进行编码，并结合编码特点利用神经网络对光谱数据进行重建。

2.1 基于空洞卷积的光谱成像技术

衍射光栅具有周期性空间结构，设衍射光栅的光栅周期为，则与法线夹角为的入射光经过光栅透射或反射后发生偏折，不同波长的光线相对于法线具有不同的偏折角，从而将不同波长的光谱信息分离开，这个关系可以用光栅方程描述

（sin±sin）=

（1）

其中，为入射光的波长；为衍射级次。在透射式光栅中，当入射光线与透射光线位于法线的同一侧时，式（1）取加号，反之取减号。

基于光栅方程，M.E. Toivonen等设计了沿水平和垂直方向正交等间隔的光栅，入射光经过光栅衍射后，不同波长的光线分布在不同的空间位置，结合空洞卷积提取特征的能力，将这些不同位置的衍射光线特征提取出来，并重建出光谱特征。这种方法的巧妙之处在于：1）利用结构非常简单的衍射光栅对入射光场进行调控，相同波长的光线具有相同的衍射角，在像面上呈现出周期分布，不同波长的光线由于衍射角不一样，在像面上的分布周期也不同；2）空洞卷积可以提取不同间隔的特征，通过调整卷积核的空洞间隔，可以提取出不同周期分布的光谱信息。

平行复色光入射，经过衍射光栅后在像面上的光线分布如图2（b）所示，中心亮斑为0级衍射结果，周围8个色散条带为+1级衍射结果，色散条带上蓝色谱段（短波）距离中心最近，红色谱段（长波）距离中心最远。相同颜色（波长）的光线呈现出周期分布，蓝色（短波）周期较小，不同颜色（波长）的光线分布周期不同，红色（长波）周期较长。利用衍射光栅拍摄到的图像如图2（c）所示，在重建神经网络中，根据图2（b）标定的衍射图像选取不同的空洞间隔，对光谱特征进行重建。

（a）衍射光栅安装在单反相机镜头前面

（b）成像系统在532nm以及宽谱段光源下的点扩散函数

（c）重建网络图2 基于空洞卷积的光谱成像技术[44]Fig.2 Hyperspectral imaging system using dilation networks[44]

这种系统仅需在传统成像系统前面放置一块衍射光栅即可（见图2（a）），不会大幅增加系统的体积、质量以及曝光时间等参数。但由于是基于神经网络的数据驱动型重建方法，构建庞大的数据集也需要消耗大量精力。

2.2 基于旋转衍射的光谱成像技术

如图3（a）所示，基于旋转衍射的系统由一个相机以及衍射元件组成，衍射元件放置在传感器前面一定距离处，平面入射光场经过衍射元件的相位调制后，通过菲涅尔衍射传播到相机传感器平面，不同波段的点扩散函数（Point Spread Function，PSF）呈现出各向异性的特征。由于这个各向异性的特征，探测器获取到的光谱混叠图像在不同方向上的模糊特征与光谱特征紧密相关，通过神经网络对图像特征进行提取，随后进行图像重建，获取三维光谱信息。

为了实现各向异性的PSF，需要对衍射元件进行特殊设计，考虑图3（b）所示的衍射成像模型，设衍射元件前表面入射光场的复振幅表达式为

（a）旋转衍射光谱成像系统

（b）前向传播衍射模型

（c）衍射元件在各个谱段的PSF图3 基于旋转衍射的光谱成像系统[36]Fig.3 Hyperspectral imaging system with diffracted rotation[36]

（′,′）=（′,′）ei（′,′）

（2）

其中，（′,′）为入射光场的振幅；（′,′）为入射光场的相位。衍射元件对这个入射光场进行相位上的调制，衍射元件的相位调制关系为

（3）

其中，Δ为在波长处衍射元件基底折射率与空气折射率之差；（′,′）为衍射元件表面高度轮廓。衍射元件后表面光场经过菲涅尔衍射，向前继续传播距离后，到达传感器上的光场复振幅可以描述为

（4）

取平行光场入射，将式（4）化简，可以得到系统PSF的表达式为

（5）

从式（5）可以看到，衍射元件对光场的调控主要通过衍射元件的面形来实现，光场通过衍射元件不同地方，将获得由光学材料以及后续传播路径带来的叠加起来的光程差，为了产生干涉加强效果，这两段带来的相位差叠加起来应该为2π的整数倍。两段光程差对应的相位差为

（6）

其中，为设计焦距；表示空间位置半径；为工作波长；Δ为衍射元件基底材料以及空气在当前波长下的折射率之差；Δ（）为当前位置由衍射元件带来的高度差。为达到干涉加强效果，两个相位差需要满足以下关系式

Δ+Δ=2π

（7）

其中，是常数项，用于对衍射元件的高度进行适当的调节。

在对光场的调控中，为了体现出旋转的特点，设计衍射元件时，沿着衍射元件中心出发，不同射线方向的衍射元件轮廓根据相应的波长进行针对性设计。假设将圆形衍射元件的360°划分为个相同的区域，在每一个区域上完成针对波长范围[,]的设计，则有

（8）

结合以上公式，可得圆形衍射光学元件在（,）位置的厚度设计公式为

（9）

其中，为衍射元件加工时的基底厚度。

图3（a）所示的元件即为设计结果，整个圆形的衍射元件可以分为三部分，每部分的元件具有相同的表面形貌，而每一部分的120°角度空间分别针对420～660nm的成像波长进行设计，最后衍射元件呈现出螺旋形状，对应的PSF如图3（c）所示，呈现出三瓣的形状，且可以观察到PSF从420nm到660nm大致旋转了120°，与设计思路保持一致。在对图像进行重建时，使用了深度卷积神经网络。

整个系统不需要任何复杂的光学成像系统，仅通过一片直径和厚度都在毫米量级的衍射元件以及一个相机再加上后处理重建算法即可完成三维光谱数据的获取，实际使用时的曝光时间也可以控制在毫秒量级。旋转衍射光谱成像技术的元件设计、成像系统、重建算法也在不断被研究和优化。

2.3 基于端到端优化设计的衍射光谱成像技术

近年来，端到端的设计框架开始被很多学者使用，这种技术将硬件系统设计和神经网络重建算法联合优化。首先对成像系统的成像过程进行建模，利用建立的模型得到退化图像，利用神经网络对退化图像进行重建，在神经网络进行反向传播时，不仅会更新网络参数，同时也会对成像系统的硬件结构进行更新优化，这样联合设计的优化效果往往会比传统手工的优化效果更好。基于端到端设计的光谱深度成像技术就使用了这种设计框架，可以理解为人工智能基于衍射传播模型，针对特定任务，自动设计优化的光谱成像技术，能够实现光谱以及深度的快照式成像。

基于端到端设计的衍射光谱深度成像系统的设计框架如图4（b）所示，整个设计过程可以分为四步：1）对光学成像系统和图像退化模型进行前向建模，获得退化图像；2）利用神经网络对光谱深度图像进行重建；3）将重建结果与标准数据集进行对比，求损失函数；4）神经网络反向传播自动求导，更新网络和光学成像系统硬件参数。

（a）成像系统模型

（b）可微分端到端设计框架

（c）优化后的DOE在420～660nm光谱范围，0.4～2m深度范围内的PSF表现图4 基于端到端设计的衍射光谱深度成像技术[46]Fig.4 Hyperspectral-depth imaging based on end-to-end design[46]

在成像系统前向建模的过程中，使用基于波动光学的衍射模型，利用式（2）～式（5）得到系统的PSF，退化模型可以描述为

（10）

其中，c∈{R,G,B},∈为探测器在波长为处，c颜色通道下的光谱响应函数，{R,G,B}表示彩色图像的红绿蓝三个颜色通道，表示系统的工作波长；⊙表示按元素乘积；为每个深度层的权重；表示被测场景的光谱信息；⊗表示卷积；,表示在距离波段下的PSF；为噪声。通过前向仿真得到包含场景光谱和深度的混叠图像后，将其输入重建网络。

在光谱与深度数据重建的过程中，使用了一个双路输出的深度卷积神经网络U-Net，其中一路输出用于重建光谱数据，另外一路输出用于重建场景的深度信息。将两路输出分别与标准数据集中的光谱及深度信息计算损失，随后利用神经网络反向传播自动求导，更新网络参数以及衍射元件的轮廓高度信息。

设计得到的衍射元件在各个深度以及波段的PSF表现如图4（c）所示，可以观察到这些PSF也是空间各异的。由于其在不同光谱以及深度上空间各异的特性，使得网络提取特征、重建光谱和深度信息成为可能。

相较于传统的衍射元件设计方法，这种利用端到端框架进行设计的方法更有针对性，仅需对光学系统进行建模，不需要知道丰富的衍射元件优化设计方法，且可以对光谱以外的其他信息，如深度信息等同时进行编码。但是这种方法需要理论仿真模型与真实成像模型尽可能相似，对衍射元件的加工工艺也有着更高的要求，针对每种特定任务都需要大量数据进行专门设计。

3 编码孔径光谱成像技术

2006年,压缩感知（Compressive Sensing，CS）技术的概念被提出。压缩感知技术利用信号的稀疏性，通过光学硬件系统将高维的物体信息投影到低维空间进行测量，随后经过算法重建得到探测器所不能直接记录的高维信息。自2007年D.J.Brady等首次将压缩感知技术应用于光谱成像领域中，提出了基于双色散结构的CASSI以来，受到了大家的广泛关注，其硬件系统和重建算法也在不断得到创新。

考虑图5所示的成像模型，输入的高光谱信息首先会经过编码板，得到被编码之后的高光谱信息

图5 单色散型CASSI成像模型示意图[47]Fig.5 Schematic diagrams of single-disperser CASSI system[47]

′（:,:,）=（:,:,）⊙

（11）

其中，（:,:,）,=1,…,表示在第个光谱通道的信息；∈×表示编码板的编码信息；⊙表示按元素乘积。随后经过棱镜的色散，编码光谱信息沿着方向按照谱段顺序被分离开，得到的色散信息可以表示为

″（,,）=′（,+d（-）,）

（12）

其中，表示第个光谱通道对应的波长；表示没有发生色散的中心谱段波长；d（-）表示第个谱段被色散后在像面的空间位移量。最后被色散的三维光谱编码信息在像面上积分叠加，得到了传感器采集到的二维编码图像

（13）

其中，∈×（+-1）表示获取到的压缩二维编码图像；∈×（+-1）表示测量时引入的噪声。将成像模型写为矩阵形式可以表示为

=+

（14）

其中，表示系统的观测矩阵。

在图5所示的成像模型中，编码孔径除了可以使用石英镀铬掩膜外，还可以使用空间光调制器，如使用液晶空间光调制器实现透射式成像编码，使用数字微镜器件（Digital Micromirror Device，DMD）实现反射式的成像编码。与单色散型CASSI（Single-Disperser CASSI，SD CASSI）不同，双色散型CASSI（Dual-Disperser CASSI，DD CASSI）在成像光路中采用两个相同的对称放置的色散元件，且将编码孔径放置在两个色散元件中间，经过第二个色散元件时，由第一个色散元件引入的色差被抵消，最后在像面上得到和初始光谱数据立方体尺寸相同的二维编码图像，证明了双色散系统可以有效消除由色散元件引入的像差，提高成像精度。

由于直接采集到的图像是被编码后的压缩图像，要想得到光谱数据立方体，还需要对式（14）进行重建。式（14）表示的成像模型与压缩感知技术的成像模型基本一致，主要区别在于观测矩阵，一些压缩感知技术领域的重建算法通过改进和拓展同样可以用于光谱数据的重建。虽然CASSI的硬件结构趋于成熟，但是重建算法的潜力仍在不断被发掘，基于CASSI系统的重建算法近年来成为研究热点。Tao C.等将RGB成像和CASSI成像进行联合，在拍摄时同时获得编码图像和RGB清晰图像，随后在重建过程中或重建后对两者进行融合，以提升重建光谱数据的空间分辨率和光谱精度。Meng Z.等基于编码-解码的神经网络结构，提出了空间-光谱自注意力机制模块，分析了成像系统的噪声，最后可以实现35帧/s的4D快照式光谱成像。Meng Z.等提出了基于自监督框架的光谱重建算法，无需大量的数据集即可得到较好的结果，结合预训练得到的深度噪声先验,可以进一步提升重建结果。

4 基于宽谱段滤光片编码光谱成像技术

除了利用编码板对空间或者光谱信息进行编码，也可以利用宽带滤光片对光谱数据进行编码。在光源或探测器前面放置宽带滤光片，探测器接收到的光谱信息是受到宽带滤光片调制的积分叠加结果。

考虑图6所示的成像系统，光谱探测阵列由×个像元组成，每个像元上覆盖有各不相同的宽谱段滤光片，取入射光谱为（），某个像元上的滤光片透过率曲线表示为（）,=1,…,，则最后到达该像上的信号可以表示为

图6 基于宽谱段滤光片编码光谱成像技术原理示意图Fig.6 Schematic diagram of the principles of broadband encoding filters-based spectral imaging

（15）

若将光谱重建结果离散为个谱段，则式（15）描述的成像模型转换为矩阵形式可以记为

（16）

综合考虑探测器在各个谱段的响应，将成像模型写为向量形式为

=

（17）

其中，表示系统的测量矩阵，可以看到成像模型也与压缩感知技术类似，同样地，压缩感知技术领域的一些重建算法经过调整后，也可用于宽带滤光片编码光谱成像中的光谱数据重建。

在这类宽谱段滤光片编码成像中，设计制备宽谱段滤光片的方案以及重建算法多种多样。2015年，清华大学的Bao J.等提出了基于胶装量子点纳米材料的光谱仪，使用胶体量子点（Colloidal Quantum Dots，CQDs）作为宽带滤光片，通过简单地改变CQDs的大小、形状和组成，可以在深紫外到中波红外的波长范围内对光谱透过率曲线进行调制。2021年，清华大学的Xiong J.等利用超表面结构作为宽带滤光片，将其阵列排列在探测器前面，实现了450～750nm范围内356像素×436像素的分辨率，601个光谱通道的高光谱测量，光谱分辨率可达0.8nm。2021年,浙江大学的Zhang W.等采用薄膜作为宽带滤光片，避免了超表面结构中的偏振等因素的影响，在薄膜的设计以及光谱图像的重建过程中使用了端到端的设计框架，首先建立由薄膜结构到光谱透过率曲线的前向传播模型，随后利用生成的宽带滤光片透过率曲线生成仿真图像，通过神经网络完成光谱数据的重建以及薄膜结构的优化。将宽带滤光片放置在光源前面可以实现主动式的编码，放置在传感器表面可以实现被动式编码成像。2021年,浙江大学的Song H.等利用神经网络的方法对宽带滤光片的设计进行了优化。

与其他技术相比，基于宽谱段滤光片编码的光谱成像技术具有光谱精度高的特点，但是如式（16）所示，这个编码过程需要×个像元共同组合成一个光谱仪测量单元，也就意味着最后的空间分辨率会有所损失，另外这些宽谱段滤光片结构非常精密，加工工艺可能会限制系统的实际应用。

5 总 结

对物体的光谱性质加以利用可以实现多种检测识别，如何获取3D光谱数据立方体，提升光谱数据立方体的空间分辨率与光谱精度，以及如何实现更快速度、更小体积的成像系统一直是热门的研究方向。本文简要介绍了光谱成像技术的基本原理与现有主流分类方法，综述了基于衍射编码、编码孔径以及宽谱段滤光片的光谱成像技术，并对这些技术的原理及特点进行了分析。基于衍射元件编码的系统体积小、质量小、不需要复杂的成像系统，同时也可以实现快照式成像，且不牺牲任何空间分辨率，但是这种方法需要对衍射元件进行特殊设计，还需要使用神经网络重建算法对混叠图像进行重建，需要大量数据集驱动，重建的结果中也比较容易出现伪纹理。基于孔径编码的系统虽然可以实现快照式成像，但是其成像系统较复杂，较难实现轻小型应用，近年来孔径编码光谱成像系统的发展主要集中在重建算法的发展与更新。基于宽谱段滤光片的系统兼顾轻小型和快照式成像的优点，且光谱精度高，但是由于需要多个像元组合为一个光谱探测单元，必须以牺牲空间分辨率作为代价。除了上述介绍的光谱成像技术，基于神经网络的光谱超分辨方法也是一个热门的研究方向，这类方法将主要精力集中在神经网络重建算法的创新上，直接可以从单张RGB图像中重建出多光谱图像，但重建出来的光谱精度普遍不高，存在置信度低的问题。

综上所述，现有的一些基于编码重建的快照式光谱成像技术已经取得了非常不错的成果，但是也有一些可以进一步开展研究的方向：尽可能地提高成像系统的空间分辨率和光谱精度；提升系统的稳定性；算法的泛化性、鲁棒性、实时性；探索新的成像系统等。可以预见，基于编码重建的快照式光谱成像技术是一个极具发展前景的研究方向，使光谱学得以在更多领域中发挥作用，从而推动这些领域的进一步发展。