基于单色与全光谱照明的高光谱成像系统及图像融合

刘雨晴，葛爱明，赵宝彬，郝如龙

(复旦大学光源与照明工程系，上海 200433)

引言

高光谱成像技术是一项结合了光谱分析与空间成像的新型实用技术。由于物质对光的特征吸收，物体的反射或透射光谱就成为其物理化学信息的载体，是目标识别和监测的有效工具。高光谱成像提供目标物体的两维空间信息和一维光谱信息，构建三维数据集，结合计算机分析手段，完成物体的识别。在遥感勘测、食品检测、农业监测、医疗诊断和艺术保护等领域展现了广阔的应用前景[1-4]。

常规高光谱成像系统在复色光照明条件下完成图像的采集：目标物体反射的光波进入成像系统，通过棱镜、光栅、滤光片等元件的色散作用，由探测器记录以波长与空间位置编码的光强度值[5]。遥感高光谱系统采集自然光照明条件下的影像，自然光环境多变，使得分析过程更加复杂；非机载高光谱系统采用复色光照明，由于色散过程降低了传感器单元接收的光能，因此需要保证待测平面上均匀稳定的高强度照明，这对照明设计的要求较高，而且这种高强度照明导致的热负荷会改变目标物体的生化性质，这对于生物、医学和食品等检测不利[6]。

由于成像技术与照明条件的限制，很难同时保证高光谱图像的光谱分辨率与空间分辨率。由于采集方式和传感器限制导致的低空间采样，以及低照度场景的细节缺失，导致同等条件下高光谱图像的空间分辨率相较于常规成像更低[7-11]。全色图像是一种获取可见光波段响应的灰度图像，具有较高的空间分辨率，通过高光谱图像与全色图像的融合，互补各自在获取光谱信息和空间信息方面的优势，得到更加准确的目标探测结果[12]。目前这两种图像的采集依托不同的传感器，由于视角的差异，图像并不能完全对准，需要进行额外的图像配准[13]。

鉴于上述局限性，本文提出一种基于单色光与全光谱照明的高光谱图像采集系统。窄带单色光顺序输出用于目标物体的照明，与传感器曝光过程同步，完成高光谱三维数据集的顺序采集；共光路的全光谱照明方案，保证高光谱图像与全色图像的共配，这是图像融合的前提。与常规高光谱成像系统相比，本文提出的系统具有模块化、应用灵活、单色光照明和便于进行图像融合的特色。同时，提出提升小波系数自适应梯度加权图像融合方法，该方法具有融合效果好、运算速度快和自适应融合的优势。

1 高光谱成像系统

基于单色与全光谱照明的高光谱成像系统包括3个模块：光源、成像和控制，如图1(a)所示。光源模块是一个以反射式刻线光栅为核心的色散系统，光学准直透镜组将连续光源发出的光准直后入射到光栅，光栅衍射使得成像透镜的焦平面上产生衍射谱，由固定在透镜焦点位置的光纤耦合输出。光栅安装在光学旋转平台上，通过其旋转角度切换输出单色光的中心波长，或切换到全光谱输出。成像模块由图像传感器与成像光学系统组成，导光光纤将输出光引入该模块，在输出端配光后用于目标物体的照明。控制模块的核心是计算机，通过单片机与步进电机，控制光栅转动过程与CMOS曝光过程的同步，按照明波长顺序采集灰度图像，将其存储为高光谱三维数据集，然后完成数据分析。图1(b)为高光谱图像采集过程中单色光照明模式下4个光谱通道的照明场景。

图1 基于单色光与全光谱照明的高光谱成像系统Fig.1 HSI system based on active band-pass and full-spectrum illumination

光源模块切换输出光的工作原理如图2所示。在光源模块中，各元件位置固定，仅有光栅以其轴线转动，且入射光与衍射光保持不变的角度α。照明分为单色光照明与全光谱照明两个模式。如图2(a)和(b)所示，单色光模式利用光栅存在色散的一级衍射谱，色散谱带中位于成像透镜焦点位置的单色光通过光纤耦合输出。在本实验选用的光学元件参数下，每当光栅转动1°时，输出单色光的中心波长变化约10 nm，通过光谱仪器标定，记录光栅角度与输出波长的对应关系，则可对单次曝光的灰度图像标注波长值。全光谱模式利用光栅的零级衍射谱，无色散，且光能损失小，直接以氙灯的光谱功率分布进行照明，如图2(c)所示。

通过调校，高光谱成像系统的光谱分辨率达10 nm，可完成380～780 nm波长范围内的至少40个光谱通道的图像采集。系统的每个模块相互独立，光学隔离，仅通过数据线或光纤连接，因此可以保证照明单色光的纯净，确保成像质量；具有较高的灵活性，光源模块可以和显微镜等各类商用成像系统组合使用；同时单色光与全光谱照明共光路，能够保证融合前高光谱图像与全色图像的配准。

图2 光源模块工作模式Fig.2 Light source module operating mode

2 算法原理

图像融合基本原理是分离图像的光谱与空间信息，以合理的方式从高光谱图像与全色图像中选取必要成分，重建高光谱三维数据集。常规图像融合方法分为两类：成分替换法和多分辨率分析法[14]。以主成分分析(Principal Component Analysis, PCA)为典型的成分替换法较为简单，计算速度快，但是融合效果差。多分辨率分析法的运算速度稍慢，但总体计算成本仍然不高，失真现象有所改善，鲁棒性更强，是更好的图像融合方法。本文提出一种提升小波自适应梯度加权图像融合方法，属于多分辨率分析中的小波变换图像融合，采用提升小波分离高频与低频信号，然后以邻域梯度作为加权系数进行自适应融合。

2.1 小波自适应梯度加权融合原理

小波融合是利用小波分析提取全色图像中的空间高频信息，然后注入高光谱图像。算法步骤为：首先分别对高光谱图像和全色图像进行小波分解，获取低频分量以及水平、垂直以及对角方向的高频分量；然后将低频和高频小波系数分别按照低频融合规则与高频融合规则进行计算，得到融合后的小波分解系数矩阵；最后，通过小波重构获得数据集。融合过程如图3所示，图中为二级小波分解，对每一个波段的高光谱图像都进行同样的融合过程。

图3 基于小波变换的图像融合过程Fig.3 Image fusion based on wavelet transform

低频融合规则为：以高光谱图像的低频分量作为融合图像的低频分量。因为低频分量很大程度保留了图像的灰度信息，如此可以保持光谱的一致性。而图像的细节与边缘则被保留到高频分量中，需要合理抽取完成融合。高频融合规则为：以归一化邻域梯度作为高频系数的权重，进行加权融合。具体过程为：利用Sobel梯度算子对高频系数矩阵分别进行x方向与y方向的卷积，得到梯度矩阵，然后由式(1)计算平均梯度：

(1)

其中∂f/∂x和∂f/∂y分别表示单个矩阵元素在x方向与y方向的梯度。然后根据高光谱与全色图像的平均梯度矩阵计算每个矩阵元素的归一化梯度，以此作为权重系数，加权求和。对于矩阵元素(i,j)，第k个光谱通道的融合高频系数Ck(i,j)表示为：

(2)

其中，Ch,k(i,j)是高光谱第k个通道图像的高频系数，Cp(i,j)是全色图像的高频系数，它们以各自邻域梯度Gh,k(i,j)和Gp(i,j)构成的归一化权重进行融合。

2.2 提升小波分解原理

对于小波分解，传统上是利用Mallat提出的快速小波分解方法。该方法先利用高频滤波器Hi_D和低频滤波器Lo_D滤波，再进行二抽取，得到相应的高频系数cD与低频系数cA，如图4(a)所示。该方法以傅里叶变换为基础，在小波基的选择方面有所局限，难以进行有界区域上或对间隔不规则数据的分析。Swelden提出通过提升方法(Lifting Scheme)构造第二代小波，不引入傅里叶变换，拓宽了小波分析的应用范围，且运算速度是传统小波的2倍，更加适合本文的图像融合[15, 16]。

如图4(b)所示，提升小波分解包括3个步骤：分解(Split)、预测(Predict)和更新(Update)。

(1)分解：将输入信号X分成奇数序列样本Xo与偶数序列样本Xe；

(2)预测：根据相邻样本之间的相关性，用偶数样本预测奇数样本，即偶数样本Xe经过预测器P(·)后的预测值与实际值之差构成小波细节系数D；

(3)更新：将细节信息D通过更新器U(·)进行更新，然后与原偶数样本Xe相加得到小波近似系数A。

图4 小波分解原理Fig.4 Principle of wavelet decomposition

2.3 图像融合评价指标

(3)

(4)

QNR=(1-Dλ)α(1-DS)β

(5)

其中，指数p、q、α和β用来放大差异，这里取值均为1。Q指标定义为：

(6)

3 实验与分析

实验中，采用显微镜作为成像系统，将光源模块的光纤输出端置于显微镜照明光路中，CMOS安装于显微镜的传感器接口，通过控制模块完成采集。选用人血细胞涂片作为实验样本进行测试，因为红细胞在可见光范围内具有特征吸收，且在医学领域中血液可以反映一些疾病，例如，血液的光谱分析可以反映组织缺氧、肿瘤增生等状况[4]。

3.1 血细胞涂片的显微高光谱成像

如图5(a)所示，高光谱成像的数据存储为(x,y,λ)三维数据集的形式，其中x和y是二维空间坐标，λ则为光谱维度。该数据集有两种可视化方法：像元的光谱曲线、以波长编码的空间图像。

图5(b)是像元的光谱曲线呈现，绘制了4个感兴趣区域(Region of Interest, ROI)的光谱曲线：区域1和区域2是血细胞，而区域3和区域4是背景，它们具有不同的光谱特征。

图5(c)～(f)是4个光谱通道的灰度图像。由于特征光谱吸收，在某些波段血细胞对光的吸收强烈，具有较强的对比度，而某些波段由于吸收弱，血细胞与背景不能区分。高光谱成像技术正是利用这种有差异的吸收特性，实现物质的检测、识别和分类。

由于图像采集方式和传感器的局限，高光谱图像对目标的空间分辨能力较弱，在图5(c)～(f)中，右下为原图蓝色方框区域的放大图，与全色图像图5(g)相比较，即便是具有相对较高的对比度的499 nm图像，对于单个血细胞及细胞边缘的识别都不够精准。

图5 人血细胞涂片高光谱显微成像Fig.5 Microscopic HSI for human blood cell smear

3.2 图像融合

图像融合结果如图6所示。图(a)为高光谱原始图像，融合图像应与图(a)灰度分布相同，且细节更多。图(b)为PCA图像融合，该方法直接用直方图匹配后的全色图像替代高光谱数据集的PCA第一主成分图像，因此融合图像的灰度分布更加接近全色图像，对光谱数据产生较大改变。图(c)、(d)和(e)均为小波融合：图(c)中的高频系数按照固定比例融合，需要多次尝试以确定最佳权重系数；图(d)采用归一化邻域方差作为权重系数，完成自适应的高频系数融合；图(e)是本文提出的提升小波自适应梯度加权融合结果。相比PCA融合，小波融合对光谱值的改变较小。

图6中(f)～(k)是499 nm通道图像的局部区域，对应于图(a)～(e)中的蓝色方框。其中图(f)是全色图像，图(g)为高光谱图像，图(h)～(j)是融合图像。图(i)、(j)和(k)的小波融合相比于图(h)的PCA融合具有更好的空间分辨；在小波融合中，本文提出方法不仅能够自适应地完成权重的分配，且比方差加权融合图像的视觉效果更好，因为在方差加权融合图像图(j)中，物体边界的对比度过强以至出现了明显的“白边”，这导致边界上光谱扭曲。

图6 图像融合结果Fig.6 Image fusion results

图7 融合前后四个感兴趣区域的光谱Fig.7 Spectra of 4 ROIs before and after image fusion

如图7所示，对图6(a)中四个感兴趣区域在融合前后的光谱进行对比，可见图像融合对光谱数值的改变较小。同时，随机选择高光谱与融合图像中100个对应像元，对其光谱数据计算Pearson相关系数，相关系数平均值为0.999 1，表现出极强的相关性。因此，本文所提融合方法在提高空间分辨率的同时，不影响后续的特征提取与分类。

对实验样本进行三次不同区域与角度的图像采集与融合处理，融合图像评价指标结果的平均值如表1所示。评价指标包括Dλ、Ds、QNR、平均梯度与平均熵，后两者表征图像的清晰程度和细节特征，数值越大表明图像的细节越丰富。算法时间基于AMD A4-3305M处理器上运行的MATLAB R2013b平台。表格中也列举了融合前的高光谱原始图像与全色图像的部分指标。高光谱原始图像具有最优的QNR指标值，但同时其梯度与熵值也很低。因此在融合过程中需要平衡好光谱保真度与细节完善性这两方指标。

表1 图像融合评价指标Table 1 Assessment of fusion products

由表1可知：各融合方法均有较高的QNR指标，PCA融合方法的Ds较高，空间失真大，而小波融合的Dλ较高，光谱失真大，对于本文的提升空间分辨率的目标，优先考虑满足Ds指标，即小波融合方法具有更高的表现；高频系数的自适应融合，不仅能够减少权重赋值过程的工作量，而且融合效果更佳，例如序号9融合方法比序号5融合方法的所有指标都更优；提升小波与传统的Mallat小波具有完全相同的融合结果，而计算时间节约了50%左右，具有更高的效率；以梯度加权的融合比以方差加权的融合具有更高的QNR，尽管其梯度与熵值较低，但结合图6可知，以方差加权的融合是因为边界上反常的灰度表现而产生的高梯度与熵值。综合来看，本文提出的提升小波自适应梯度加权融合具有良好的图像融合表现，且具有更快的运行速度，这对于具有较多光谱通道数与大量像元的高光谱数据来说具有实际的工程意义。

4 结论

本文提出了一种共光路、共传感器采集高光谱图像与全色图像的成像系统。该系统通过搭建一个独立的光源模块，通过光纤将单色光逐波段输出用于照明，也可输出全光谱白光进行照明。实现10 nm量级的光谱分辨率，可以采集可见光范围内的40个光谱通道的高光谱图像；也可输出氙灯的宽波段辐射能量，采集与高光谱图像配准的全色图像。同时，本文提出采用提升小波自适应梯度加权融合的方法，将高光谱与全色图像分解为高频和低频分量然后进行融合与重构，在保持高光谱图像灰度水平基本不变的情况下，注入全色图像中的细节信息，对于高光谱图像空间分辨率的提升具有良好效果，且相对于传统小波分解节省了近50%的时间。该系统满足高光谱图像的采集要求，且改善了高光谱成像空间分辨率不高的问题，有助于提高后续的特征提取、图像分类等目标分析过程的准确性和精度。