对抗曝光变化的自适应加权光谱重建方法研究

梁金星, 辛 磊, 程靖尧, 周 景, 罗 航, 3*

1. 武汉纺织大学计算机与人工智能学院, 湖北 武汉 430200

2. 湖北省服装信息化工程技术研究中心, 湖北 武汉 430200

3. 湖北省文物颜色信息数字化与虚拟再现工程技术研究中心, 湖北 武汉 430079

引 言

光谱是颜色信息的指纹, 同时也是表征物质物理化学属性的重要特征之一, 高精度的多光谱图像获取对于颜色高保真复制和高精度光谱分析至关重要。 基于光谱的颜色复制技术可以克服光源和设备因素对颜色复制的影响, 利用光谱数据可以分析皮肤生理指标水平, 原位无损地分析古代壁画的颜料成分, 提升物体识别精度[1-4]。 分光光度计、 光谱辐射度计以及光谱相机通过基于单点方式或者低空间分辨率的光学扫描成像方式, 获得目标物体的单点光谱数据或者低空间分辨率多光谱图像, 虽然能够较为准确的获得物体的光谱信息, 但是应用场景和测量对象类型存在较大局限性。

光谱重建技术能够克服传统光谱测量设备的应用局限性, 获取高空间分辨率多光谱图像。 目前常见光谱重建方法可分为传统方法[2, 5-10]与深度学习方法[11-17]。 传统方法主要包括伪逆法、 维纳估计法以及主成分分析法等[2, 5-10]。 此类方法基于相机成像模型, 通过求解光谱重建矩阵开展光谱重建。 Shen等较早提出基于自适应局部回归的光谱重建方法[5], 并对方法进行了优化提升[6], 此后提出了一种基于相机响应的多项式和偏最小二乘的光谱估计方法[7], 显著优于Connah等提出的最小二乘与多项式回归[8]。 Liang等基于单幅RGB图像进行光谱重建研究, 提出基于局部加权的非线性回归光谱估计方法[9]。 Xu等提出了一种基于核算法的自训练光谱重建方法[2], Li等提出一种样本优化方法[10]。

随着深度学习的发展, 深度学习被用于光谱重建领域[11-17]。 基于深度学习的重建模型通常基于大量数据样本, 建立RGB图像与光谱图像之间的映射关系。 Shi等通过在网络结构中引入残差与密集连接结构[11-13], 实现了由RGB图像到多光谱图像的高精度重建[14]。 Zhang等提出了基于密集连接的深度学习模型[15], 有效提升了建模效率。 Zhao等提出四级层次回归网络[16], 并且网络中采用残差密集块来消除由光谱重建误差引起的伪影效应, Li等提出一种自适应加权注意力网络[17], 可以整合网络通道之间的相关性重新分配通道特征, 有效提升光谱重建精度。

然而, 现有光谱重建方法对曝光水平变化敏感[如图1(a)所示], 即在某一曝光水平建立的光谱重建矩阵, 无法直接应用于另一曝光水平进行光谱重建, 否则将引起重建光谱曲线形状特征丢失。 研究对抗曝光变化的光谱重建方法[如图1(b)所示], 能够有效应对曝光水平变化对光谱重建结果的影响, 确保重建光谱曲线物理特征的保持, 从而保证对于物质分析识别的准确性。 这对于在光照强度易变和光照不均匀等实际开放环境下的高精度光谱图像获取至关重要, 能够推动开放场景下的多光谱图像获取技术的发展。

1 模型及方法

1.1 光谱重建模型

相机的成像过程总体可划分为线性的光学成像与非线性的数字图像处理两个阶段[9], 其中相机感光元件将光信号转化为raw RGB图像数据为线性阶段, 然后raw RGB图像数据会经过一系列的非线性数字图像处理(如去暗电流、 白平衡校正、 去马赛克、 颜色空间转换以及阶调调整等), 最终才会输出成视觉满意的RGB图像[8]。 但由于品牌不同相机采用不同的后处理算法, 难以对raw RGB图像的后处理进行精准建模表达, 因此现有研究多以原始的raw RGB图像为基础, 开展光谱重建研究。 具体成像模型如式(1)所示[9], 其中di表示图像中一个像素点第i个通道的响应值,l(λ)为照明光源的光谱分布,r(λ)为物体表面一个点的光谱反射率,t(λ)为相机镜头光学器件的总体透射率,fi(λ)为相机第i个通道滤光片的透射率,s(λ)为相机感光元件光谱灵敏度函数,λ表示波长,ni表示数码相机第i个通道的噪声信号,mi=l(λ)t(λ)fi(λ)s(λ)表示数码相机第i个通道的整体光谱灵敏度函数。

(1)

在对成像系统的噪声进行校正的前提下, 可将式(1)写成如式(2)所示矩阵表达形式

d=Mr

(2)

式(2)中,d表示一个像素点的K×1维响应值向量,K为成像系统通道数,M表示包含了l(λ) 、t(λ) 、fi(λ)和s(λ)在内的K×N维系统整体灵敏度函数矩阵,r表示一个像素点的N×1维光谱向量。 光谱重建方法实质就是实现上述成像模型的反向求解, 具体如式(3)所示, 即实现由多通道响应信号d到对应光谱信息r的计算, 确保对于给定的任意多通道响应值d均能重建得到其对应光谱数据r, 其中f(·)代表光谱重建所采用的具体方法。

r=f(d)

(3)

1.2 光谱重建方法

如上所述, 为了使光谱重建方法具有对抗曝光的能力, 以克服现有光谱重建方法对曝光水平变化的敏感性, 以伪逆算法为求解光谱重建模型的基础, 进一步引入根多项扩展技术和自适应加权策略, 提出一种对抗曝光变化的自适应加权光谱重建方法。 方法的具体实现流程如图2所示, 对方法的详细介绍如下。

图2 对抗曝光变化的自适应加权光谱重建方法流程图

首先对三通道raw RGB图像数据进行扩展, 不同于传统方法采用标准多项式扩展的形式[18-19], 采用根多项式对样本raw RGB图像数据进行扩展[20], 以提升图像数据特征维度。 以三阶的根多项式为例, 三通道图像数据的扩展形式如式(4)所示。

(4)

式(4)中,r、g和b分别为样本的R通道、 G通道和B通道的raw格式响应值,dexp表示一个样本扩展后的raw格式响应值向量, 上标“T”为转置符号。 按照式(4)所示形式, 对所有训练样本进行根多项式扩展[20], 即可获得训练样本的扩展响应值矩阵D, 结合训练样本的光谱矩阵R, 采用式(5)所示方法求解得到光谱重建矩阵Q,

Q=R(DTD+λI)-1DT

(5)

式(5)中,R表示维度为N×S的训练样本光谱数据矩阵,N为光谱的波段数,S为样本数量,D表示维度为K×S训练样本raw格式响应值扩展后的矩阵,K为根多项式扩展维度,Q为光谱重建矩阵, 维度为N×K, 上标“T”为转置符号, 上标“-1”表示求逆运算,λ为正则化约束系数,I为单位矩阵,λI用以对抗光谱重建矩阵求解中的噪声信息, 防止模型过拟合[8], 同时使得DTD的逆矩阵可求解, 其中λ的值通常取0.001。

获得训练样本的全局光谱重建矩阵Q之后, 对待重建的测试样本进行全局光谱重建, 即可获得任何测试样本的全局重建光谱r, 重建方法如式(6)

r=Qd

(6)

式(6)中,d表示维度为K×1测试样本raw响应值的根多项式扩展向量,Q为光谱重建矩阵,r为重建得到的测试样本的光谱数据向量, 维度为N×1。 获得任一测试样本的重建光谱数据r之后, 分别利用式(7)和式(8)所示方法, 对训练样本和测试样本重建光谱进行标准化处理, 在光谱不变的特征空间计算得到相应的标准化光谱数据Rn_i和rn。

(7)

(8)

其中,Ri表示训练样本中的第i个训练样本,u(Ri)为第i个训练样本的光谱均值,s(Ri)为第i个训练样本的标准差,u(r)为测试样本的光谱均值,s(r)为测试样本的标准差,Rn_i为标准化处理之后的第i个训练样本光谱向量,rn为标准化处理之后的测试样本光谱向量。

以上述标准化光谱数据Rn_i和rn为基础, 计算测试样本与训练样本之间的均方根误差RMSEi, 计算方法如式(9)所示

(9)

式(9)中, sqrt()为开根号函数, sum()为求和函数, “.∧”为求幂算子, RMSEi为测试样本标准化光谱与第i个训练样本标准化光谱之间的均方根误差,N为光谱的波段数。 在光谱重建研究中, 通常取光谱范围为400～700 nm, 采样间隔为10 nm, 因此N的值为31。 得到每个测试样本的均方根误差RMSEi之后, 利用其分别对训练样本的光谱矩阵R和raw响应值扩展矩阵D进行加权, 其中加权系数wi的计算如式(10)所示, 加权矩阵W的计算如式(11)所示, 光谱和扩展响应值的加权方式分布如式(12)和式(13)所示

(10)

(11)

RW=RW

(12)

DW=DW

(13)

其中,α是一个为防止RMSEi为零很小的调整因子, 以防分母出现0值的情况,wi为第i个训练的样本的加权系数,W为包括所有训练样本加权系数的加权矩阵,p表示训练样本的个数,RW为加权后的训练样本光谱矩阵,DW为加权后的训练样本扩展响应值矩阵。 依据经验,α的值取通常为0.001。 得到训练样本的光谱和扩展响应值加权矩阵RW和DW之后, 即可按照式(14)所示形式, 计算任一测试样本的自适应加权光谱重建矩阵QW

(14)

式(14)中,RW为训练样本光谱数据矩阵,DW为训练样本raw格式响应值扩展后的矩阵,QW为自适应加权光谱重建矩阵。 获得测试样本对应的自适应加权光谱重建矩阵之后, 即可按照式(15)计算得到该测试样本的最终重建光谱

rf=QWd

(15)

式(15)中,d为测试样本raw响应值的根多项式扩展向量,QW为由式(14)计算得到的自适应加权光谱重建矩阵,rf为测试样本的最终重建光谱。

2 实验部分

2.1 样本

本方法与现有同类方法均以本领域常用的标准色卡以及一组包含784个颜色的矿物颜料样本为基础, 测试方法对抗曝光变化的性能, 并将本方法与现有同类方法进行比较。 其中, 标准色卡采用爱色丽ColorChecker SG色卡(简称SG)和经典24色ColorChecker Rendition Chart色卡(简称CC), 色卡中的颜色样本为自然界常见的典型物体颜色。 标准色卡和矿物颜料色卡的光谱反射率数据均采用爱色丽分光光度计测量i1-pro获得, 各实验样本的色度分布如图3所示。

图3 各实验样本在CIELAB颜色空间中a-b色度平面的分布

此外, 为测试现有深度学习光谱重建方法抗曝光水平变化的敏感性, 以Zhang[15]、 HSCNN-D[13]、 HSCNN-R[13]、 HRNet[16]以及AWAN[17]等目前几种光谱重建效果较好的方法为具体研究对象, 以ICVL多光谱图像数据集为训练样本[21]、 CAVE多光谱图像数据集作为测试样本, 开展方法对曝光变化敏感性的测试。 实验中训练样本和测试样本的具体设置如表1所示。 其中, 样本的光谱数据的范围均为400～700 nm, 光谱步长均为10 nm。

表1 实验训练样本与测试样本的设置

2.2 方法

以上述实验样本为基础, 首先对现有光谱重建方法对曝光变化的敏感性进行探讨, 然后将本方法与现有同类型方法的光谱重建精度进行对比, 最后探讨加权策略对本方法光谱重建精度的影响。 其中, 仿真成像系统采用数码相机Nikon D7200光谱灵敏度函数[如图4(a)所示]和CIED65标准光源相对光谱功率分布[如图4(b)所示]构成, 通过对各个通道添加40 dB的高斯白噪声[22], 以模拟系统的成像噪声。

图4 仿真实验参数

对于光谱重建方法对曝光变化敏感性的测试, 首先在曝光水平等于1(Exposure×1)的条件下利用训练样本构建光谱重建模型, 然后分别在曝光水平等于0.5(Exposure×0.5)、 1(Exposure×1)以及2(Exposure×2)三组测试条件下, 利用建立的光谱重建模型重建测试样本的光谱反射率, 并将重建结果分别乘以曝光校正系数2、 1和0.5, 从而计算测试样本在不同曝光水平下的光谱重建误差, 以评价光谱重建方法对曝光变化的敏感性, 并完成本方法与同类型方法的光谱重建精度对比, 测试加权策略对本方法光谱重建精度的影响。

2.3 评价指标

(16)

(17)

3 结果与讨论

3.1 方法对曝光变化敏感性测试结果分析

表2和表3分别给出了包括本方法在内的传统机器学习光谱重建方法对曝光变化敏感性的结果。 其中表2为采用标准色卡的测试结果, 表3为采用颜料样本的测试结果。 表4展示了目前几种先进的深度学习光谱重建方法对曝光变化敏感性的测试结果。

表2 采用标准色卡测试传统机器学习光谱重建方法对曝光变化敏感性的结果

表3 采用颜料样本测试传统机器学习光谱重建方法对曝光变化敏感性的结果

表4 现有深度学习光谱重建方法对曝光变化敏感性的测试结果

由表4中的实验结果可知, 现有基于深度学习的光谱重建方法均对曝光水平的变化敏感, 即当模型训练和模型应用时的曝光水平不一致时, 光谱重建误差发生变化。 总体上而言, 仅当模型训练和应用时的曝光水平一致时, 现有机器学习光谱重建方法才能取得最好的光谱重建精度。 其中, HRNet和AWAN两种深度学习光谱重建方法总体上展现出更好的光谱重建精度, 显著优于参考文献[11]和[13]的方法。

3.2 本方法与现有同类方法的性能对比

此外, 依据表2和表3中的实验结果不仅可以分析每个方法对曝光变化的敏感性, 同时还可以比较各个方法的光谱重建性能。 除对抗曝光变化的能力之外, 光谱重建精度越好的方法光谱重建总体性能越好。 如图5所示为CC色卡中的6号样本在不同光谱重建方法下的重建结果。 其中, 光谱重建模型建立时的曝光水平为1(Exposure×1), 光谱重建模型应用测试时的曝光水平分别为0.5、 1和2, 即图例中的Exposure×0.5、 Exposure×1和Exposure×2, Ground truth表示真实参考光谱。 “未经曝光校正光谱”为不同测试曝光水平下的初始重建光谱, “经曝光校正光谱”表示重建光谱分别乘以曝光校正系数2、 1和0.5的结果, 表2、 表3和表4中的重建误差均是采用经曝光校正光谱计算获得。

图5 CC色卡中的6号样本在不同方法和曝光水平下的光谱重建结果

由图5所示结果可知, 当光谱重建模型训练和应用的曝光水平不一致时, 不同方法对同一样本的重建光谱曲线存在显著差异。 当测试的测试曝光水平为Exposure×0.5时, 各方法重建光谱曲线基本能够保持真实光谱曲线的形状特征, 经曝光水平校正后能够较好地与真实光谱曲线重合。 当测试曝光水平为Exposure×2时, 除本方法重建的光谱曲线能够有效保持真实光谱曲线特征之外, 其他方法重建的光谱曲线均不同程度偏离真实光谱曲线的形状特征, 这将导致重建光谱数据无法应用于颜色的高保真复制和物质的高精度识别分析。

此外, 虽然参考文献[10]方法总体上具有较小的色差, 但其对于两组测试样本的光谱误差均显著大于其他方法, 如CC色卡的2.91和颜料样本的3.04, 说明该方法重建的光谱相当于其他方法存在更多同色异谱问题。 总体而言, 本方法的光谱重建性能显著优于现有同类方法。

3.3 加权策略对本方法的影响分析

表5为两组测试样本下, 本方法(以M1表示)以及本方法不使用自适应加权(以M2表示)两种情况下的光谱重建结果。 由表5中的结果可知, 本方法对抗曝光变化的能力不受加权策略影响, 但光谱重建精度与加权策略直接相关。 对于CC色卡的光谱重建结果而言, 本方法(M1)相对于未加权(M2)时光谱精度提升近20%, 色度精度提升约30%。 对于颜料样本而言, 本方法(M1)相对于未加权(M2)时光谱精度提升超20%, 色度精度基本保持不变, 使得光谱曲线与真实光谱更加接近。 图6所示为CC色卡和颜料样本中各一个样本重建光谱的分布情况。 显然本方法(M1)重建光谱更接近真实光谱。

表5 加权策略对本文方法光谱重建结果的影响

图6 利用M1和M2方法重建两个样本的光谱曲线分布

4 结 论

基于光谱重建的多光谱成像技术具有广阔的应用前景, 针对现有重建方法对曝光变化敏感, 难以面向光照强度易变和光照不均匀的开放环境应用的问题, 提出了一种基于根多项式扩展的自适应加权光谱重建新方法。 方法利用根多项式扩展和违逆算法实现对抗曝光变化的能力, 在此基础上, 进一步提出在光谱不变特征空间计算自适应加权矩阵的策略, 有效提升了光谱重建精度。 实验结果表明, 新方法不仅具备对抗曝光变化的能力, 同时在光谱重建精度方面显著优于现有同类型的光谱重建方法。 研究结果对于开放场景下的高精度光谱重建具有重要应用前景。 后续将针对本方法开展更多实验研究, 并针对现有深度学习光谱重建方法存在的曝光变化敏感性进行研究, 以期建立能够对抗曝光变化的深度学习光谱重建方法, 进一步推进光谱重建技术在开放光照环境的有效应用。