一种光谱图像压缩和重建的新过渡连接空间: MLabPQR

吕 聪, 李长军, 孙红岩, 高 程, 2*

1. 辽宁科技大学计算机与软件工程学院, 辽宁 鞍山 114051

2. 辽宁科技大学电子与信息工程学院, 辽宁 鞍山 114051

引 言

由于多光谱相机技术的发展, 实际应用中对跨媒体彩色图像的色彩复制的精度有更高要求, 基于光谱的颜色管理系统可减少同色异谱问题[1]。 但多光谱图像通常是在可见光波长范围内, 例如在400～700 nm间隔10 nm进行采样, 导致每个颜色采样所得的31组数据维度高, 在存储上相对于RGB图像需要更多的存储空间, 同时也影响数据传输速度, 所以需要设计一个过渡连接空间, 在存储与传输时将高维的光谱反射率转换到低维, 在使用时再将其重建。 过渡连接空间(interim connection space, ICS)在光谱颜色管理系统中占据重要地位, 图像的压缩存储、 色域描述、 色域映射等均在ICS中进行[1]。 目前, 用于光谱图像压缩和重建的ICS大多有六个维度, 如LabPQR[2], LabRGB[3], XYZLMS[4], LabW2P[5]等过渡连接空间。 他们有共同特征, 前三个维度是对应反射率在指定观察条件下, 如CIE D65光源, 1931颜色匹配函数下的三刺激值XYZ(或Lab值), 这三个维度XYZ确保重建或再现的反射率在指定观察条件下具有相同的色度值, 后三个维度目的是提高重建或再现光谱反射率的精度。

本文设计一种新的ICS, 简记为MLabPQR。 新的ICS MLabPQR是对LabPQR的一种改进, 下节将详细介绍。 比较结果表明MLabPQR无论是按光谱精度还是按色度精度都要优于LabPQR、 XYZLMS、 LabRGB和LabW2P等ICSs。

1 新过渡连接空间MLabPQR的建立

假定r是n个分量的反射率列向量光谱,H是在特定光源, 比如说CIE D65, 和CIE 1931匹配函数下的n×3的加权表矩阵[6], 则反射率r的三刺激值向量t为

t=HTr

(1)

式(1)中上标T表示对H矩阵进行转置。 基于向量t, 我们有光谱分解式

rb=r-Mt

(2)

这里映射矩阵M为Wiener估计矩阵[7], (记为MW), 其表达式为

M=MW=KrH(HTKrH)-1

(3)

式(3),n×n矩阵Kr为光谱图像数据或独立的反射率训练集{r}的协方差矩阵[7]。 可以证明, (H)Trb=0, 因此rb为同色异谱黑。 令Rb是基于光谱图像本身或独立训练集{r}对应的所有同色异谱黑向量rb构成的矩阵, 通过主成分分析或奇异值分解可获得前3个重要的单位正交向量b1,b2,b3。 若记为:

B=(b1,b2,b3)

(4)

则任何一个同色异谱黑rb, 可以很好地由这三个基向量表示, 其组合系数向量, 记为tPQR, 如式(5)

tPQR=BTrb

(5)

因此对于给定反射率向量r, 本文的过渡连接空间MLabPQR的六个维度分别为,t[式(1)]和tPQR[式(4)和式(5)], 那么重建的反射率rp为

rp=Mt+BtPQR

(6)

式(6)中, 右侧第一项Mt是预测的基本刺激光谱, 映射矩阵M为Wiener估计矩阵MW[式(3)], 第二项BtPQR是在同色异谱黑空间, 是原光谱r的一个同色异谱黑, 但不能保证式(6)给出的rp与真实(原)光谱r一致。

需要说明的是本文的ICS受LabPQR ICS的启发, 而两者的差别就在于式(2)中的映射矩阵M的选取。 在ICS LabPQR中的映射矩阵M选取为熟知的“R-矩阵”[8], 记为MR, 其表达式为

M=MR=H(HTH)-1

(7)

可以看出, 当协方差矩阵Kr为单位矩阵时, Wiener估计矩阵MW就退化为“R-矩阵”MR。 “R-矩阵”的优点是不需要训练数据, Wiener估计矩阵需要训练数据。 但这一点不能成为本文连接空间的缺点, 一方面因为本文和LabPQR ICS的后三个维度tPQR都需要同色异谱黑的基向量[式(4)], 这同样需要训练数据, 另外在考虑光谱数据压缩时, 光谱图像数据本身就可以作为训练集, 因此需要训练数据并不能作为一个问题, 重要的是如何提高重建rp的色度和光谱精度。

2 实验部分

为确保更好地与之前研究进行比较, 前三维均在CIE D65光源和CIE1931颜色匹配函数下计算三刺激值。 选择Munsell色系的1 560组反射率数据作为独立训练样本集, NCS色系的1 750组反射率数据作为测试数据集。 Munsell和NCS反射率数据均在400和700 nm之间, 间隔为10 nm。 另外选取罗切斯特理工学院文化遗产科学成像和存档工作室的一幅油画光谱图像也作为测试集, 如图1所示。 图像的分辨率为120×120, 每个像素的反射率在430～700 nm之间, 间隔为10 nm。

图1 油画光谱图像(IM)

重建光谱反射率rp的光谱精度采用均方根误差(root mean square error, RMSE)和拟合优度系数(goodness of fit coefficient, GFC)来度量。 RMSE越小, 所考虑的方法性能就越好, 而GFC则相反, 越接近1, 效果越好。 重建光谱反射率rp的色度精度采用CIELAB色差公式进行度量。 计算色差时分别采用连续型光源(A、 C、 D50、 D55、 D75), 12个荧光型(F1—F12)光源和9个LED光源[9]。 CIE1931颜色匹配函数用于计算三刺激值的加权表[6]。

3 结果和讨论

为验证ICS MLabPQR的有效性, 分别采用NCS数据集和光谱图像(IM)数据进行测试, 同时和ICSs: LabPQR、 XYZLMS、 LabRGB以及LabW2P进行比较。 表1给出各种方法或ICS的光谱精度, 其中有4个指标, 分别是平均(Mean)和最大(Max)RMSE, 平均(Mean)和最小(Min)GFC。 表中背景为中灰部分表示各算法采用Munsell独立训练集进行训练, 而白色背景部分表示各算法采用测试集本身进行训练。 数字加黑表示, 在指定训练和测试集情形下, 加黑数字所在行(最左侧)对应的方法按所在列指标表现最好。 如表最后一列, 从上数第4个数据0.967 6, 表示在使用Munsell数据进行训练, NCS数据进行测试, 按最小(Min)GFC指标, LabW2P ICS表现最好。

表1 不同方法的光谱精度对比结果

首先, 采用NCS数据集测试, 采用Munsell数据集进行训练, 本文方法在3个指标下表现最好, LabW2P ICS在一个指标下表现最好。 总体看, 本文方法MLabPQR表现最好。 当采用NCS测试和训练时, 本文方法MLabPQR在所有指标下表现最好。 当采用光谱图像数据集(IM)进行测试, 采用Munsell数据集进行训练, 本文方法MLabPQR在2个指标下表现最好, 当采用光谱图像数据集测试和训练时, 本文方法MLabPQR在3个指标下表现最好。

表2给出各种ICS的色度精度(CIELAB色差)的比较。 表中C., F.和 LED分别代表连续型, 荧光型和LED类型光源。 由于每种类型下都有多个光源, 表中的结果是先在每个光源下, 计算出平均(Mean)和最大(Max)色差, 然后对同类型光源的每个指标再取平均。 其他, 如加黑数字, 灰白背景等与表1有相同的意义。 从表2可以看出, 采用NCS数据集测试, 采用Munsell数据集进行训练时, ICS LabPQR在6个指标中的3个指标下表现最好, 然而本文的MLabPQR ICS在4个指标下表现最好, 因此整体看本文方法色度精度最好。 当采用NCS数据集测试和训练, 本文方法色度精度在各指标下表现最好。 采用光谱图像(IM)测试, 采用Munsell数据集进行训练时, 本文的MLabPQR ICS在5个指标下表现最好, 当采用光谱图像(IM)测试和训练, 本文方法色度精度在所有指标下表现最好。

表2 不同方法的色度精度对比结果

4 结 论

多光谱数据的压缩与重建算法有着重要的应用价值, 可以减少存储空间, 加快传输速度。 受Derhak和Rosen[2]提出的LabPQR ICS的启发, 本文提出了改进的LabPQR ICS: MLabPQR。 两者的差别就在于光谱分解式[式(2)]中的映射矩阵M的选取。 对于LabPQR, 映射矩阵M为文献中常用的“R-矩阵”MR[式(7)]; 而对于本文的MLabPQR, 映射矩阵M为文献中常用的“Wiener估计矩阵”MW[式(3)]。 矩阵MR不依赖于训练集, 矩阵MW依赖于训练集, 因此可以期望通过训练集的选取提高光谱重建精度。 使用NCS数据集和一个光谱图像(如图1所示)对本文方法进行评估, 同时和LabPQR, XYZLMS, LabRGB, LabW2P ICSs比较。 比较结果表明: (1)按重建光谱精度(RMSE, GFC)度量, 用独立训练集训练, 本文方法在4个指标中的2或3个指标要优于其他ICSs, 用自身测试集训练, 至少在4个指标中的3个指标要优于其他ICSs, 因此重建光谱精度整体优于其他ICSs; (2)按重建光谱色度精度(CIELAB色差)度量, 当所有方法采用独立训练集进行训练, 不管是采用NCS还是光谱图像测试, 本文方法至少在6个指标中的4个指标要优于其他方法, 因此重建光谱色度精度整体优于其他方法。 当所有方法采用测试集进行训练时, 本文方法按光谱色度精度所有6个指标表现优于其他方法。 由于在考虑光谱压缩时, 光谱图像数据是已知的, 采用自身训练并不是问题, 因此可以期望, 本文方法有效地将光谱数据进行降维, 减少了存储空间, 提高了传输速度, 与现有方法相比提高了重建光谱的光谱精度和色度精度。 可以期望本文提出的压缩重建方法在光谱图像压缩和再现应用中发挥重要作用。

最后需要指出的是为实时处理光谱图像再现过程中, 需要结合插值技术, 因此在ICS要选择节点, 六维的ICS可能需要过多的插值节点, 存储空间和计算工作量, 因此较好的低维ICS在光谱图像再现领域有重要需求, 这也是我们将来的研究方向。