基于光谱连接空间的彩色相机光谱重构研究

李 婵， 万晓霞， 梁金星

(武汉大学 印刷与包装系， 湖北 武汉 430079)



基于光谱连接空间的彩色相机光谱重构研究

李 婵， 万晓霞*， 梁金星

(武汉大学 印刷与包装系， 湖北 武汉 430079)

针对彩色相机三通道响应值重构光谱反射率精度低的问题，提出了基于光谱连接空间的彩色相机光谱反射率重构方法。首先通过光谱反射率已知的训练样本集和多项式拟合方法建立相机响应值到光谱连接空间的转换矩阵，然后利用该矩阵将待重构样本的相机响应值映射到光谱连接空间，最后选用合适的光谱重构算法在光谱连接空间内实现光谱反射率重构，并利用色度误差和光谱误差两个指标对重构结果进行评价。在上述过程中，鉴于转换矩阵的重要性，采用了基于反距离加权的最小二乘法计算转换矩阵以提高相机响应值到光谱连接空间的转换精度。实验结果表明：本文方法切实可行且精度可靠，与基于彩色相机三通道响应值的光谱重构方法相比，色度重构精度和光谱重构精度均显著提高，平均色差和谱差分别为1.145 2和0.010 3，可在较大程度上满足数字典藏、高保真颜色复制等的需要。

光谱连接空间； 光谱重构； 反距离加权最小二乘法

1 引 言

基于光谱反射率的颜色信息表征方法与设备、环境无关，可准确记录物体表面真实的颜色信息，克服传统基于色度学的颜色表征方法中的同色异谱问题。分光光度计是获得光谱信息采集最常见的设备，但它仅能用于单点测量，测量面积取决于设备测量孔径大小，因此不能应用于整幅图像的光谱信息获取。目前可获取整幅图像的设备如彩色相机、扫描仪等记录的颜色信息为物体表面光谱反射率、传感器光谱灵敏度和环境光源光谱功率分布在设备响应波长范围内的积分值，光谱反射率信息包含于设备响应值中，如何从设备响应值中重构光谱反射率是近年来颜色科学领域的研究热点问题之一。

传统基于彩色相机三通道响应值的光谱重构方法是利用彩色相机采集图像信息后，再选用伪逆[1]、主成分分析[2]、Wiener估计[3]、插值法[4]等光谱重构算法直接从低维度的相机响应信号重构高维度的光谱反射率信息。这种方法所需设备易得，但重构精度低，无法满足实际应用要求。究其原因，光谱重构本质上属于病态方程求解过程[5]，加之相机各通道采样范围较宽，数据间存在较大相关性，使得方程的病态性更为严重，最终导致重构效果差。针对上述情况，有关研究者提出了通过对物体表面的反射光谱进行宽带或窄带重采样，得到多通道图像数据，在此基础上重构原稿图像光谱反射率的多通道光谱图像获取技术。目前利用该技术原理构建的多通道光谱图像获取系统包括彩色相机+带通滤光片[6](宽带或窄带)、彩色相机+多光源[7]、多通道相机[8]、单色相机+声光可调谐滤光片[9]以及单色相机+液晶可调谐滤光片[10]等。与三通道重构方法相比，多通道光谱图像获取技术虽获得了较高的光谱重构精度，但辅以产成多通道图像的滤光片或光源需自主选择[11]；另外由于采样通道增加，图像获取周期变长，采集环境稳定性要求也随之变高；此外，由于原稿图像在不同时序采集，图像容易出现几何形变、像素偏移等问题[12]，导致多通道图像间各像素位置无法一一对应，因此进行光谱重构前必须经过几何纠正、图像配准等一系列图像预处理过程，增加了光谱图像获取的工作量。上述问题的存在一定程度上限制了此类方法的应用。

鉴于上述情况，本文提出基于光谱连接空间的彩色相机光谱反射率重构方法。该方法借鉴多通道光谱图像获取技术中细化采样通道的思想，将采用普通彩色相机获取的三通道图像通过非线性映射转换到光谱连接空间(大于三维)，最后在变换得到的多通道图像数据基础上选用合适的光谱重构算法重构原稿图像上各像素处的光谱反射率信息。由于本文方法中的多通道图像是经过数学换算得到的，因此光谱重构前无需进行图像配准等预处理。成像系统所需的设备主要包括彩色数码相机和照明光源，原稿图像仅经历一次成像过程，操作简单，用时短。

2 关键技术

2.1 光谱连接空间

光谱连接空间全称为光谱设备无关连接空间，它的提出主要是用于光谱图像降维，基于光谱的颜色管理系统中的模块如光谱图像压缩编码、色域可视化、色域映射算法设计等均在低维光谱连接空间中实现[13]。光谱连接空间必须满足所构造的低维空间能与高维光谱空间双向转换，不仅可以将高维光谱图像映射到低维空间，还可以从低维空间数据重构出原始的高维光谱数据，光谱重构精度是评价光谱连接空间性能的主要指标之一。目前提出的光谱连接空间有PCA[14]、LabPQR[15]、 LabRGB[16]、XYZXYZ[17]、XYZLMS[18]、LabAB[19]等，相比而言，大多数情况下，XYZXYZ和XYZLMS连接空间的光谱重构性能优于LabPQR、LabRGB、PCA等连接空间，因此本文将XYZXYZ和XYZLMS光谱连接空间作为利用相机响应值进行光谱重构的中介空间，即将三维相机响应值映射到六维XYZXYZ和XYZLMS光谱连接空间，在此数据基础上实现原稿图像的光谱反射率重构。XYZXYZ和XYZLMS连接空间具体定义方法如式(1)和式(2)所示。

(1)

(2)

式中，I1和I2分别表示两个光谱的相对功率分布。由此可知，XYZXYZ光谱连接空间的坐标值由目标物体在两个光源下的色度值组成。对于任意一个光谱反射率已知的颜色样本，利用式(1)和式(2)计算可得到指定光源和观察者条件下的连接空间内1×6维坐标值向量Q，Q等于[XYZLMS]或[X1Y1Z1X2Y2Z2]。

2.2 本文方法

理想情况下，假设I为照明光源的相对光谱功率分布函数，r为物体表面的光谱反射率，T为光谱传递函数, s为相机光谱灵敏度函数，彩色相机第 i个通道的相机响应值c可用式(3)计算：

(3)

普通彩色相机i=3，分别代表红(r)、绿(g)和蓝(b) 3个通道，对于任何一个样本，其相机响应值可用一个1×3维向量C表示，显然将相机响应值转换到光谱连接空间属于非线性变换。对于上述问题，目前常用的解决方法包括多项式拟合、查找表及神经网络等[20]。本文采用应用最为广泛的多项式拟合法建立相机响应值与光谱连接空间响应值之间的对应关系。多项式拟合模型可用式(4)表示，式中Q、K和U分别表示光谱连接空间坐标值、多项式系数矩阵和相机响应多项式拓展值。具体计算过程是首先选择一个光谱反射率已知的训练样本集，通过式(1)或式(2)计算连接空间坐标值向量Q，采集样本图像后提取各样本的RGB通道响应值C，并将C进行11项多项式扩展(式(5))；然后利用最小二乘法计算系数矩阵K；最后利用K实现待重构样本到连接空间的转换，系数矩阵K也称为转换矩阵。

(4)

u=[1 r g b rg rb gb r2g2b2rgb].

(5)

本文中转换矩阵K的性能优劣至关重要。用常规最小二乘法求解K时，所有的训练样本的权重相同。但实际上，离待重构样本越近的训练样本应赋予较大权重。基于此，求解各待重构样本转换到光谱连接空间的矩阵K前，应先赋予各训练样本不同的权重，权重向量用W表示(式(6))。

(6)

式中，n为训练样本数量，向量各元素wi为待重构样本与各训练样本相机响应值的欧式距离与一极小值ε之和的倒数：

(7)

(8)

其中M为光谱反射率与光谱连接空间坐标值之间的转换矩阵。

3 实验过程

为验证上述方法的有效性，本文将用彩色相机采集的色块和图像数据转换到光谱连接空间XYZLMS或 XYZXYZ中，然后在连接空间中选用伪逆法实现光谱重构，重构效果采用色度误差(ΔEab)和光谱均方根误差(RMS)两个指标进行评价。另外，重构结果将与在相机RGB空间内的光谱重构结果进行对比。实验开始首先利用佳能EOS600D相机采集色块和图像数据，图像采用raw格式保存，分辨率为5 184×3 456。曝光时间和光圈大小分别为1/15 s和f4.0。色块为在白卡上采用EPSON Stylus pro 4880C打印输出的IT874R色靶，各色块的光谱反射率数据采用SpectroScan测得，色块数为1 617。计算时，IT874R色靶中奇数色块作为训练样本，偶数色块作为待重构样本。对于训练样本，首先提取各样本的RGB通道响应值，然后建立RGB值与光谱连接空间坐标值的转换关系。由于训练样本的光谱反射率已知，各样本的光谱连接空间坐标值可根据式(1)或式(2)直接计算。式(1)中，I为标准A光源；式(2)中，I1和I2分别为标准A光源和D65光源。对于待重构样本，同理先提取样本的RGB通道响应值，然后根据训练样本的数据基础和基于反距离加权的最小二乘法计算各重构样本的转换矩阵K，重构样本通过K即可转换到XYZLMS或XYZXYZ光谱连接空间进行光谱重构，具体的光谱重构算法如式(8)所示。

图1 (a)XYZLMS连接空间基向量；(b) 标准A光源和D65光源相对光谱功率分布。

Fig.1 (a) Basis vectors of XYZLMS interim connection space. (b) Spectral relative power distribution of standard light source A and D65.

4 实验结果讨论与分析

表1 为IT874R色靶中待重构样本在相机RGB空间、XYZLMS和XYZXYZ光谱连接空间内的重构精度，其中色度误差是重构光谱在A、D65、F2和F11 4种标准光源及2°视场条件下计算得到的。由表1可知，在4种光源观察条件下，相机RGB空间、XYZLMS和XYZXYZ光谱连接空间重构的平均色度误差分别为7.332 7，1.164，1.145 2；光谱误差分别为0.074 0，0.010 4，0.010 3。由该数值结果可知，与直接用相机响应值重构方法相比，无论是色度重构精度还是光谱重构精度，待重构样本采用基于光谱连接空间的光谱重构方法得到的重构精度显著提高。XYZLMS和XYZXYZ两连接空间的重构精度接近，XYZXYZ略占优势，而相机RGB空间重构效果最差，无法满足实际需求。

图2 为重构样本色差(ΔEab)的分段统计，该图进一步说明了本文方法的色度重构优势。从图中可以看出，在相机RGB空间内，样本重构色差大多分布在大于3的区间内，在这一区间内的样本数量为95.91%，并且色差大于6的样本超半数以上，而在XYZLMS和XYZXYZ连接空间内，样本多分布在小于3的区间内，超半数样本色差小于1，极少数样本色差大于6。由该统计结果可知，采用本文方法重构样本的精度可靠，性能优异，增加采样通道对提高样本光谱重构精度十分有效，与直接用相机响应值重构相比，虽增加了计算复杂度，但精度大大提高。

表1 光谱连接空间和三通道相机空间光谱重构精度比较

Fig.2 Chromaticity difference distribution of target samples based on three spaces

表2为保持训练样本集和重构算法不变的情况下，采用反距离加权最小二乘法与常规最小二乘法两种方法将重建样本转换到XYZXYZ连接空间内进行光谱重构得到的结果的比较。该实验结果论证了上文论述的相机响应值到光谱连接空间转换系数矩阵具有重要影响的事实，采用反距离加权的最小二乘法精度明显提高，色度误差和光谱误差的平均值和最大值在4种光源下均大幅减小。

图3(a)、(b)和(c)为在XYZXYZ连接空间重构的光谱图像分别在A光源、F2光源和D65光源以及2°视场条件下渲染生成的RGB图像，原图采集条件与IT874R色靶一致。从图中可以看出，重构图像细节清晰完整，颜色保真度高。利用X-Rite Eyeone分光光度计测量1#和2#像素所处的均匀颜色区域内的光谱反射率，将其与重构的光谱反射率进行比较，两像素的色度误差在D65光源和2°观察条件下分别为4.562 5和1.527 7；光谱误差分别为0.033 6和0.017 3。从图3(e)和图3(f)可知，重构光谱反射率曲线接近于测量曲线，重构精度较理想。

表2 转换矩阵计算方法对光谱重构精度的影响

图3 (a) 光谱重构图像，渲染条件：A光源/2°视场；(b) 光谱重构图像，渲染条件：F2光源/2°视场；(c) 光谱重构图像，渲染条件：D65光源/2°视场；(d) c图中红框部分放大图；(e) 1#像素光谱重构值与测量值比较；(f) 2#像素光谱重构值与测量值比较。

Fig.3 (a) Reconstructed RGB image, rendering condition: A/2°. (b) Reconstructed RGB image, rendering condition: F2/2°. (c) Reconstructed RGB image， rendering condition: D65/2°. (d) Partial enlargement of the red box in the figure (c). (e) Measured spectral and reconstructed spectral of 1# pixel. (f) Measured spectral and reconstructed spectral of 2# pixel.

5 结 论

本文提出了基于光谱连接空间的彩色相机光谱反射率重构方法，该方法借鉴多通道光谱图像获取技术原理，通过转换矩阵将由彩色相机采集的RGB三通道图像映射到六通道的光谱连接空间，充分利用光谱连接空间的优异光谱重构性能解决了彩色相机三通道图像直接重构光谱反射率精度低的问题，此外，采用基于反距离加权的最小二乘法计算转换矩阵以提高光谱重构的准确性。实验数据表明，与基于彩色相机三通道响应值的光谱重构方法相比，本文方法使用的图像获取系统虽与之相同，但光谱重构精度显著提高，色度误差和光谱误差的平均值和最大值均大幅减小，在XYZXYZ光谱连接空间内，重构色差和谱差平均值分别为1.145 2和0.010 3，精度令人满意。与多通道光谱图像获取技术相比，本文方法不需要借助滤光片或光源等辅助设备多次成像而生成多通道图像，一次成像即可，省去了图像配准步骤，优化了图像采集和处理流程。本文将光谱连接空间应用于多光谱图像采集，拓宽了其应用范围。

[1]El-RIFAI I, MAHGOUB H, MAGDY M A,etal.. Enhanced spectral reflectance reconstruction using pseudo-inverse estimation method [J].Int.J.ImageProc., 2013, 7(3):278-285.

[2] AYALA F, ECHVARRI J F, RENET P,etal.. Use of three tristimulus values from surface reflectance spectra to calculate the principal components for reconstructing these spectra by using only three eigenvectors [J].J.Opt.Soc.Am. A, 2006, 23(8):2020-2026.

[3] SHEN H L, CAI P Q, SHAO S J,etal.. Reflectance reconstruction for multispectral imaging by adaptive Wiener estimation [J].Opt.Express, 2007, 15(23):15545-15554.

[4] KIM B G, WERNER J S, SIMINOVITCH M,etal.. Spectral reflectivity recovery from tristimulus values using 3D extrapolation with 3D interpolation [J].J.Opt.Soc.Korea, 2014, 18(5):507-516.

[5] 谢德红,李蕊,万晓霞,等. 基于迭代Tikhonov正规化的三刺激值重建光谱方法研究 [J]. 光谱学与光谱分析, 2016, 36(1):201-205. XIE D H, LI R, WAN X X,etal.. Iterated Tikhonov regularization for spectral recovery from tristimulus [J].Spectrosc.Spect.Anal., 2016, 36(1):201-205. (in Chinese)

[6] IMA F H, ROSEN M R, BERNS R S. Comparison of spectrally narrow-band captureversuswide-band with a priori sample analysis for spectral reflectance estimation [C].ProceedingsofThe8thFinalProgramandProceedingsColorandImagingConference,Scottsdale,Arizona,USA, 2000:234-241.

[7] HAN S, SATO I, OKABE T,etal.. Fast spectral reflectance recovery using DLP projector [J].Int.J.Comput.Vis., 2014, 110(2):172-184.

[8] LAPRAY P J, WANG X B, THOMAS J B,etal.. Multispectral filter arrays: recent advances and practical implementation [J].Sensors, 2014, 14(11):21626-21659.

[9] GEORGIEV G, GLENAR D A, HILLMAN J J. Spectral characterization of acousto-optic filters used in imaging spectroscopy [J].Appl.Opt., 2002, 41(1):209-217.

[10] HARDEBERG J Y, SCHMITT F, BRETTEL H. Multispectral color image capture using a liquid crystal tunable filter [J].Opt.Eng., 2002, 41(10):2532-2548.

[11] 刘振. 面向复制的多光谱图像获取技术研究 [D]. 武汉:武汉大学, 2012. LIU Z.ResearchonReproduction-orientedMultispectralImageAcquisitionTechnology[D]. Wuhan: Wuhan University, 2012. (in Chinese)

[12] 陈青. 多光谱图像配准与融合技术研究 [D]. 西安:西安工业大学, 2012. CHEN Q.ResearchonMultispectralImageRegistrationandFusionTechnology[D]. Xi’an: Xi’an Technological University, 2012. (in Chinese)

[13] 张显斗,王强,杨根福,等. 光谱颜色管理系统关键技术综述 [J]. 中国印刷与包装研究, 2013, 5(1):10-17. ZHANG X D, WANG Q, YANG G F,etal.. Key technologies review of the spectral color management system [J].ChinaPrintingPackagingStudy, 2013, 5(1):10-17. (in Chinese)

[14] FAIRMAN H S, BRILL M H. The principal components of reflectances [J].ColorRes.Appl., 2004, 29(2):104-110.

[15] DERHAK M, ROSEN M. Spectral colorimetry using LabPQR: an interim connection space [J].J.ImagingSci.Technol., 2006, 50(1):53-63.

[16] NAKAYA F, OHTA N. Spectral encoding/decoding using LabRGB [J].J.ImagingSci.Technol., 2008, 52(4):40902-1-8.

[17] ZHANG X D, WANG Q, LI J C,etal.. The interim connection space based on human color vision for spectral color reproduction [J].J.Opt.Soc.Am. A, 2012, 29(6):1027-1034.

[18] ZHANG X D, WANG Q, WANG Y,etal.. XYZLMS interim connection space for spectral image compression and reproduction [J].Opt.Lett., 2012, 37(24):5097-5099.

[19] LE MOAN S, URBAN P. A new connection space for low-dimensional spectral color management [J].SPIE, 2014, 9018:90180E-1-6.

[20] 智川,周世生,石毅. 颜色空间转换的模糊神经网络辨识算法 [J]. 北京理工大学学报, 2011, 31(6):722-726. ZHI C, ZHOU S S, SHI Y. Color space transform based on fuzzy and neural network identification algorithm [J].Trans.BeijingInst.Technol., 2011, 31(6):722-726. (in Chinese)

李婵 (1987-)，女，湖南长沙人，博士研究生，2009年于西安理工大学获得硕士学位，主要从事多光谱图像采集与处理方面的研究。E-mail: chanli030@163.com

万晓霞 (1965-)，女，湖北广水人，博士，教授，博士生导师，2002年于武汉大学获得博士学位，主要从事高保真颜色复制和颜色测量等方面的研究。E-mail: wan@whu.edu.cn

Spectral Reconstruction from Trichromatic Digital Camera Responses Based on Interim Connection Space for Spectral Data

LI Chan, WAN Xiao-xia*, LIANG Jin-xing

(Printing and Packaging Department, Wuhan University, Wuhan 430079, China)*CorrespondingAuthor,E-mail:wan@whu.edu.cn

Aiming at the problem of poor spectral reconstruction accuracy from trichromatic camera responses, a method was presented for spectral reflectance reconstruction based on the interim connection space (ICS) for spectral data and trichromatic digital camera. Firstly, the training samples with known spectral reflectance and polynomial fitting method were utilized to establish a transform matrix from the trichromatic camera responses to the ICS response values. Then, the target samples or pixels were mapped to the ICS by means of the transform matrix. Finally, spectral reflectance reconstruction of each sample or pixel was implementedviaan appropriate spectral reconstruction algorithm using ICS response values and the reconstruction accuracy is evaluated in terms of chromaticity difference and spectral root mean square error. In addition, the inverse distance weighted least square method was applied to calculate the transform matrix to improve the conversion accuracy from the camera response to the ICS response value. The experimental results show that the proposed method is feasible and has reliable precision. Compared to the spectral reflectance reconstruction from trichromatic camera responses, the chromaticity reconstruction accuracy and spectral reconstruction accuracy of the proposed method are significantly improved. The mean chromaticity difference and mean spectral root mean square error are 1.145 2 and 0.010 3, respectively. It can meet the needs of digital archives, high fidelity color reproduction,etc.

interim connection space for spectral data; spectral reflectance reconstruction; inverse distance weighted least square method

2016-06-24；

2016-09-12

国家文物局文物保护领域科学和技术研究一般课题(2013-YB-HT-034); 国家自然科学基金(651275172,61405104,61575147)资助项目

1000-7032(2016)12-1571-08

O432.3

A

10.3788/fgxb20163712.1571