基于拓展光谱的近红外光谱模型转移方法

王家俊 ，者为 ，刘言 ，蔡文生，邵学广

1红云红河烟草（集团）有限责任公司，昆明，650231；2南开大学化学学院分析科学中心，天津，300071

烟草与烟气化学

基于拓展光谱的近红外光谱模型转移方法

王家俊1，者为1，刘言2，蔡文生2，邵学广2

1红云红河烟草（集团）有限责任公司，昆明，650231；2南开大学化学学院分析科学中心，天津，300071

提出了一种基于拓展光谱的近红外光谱模型转移方法。该方法利用一组标准样品估计源机光谱和目标机光谱之间的差异光谱，然后利用差异光谱将其他样品的源机光谱转移为目标机光谱，从而扩充目标机光谱的数量，建立目标机的稳定建模。使用三台不同仪器的近红外光谱进行了研究，结果表明，利用少量的标准样品光谱可以将大量源机光谱转移为目标机光谱，建立目标机的模型进行准确预测。该方法对仪器的更新替换具有重要的实用意义。

近红外光谱；多元校正；模型转移；差异光谱；拓展光谱

近红外漫反射光谱技术，由于其分析速度快、操作简单、不需要样本预处理、可实现原位、无损、在线分析等优点，已广泛应用于石油化工、农业、制药、食品[1]、烟草、生命科学、医学及环保等各个领域。然而，实际复杂样品的近红外光谱吸收峰数目多、重叠严重、谱带复杂，除了自身信息外，往往还含有噪音和背景等变动信息。尽管经常使用化学计量学多元校正方法进行定性、定量分析[2]，但模型的准确性和稳定性往往受到样品形态、光谱测量条件、异常样本以及光谱中冗余信息的影响[3]。

为了建立准确和稳定的近红漫反射外光谱模型，通常需要准备大量的标准样品，测量它们的近红外光谱和分析目标的参考值。因此，建模过程十分费时并且花费巨大。在实际应用中，由于仪器之间的硬件差异或测量条件的差异，一台仪器上建立的模型往往不能直接用于另一台仪器。即使是同一台仪器，关键部件的更换或随着时间的推移，模型的预测性能也会发生变化。模型转移是解决上述问题的方法之一。一般而言，如果一台仪器拥已拥有大量的光谱，且已经建立了多元校正模型，则称该仪器为源机（Master），而另一台光谱数量较少，没有建立多元校正模型的仪器则被称为目标机（Slaves）。模型转移方法可以将目标机的光谱转移为源机的光谱后以继续使用源机的模型，或者将源机的光谱转移为目标机的光谱，以帮助目标机建立新的多元校正模型。

模型转移可以通过预测结果、光谱或模型的校正来实现。校正预测结果的方法是建立原仪器与新仪器模型预测结果之间的函数关系，如SBC算法[4]假设源机与目标机的预测结果之间存在一元线性关系，通过最小二乘法可以求得线性关系的斜率和截距。该算法在不同仪器光谱之间的差异仅由简单的因素引起的情况下效果较好。通过校正光谱响应，即建立原仪器光谱与新仪器光谱之间的转换，来进行模型转移是最常用的方法。通过两台仪器光谱之间的转换，直接使用原来的模型或者建立新的模型进行预测。目前最常用的DS[5]和PDS算法[6-7]是该类方法的代表，前者通过回归算法对源机及目标机光谱进行回归得到二者之间的转换关系，后者的不同之处在于在回归过程中增加了一个移动窗口，在一定程度上提高了回归的精确程度。此外，比较常见的光谱校正方法还包括shenk算法[8-10]以及SWS[11]算法。最近，Chen等提出了一种基于主成分分析的SST算法[12-13]，对波长点数相同的光谱转移可以得到理想的结果。校正模型的方法与上述两类方法不同，核心是利用少数标准样品在目标机和源机上的光谱对源机模型进行修正，建立目标机上的模型，例如早期报道的B系数校正方法[5,14]以及近来提出的基于正则化的校正方法[15-18]。

在实际的生产工作中，可能会出现以下情况。目标机（新仪器或用于新的研究工作的仪器）的光谱数量过少，建模结果可能不理想或者根本不能建模，而源机（长期使用的仪器或者原有模型的测试仪器）有大量光谱，且模型良好。由于目标机的光谱数量过少，无法建立稳定的多元校正模型。因此，需要一种转移方法，能够拓展目标机光谱的数量，帮助目标机进行稳定建模。

针对此种情况，本文基于少量标准样品在两台仪器上的差异建立了一种模型转移方法。该方法利用标准样品的差异将源机上已知浓度样品的光谱转移为目标机光谱（称为拓展光谱），然后利用拓展光谱建立目标机上的模型。在仪器更新或替换时，大量已知浓度的源机光谱已经存在，利用该方法可以方便地计算大量的拓展光谱，有利于目标机上稳定模型的建立。

1 原理与计算

1.1 拓展光谱

拓展光谱的概念源于文献报道的近红外光谱用于药物分析时构造虚拟校正集的方法[19-20]，通过将实验室制备样品的光谱拓展为实际生产药品的光谱建立药品的预测模型。该方法根据一组有效成分含量相同的实验室制备样品和实际药品的光谱差异，通过向实验室样品的光谱添加实际药品光谱中的“干扰”构造用于实际药品分析的校正集光谱。具体做法是先计算两类样品的光谱差异，然后将光谱差异乘以一个[0.75,1.25]区间的随机数添加到实验室样品的光谱中。所形成的光谱矩阵在主成分空间中可以与药品的光谱相互重叠，可以作为药品分析的校正集使用。

本文将拓展光谱的方法用于将一台仪器的光谱拓展为另一台仪器的校正集光谱。对于一组标准样品M，在仪器A（源机）上的光谱为SAM，在仪器B（目标机）上的光谱为SBM，则由公式（1）可以得到同一样品在两台仪器上的“差异光谱”。

同时，仪器A上还有另一组样品N，其光谱为SAN，且已知这些样品的浓度。对于样品集M中的任意1个样品m，可以在样品集N中找到1个或多个（如n个）与样品m在待测组分浓度相近的对应样品。将样品集M中所有在样品集N中找到的对应样品集中并扣除重复的样品后，得到一个拓展源光谱集，其光谱称为拓展源光谱且表示为SANe。按照文献[19-20]中拓展光谱的原理，根据（2）式即可将这些仪器A上的拓展源光谱转移为仪器B上的拓展光谱SBMe，

式中Sphy,m为样品m的差异光谱，原文献[19-20]中k为对差异光谱加入的一个扰动项，其取值为[0.75,1.25]区间的随机数。在本文中，由于有大量仪器A上的光谱且相应的待测物浓度已知，k的取值采用了以下公式：

其中cNe为拓展源样品的浓度，cm为样品m的浓度。

因此，根据（1）～（3）式可以根据样品集N在仪器A上的光谱转化为仪器B的拓展光谱，从而扩充了仪器B的光谱数量，建立稳定可靠的模型。

1.2 数据

为了考察方法的性能，使用了一组烟草样品，分别采用三台近红外光谱仪测量其光谱，建立样品中总氮含量的定量模型。样品数为1003个，仪器1是Antaris傅里叶变换近红外光谱仪（美国Thermo Electron公司），测量的波长范围为4000-10000cm-1，每条光谱包含1557个波长点。仪器2为Spectrum One NTS近红外光谱仪（美国PerkinElmer公司），测量的波长范围为4000-10000cm-1，每条光谱包含3001个波长点。仪器3与仪器1相同，但在不同地点在不同条件下进行光谱测量。研究过程中，仪器1和仪器2分别作为两台源机，分别记为A1和A2，仪器3作为目标机，记为B。

1.3 计算步骤

首先，采用KS算法将目标机B的光谱分为校正集（500条光谱）和验证集（503条光谱）。然后，从校正集中选出一部分（KS算法排序的前50条）光谱作为标准样品集M，用于计算与A1或A2上对应光谱的光谱差异。A2与B的波长点数不同，因此需要对A2的光谱进行插值使之与B的相同之后再计算光谱差异。在A1和A2中选择不同数量拓展源光谱，将其转移成仪器B的光谱，构成不同大小的校正集，建立偏最小二乘（PLS）回归模型。不同模型的比较采用了预测集的预测值均方根误差，即RMSEP值。为了便于比较，PLS建模因子数根据经验统一使用了12。

2 结果与讨论

2.1 不同仪器光谱的差异分析

图1显示了3台仪器上所有样品的平均光谱。从图中可以看出，尽管三条光谱在形状上相似，但是仍存在明显的差异。其中，A1和B使用了相同的仪器，其光谱相似度更大一些，二者的光谱峰形完全相同，仅存在一定的背景差异。A2和B的仪器不同，光谱之间差异较大，除了背景不同外，在波数为4300cm-1和4700cm-1处可以看到明显的峰形差异。为了进一步说明三台仪器之间的差异，图2画出了对三台仪器测量的所有光谱进行主成分分析后得到的第1和第2主成分的得分图。从图中可以清晰地看出，A1与B的光谱更为相似，存在一定的重叠。而A2与B的光谱差距较大，在第1主成分的得分上存在明显差异。

图1 三台仪器的平均光谱Fig.1 Average spectra of the three instruments

图2 三台仪器光谱在第1、2主成分的得分Fig.2 PC1-PC2 scores of the spectra measured on three instruments

2.2 拓展光谱的质量

为了考察拓展光谱的质量，采用上述挑选的50条光谱作为标准样品光谱进行了光谱的转移，分别计算了仪器A1和A2上的500条校正集光谱在仪器B上的拓展光谱。图3显示了B仪器上测量的第一条光谱以及从A1和A2转移得到的拓展光谱。从图中可以看出，经过转移之后，A1和A2的拓展光谱与B仪器上的光谱差异很小。在5500-10000cm-1的波数范围内接近重合，在4500-5000cm-1的波数范围内仅存在很小的背景漂移。

图3 拓展光谱与目标机光谱Fig.3 Extended spectrum and target machine spectrum

为了进一步说明转移的效果，图4(a)和(b)分别画出了B仪器上的光谱与A1和A2的拓展光谱在第1、2主成分空间的得分分布。从两图可以看出，从两台仪器分别得到的拓展光谱与B仪器上的测量光谱不再有明显的差异，二者的得分分布几乎完全重叠。

图4 拓展光谱与目标机光谱在第1、2主成分的得分Fig.4 PC1-PC2 scores of extended spectra and target machine spectra

2.3 拓展光谱的建模效果

为了考察拓展光谱所建模型的预测效果，表1列出了由不同数目的拓展光谱建立的模型对预测集光谱的预测结果。表中分别列出了目标机和源机测量的标准样品光谱、仪器A1和A2的拓展光谱、不同数目的拓展光谱以及拓展光谱和标准样品光谱组合构成的校正集所建模型的预测结果（RMSEP）。从表中RMSEP-A1可以看出，SBM，即直接使用50个标准样品的光谱所建立的模型，对应的数值为0.0896，但SAM，即使用源机测量的50个标准样品的光谱所建立的模型，对应的数值为0.8680，误差很大。这充分说明了模型转移的重要性，源机的模型无法直接使用于目标机。对光谱进行转移之后，拓展光谱的建模结果得到明显的提高，且随着校正集的变大RMSEP值逐步减小。采用100条拓展光谱时RMSEP值就已经略低于标样光谱的模型，采用400条拓展光谱时RMSEP值已经明显低于标样光谱模型。从RMSEP-A2也可以看出相同的规律。表1的下部列出了标样光谱和拓展光谱的组合校正集所建模型的预测结果。与只用拓展光谱组成校正集的结果类似，RMSEP值也随着组合校正集的变大而逐步减小。此外，同采用相同数目拓展光谱的模型相比，组合校正集的结果略好于拓展光谱校正集。以RMSEP-A1为例，采用50条拓展光谱的组合校正集RMSEP值就已经低于标样光谱的模型，采用400条拓展光谱的组合校正集RMSEP值也低于400条拓展光谱的校正集的模型。

表1 不同校正集模型的预测结果Tab.1 Prediction results of models with different calibration set

图5 拓展光谱和标样光谱的预测结果Fig.5 Prediction results of extended spectra and standard spectra

为了进一步说明拓展光谱的可靠性，图5画出了由不同数目的拓展光谱和标样光谱建立的模型对预测集光谱的预测结果。图5(a)中，B线为全部由目标机B的光谱建立模型的预测结果，其RMSEP值随着校正集的增大而逐步减小。A1线为全部由拓展光谱建立模型的预测结果，其RMSEP值也随着校正集的增大而逐步减小，并且与B线有着相似的下降趋势，只是RMSEP值偏大。A1+B线为50条标样光谱与不同数量拓展光谱组合建立模型的预测结果，从结果来看，A1+B线与B线也有着相似的下降趋势，线上每个点RMSEP值均低于A1线，与B线接近。这充分说明了拓展光谱的可靠性，经过转移之后，拓展光谱与标样光谱有着相同的性质，使得建模的结果相近，3条线有着相同的下降趋势。从图5(b)中也可以看出相似的结果。表1和图5的结果充分说明了拓展光谱的预测性能和可靠性。在近红外光谱技术的实际应用过程中，本文的方法对于解决仪器更新时的模型转移问题具有使用价值。

3 结论

本文提出来一种基于差异光谱的模型转移方法。该方法利用目标机光谱和源机光谱之间的差异光谱，将源机光谱拓展为目标机光谱，扩充目标机光谱的数量，建立目标机的可靠建模。通过主成分分析表明拓展光谱与直接测量得到的光谱具有相似的主成分分布。对实际光谱数据的预测结果表明，利用拓展光谱可以建立精确的预测模型，对相同的预测集光谱可以得到精确的预测结果。因此，本文为经红外光谱提供了一种可行的模型转移方法，该方法对于实际应用中仪器更新或维护后的模型转移具有重要意义。

[1]李积慧,杜国荣,康俊,等.阴离子交换树脂结合近红外漫反射光谱测定碳酸饮料中日落黄[J].分析化学,2011,39(6): 898-901.

[2]石雪,蔡文生,邵学广.基于小波系数的近红外光谱局部建模方法与应用研究[J].分析化学,2008,36(8): 1093-1096.

[3]郝勇,蔡文生,邵学广.复杂样品近红外光谱定量分析模型的构建方法[J].高等学校化学学报，2009,30(1):28-31.

[4] Bouveresse E,Hartmann C,Massart D L.Standardization of Near-Infrared Spectrometric Instruments[J].Anal Chem,1996,68: 982-990.

[5] Wang Y D,Veltkamp D J,Kowalski B R.Multivariate Instrument Standardization [J].Anal Chem,1991,63: 2750-2756.

[6] Wang Y D,Lysaght M J,Kowalski B R.Improvement of Multivariate Calibration through Instrument Standardization.Anal Chem,1992,64: 562-564.

[7] Wang Z Y,Dean T,Kowalski B R.Additive Background Correction in Multivariate Dnstrument Standardization[J].Anal Chem,1995,67: 2379-2385.

[8] Shenk J S,Westerhaus M O,Templeton W C.Calibration Transfer Between near Infrared Reflectance Spectrophotometers[J].Crop Sci,1985,25: 159-161.

[9] Shenk J S,Westerhaus M O.New standardization and calibration procedures for NIRS analytical systems [J].Crop Sci,1991,31: 1694-1696.

[10]Shenk J S,Westerhaus M O.Near Infrared Reflectance Analysis with Single and Multiproduct Calibrations [J].NIR News,1993,4: 13-15.

[11]Norgaard L.Direct standardisation in multi wavelength fluorescence spectroscopy [J].Chemom Intell Lab Syst,1995,29: 283-293.

[][]

[12]Chen Z P,Li L M,Yu R Q,et al.Systematic prediction error correction: A novel strategy for maintaining the predictive abilities of multivariate calibration models [J].Analyst,2011 136 98-106.

[13]Du W,Chen Z P,Zhong L J,et al.Maintaining the predictive abilities of multivariate calibration models by spectral space transformation [J].Anal Chim Acta,2011,690: 64-70.

[14]Forina M,Drava G,Armanino C,et al.Transfer of calibration function in near-infrared spectroscopy [J].Chemom Intell Lab Syst,1995,27: 189-203.

[15]Ross Kunz M,Kalivas J H,Andries E.Model Updating for Spectral Calibration Maintenance and Transfer Using 1-Norm Variants of Tikhonov Regularization [J].Anal Chem,2010,82: 3642-3649.

[16]Kunza M R,Ottawaya J,Kalivas J H,Andries E.Impact of standardization sample design on Tikhonov regularization variants for spectroscopic calibration maintenance and transfer [J].J Chemometrics,2010,24: 218-229.

[17]Shahbazikhah P,Kalivas J H,A consensus modeling approach to update a spectroscopic calibration[J].Chemom Intell Lab Syst,2013,120: 142-153.

[18]Farrell J A,Higgins K,Kalivas J H.Updating a nearinfrared multivariate calibration model formed with labprepared pharmaceutical tablet types to new tablet types in full production[J].J Pharm Biomed Anal,2012,61: 114-121.

[19]Blanco M,Peguero A.Analysis of pharmaceuticals by NIR spectroscopy without a reference method [J].TrAC: Trends in Anal Chem,2010,29(10): 1127-1136.

[20]Blanco M,Cueva Mestanza R,Peguero A.NIR analysis of pharmaceutical samples without reference data: Improving the calibration [J].Talanta,2011,85: 2218-2225.

A calibration transfer method for NIR model based on extended spectrum

WANG Jiajun1，ZHE Wei1，LIU Yan2，CAI Wensheng2，SHAO Xueguang2
1 Hongyun Honghe Tobacco (Group) Co.,Ltd.Kunming 650231,China；
2 Research Center for Analytical Sciences,College of Chemistry,Nankai University,Tianjin 300071,China

A method for calibration transfer was proposed based on extended spectra of a small standard sample set between master and slave machine.By using the variance spectra,a large number of spectra measured on master machine were transferred to the spectra of slave machine,which was named extended spectra.Model of slave machine was built with the extended spectra as a calibration set.Near infrared spectra on three different instruments were investigated to validate the model.Results showed that an accurate model could be obtained with the extended spectra calculated from a small set of standard samples.The method provided a useful tool for model updating when changing the mechines in practical uses.

near infrared spectroscopy; multivariate calibration; calibration transfer; variance spectrum; extended spectrum

10.3969/j.issn.1004-5708.2014.06.001

TS411 文献标志码：A 文章编号：1004-5708（2014）06-0001-05

云南中烟工业有限责任公司科技项目(2012JC09)

邵学广（1963—）博士，教授，主要研究方向化学计量学、近红外光谱，Email:xshao@nankai.edu.cn

2014-7-18