矩阵的奇异值分解在红外光谱预处理中的应用

王 凯，王菊香，刘 洁，朱长波

（海军航空工程学院a.研究生管理大队；b.飞行器工程系，山东烟台264001）

矩阵的奇异值分解在红外光谱预处理中的应用

王 凯a，王菊香b，刘 洁b，朱长波a

（海军航空工程学院a.研究生管理大队；b.飞行器工程系，山东烟台264001）

研究了矩阵的奇异值分解在红外光谱预处理中的应用。对奇异值序列，采用间距最大最高峰原则，选择有效秩的阶次；对原始光谱进行奇异值降噪处理、一阶微分处理，用相关系数法选择建模谱段为3 100～2 650cm-1和1 600～1 250cm-1；采用PLS法建立运动粘度的校正模型，并与卷积平滑等预处理方法进行比较。模型校正集的相关系数（Rc）为0.977 9，标准偏差SEC为0.100 5，预测集的相关系数（RP）为0.941 2，标准偏差SEP为0.154 7。研究结果表明：奇异值分解和一阶微分相结合可有效去除光谱噪声和基线漂移的干扰，提高PLS分析模型的准确度。

奇异值分解；红外光谱；预处理；润滑油；运动粘度

红外光谱分析技术作为一种现代分析技术，具有分析速度快、灵敏度高、分辨率高、谱图所含的信息量大、吸收峰谱带窄等优点，近年来在用油的定量检测中应用越来越广泛。通常，光谱仪在检测光谱信号时，会由于操作环境、仪器本身等原因而使信号包含各种噪声。为了准确定量检测样品的各项指标，需要对原始光谱进行预处理，以降低噪声，减少或消除各种非目标因素的影响，简化后续建模处理的运算过程，提高校正模型的预测能力和稳健性[1-2]。奇异值分解降噪是一种非线性滤波方法，可以有效消除信号中的随机噪声，得到相对纯净的信号[3-4]。本文以某型特种车辆发动机在用润滑油100℃运动粘度测定为例，探讨了奇异值分解降噪对PLS建模结果的影响，并与其他光谱预处理方法进行比较，找到了适合用红外光谱定量分析100℃运动粘度的最佳预处理方法。

1 实验部分

1.1 仪器和试剂

实验仪器为便携式傅立叶变换ATR红外光谱仪Interspec 300-X；光谱扫描范围为 4 000～500cm-1，分辨率为2cm-1；深色石油产品运动粘度测定仪HCR-4100，逆流式粘度计，恒温浴液体选用甘油。

1.2 样品采集和基础数据测定

实验用样品为某特种车辆发动机在用柴油机油，牌号15W-40CF-4。采集不同行驶里程、不同车辆的柴油机油样品39个。按GB/T 11137标准要求测定39个样品的100℃运动粘度[5-6]，粘度值在9.5～14.6mm2/s。

1.3 光谱数据的测定

仪器预热1 h，不加样品情况下扫描10次取平均值，设为空白参比。用滴管吸取少量样品滴2～3滴在检测台上，扫描10次取平均值，依次测定39个样品的红外光谱，见图1。

1.4 模型建立

选取粘度分布均匀的30个样品作为校正集样品，其余9个作为预测集样品。对光谱进行奇异值分解降噪预处理研究，用相关系数法选择建模光谱区间，并进行PLS建模。采用校正标准偏差（SEC）和预测标准偏差（SEP）对模型进行评价[7]。

2 奇异值分解降噪原理

矩阵的奇异值去噪原理是根据纯净信号和噪声的能量可分性，对含噪信号构成的矩阵进行分解，去除代表噪声的奇异值，从而达到去噪的目的[8]。具体的步骤[9]如下。

步骤1：相空间的重构。假设所要分析的含噪信号矢量为Y=(y1,y2,…,yN)。利用相空间重构理论，重构吸收子轨迹矩阵：

式（1）中：m为嵌入维数；n=N-m+1，N为信号长度。

A为m×n阶的Hankel矩阵，表征重构吸收子在重构相空间的演化特征，亦可以表示成A=P+Q，其中：P为纯净信号构成的m×n阶Hankel矩阵；Q为噪声信号构成的m×n阶的Hankel矩阵。

步骤2：矩阵的奇异值分解。对步骤1构造的Hankel矩阵A进行奇异值分解：

式（2）中：r为非零奇异值的个数；U和V为正交矩阵；S为按降序排列的对角矩阵，对角线元素为矩阵A的奇异值，其集合称为矩阵A的奇异值谱。

步骤3：奇异值有效秩的确定。奇异值分解降噪是确定奇异值有效轶阶的关键问题之一。若前p个较大的奇异值反映了信号的主要能量，后r-p个较小的奇异值反映了噪声信息，则将p确定为有效秩的阶次，按照式（2）重新构造矩阵A的逼近矩阵Ap，即去除噪声干扰的信号分量所贡献的矩阵。

步骤4：信号的重构。根据确定的奇异值有效秩的阶次，将代表噪声信号的奇异值去掉，再对新的对角矩阵进行奇异值分解的逆运算即可实现信号的重构。即将矩阵Ap变换为长度序列为N的信号矢量。

3 结果与讨论

3.1 奇异值降噪预处理

3.1.1 嵌入维数选取

在选取嵌入维数m时，文献[10-12]指出：当N为奇数时，m取中值；当N为偶数时，m=N/2。4 000～500cm-1之间的光谱有10 881个光谱变量，故嵌入维数m取中值5 441。

3.1.2 有效秩的阶次选择

奇异值分解降噪的本质是根据奇异值的大小关系对有效秩的阶次进行选取。

选择某单一样品的原始红外光谱数据进行奇异值分解，得到奇异值对角矩阵，做出奇异值的变化曲线，见图2。由图2可见，奇异值曲线趋势突变的肘部在阶次16附近，该位置是有用信号与噪声信号的过渡位置，在其左侧，奇异值迅速变小呈瀑布式下跌分布，反映的是有用信号；在其右侧，奇异值缓慢变小，呈直线分布，反映的是噪声。

为了观察奇异值序列的具体变化情况，进一步选择合适的阶次，一般对图2的曲线进行一阶微分处理，见图3。当2个相邻的奇异值差别越大时，它们在微分谱中所表现出的特征也就越明显，它们之间产生的峰值也就越大[13]。而这些峰值往往指示着重要的状态信息，因而应该格外关注这些峰值点。但并不意味着最高峰值点对应的阶次就是最合适的，这些较高的峰值是由于有用信号与噪声信号的不相关而导致的。

在奇异值序列的微分谱中，寻找相邻2个峰值的最大间距，选择较高峰值对应的阶次作为重构信号的有效秩阶次，从而完成有用信号的重构和对噪声的消除[14]。由图3可见，从阶次15到阶次21，峰值急剧下降，这2个峰值点的间距达到最大，说明阶次取15奇异值序列的变化很大。而在阶次15以后，微分谱迅速下降到0值附近并逐渐收敛于0，说明此处的奇异值变化微小。故有效秩的阶次选择15。

对其余38个样品的光谱数据分别进行奇异值分解，并做微分处理。各微分谱图在不同阶次的峰值大小虽有所不同，但间距最大的峰值点均为15。

3.1.3 有效性的验证

为了验证选择15阶次的可靠性，将阶次15相邻的2个峰值即阶次13和21分别作为有效秩阶次，用全谱段进行PLS建模分析，见表1。从表1可以看出，根据间距最大最高峰原则选择的有效秩阶次15进行降噪，校正标准偏差要比其相邻峰值点阶次效果好。

表1 不同阶次处理下的校正偏差Tab.1 Correcting deviation of different order

3.2 一阶微分处理

为校正谱图的基线漂移，对其进行一阶微分处理，见图4。根据校正集的标准偏差SEC确定微分窗口的最佳点数为25。

3.3 光谱区间的选取

如图5所示，在1 550cm-1附近相关性达到最大0.8，3 100～2 650cm-1区域的相关性较大，达到0.5。故选择 3 100～2 650cm-1和1 600～1 250cm-1区间变量作为建模变量。

3.4 光谱建模分析

对所有样品的原始光谱进行奇异值分解降噪和一阶微分处理，选择波段 3 100～2 650cm-1和1 600～1 200cm-1，采用偏最小二乘法对运动粘度建模，采用留一交互验证法选择最佳主因子数[15]。图6所示：当主因子数为7时达到最佳。用建立的模型对校正集和预测集的粘度进行预测，得到标准值和预测值的相关图，见图7。模型校正集的相关系数（Rc）为0.977 9，标准偏差SEC为0.100 5，预测集的相关系数（Rp）为0.941 2，标准偏差SEP为0.154 7。

3.5 与其他预处理方法比较

为比较奇异值分解降噪效果，对光谱分别进行了9点卷积平滑[16-17]、25点一阶微分处理[18]PLS建模，结果见表2。

表2 各预处理光谱PLS建模校正和预测结果Tab.2 Results of correction and prediction in PLS mode under different preprocessing

可以看出，奇异值分解降噪效果优于卷积平滑，平滑或奇异值分解联合一阶微分预处理建模效果更佳。平滑加一阶微分与奇异值加一阶微分相比，二者的校正效果差别不大，但预测集的标准偏差相差较大，后者的准确度更高，说明该预处理下模型的泛化能力较强。

4 结束语

运用奇异值分解降噪对在用润滑油原始红外光谱进行预处理研究，根据间距最大最高峰原则，选择15为有效秩阶次，降噪后经一阶微分处理进行PLS建模。结果表明：PLS建模主成分选择7，Hankel矩阵嵌入维数选择N的中值，有效秩阶次选取15点，微分窗口选择25点，建立的模型预测外来样品的精度最高，预测效果要好于平滑加一阶微分和单纯奇异值降噪，预测集相关性达到0.941 2，SEP达到0.154 7，模型的泛化能力增强。

[1]张银，周孟然.近红外光谱分析技术的数据处理方法[J].红外技术，2007，29（6）：345-348.ZHANG YIN，ZHOU MENGRAN.Data processing method of near infrared spectrum analysis technique[J].Infrared Technology，2007，29（6）：345-348.（in Chinese）

[2]ASTM E2412-04 Standard practice for condition monitoring of used lubricants by trend analysis using fourier transform infrared spectrometry[S].Pennsylvania：ASTM Committee，2004.

[3]张波，李健君.基于hankel矩阵与奇异值分解（SVD）的滤波方法以及在飞机颤振试验数据预处理中的应用[J].振动与冲击，2009，28（2）：162-166.ZHANG BO，LI JIANJUN.Denoising method based on hankelmatrix and SVD and its application in flight flutter testing data preprocessing[J].Journal of Vibration and Shock，2009，28（2）：162-166.（in Chinese）

[4]陈恩利，张玺，申永军.基于SVD降噪和盲信号分离的滚动轴承故障诊断[J].振动与冲击，2012，31（23）：185-190.CHEN ENLI，ZHANG XI，SHEN YONGJUN.Fault diagnosis of rolling bearings based on SVD denoising and blind signals separation[J].Journal of Vibration and Shock，2012，31（23）：185-190.（in Chinese）

[5]中华人民共和国国家质量监督检验检疫总局GB/T 7607-2010柴油机油换油指标[S].北京：中国标准出版社，2011.AQSIQ GB/T 7607-2010 Criteria for changing of diesel engine oil[S].Beijing：China Standard Publishing House，2011.（in Chinese）

[6] 中国石油化工集团公司GB/T 11137-89深色石油产品运动粘度测定法和动力粘度计算法[S].北京：中国标准出版社，1990.SINOPEC GROUP GB/T 11137-89 Petroleum products Determination of kinematic viscosity and calculation of dynamic viscosity[S].Beijing：China Standard Publishing House，1990.（in Chinese）

[7]王菊香，韩晓.组合区间偏最小二乘法结合红外光谱法测定在用润滑油的运动粘度[J].理化检验，2015，51（5）：638-639.WANG JUXIANG，HAN XIAO.Rapid determination of dynamic viscosity in used lubricating oil by biPLS combined with IR[J].Physical and Chemical Inspection，2015，51（5）：638-639.（in Chinese）

[8]康春玉，章新华.一种基于奇异值分解自适应降噪方法[J].声学技术，2008，27（3）：455-456.KANG CHUNYU，ZHANG XINHUA.An adaptive noise reduction method based on singularity value decompose[J].Technical Acoustics，2008，27（3）：455-456.（in Chinese）

[9]崔伟成，许爱强.基于拟合误差最小化原则的奇异值分解降噪有效秩阶次确定方法[J].振动与冲击，2017，36（3）：133-134.CUI WEICHENG，XU AIQIANG.A new method for determining effective rank order of singular value decomposition denoising based on fitting error minimum principle[J].Journal of Vibration and Shock，2017，36（3）：133-134.（in Chinese）

[10]GOLYANDINA N.On the choice of parameters in singular spectrum analysis and related subspace-based methods[DB/OL].Statistics and Its Interface.（2017-04-01）[2010-07-20].http：//arxiv.org/abs/1005.4374.

[11]MAHMOUDVAND R，ZOKAEI M.On the singular values of the Hankel matrix with application in singular spectrum analysis[J].Chilean Journal of Statistics，2012，3（1）：43-56.

[12]钱征文，程礼，李应红.利用奇异值分解的信号降噪方法[J].振动、测试与诊断，2011，31（4）：599-463.QIAN ZHENGWEN，CHENG LI，LI YINGHONG.Noise reduction method based on singular value decomposition[J].Journal of Vibration，Measurement and Diagnosis，2011，31（4）：599-463.（in Chinese）

[13]代荡荡，王先培.一种改进的奇异值降噪阶次选取方法用于紫外光谱信号去噪的研究[J].光谱学与光谱分析，2016，36（7）：2140-2142.DAI DANGDANG，WANG XIANPEI.Research on denoising ultraviolet spectrum signal with an improved effective singular value selection method[J].Spectroscopy and Spectral Analysis，2016，36（7）：2140-2142.（in Chinese）

[14]王建国，李健，刘颖源.一种确定奇异值分解降噪有效秩阶次的改进方法[J].振动与冲击，2014，33（12）：177-179.WANG JIANGUO，LI JIAN，LIU YINGYUAN.An improved method for determining effective order rank of SVD denoising[J].Journal of Vibration and Shock，2014，33（12）：177-179.（in Chinese）

[15]陈全胜，郭志明.基于净分析物预处理算法的绿茶中儿茶素的近红外光谱定量分析[J].红外与毫米波学报，2009，28（5）：360-361.CHENG QUANSHENG，GUO ZHIMING.Quantitative analysis of the catechins contents in green tea with near infrared spectroscopy and net analyte preprocessing algorithm[J].Infrared and Millim Waves，2009，28（5）：360-361.（in Chinese）

[16]徐广通，袁洪福，陆婉珍.CCD近红外光谱谱图预处理方法研究[J].光谱学与光谱分析，2000，20（5）：619-622.XU GUANGTONG，YUAN HONGFU，LU WAN ZHEN.Study on spectra pretreatment in near-infrared spectroscopy analysis using charger coupled device detector[J].Spectroscopy and Spectral Analysis，2000，20（5）：619-622.（in Chinese）

[17]苗福生，马毅，汪西原.不同预处理方法对PLS模型检测鲜长枣糖度的影响[J].宁夏大学学报，2011，32（2）：130-133.MIAO FUSHENG，MA YI，WANG XIYUAN.Effect of different pretreatment methods on PLS modeling for measuring sugar of fresh long jujube with near infrared spectrum[J].Journal of Ningxia University，2011，32（2）：130-133.（in Chinese）

[18]夏俊芳，李培武.不同预处理对红外光谱检测脐橙VC含量的影响[J].农业机械学报，2007，38（6）：108-110.XIA JUNFANG，LI PEIWU.Effect of different pretreatment method of nondestructive measure VC content of umbilical orange with near-infrared spectroscopy[J].Chinese Journal of Agricultural Machinery，2007，38（6）：108-110.（in Chinese）

Application of SVD Denoising in the Preprocessing of Infrared Spectrum

WANG Kaia,WANG Juxiangb,LIU Jieb,ZHU Changboa
（Naval Aeronautical and Astronautical University a.Graduate Students’Brigade;b.Department of Airborne Vehicle Engineering,Yantai Shandong 264001,China）

The application of SVD denoising was studied in the preprocessing of infrared spectrum.The principle of largest spacing and maximum peak was adopted to choose effective rank order.The original spectrum was preprocessed by SVD denoising and the first derivative,the wave wand were selected with the method of correlation coefficient.Calibration mod⁃el for kinematic viscosity was established using the PLS method,and was compared with convolution smoothing.Its Rcwas 0.9779,its SEC was 0.1005,its Rpwas 0.9412,its SEP was 0.1547.The results showed that SVD and the first derivative could effectively conduct denoising,correct baseline drift and improve the accuracy of PLS model.

SVD;infrared spectrum;preprocessing;lubricating oil;kinematic viscosity

TN211；O657.33

A

1673-1522（2017）03-0270-05

10.7682/j.issn.1673-1522.2017.03.003

2017-04-05；

2017-05-09

王 凯（1991-），男，硕士生.