拉曼光谱预处理关键技术研究进展*

陈 璐,高 月,陈启振,张宏哲,罗世翔,万可风,厉 鹏

(1.化学品安全全国重点实验室,山东青岛 266104 2.中石化安全工程研究院有限公司,山东青岛 266104 3.应急管理部化学品登记中心,山东青岛 266104 4.厦门大学化学化工学院,福建厦门 361005)

0 前言

危险化学品具有易燃、易爆、腐蚀和毒害等性质,一旦发生泄漏或燃爆事故,极易造成人员伤亡、经济损失和环境污染。当前,我国危险化学品行业安全形势依然严峻,重大危险化学品事故时有发生,加强危化品应急检测技术研究和应急救援装备建设任务艰巨[1, 2]。拉曼光谱是物质的指纹谱图,谱峰的位置和强度直接反映了分子结构特征和物质组成信息,因具有操作简便、无需样品制备和快速无损等优点,广泛应用于食品质控、物质鉴定、医疗健康以及危化品检测识别等领域[3-6]。

理论上拉曼信号强度与物质的浓度成正比,但在实际测量过程中,由电荷耦合检测器(CCD)获取的有效拉曼信号强度较弱,仅为原始激励信号强度的10-8[7]。此外,拉曼信号不可避免地受到仪器工作状况、样品荧光背景和测量环境干扰等因素的影响,导致光谱中存在比拉曼信号强度大得多的荧光背景,并出现基线漂移现象,极有可能淹没信号强度弱的样品光谱信息,从而使物质的定性定量分析结果出现偏差[8]。因此在利用拉曼光谱建立定量分析模型之前,需要对原始光谱数据进行预处理,降低噪声影响,去除干扰因素,从而实现对物质成分的快速准确识别,为危化品事故现场物质检测和抢险救援提供技术保障。本文系统评述了宇宙线去除、噪声处理和荧光抑制等拉曼光谱预处理过程中关键技术研究进展及其优缺点,并展望了拉曼光谱预处理方法的发展前景。

1 宇宙线去除

CCD是拉曼光谱仪的主要传感器件,测量时会检测到来自外太空的带电高能次原子粒子,从而产生宇宙射线。宇宙射线在拉曼光谱上表现为多个随机的、单向的、窄而尖锐的峰,称为Spike[9]。目前文献中报道的去除Spike尖峰的方法可大致分为以下4类[10]。

第一类是单谱图检测法,主要基于Spike峰宽远小于正常拉曼峰宽的假设,如滑动窗口滤波、中值滤波器和小波变换等。Tian,等[11]将小波变换和K-means算法相结合用于去除尖峰,该算法简单、易于实现,提升了光谱去尖峰的自动化水平。然而,Spike峰是完全随机的,其峰宽未必远小于特征拉曼峰宽,且待测物质可能存在与Spike峰宽、峰强相似的特征峰,因此单谱图检测法易造成误判或漏判;第二类是重复采集法,由于连续测量过程中在同一位置出现Spike峰的概率极低,所以通过对待测物质进行多次检测对比能有效剔除尖峰,包括稳健求和法和上确界光谱法等,但重复采集法需要至少采集2次光谱,不适用于动态检测过程;第三类是基于硬件改进的方法,通过提升光学检测器件或设备的性能,解决光谱仪狭缝窄长导致的谱图畸变问题,以避免Spike峰的干扰,但其系统复杂、成本高昂[12];第四类为多拉曼光谱修正Spike方法,包括临近比较法、一阶或二阶差分和主成分分析(PCA)等。其中,临近比较法中拉曼光谱峰值过大的差异会造成误判,一阶或二阶差分需要提供相同条件下测量的目标光谱,基于PCA的方法则须保证光谱矩阵的主要信息不被丢失[13-15]。

目前可通过多方法耦合克服上述方法的缺点,实现拉曼光谱采集过程中Spike的有效去除。Barton,等[16]结合单谱图检测法和重复采集法,将采集的光谱直接与光谱数据集通过归一化协方差进行比对,再用匹配光谱替换Spike尖峰,流程如图1所示。该算法无需重复采集,可将谱图信噪比提高10%,采集时间减少20%。李晟,等[17]利用临近比较法的思想,结合残差图谱分析和滑动窗口的优势,提出一种局部线性拟合的宇宙射线剔除算法,可用于在线拉曼分析,图2为在线拉曼检测仪器应用于炼油厂催化重整装置的示意图,但其过程复杂、运算时间较长。Anthony,等[18]结合PCA和上确界光谱法报告了一种适用于对高光谱图像数据进行实时多元分析的混合方法(UBS-DM-HS),能够探测和消除更广泛的宇宙射线。Li,等[19]基于核主成分分析(kPCA)提出KPCARD法,通过对拉曼光谱的谱残差进行统计分析来识别尖峰,可在1 min内快速分析8 400条光谱数据,适用于超大拉曼数据集(>100×104)的自动校正。综上,未来可尝试耦合两种或多种方法来处理Spike尖峰问题,以达到更好的去除效果。

图1 宇宙线去除算法流程

图2 在线拉曼检测仪器应用于炼油厂催化重整装置示意

2 噪声处理

基于噪声信号的统计学特性,一般采用谱线平滑的方法来消除或降低噪声影响,提高光谱信号的信噪比,如移动窗口平均法、Savitzky-Golay滤波器(SG滤波法)、Whittaker平滑器和小波变换等[20]。

移动窗口平均法、SG滤波法和Whittaker平滑器是拉曼信号去噪最常用的方法。移动窗口平均法基于光谱信号噪声是零均值噪声的假设,通过对原始信号取平均值达到提高信噪比的目的,但该法需手动选取最优的窗口宽度,且存在边缘问题。SG滤波法通过在时域内对窗口中的元素进行最小二乘法拟合滤波,可在滤除噪声的同时保持原始光谱信号的形状和宽度不变,该方法的有效性取决于所选窗口的帧长、信号的信噪比以及滤波器的阶数[21]。Whittaker平滑器则能计算非谱峰区域的拟合曲线,并对谱峰区域自动进行连续且平滑插值。杨桂燕,等[22]结合拉曼谱峰二阶导数检测和广义Whittaker平滑器,实现了光谱去噪与全局基线估计。

随着小波理论的发展与完善,基于小波分析的光谱去噪方法逐渐成为拉曼信号去噪的重要方法。小波变换(WT)是一种时间窗与频率窗都能更改的时频部分化分解手段,利用噪声信号在时域与频域上不连续的特征,采用小波阈值法去噪[23]。Ethrentreich[24]采用不同层次小波的相关系数识别噪声的位置,并比较了小波变换和傅里叶变换的去噪能力,证明小波变换的性能更优,解决了傅里叶变换无法同时获得对信号时域与频域精准分析的问题。范贤光,等[25]针对传统小波变换去噪在低信噪比情况下处理效果不佳的问题,通过小波变换提取谱峰特征参数,再采用最小二乘法进行信号重构,有效提取了罗红霉素的有用拉曼信号。

为适应计算机处理真实信号的情况,离散小波变换(DWT)在不丢失信息的前提下对连续小波变换进行离散化处理,大大降低了计算的冗余度,通常采用固定的滤波器组,通过尺度函数和小波函数将光谱信号分解为低频子带和高频子带[26],常见的小波函数包括Haar小波、Mexican Hat小波、Daubechies小波族和Coiflet小波族等,其具体特性如表1(表中“N”为小波阶数)所示。Chen,等[27]设计自适应小波滤波器,提出了一种基于提升小波变换的自适应去噪方法(ALWT),依赖于遗传算法搜索最优提升方案,能较好地提高拉曼信号的信噪比。Sharan,等[28]比较了SG滤波(一阶SG1和三阶SG3)、离散小波变换(DWT)、双树复小波变换(DT-CWT)和双密度双树复小波变换(DD-DTCWT)对黄原胶、葡萄糖和蔗糖拉曼信号的去噪效果,DD-DTCWT表现出最优的信噪比(SNR)和均方根误差(RMSE),且不受引入信号噪声水平的影响,可以在保留微小谱峰特征的同时有效消除尖峰和随机噪声。可见,基于小波分析的方法具有较好的拉曼光谱信号去噪效果,未来可采用其他小波函数或结合神经网络等方法,提高定性定量分析精度,进一步降低其计算复杂度。

表1 小波函数的特性

3 荧光抑制

荧光共生对拉曼光谱分析存在严重的干扰,为了避免荧光干扰,一般采用物理化学法、设备改进法和数值分析法等进行荧光抑制[29]。

3.1 物理化学法

常用的物理化学法包括荧光淬灭法和光漂s白法[30]。

荧光淬灭法是通过向样品中添加荧光淬灭剂,使淬灭剂与样品中的荧光基团发生物理化学反应降低荧光发射强度。荧光淬灭剂一般为卤素离子、重金属离子和硝基分子等,如碘化银(AgI)、金纳米粒子和苦味酸(C6H3N3O7)等。Ly,等[31]证实银纳米粒子(AgNPs)能有效减弱1-芘乙酸(PyA)、1-芘丁酸(PyB)和1-芘羧酸(PyC)的荧光信号,对含有丁酸基团的PyB抑制效果最佳。光漂白法采用激光对样品进行一段时间照射,使荧光基团与光子发生光化学反应,破坏荧光基团,从而减弱荧光发射强度。Zięba-Palus,等[32]将光漂白法应用于汽车油漆的拉曼光谱检测中,经过波长为514.5 nm、激光功率为10%的激光照射210 min后,样品的荧光信号与初始荧光信号的强度比(平均值)从0.453降至0.054。

物理化学法虽然操作简单、成本较低,但是检测时间长,淬灭剂的加入和激光预处理会影响待测样品的拉曼谱峰,甚至破坏样品分子结构,应用范围受到一定限制。因此,姚志湘,等[33]根据稳定体系中拉曼和荧光的时间差异,开发出荧光褪色差分(FBDA)法,通过对微小时刻内的荧光褪色差分作高频滤波降噪,再求取逆差分,获得混合光谱中整体荧光响应,最后扣除荧光成分,达到背景扣除和基线校正的目的。图3为FBDA法处理纳米二氧化锡的结果,从图中可以看出拉曼信号的荧光被完全消除,得到了清晰、准确的拉曼谱图。

图3 经FBDA法处理后的纳米二氧化锡拉曼光谱

3.2 仪器改进法

从仪器设计角度出发,一般通过紫外光激发法、红外光激发法和移频激发法等方法抑制荧光。

样品在紫外光照射下产生的荧光主要位于可见光波段,与位于紫外波段的拉曼散射光不重叠,且拉曼散射强度高。Hopkins,等[34]将紫外光激发法运用于试剂级麻醉样品的拉曼检测中,当采用262 nm的激光激发时,不到10 s的时间内盐酸海洛因即具有可测量的光谱,且相比于采用785 nm的激光激发,几乎没有荧光背景,但是紫外光照射时可能会造成样品损坏。样品在红外光照射下很难吸收光子,产生的荧光较弱。Pence,等[35]采用波长为1 064 nm的激光器对自发荧光严重的肾组织进行拉曼检测,发现荧光背景较弱,信噪比明显增高,可见红外光激发法更适合于生物组织分析。

移频激发法是基于拉曼光和荧光在波长性质上的不同提出的,即激发波长的微小改变对荧光影响很小,而拉曼峰却会发生整体的偏移。采用两波长相近的激发光源对样品进行检测,再通过算法对差分光谱进行处理可有效消除荧光的影响。王昕,等[36]采用2个波长分别为784.7 nm和785.8 nm、基于体布拉格光栅技术的固定波长激光器,利用移频激发拉曼差分光谱抑制了某品牌香油的强荧光。由于近红外拉曼光谱激发的拉曼光谱信号较弱,因此赵迎,等[37]采用二色镜对多波长拉曼光谱进行光路耦合设计,设计了近红外拉曼(波长为1 064 nm)与移频差分拉曼(波长为784.5 nm和785.5 nm)复合一体的多波长消荧光拉曼光谱检测系统,其仪器结构如图4所示,两种拉曼技术有效融合、技术互补、互不干扰,可有效扩大样品的检测范围。

1-激光器线滤光片;2-反射镜;3-激光二色镜;4-瑞利滤光片;5-光谱仪耦合聚焦镜;6-光谱二色镜;7-物镜图4 多波长荧光抑制拉曼光谱仪结构

仪器改进法虽然能在一定程度上减少基线漂移,但需要先进设备的支持,且结构复杂,成本较高。

3.3 数值分析法

数值分析法也被称为基线校正,该法不会增加分析时间,不会影响拉曼峰的相对强度,也不会增加设备成本。典型的基线校正方法包括多项式拟合、小波变换、样条曲线拟合、迭代平滑和惩罚最小二乘法等算法[38,39]。

多项式拟合是最简便的基线校正方法,但其拟合的阶数难以确定,太高会出现龙格现象,太低则会欠拟合[40-42]。小波变换将光谱信号分解为高频和低频信号后,再经过低频置零、高频阈值过滤和信号重构操作进行基线校正[43]。Xi,等[44]基于连续小波变换(CWT)采用Haar小波函数进行拉曼光谱的基线校正,具有良好的去噪效果和背景校正能力,但小波变换的小波基、分解层数和阈值等系数的选取比较困难[45]。

为解决上述问题,Hu,等[46]提出一种分段多项式拟合算法(PPF),通过分割原始光谱并分别对每部分光谱进行多项式拟合,利用迭代优化法消除端点处的不连续性,算法的准确性和有效性较高,但需手动选择内结点。范贤光,等[47]以不均匀的B样条代替多项式拟合,通过小波变换寻峰自适应固定内结点,解决了内结点选择难题。刘龙,等[48]利用Spline函数的光滑特性,提出一种基于自适应加窗Spline曲线拟合的去基线法,该方法克服了拟合阶数不易确定和参数复杂的问题,避免了欠拟合和过拟合现象。该法对乙酸乙酯和聚甲基丙烯酸甲酯(PMMA)的基线校正结果如图5所示,从图中可以看出该法较好地保留一些较弱的拉曼特征峰。

图5 自适应加窗Spline曲线拟合去除基线

基于惩罚最小二乘法的基线校正方法由于其运算速度快、避免峰值检测和连续可控等优势,被广泛应用于各种类型的光谱预处理中[49]。自Eilers报道非对称最小二乘算法(AsLS)以来,出现了若干改进的方法[50]。Zhang,等[51]提出了一种自适应迭代加权惩罚最小二乘法(airPLS),采用指数函数在原始信号和拟合基线之间的迭代地更改和自适应地更新误差平方和(SSE)的权重,仅需优化一个参数λ来控制拟合基线的平滑度,提高了基线校正精度,缩短了计算时间,可用于色谱、拉曼光谱和核磁共振等多种光谱信号。He,等[52]在AsLS优化目标函数中增加一阶导数约束项设计了改进的非对称最小二乘法(IAsLS),但当谱图被噪声干扰时,airPLS和IAsLS易出现欠拟合现象。Beak,等[53]采用迭代法根据广义logistic函数自适应获取权重,提出了一种非对称重加权惩罚最小二乘平滑法(arPLS)。为了在整个频谱区域内获得平滑的基线,Zhang,等[54]提出了自适应平滑参数惩罚最小二乘法(asPLS),根据原始信号与拟合基线信号的差异自适应更新平滑参数λ,并通过交叉验证相关系数(Q2)和交叉验证均方根误差(RMSECV)来评估asPLS、airPLS、IAsLS、arPLS校正甲烷和乙烷拉曼光谱的性能(Q2和RMSECV)如表2所示,可见asPLS方法相比其他3种方法具有更好的性能。Zhang,等[45]基于arPLS的最优参数λ,在扩展范围内加入高斯峰,设计了erPLS法,该法能够自动校正不同信噪比的基线,提高基线估计的精度,且无需用户设置参数。图6为经erPLS法校正后的6种不同浓度的正丁烷拉曼光谱,证明了该方法能成功消除基线漂移。Saveliev,等[55]构建了一种基于自适应迭代重加权惩罚最小二乘法(ANM-IRPLS)模型算法,其荧光抑制效果优于airPLS,可处理曲率半径小、多峰重叠的复杂背景。

表2 不同基线校正方法应用于甲烷和乙烷光谱的交叉验证相关系数和均方根误差

图6 经erPLS法校正后的正丁烷拉曼光谱

4 结论及建议

针对宇宙线辐射、噪声干扰和荧光干扰等影响光谱处理和分析的问题,叙述了拉曼光谱预处理过程中的关键技术和方法,并具体分析了各方法的研究进展和优缺点,其中基于多方法耦合的Spike峰去除的方法、基于小波分析的光谱信号去噪方法和基于惩罚最小二乘的基线校正方法是目前应用较多、效果较好的预处理方法,可有效去除化学品拉曼光谱的Spike尖峰以及抑制噪声和荧光背景。

随着精密仪器设备的迭代更新、计算机性能的大幅提升和各种新颖算法的不断提出,未来拉曼光谱预处理技术可在以下方面进一步深入研究:

a) 为应用于在线检测领域,算法的效率仍需进一步提高,且算法在色谱、红外光谱和核磁共振波谱等其他光谱信号分析中的普适性和应用潜力仍有待进一步挖掘。

b) 结合数学形态学、稀疏表示法和人工智能等新兴领域开发具有更高精度和信噪比的拉曼光谱预处理方法,逐渐走向智能化和自动化,为进一步定性定量分析和识别模型构建提供数据支撑。

c) 面向危险化学品检测识别和应急救援,针对性地改进现有算法或开发新方法,联合相关部门制定危化品行业内拉曼光谱检测分析的政策标准,并结合便携式拉曼光谱检测仪对危化品事故现场的不明物质进行快速识别。