基于广义S变换的烟草近红外光谱去噪

蔡剑华，肖永良, 黎小琴

1 湖南文理学院物理与电子科学学院 湖南常德洞庭大道3159号 415000；

2 湖南财政经济学院信息技术与管理学院，湖南长沙 410205

基于广义S变换的烟草近红外光谱去噪

蔡剑华1，肖永良2, 黎小琴1

1 湖南文理学院物理与电子科学学院 湖南常德洞庭大道3159号 415000；

2 湖南财政经济学院信息技术与管理学院，湖南长沙 410205

近红外光谱已成为烟草化学成分快速检测的重要手段，但通常一阶求导的光谱预处理方法在消除光谱基线漂移的同时也会放大噪声。为进一步提高烟草成分近红外光谱检测的分析精度和模型的稳健性，把波数域光谱数据视作时间序列信号，将新发展起来的时频域去噪方法—广义S变换引入到烟草近红外光谱去噪中来，给出了原理和去噪步骤，且用去噪后的光谱分析了烟草中总氮的含量，并与传统的9点平滑和小波变换去噪后的处理结果进行了对比。结果表明：①广义S变换方法的烟草近红外光谱预处理方法是有效的，在去除噪声的同时很好地保留了光谱的波峰细节，提高了光谱数据的质量；②处理结果与9点平滑方法相比，模型的决定系数R2由原来的 0.8745 提高到 0.9244，其均方根误差RMSEP由原来的0.1466降为0.1097，提高了烟草化学成分的近红外光谱检测精度，也为近红外光谱去噪提供了新思路。

烟草； 近红外光谱；广义S变换；去噪；总氮

烟草化学成分的近红外光谱检测开始于上世纪70年代，随着技术的进一步发展和成熟，现在近红外光谱技术在烟草成分的检测中已得到了普遍的应用[1-6]。然而，这项技术中存在一个较为普遍的光谱噪声问题：为消除近红外光谱本身较弱而易受测量环境、条件影响的困扰，往往在建模前需对原始光谱进行求一阶导数的预处理；一阶导数光谱可有效消除背景等因素造成的基线漂移，让光谱呈现更好的波峰信息，但同时噪声也被放大，致使光谱的SNR被减小[7-12]。针对这一问题，许多学者提出了有效的近红外光谱去噪方法如：一阶导数+9点平滑方法[6]，一阶导数+25点平滑方法[8]，一阶导数+小波变换系列去噪方法等等[5,9,11,12]其中小波变换是被广泛使用、且被证明效果好于平滑滤波的方法，后来结合小波变换的组合滤波方法也在光谱预处理中得到了研究[8-9,12]。广义S变换是近期发展起来的一种新的时频分析技术，具有很高的时频分析精度，并可无损重构[13-14]，在语音信号处理、机械故障诊断和地震勘探等领域应用广泛[13-18]。笔者拟将把波数域光谱视作时间序列信号，将广义S变换引入到烟草近红外光谱去噪中来，旨在为近红外光谱去噪寻求新途径，也将进一步完善近红外光谱技术在烟草成分分析中的应用效果。

1 材料与方法

1.1 广义S变换去噪基本原理

假设存在非平稳信号x（t），则其时频分析可表示为

用两个函数的褶积运算来实现其简便运算

实现过程中先对GSTx（τ，f）的时间变量进行积分，得到傅里叶频谱Y(f)

广义S变换的高时频分析特性和可重构性，为开展时频域去噪提供了条件。

1.2 去噪步骤

广义S变换时频分析方法可清晰地表征信号的时频特征，这个特性可被应用于时频域去噪[10,13]。根据噪声在时频平面上的分布特征，确定时频滤波因子，对时频谱做消噪处理，再利用时频反变换方法，从含噪声的信号中消除噪声，提高信号的信噪比。

离散域时频滤波器的滤波过程表示为

为简便起见，式中：GST和IGST分别为S变换和反变换；H(n，k)为时频滤波算子[13-14]

（1）将波数域的一阶导数光谱视作时间序列信号，采用广义S变换对光谱数据进行时频分析，得到在全频带下的时频分布。

（2）利用公式（9）对该广义S域的时频谱进行时频域阈值滤波。

（3）对滤波后的时频谱进行逆变换重构分离出消噪后的光谱。

图1 光谱去噪流程图Fig.1 Flow chart of NIR spectrum de-noising based on the generalized S transform

1.3 仪器与设备

谱仪：如图2所示，为美国Brimrose公司生产的Luminar5030型近红外光谱仪，仪器波长范围为1100～2300 nm，2 nm 的波长增量，扫描次数为 600，采用 InGaAs 检测器。软件:挪威CAMO公司The Unscrambler分析软件。粉碎机：上海隆拓公司生产的 XF-98B 型旋风精密粉碎机，粉碎粒度80目。干燥箱：重庆四达实验仪器有限公司生产的CS101-2E电热恒温鼓风干燥箱AA3 ，流动分析仪：BranLuebbe 公司生产的连续流动分析仪。

图2 Luminar5030型近红外光谱仪Fig.2 Near infrared spectrometer: Luminar5030

1.4 实验

湘南地区田间采集的上部新鲜烟叶，清理干净，切丝， 按YC /T31—1996《烟草及烟制品 试样的制备和水分测定 烘箱法》 对烟叶样品进行处理及水分测定，再用XF-98B 型粉碎机充分粉碎、均匀研磨到 80 目的粉末样品。青烟粉末样品共计96个，采用基于全体样品最优单波数模型的预测效果划分校正集和验证集[21]，校正集60个(总氮含量范围：1.39%-3.32%)，验证集36个(总氮含量范围：1.43%-3.21%)。将样品整理固定好，使用Luminar5030型近红外光谱仪，采用漫反射的测样方式采集光谱，光谱为300次扫描的平均结果，得到烟草的原始吸收光谱图，波长范围从1100nm到2300nm，波长增量为2nm。对获得的原始吸收光谱进行一阶导数+基于广义S变换去噪的预处理（为作对比，同时又进行了一阶导数+9点平滑和一阶导数+小波软阈值去噪的预处理），将数据导入The Unscramble化学计量学分析软件，采用偏最小二乘法(Partial least squares，PLS)，交叉 验 证法 (Cross validation)，用Unscrambler 定量分析软件建立模型，分别采用光谱影响值 Leverage 和化学值误差 Residual 这 2 个参数剔除删除模型中的奇异点，提高模型的预测准度，进行近红外测试和烟草总氮含量的测定。总氮的化学检测方法采用连续流动法（YC/T 161 烟草及烟草制品总氮的测量）。以预测均方根校正误差（Root mean square error of predication, RMSEP)和决定系数(R2)为衡量标准评价合适的光谱预处理方法。

2 结果与讨论

2.1 光谱去噪

图3（a）、（b）分别为96个烟草样品的原始光谱和对应的一阶导数光谱图。显然，原始光谱被展成较宽的带状，存在明显的基线漂移。求导后，图3（a）中的背景影响和基线漂移得到了很好的抑制，但同时也带来了噪声，图3（b）中导数光谱显得有很多毛刺，在建立数学模型前，需要进一步做消噪处理。

图3 96个烟草样品原始光谱图（a）和一阶导数光谱图（b）Fig.3 NIR spectrum of 96 Tobacco samples (a) Raw spectrum (b)First derivative spectrum

为节约篇幅，文中以一个样品（16号样品）的光谱为例，阐述基于广义S变换的去噪分析过程。图4（a）为 16号烟草样品的一阶导数光谱，噪声明显，掩盖了众多波峰信息。将导数光谱视作时间域信号，用公式（3）-（4），对导数光谱进行广义S变换，求取时频谱图。图4（b）即为其进行广义S变换后得到的时频谱图。从图4（b）中可以看出，低频部分存在较强能量，噪声存在于时频谱图的各频带，这与长周期的波数域波形特征相吻合。

图4 16号烟草样品一阶导数光谱（a）及其S域时频谱图（b）Fig.4 NIR spectrum of NO.16 Tobacco sample (a) First derivative spectrum (b) time-frequency spectrum in S domain

用本文提出的时频域消噪方法，根据公式（5）到（9），对时频图进行去噪，然后进行S反变换.得到去噪后的时频谱图和重构的导数光谱，如图5（a）为重构后的光谱，图5（b）为消噪后的时频谱。图5（b）中的时频谱保留了图4（b）中低频部分的能量，而其他区域的噪声得到了有效的抑制，由此时频谱反变换重构的光谱（图5（a）所示）相比去噪前的光谱（图4（a）所示），噪声被剥离了，一些细小的波峰特征得到了显现。

图5 去噪后16号烟草样品一阶导数光谱（a）及其S域时频谱图（b）Fig.5 De-noised NIR spectrum of NO.16 Tobacco sample(a) First derivative spectrum(b) time-frequency spectrum in S domain

按照本文方法对其他95个烟草样品的数据都进行去噪处理，图6给出了去噪后96个烟草样品一阶导数光谱图。为做对比，图7给出了用传统9点平滑和小波软阈值去噪后的96个烟草样品的一阶导数光谱。在小波软阈值去噪方法中，分解水平为6层，母小波采用为“db8”小波，阈值由“Rigsure”方式确定。对比图5和图6中的三幅图可见：传统9点平滑方法也能消除原始光谱求导带来的噪声，但还不够彻底；小波软阈值方法和本文提出的方法消噪效果较9点平滑方法好，得到的谱线更为平滑些。从波形图上看，本文提出的方法去噪效果更好。

图6 本文方法去噪后96个烟草样品的一阶导数光谱图Fig.6 De-noised spectrum of 96 Tobacco samples by the proposed method

图7 两种方法去噪后的光谱比较：(a) 9点平滑去噪后的光谱(b)小波方法去噪后的光谱Fig.7 De-noised spectrum of 96 Tobacco samples (a) by 9 point smoothing method(b) by Wavelet transform de-noising method

为了定量地进一步评估方法的有效性，用计算耗时来评估算法的效率，并用信噪比(SNR)和平滑度指数(SR)来对光谱去噪效果进行评估, 其计算方法如下：

上式中，f（t）和表示去噪前后的光谱，f（ti+1）和表示前后相邻点的光谱数据。SNR反映算法的去噪能力，其值与去噪效果成正比；SR的值越接近1，去噪光谱平滑度越接近标准光谱的平滑度。表1给出了三种去噪方法处理光谱时信噪比、平滑度指数和计算用时的对比。表中数据反映出来的三种方法的去噪能力：9点平滑法较弱，小波软阈值法和本文方法效果较好，且去噪后光谱的平滑度指数也较高；相比之下，本文方法要好于小波软阈值方法。这与前面分析得出的结论也吻合的较好。但就算法的计算效率来说，文本提出的方法，由于要进行褶积运算和时频域的反变换，其计算用时要明显高于其他2种方法。

表1 3种去噪方法信噪比、平滑度指数和计算效率的对比Tab.1 Comparison of 3 de-noising methods ( SNR ，SR and computational cost)

2.2 总氮含量检测

将去噪后的光谱数据导入The Unscramble软件，由建立的模型计算出所有标样总氮的预测值。表2列出了 3 种预处理方法处理后，烟草近红外光谱分析总氮含量结果与参考值的比较。3种方法去噪后，呈现出来的烟草总氮含量近红外光谱的分析精度与前面分析的各方法去噪能力是对应的；小波软阈值去噪和本文提出的去噪方法所得结果的分析精度都很高，且后者比前者有更大的决定系数和更小的均方根误差，说明后者有更强的光谱预处理能力；相比传统的9点平滑方法，R2由原来的0.8745 提高到 0.9244,RMSEP由原来的0.1466降为0.1097，大大提高了光谱的分析精度和模型的稳健性。

表2 3种去噪方法烟草近红外分析总氮结果与参考值的比较Tab.2 Comparison of the prediction results of Tkn and chemical value by 3 methods

续表2

3 讨论

本文提出的是一种基于广义S变换的烟草近红外光谱去噪方法，方法对其他物质光谱的去噪也有适应性（比如茶叶、土壤等，经过过筛处理后的均匀粉末），为物质检测中近红外光谱的去噪处理提供了一种新的选择。广义S变换，作为一种较为常用的信号去噪方法，在本实验的光谱预处理中是有效的，相比广泛采用的小波变换去噪方法，在分析精度上相当，计算效率上本文方法较低，但避免了小波方法中人工选择小波基函数和人为确定分解层数的麻烦。本文实验中是将样品研磨到80目对光谱进行测量，但对于在线检测种烟丝的光谱检测和处理，方法的有效性有待进一步研究。

4 结论

广义S变换能在时频域高精度的呈现数据的能量分布，且能实现反变换，由时频谱重构信号，没有能量损失，这为实现时频域的数据去噪提供了条件。将波数域的近红外光谱数据视作时间序列信号，采用广义S变换方法进行去噪处理，这种光谱预处理方法是有效的，在去除噪声的同时很好地保留了光谱的波峰细节，提高了光谱数据的质量。由去噪后光谱计算的烟草总氮含量，相比传统的9点平滑方法，预测集的R2由原来的0.8745 提高到 0.9244,RMSEP由原来的0.1466降为0.1097，提高了分析结果的可靠性。

[1]张建平, 谢雯燕, 束茹欣, 等.烟草化学成分的近红外快速定量分析研究[J].烟草科技, 1999 (3):37-38.ZHANG Jianping, XIE Wenyan, SHU Ruxin, et al.The research of near infrared rapid quantitative analysis of tobacco chemical composition[J].Tobacco Science &Technology, 1999 (3):37-38.

[2]蔡剑华 ,王先春,胡惟文,基于形态小波的烟草尼古丁含量近红外光谱检测[J], 农业工程学报, 2012,28(15):281-286 CAI Jianhua, WANG Xianchun, HU Weiwen.Near-infrared spectrum detection of tobacco nicotine content based on morphological wavelet[J].Transactions of the Chinese Society of Agricultural Engineering, 2012, 28(15): 281-286

[3]朱勇, 刘泽, 邱昌桂, 等.箱式贮叶过程中烟叶品质变化的近红外表征[J].烟草科技, 2013（10）：8-11.ZHU Yong, LIU Ze, QIU Changgui, et al.Near-infrared spectroscopy characterization of quality variation trend of tobacco leaf stored in cases[J].Tobacco Science &Technology, 2013（10）：8-11.

[4]李瑞丽，张保林，毛多斌, 等.近红外光谱法测定烤烟的填充值[J].烟草科技，2015，48(1)：82-85.LI Ruili, ZHANG Baolin, MAO Duobin, et al.Determination of fi lling power of fl ue-cured tobacco with near infrared spectroscopy[J].Tobacco Science & Technology, 2015, 48(1): 82-85.

[5]Zhou S, Wang Ch, Xu Y, et al.The pyrolysis of cigarette paper under theconditions that simulate cigarette smouldering and puf fi ng[J].J Therm.Anal.Calorim., 2011, 104(3): 1097-1106.

[6]张翼鹏， 李超， 赵敏， 等.基于近红外光谱法的卷烟包装材料色差分析[J].烟草科技，2016，49（2）:75-81.ZHANG Yipeng, LI Chao, ZHAO Min, et al.Analysis of color difference of cigarette packaging material based on near-infrared spectroscopy[J].Tobacco Science & Technology，2016，49（2）：75-81.

[7]张峰, 刘江生, 刘泽春, 等.近红外透射光谱技术用于烟用香精的品质控制[J].中国烟草学报, 2009, 15（3）：12-16.ZHANG Feng, LIU Jiangsheng, LIU Zechun, et al.Quality control in tobacco flavor by near-infrared transmittance spectroscopy[J].Acta Tabacaria Sinica, 2009, 15(3):12-16.

[8]史宏志，刘国顺，于建军，等．我国烟草和卷烟生物碱含量和组成比例分析[J]．中国烟 草学报， 2001， 6(2): 8-12.Shi Hongzhi, Liu Guoshun, Yu Jianjun, et al.Alkaloid content and proportion in Chinese tobacco and cigarettes [M].Acta Tabacaria Sinica, 2001, 6(2): 8-12

[9]Cai JianHua.Near-infrared Spectrum Detection of Fish Oil DHA Content Based on Empirical Mode Decomposition and Independent Component Analysis[J],Journal of Food and Nutrition Research2014,2(2): 62-68

[10]郝勇, 陈斌, 朱锐.近红外光谱预处理中几种小波消噪方法的分析[J].光谱学与光谱分析, 2006 , 26 (10) : 1838-1842 HAO Yong , CHEN Bin , ZHU Rui.Analysis of several methods for wavelet de-noising used in near infrared spectrum pretreatment [J].Spectroscopy and Spectral Analysis , 2006 , 26 (10) :1838-1842

[11]施丰成, 邓发达, 朱立军, 等.烤烟中草酸、苹果酸和柠檬酸含量的分析研究[J].中国烟草学报, 2010, 16(1): 6-10.Shi Fengcheng, Deng Fada, Zhu Lijun, et al.Study on oxalic,malic, and citric acid in flue-cured tobacco[J].Acta Tabacaria Sinica, 2010, 16(1): 6-10.

[12]蔡剑华，王先春.基于经验模态分解的近红外光谱预处理方法[J], 光学学报, 2010,30(1): 267-271 CAI Jianhua, WANG Xianchun.Near-Infrared Spectrum Pretreatment Based on Empirical Mode Decomposition[J], Acta Optica Sinica,2010,30(1) :267-271

[13]Stockwcll R G, Mansinha L P，Lowc R.Localization of the complex spectrum : the S transform [J].IEEE Transactions on signal processing,1996,44(4):998-1001.

[14]Simon C，Ventosa S, Schimmel M, et al.The S-transform and its inverses: side effects of discretizing and filtering[J].IEEE Transaction on Signal Processing，2007，55(10): 4928-4937.

[15]Jing J E, Wei W B, Chen H Y，et al. Magnetotclluric sounding data processing based on generalized S transformation[J].Chinese J.Geophys，2012，55(12):4015-4022.

[16]王长江,杨培杰,罗红梅,等.基于广义S变换的时变分频技术[J].石油物探,2013,52(5): 489-494.Wang Changjiang,Yang Peijie,Luo Hongmei,et al.Timevariable frequency division based on generalized S transform[J].Geophysical Prospecting for Petroleum,2013,52(5): 489-494.

[17]王小杰,印兴耀,吴国忱.基于S变换的吸收衰减技术在含气储层预测中的应用研究[J].石油物探,2012,51(1):37-42.Wang Xiaojie,Yin Xingyao,Wu Guochen.The application of an S transform based absorption and attenuation technique for prediction of gas-bearing reservoir[J].Geophysical Prospecting for Petroleum,2012,51(1):37-42.

[18]Pinnegar C R，Mansinha L.The S-transform with windows of arbitrary and varying shape[J].Geophysics, 2003, 68(1):381-385.

[19]Donoho D L.De-noising by soft-thresholding[J].IEEE Transaction on Information Theory, 1995, 4103:613- 627.

[20]陈丛, 卢启鹏, 彭忠琦.基于 NLMS自适应滤波的近红外光谱去噪处理方法研究[J].光学学报, 2012, 32(5): 0530001.CHEN Cong, LU Qipeng, PENG Zhongqi.Preprocessing methods of near-infrared spectrum based on NLMS adaptive filtering [J].Acta Optica Sinica, 2012, 32(5): 0530001.

[21]谢军, 潘涛, 陈洁梅,等.血糖近红外光谱分析的 Savitzky-Golay 平滑模式与偏最小二乘法因子数的联合优选[J]，分析化学，2010,38（3）:342-346.XIE Jun, PAN Tao, CHEN Jie-Mei, CHEN Hua-Zhou, Ren Xiao-Huan.Joint Optimization of Savitzky-Golay Smoothing Models and Partial Least Squares Factors for Near-infrared Spectroscopic Analysis of Serum Glucose[J], Chinese Journal of Analytical Chemistry, 2010,38（3）:342-346.

De-noising of tobacco near infrared spectroscopy based on generalized S transform

CAI Jianhua1*, XIAO Yonglianag2, LI Xiaoqin1
1 Department of Physics and Electronics, Hunan University of Art and Science, Changde, 415000, Hunan, China
2 School of Information Technology and Management, Hunan University of Finance and Economics, Changsha, 410205, China

Near infrared spectroscopy has become an important method for rapid detection of chemical components in tobacco.However,as a spectral preprocessing method, derivative brings noise while eliminating baseline drift spectral.In order to improve precision and stability of the NIR spectroscopy analysis, spectral data of wave-number domain was rendered as time series signal, and generalized S transform, a newly developed time-frequency domain de-noising method, was introduced to near infrared spectrum de-noising.The principle and steps of de-noising were given.Total nitrogen content in tobacco was analyzed through de-noised near infrared spectrum.Results were compared with those of traditional nine-point smoothing and wavelet transform de-noising method.It was showed that：①The generalized S transform method was effective for preprocessing tobacco near infrared spectroscopy, which could preserve spectral peak details and improve quality of spectral data.②Compared with nine-point smoothing method, the R2was improved from 0.9572 to 0.9880, and RMSEP was reduced from 0.0696 to 0.0375.The proposed method improved precision of near infrared spectroscopy detection of tobacco chemical composition, and also provided a new way for near infrared spectrum de-noising.

tobacco; near infrared spectroscopy; generalized S transform; de-noising; total nitrogen

蔡剑华，肖永良, 黎小琴.基于广义S变换的烟草近红外光谱去噪[J].中国烟草学报，2017,23（4）

国家自然科学基金项目(41304098)；湖南省自然科学基金项目（2017JJ2192，2017JJ2015）；湖南省教育厅重点项目(16A146)

蔡剑华（1979—）,博士, 副教授, 主要从事光电信息处理的研究, Tel：0736-7186121， Email:cjh1021cjh@163.com

2017-03-29；< class="emphasis_bold">网络出版日期：

日期：2017-08-15

：CAI Jianhua, XIAO Yonglianag, LI Xiaoqin.De-noising of tobacco near infrared spectroscopy based on generalized S transform[J].Acta Tabacaria Sinica, 2017, 23(4)

*Corresponding author.Email：cjh1021cjh@163.com