基于在线支持向量机的电子鼻模式识别算法

·信息科学·

基于在线支持向量机的电子鼻模式识别算法

余炜1,2,万代立1, 周娅1,杨喜敬1

(1.昆明理工大学 信息工程与自动化学院, 云南 昆明650500; 2.成都工业学院 电气与电子工程系, 四川 成都611730)

摘要：针对现有电子鼻系统训练误差大、运行速度慢等特点,提出了一种新的基于在线支持向量机(Online-SVM)的电子鼻系统模式识别方法。该方法使用CH4气体与传感器阵列响应的值作为输入数据,经在线支持向量机算法进行模式识别,对CH4气体的浓度进行预测和分类。与期望结果对比,新方法的平均误差降低为5.3%,运行时间降为0.199 4s,表明基于在线支持向量机的电子鼻系统模式识别方法能有效提高电子鼻系统识别的精度和速度。

关键词：电子鼻;在线支持向量机;模式识别;预测;损失函数

收稿日期：2013-10-12

基金项目：四川省教育厅重点项目资助(14ZA0286)；四川省应用基础研究计划资助项目(2013SZZO)；云南省应用基础研究计划基金资助项目(2011FZ037)

作者简介：余炜，男，重庆人，博士，副教授，从事通信与信号处理、智能信息处理研究。

中图分类号：TN911.6

A pattern recognition method for electronic nose based

on online support vector machine

YU Wei12, WAN Dai-li1, ZHOU Ya1, YANG Xi-jing1

(1.Faculty of Information Engineering and Automation, Kunming University of Science and Technology,

Kunming 650500, China; 2.Department of Electrical and Electronic Engineering,

Chengdu Technological University, Chengdu 611730， China)

Abstract:A new online support vector machine (online-SVM) method was presented as the electronic nose system pattern recognition algorithm in the paper to solve the problems of big training error and low execution speed which exist in current electronic nose systems. In the paper, the response values from CH4 gas sensor array was the input data, and online support vector machine algorithm was used as the pattern recognition algorithm to predict and classify the concentration of CH4 gas to obtain predictions. Compared with the expected results, the average error of the proposed algorithm was lowered to about 5.3%, and the operating time was reduced to 0.199 4s, which showed that the new algorithm based on online-SVM could improve the discrimination accuracy and execution speed of the electronic nose systems.

Key words: electronic nose; online support vector machine; pattern recognition; forecasting; loss function

人工嗅觉系统俗称电子鼻[1],电子鼻系统的研究始于20世纪80年代[2],它具有仿生科学的痕迹,作为一种仿生学器件,电子鼻系统的工作原理与人鼻嗅觉形成过程类似。目前,电子鼻系统已经广泛应用到食品工业、环境监测、质量控制、医疗事业等各个领域。一个简单的电子鼻系统主要由气体传感器阵列及相应的模式识别算法构成。

在电子鼻系统中模式识别算法占有举足轻重的地位,目前应用最为广泛的模式识别算法主要有以下两类:一类是建立在统计理论上的线性分类方法,包括:K-近邻法(K-NN)、聚类算法(CA)、主成分分析法(PCA)、判别分析(DA);另外一类基于神经网络,包括:概率神经网络(PNN)、反向传播人工神经网络(BP-ANN)、学习向量量化(LVQ)及自组织映射(SOM)等。前者算法模型较为简单,无需训练,但抗干扰能力较差,比较适合于环境变化不大的场合;后者具有较强的抗干扰能力,但网络训练过程中花费的时间远大于运算的时间,另外还存在一些局限性:如PNN对内存容量的需求大,神经网络算法容易产生过学习,陷入局部最小化,LVQ训练速度较慢等[3-4]。

一种优秀的模式识别算法应具备以下6个特征[5-8]:①高精度;②运算速度快;③抗干扰能力强;④存储空间小;⑤易于训练;⑥能对不确定性进行估计。目前还没有一种算法能满足以上所有特征,只能综合考虑选择一种较优的算法。在线支持向量机Online-SVM(online support vector machine)具有以下两方面的优点,一是占用存储空间少,无须对全部的历史数据进行保存;二是训练过程中充分利用历史训练结果,显著地减少了后续训练时间[9]。在线支持向量机不但能克服神经网络的缺点,而且还使整个系统的运算速度得以提高。基于以上的优点，本文提出了在线支持向量机算法作为电子鼻系统中模式识别的方法。

1在线支持向量机的原理

从统计学理论角度出发,支持向量机函数回归[10]可表示为:对于给定的训练样本集为{(xi,yi),i=1,2，…,l},其中,xi∈Rd为输入值,yi∈R为对应的目标值,l为样本数,在特征空间F,构建一个线性回归函数:f(x)=wφ(x)+b,其中:φ:Rx→Fw∈F;使得函数y和f之间的距离为:R(y,f)=∫L(y,f)dx最小,L()是损失函数(Lossfunction)。根据结构风险最小化准则，定义损失函数为

L(xi,yi)=

用于函数逼近的支持向量机为

(1)

(2)

(3)

将式(3)代入式(2)得到对偶优化问题

(4)

(5)

W的一阶条件为

(6)

-gi+2ε，

(7)

(8)

W的一阶条件引出KKT[9]条件,因此将训练集X中的样本分为

E:误差支持向量集；

S:边界支持向量集；

R:剩余支持向量集。

一个向量只允许从当前集合移动到相邻集合。图1所示为各集合间的几何解释,下图为向量可能的移动方向。

图1　各集合间的几何关系 Fig.1　The relationships of sets

算法具体流程为[11]:增加新向量(xc,yc),

1) 令θc=0;

③ 集合S，E，E*和R中的样本转移,更新矩阵γ。

4)X=X∪{(xc,yc)},算法结束。

2基于在线支持向量机电子鼻数据分析

2.1气体定量分析

混合气体进入电子鼻系统后,对气体进行定性分析,识别出气体的类别,之后对气体进行浓度的定量分析。在该系统中定量分析对象是CH4。气体测量范围从200×10-6到6 000×10-6,每增加200×10-6测量一次各个传感器的响应值,共有30组数据。数据来源为文献[12]。

2.2算法及步骤

步骤1定性分析,确认出CH4气体；

步骤2建立训练模型。采用在线支持向量机算法得到训练模型；

步骤3结果预测。使用步骤2中的模型对步骤1中的确定出气体浓度进行预测,输出结果。

2.3实验结果分析

系统中采用在线支持向量机对CH4气体定量分析,传感器共有6只,每组数据为30组,共采集到180组数据。Online-SVM性能的好坏与惩罚因子C及核函数、不敏感系数ε及其宽度系数等参数的选择密切相关。实验中选取合适的参数能使在线支持向量机的误判率降低。经过实验分析,选取惩罚因子为10,不敏感系数为0.001,通过选取线性核函数和高斯基核函数为核函数的online-SVM对CH4气体的定量分析实验结果对比如表1所示。

表1两种核函数结果比较

Tab.1The comparison result of two kinds of kernel function

%

表2　CH 4气体定量分析结果

通过表1的分析可以得到,采用线性核函数运行时间较长,定量分析平均误差和最大误差较差。鉴于表1采用高斯基核函数为系统的核函数性能较优。采用高斯基核函数为核函数对CH4气体浓度进行定量分析,结果如表2。

3结语

本文针对电子鼻系统数据的高维特点及实时性特点,提出了在线支持向量作为电子鼻系统的模式识别算法,与传统电子鼻模式识别算法相比,该算法不仅占用较少内存资源,具有更快的运行速度,而且使用更少的支持向量,对数据定量分析误差更小;通过实例证明了该算法易于训练并且能对不确定性进行相对准确的估计。通过传感器阵列与在线支持向量机作为模式识别的电子鼻系统性能较好,在改进现有商用电子鼻系统具有一定的参考价值。

参考文献：

[1]金翠云,崔瑶,王颖.基于核PCA与SVM相结合的电子鼻模式识别算法研究[J]. 北京化工大学学报,2012,39(2):106-109.

[2]GARDNER J W, BARTLETT N.A briefhistory ofelectronic nose[J].Sensors and Actuators B，1994,18-19：211-220.

[3]耿志广,王希武,王寅龙,等.基于人工神经网络的电子鼻对混合气体检测研究[J].现代计算机,2010(5):45-48.

[4]范超群,张顺平,占琼, 等.特征提取及其在电子鼻对可燃液体识别中的应用[J].传感器与微系统,2007,26(8):108-110.

[5]张覃轶,谢长生,阳浩,等.电子鼻模式识别方法的比较研究[J].传感技术学报,2005,18(3):576-579.

[6]MANUELE B,GINO T,GIAMPIETRO T, et al. A comparative analysis of basic pattern recognition techniques for the development of small size electronic nose[J].Sensors and Actuators B,2002,85:137-144.

[7]GETINO J, HORRILLO M C, GUTIKRREZ J, et al. Analysis of VOCs with a tin oxide sensor array[J]. Sensors and Actuators B,1997,43:200-205.

[8]ALEIXANDRE M, SAYAGO I, HORRILLO M C, et al. Analysis of neural networks and analysis of feature selection with genetic algorithm to discriminate among pollutant gas[J].Sensors and Actuators B, 2004, 103: 122-128.

[9]孔凤.传送带给料生产加工站的神经元在线优化算法[D]. 合肥:合肥工业大学,2010.

[10]VAPNIK V. The nature of statistical learning theory [M]. NewYork:Springer,1999.

[11]MA Jun-shui,THEILER J,PERKINS S. Accurate on-line support vector regression[J].Neural Computation,2003,15(11)：2683-2703.

[12]石春燕.基于人工神经网络的多气体分析系统研究与设计[D]. 吉林:吉林大学，2004.

(编辑曹大刚)