王 锟,王 洁*,刁迎春
(1.空军工程大学导弹学院,陕西三原713800;2.中国人民解放军93861部队,陕西 三原)
发射车液压系统是地空导弹武器系统的重要组成部分,它是与发射车的起竖、支撑机构及装退弹设备配套使用的液压驱动控制装置,在作战过程中起着至关重要的作用。液压系统一旦出现故障将严重影响部队训练和作战任务的完成,使用维护经验表明,液压油污染是导致液压系统故障的主要原因。20世纪60年代中期美国国家流体动力协会(NFPA)就得出了“液压系统故障至少有75%是由于液压油污染造成的”的结论[1]。因此,适时的对液压系统油液污染度进行检测和预测是预防和早期诊断液压系统故障的有效方法。
当获得了一定数量的油液污染度检测数据后,可利用这些已知数据蕴含的信息来估计未来时刻的油液污染度值,这个过程便是预测。预测实践中,对于某一问题可以运用多种预测模型进行预测,常用的预测模型有曲线拟合模型、ARMA模型、灰色模型、神经网络模型等,不同的模型有着不同的适用范围和优势。从信息利用的角度来说,任何一种单一预测方法都只利用了部分有用信息,同时也抛弃了其它有用的信息。为了充分发挥各预测模型的优势,Bates J M和Granger C W J在1969年提出了“组合预测”的思想[2],就是将参与组合的各种预测方法的结果通过适当的方式进行组合,各种预测方法通过组合可以尽可能利用全部的信息,达到改善预测性能的目的。组合预测已成为预测领域中的一个重要的研究方向,本文结合最小二乘支持向量机(LS-SVM)在非线性映射和运算时间上的优势,提出基于LS-SVM的非线性组合预测方法,并将其应用于某型地空导弹发射车液压系统的油液污染度预测。
一个预测问题可以选择多种不同的预测模型,每一个模型都能蕴含一定的样本信息,但任何一个模型都难以全面的反应样本的变化规律。不同的预测方法提供不同的有用信息,其预测精度往往也不同,如果简单的只选择预测误差小的方法而将一些预测误差较大的方法弃之不用,势必会丢失一些有用信息。从信息利用的角度将多种预测方法进行适当的组合,综合利用多种预测方法的有用信息便是组合预测的思想,组合预测的结果能更全面的反应系统的变化规律,可以避免单一模型丢失信息的缺憾,减少随机性,提高预测精度。简单来说组合预测就是将参与组合的各种预测方法的结果按适当的方式进行组合。
组合预测方法按照组合的函数形式可分为线性组合预测和非线性组合预测。线性组合预测指组合预测模型为各单项预测模型的线性组合;非线性组合预测指组合预测模型与各单项预测模型之间的函数关系呈非线性。
最优组合预测是在一定的约束条件下最优化某个目标函数(最优性准则),对它的求解是一个寻优的过程。不同的最优性准则对应不同的组合预测模型,常见的最优性准则有误差准则[3-5]、相关性准则[6]和预测有效度准则[7]等。下面以误差准则为例介绍基于误差准则的线性最优组合预测模型。
假设对某一预测问题可利用m种预测方法对其进行预测,xt(t=1,2,…,N)为第 t时刻的实际观测值;xi
t(i=1,2,…,m;t=1,2,…,N)为第 i种预测方法在t 时刻的预测值;为组合预测在t时刻的预测值;其中f(·)为一映射函数,当其为线性函数时称为线性组合预测模型,可记做:
其中,li≥0(i=1,2,…,m)为第 i种预测方法的加权系数,满足归一化条件;若以绝对误差的平方和最小为优化目标,则模型(1)中的权系数li为以下优化问题的解:
线性组合预测模型形式固定,求解比较容易,其预测效果优于单项预测方法,因而得到了大量的研究和应用。但线性组合预测本质上是对不同预测方法的一种凸组合,当预测对象的实际值位于预测模型所围成的凸区域之外时,会产生较大的误差;而非线性组合预测克服了这种局限性,能够反映系统的非线性,比线性预测预测更为合理。非线性组合预测,由于其非线性映射函数的形式不固定,采用什么样的非线性函数来刻画各单项预测结果与组合预测结果之间的关系没有理论指导,因而对其研究和应用较少。近年来,一些学者提出了基于神经网络的非线性组合预测方法[8-9]和基于支持向量机的非线性组合预测方法[10-11],这些方法利用神经网络和支持向量机强大的非线性映射能力,通过学习得到各单项预测结果与组合预测结果之间的非线性函数关系,具有很好的应用前景。相比于支持向量机,神经网络存在过拟合和推广能力差的问题,支持向量机是建立在统计学习理论的机器学习方法,基于结构风险最小准则可以有效解决神经网络的过学习和推广能力差等问题,尤其适合小样本的学习。
传统的支持向量机求解需要解决一个二次规划问题,最小二乘支持向量机[12]将SVM中的不等式约束改为等式约束,且将误差平方和作为训练集的经验损失,从而将SVM中的二次规划问题转化为一组线性方程,可利用最小二乘法对其求解,有效降低了求解问题的复杂度,可大幅减少运算时间,目前已有不少LS-SVM在回归预测方面的应用研究[13-15]。下面简要介绍最小二乘支持向量机回归问题:
设训练样本集 D={(xi,yi)|i=1,2,…,n},其中xi∈Rd,yi∈R分别为输入和输出数据,且yi=f(xi),f(·)为待估计的函数关系。做非线性映射φ:Rd→H,H为高维特征空间,使待估计函数f(·)可以写成φ(x)的线性函数,即:
式中,ω和b分别为权值向量和偏置。则最小二乘支持向量机回归估计可以描述为求解如下优化问题。
其中,ξi为松弛变量,γ为调整参数。为了求解上述最优化问题,引入Lagrange函数:
式中,αi为Lagrange乘子。最优的α和 b可通过KKT条件获得:
上式整理后,消去ω和ξi得到线性方程组:
其中,y=[y1,…,yn]T,Θ=[1,…1]T,α =[α1,…,αn]T,I是单位矩阵,Ω 为 n×n 方阵,其第 i行第 j列元素为 Ωij=φ(xi)Tφ(xj)=K(xi,xj),K(·)是满足Mercer条件的和函数。
上式可用最小二乘法求出α和b,于是LS-SVM回归函数可表示为:
LS-SVM的泛化能力取决于调整参数γ和核函数的选取及核函数参数的优化。γ是结构风险与样本误差之间的折衷,其取值与可容忍的误差相关,较大的γ允许较小的误差,较小的γ则允许较大的误差。核函数的选取没有理论指导,一般在缺少过程的先验知识时选择高斯径向基核函数的效果较好。高斯核径向基函数形式如下:
式中σ为感知变量,是待优化参数,它决定了该高斯函数围绕中心点的宽度,对于支持向量机的回归能力有直接的影响。当核函数取高斯核时LS-SVM模型的参数为γ和σ,记做→λ=(γ,σ)。
对于LS-SVM参数的选择,传统的方法是网格搜索-交叉验证法,该方法不能保证找到最优值,且当模型参数多于两的情况下效率低下。近年发展和应用的一些智能优化算法可以用来对LS-SVM的参数进行优化选择,本文利用粒子群算法 PSO(Particle Swarm Optimization)和K-重交叉验证来优化模型参数→λ。
(1)PSO方法
PSO是一种基于种群进化的智能优化方法,利用粒子集在求解空间中的运动并结合其自身和种群的经历进行寻优。算法中每个粒子被赋予两个属性:位置与速度。粒子i的位置xi=(xi1,xi2,…,xiD)可看作D维问题空间中的一个潜在解,位置坐标对应的目标函数即是该粒子的适应度值。粒子i以一定的速度 vi=(vi1,vi2,…,viD)在搜索空间中飞行,根据计算的适应度值不断更新位置。在标准的PSO算法中,粒子i的位置与速度更新表达式如下[16]:
其中,i=1,2,…,N,N 为种群规模;d=1,2,…,D;Pi=(Pi1,Pi2,…,PiD)为粒子 i经历的人个体最优位置;Pg=(Pg1,Pg2,…,PgD)为所有粒子经历的全局最优位置;w为惯性权值,w较大则算法具有较强的全局搜索能力,w较小则算法倾向于局部搜索;c1和c2为学习因子;rand为[0,1]内的随机数。每个粒子以其初始位置开始,融合其自身经历和群体经历不断地向最优位置接近。
(2)K-重交差验证
通常模型参数的确定是通过最小化推广误差的估计来实现的,即把推广误差的估计作为确定模型参数的目标函数。推广误差是指模型对独立的检验数据的预测值与实际值的误差指标,一般用预测误差的均方值来描述。
K-重交叉验证是一种估计推广误差的方法。它首先将样本集随机的分为K个互不相交的子集{s1,…,sk},每个子集的大小大致相等。用其中的一个子集作为测试集,其余子集作为训练集,进行K次训练和测试,得到K个均方根测试误差E1,…,Ek,则K重交差验证的误差指标为:
其中,nsi为测试集样本数,yj为测试集样本对应的实际观测值,^yj|λ表示测试集样本通过参数为λ的LS-SVM模型的输出值。
(3)基于PSO-交差验证方法的LS-SVM参数优化
让每个粒子代表一个LS-SVM模型的参数向量,以K重交差验证均方根测试误差均值作为适应度函数,将参数向量代入模型计算目标函数值,根据计算结果和PSO算法对粒子的位置和速度进行调整,直至粒子移动到最佳位置。具体步骤如表1所示。
表1 基于PSO和K-重交叉验证的LS-SVM参数优化步骤
利用上述步骤得出的全局极值位置Pg即是LS-SVM模型的优化参数,Pg=→λ=(γ,σ)。
基于LS-SVM的非线性组合预测方法的基本思路是:把m种预测方法的预测结果作为LS-SVM模型的输入,将相应的实际值作为LS-SVM模型的输出。用一定数量的样本利用前述方法优化LS-SVM的参数,然后利用优化的参数重新训练LS-SVM模型,从而使单项预测方法的预测值与实际值之间建立一种非线性映射关系。
假设对某一预测问题可利用m种预测方法对其进行预测,xit(i=1,2,…,m;t=1,2,…,N)为第 i种预测方法在t时刻的预测值;为各单项预测方法的t时刻预测值构成的向量,是LS-SVM 模型的输入;yt(t=1,2,…,N)为第t时刻的实际观测值,为LS-SVM模型的输出;则LS-SVM非线性组合预测模型为:
对线性组合预测模型来说,未知参数是参与组合的各单项预测方法的权值,如前所述,该参数是在某一最优性准则意义下求解一个优化问题得到的。而对于本文提出的基于LS-SVM的非线性组合预测模型来说其模型参数α和b则是通过学习自动获得的。
某型地空导弹发射车液压系统液压油的更换是按时间定期进行的(一般由工厂在大修期间更换),若更换周期长则可能导致设备液压油污染度超标不能及时更换的问题,造成液压设备在受到污染的情况下继续工作,带来噪声、振动和液压冲击,对系统造成长期损害,降低液压系统和液压元件的使用寿命;若更换周期太短则会造成浪费。如果能适时地检测液压油污染情况,并在污染度超标之前及时预测,便可有效的降低液压系统故障的风险,实现视情维护。实际应用中对液压油污染度的检测有多种方法[17],如称量法、颗粒计数法、光测法、淤积法、电测法等。出于成本和部队使用可操作性方面考虑本文使用电测法测量液压油的电解质常数[18],不同污染程度的液压油的电解质常数会发生变化,可通过测量电解质常数值来反应液压油的污染程度。从某型地空导弹发射车液压系统更换新油开始,在设备正常使用情况下每月检测一次液压油的电解质常数值,得到的2008年12月至2010年6月的检测数据如图1所示。
图1 液压油介电常数检测数据
图2 三种单项预测模型预测结果
图1显示出了明显的趋势性,本文取前16个数据来建立预测模型,后3个数据用于检验模型的预测精度。分别建立曲线拟合模型(CFM)、灰色模型(GM)和神经网络模型(ANNM),得到的结果如图2所示。其中CF模型选择分母为3阶,分子为2阶的分式多项式,GM模型选择Verhulst模型,神经网络选择3层BP网络,网络结构为(4,10,1)。
由图2可以看出单项预测模型在各点的预测精度不同,抛弃任何一种预测模型都有可能造成信息的丢失。本文利用三种单项预测模型的前16组预测数据训练基于LS-SVM的非线性组合预测模型(11)并用其预测2010年4月至6月的介电常数值,最后将预测结果分别与基于误差准则的线性组合预测模型(1)和基于神经网络的非线性组合预测模型进行比较。线性组合预测模型(L-C)、基于神经网络的非线性组合预测模型(ANN-C)和基于LS-SVM的非线性组合预测模型(LSSVM-C)的预测结果如图3所示。其中,线性组合模型的权值向量计算为(0.445 4,0.040 7,0.513 9);神经网络选用 3 层 BP网络,网络结构为(3,6,1);LS-SVM模型使用高斯核函数,其参数γ和σ利用PSO算法优化,优化结果为:γ=296 986.873 5,σ=313.836 4。
一般预测效果的评价至少可以从平方和误差(SSE)、平均绝对误差(MAE)、均方根误差(RMSE)、平均绝对百分比误差(MAPE)、均方根百分比误差(RMSPE)等5个方面进行全方位的综合衡量[7]。表2和表3分别对三种组合预测方法的拟合精度(前16组数据)和预测精度(后3组测试数据)进行了评价。
图3 三种组合预测模型的预测结果
表2 三种组合预测方法的拟合精度评价
表3 三种组合预测方法的预测精度评价
从表2和表3可以看出,基于LS-SVM的非线性组合预测方法的拟合精度和预测精度均高于线性组合预测方法,拟合精度与基于神经网络的非线性组合预测方法大致相当;神经网络方法具有最高的拟合精度,但预测精度不高,甚至略低于线性组合预测方法,这反映出了神经网络方法存在的过拟合和推广能力差的问题。本文使用的基于LS-SVM的非线性组合预测方法具有最高的预测精度,并兼顾了较高的拟合精度,这正是SVM的结构风险最小化原则的体现。
本文提出的方法用于液压油污染度预测取得了很好的效果。液压油污染度指标是指示液压系统故障的综合性指标,通过设定适当的阈值,并对其进行适时的检测和预测可以对液压系统的早期故障实现预警,但要实现对液压系统故障的预测还需综合利用其它的特征信息,如何融合其它领域的信息实现对液压系统故障的预测将是下一步的研究方向。
[1] 张柱银.液压油的污染及其控制[J].机床与液压,2004(5):178-179.
[2] Bates J M,Granger C W J.Combination of Forecasts[J].Operations Research Quarterly,1969,20(4):451-468.
[3] 杨廷方,刘沛,李浙,等.应用新型多方法组合预测模型估计变压器油中溶解气体浓度[J].中国机电工程学报,2008,28(31):108-113.
[4] 陈华友.全距在组合预测最优权系数中的应用[J].安徽大学学报(自然科学版),2001,25(3):7-10,23.
[5] 高尚,张绍彪,梅亮.基于相对误差的线性组合预测研究[J].系统工程与电子技术,2008,30(3):481-484.
[6] 王应明.基于相关性的组合预测方法研究[J].预测,2002,21(2):58-62.
[7] 陈华友,侯定丕.基于预测有效度的优性组合预测模型研究[J].中国科学技术大学学报,2002,32(2):172-180.
[8] 张青.基于神经网络最优组合预测方法的应用研究[J].系统工程理论与实践,2001(9):90-93.
[9] 韩冬梅,牛文清,杨荣.线性与非线性最优组合预测方法的比较研究[J].情报科学,2007,25(11):1672-1678.
[10]陈伟,胡昌华,樊红东.基于小波支撑矢量机非线性组合预测的导弹惯性器件故障预报[J].战术导弹技术,2006,4:84-88.
[11]赵文清,朱永利,张小奇.应用支持向量机的变压器故障组合预测[J].中国电机工程学报,2008,28(25):14-19.
[12] Suykens J A K,Vandewalle J.Least Squares Support Vector Machine Classifiers[J].Neural Processing Letters,1999,9(3):293-300.
[13]杨丽君.基于LS-SVM的电力系统参考相角预测[J].传感技术学报,2005,18(3):638-641.
[14]胡宏伟,周晓军,庞茂.基于LS-SVM的火电厂给水泵组状态趋势预测研究[J].传感技术学报,2007,20(5):1139-1143.
[15]高云红,李一波.基于CPSO-LSSVM的陀螺仪故障趋势预测[J].四川大学学报(工程科学版),2010,42(2):177-181.
[16] Kennedy J,Eberhartr C.Particle Swarm Optimization[C]//Proceedings of the IEEE International Joint Conference on NeuralNetworks,Perth,1995.Piscataway:IEEE Press,1995:1942-1948.
[17]董彩云.液压油污染度的检测[J].流体传动与控制,2009,35(4):50-52,58.
[18]张晓飞,杨定新,胡政,等.基于电介质介电常数测量的油液在线监测技术研究[J].传感技术学报,2008,21(12):2088-2091.