张 超 严洪森
(1东南大学自动化学院, 南京 210096)(2河南工学院计算机科学与技术系, 新乡 453003)(3东南大学复杂工程系统测量与控制教育部重点实验室, 南京 210096)
基于最优结构多维泰勒网的含噪声非线性时变系统辨识
张 超1,2,3严洪森1,3
(1东南大学自动化学院, 南京 210096)(2河南工学院计算机科学与技术系, 新乡 453003)(3东南大学复杂工程系统测量与控制教育部重点实验室, 南京 210096)
针对具有噪声干扰的非线性时变系统建模时存在的困难,建立了一种具有最优结构和最佳泛化能力的多维泰勒网模型,以实现对该系统的辨识.首先,为了能够快速反映系统输入/输出的变化,以多维泰勒网的连接权系数作为时变参数,并由带可变遗忘因子的递推最小二乘算法对其进行训练,进而讨论了辨识方案的稳定性.然后,为了避免维数灾难并满足实时性要求,给出了选择多维泰勒网有效回归项的改进权衰减法,以使多维泰勒网同时具有最小结构和最佳的泛化能力.最后,通过算例说明基于最优结构的多维泰勒网在含噪声非线性时变系统辨识问题中应用的方法,算例结果验证了该方法的有效性.
辨识;非线性时变系统;多维泰勒网;噪声干扰;剪枝算法
在航空航天和机械工程领域中,系统的随机因素、时变特性和非线性是不可忽略的,如航天器绳系系统、柔性机械臂、太阳能阵列、车桥系统振动等.由于这些系统结构设计的复杂性和各种先进材料的使用,导致很难准确地描述其结构特征.系统辨识是解决复杂系统建模问题的主要方法之一,而具有噪声干扰的非线性时变系统辨识的研究仍处于发展阶段.传统的神经网络由于具有很强的非线性拟合能力,在非线性系统辨识中得到了充分的发展和应用,而神经网络方法一般只适用于非线性时不变系统的辨识[1].此外,其网络结构的选择主要取决于设计者的经验,即基于试凑的方法;网络训练收敛速度慢也严重限制了这种方法的实际应用[2].
多维泰勒网(MTN)是一种非线性系统的动力学建模方法,适合机理未知的一般非线性系统的建模[3-4].它本质上是一个多项式型的非线性自回归滑动平均模型.MTN的多项式函数由一些线性项和非线性项组成,因此其可以表示一般意义下的状态动力学特性.目前一些学者正对该模型在模型预测、灾害预测、非线性控制以及先进武器控制等领域的应用进行研究.
递推最小二乘(RLS)算法是一种常用的解决含有噪声因素和时变特性的非线性系统辨识问题的算法[5].为了适应实际系统和环境的变化,该算法采用递推的方法来实现系统辨识.但一般RLS估计存在自适应跟踪慢和精度低的问题,因此本文采用带有可变遗忘因子的递推最小二乘(VFF-RLS)算法[6]来跟踪非线性时变系统的动态特性.该算法能够提高“新”观测数据的影响,削弱“旧”数据的作用,这是因为“新”观测数据比“旧”数据能更好地反映系统的当前特性.此外,对高次动态系统进行辨识时,需要采用高阶网络化模型.由于MTN的中间节点相互联系,通过“学习”其模型可以很容易地捕捉到建模对象高次项的变化规律,因此MTN适用于高次动态非线性系统辨识.然而,随着输入规模的增加,“维数爆炸”一直是限制高阶网络化模型应用的主要原因,通常的高阶网络化模型应用只限于二阶或三阶,因此本文利用改进的权衰减(IWE)算法[7-8]通过选择有效的回归项来降低MTN的中间层节点数,精简后的多维泰勒网模型有助于减少迭代学习时间以及简化网络结构和学习算法.
为此,本文提出了一种综合利用IWE算法和VFF-RLS算法的基于MTN的新型辨识方法,通过训练MTN的权值来改善具有随机因素和时变特性的复杂非线性系统的辨识能力.该辨识策略分为离线和在线2个阶段.在离线阶段,由于可多次重复迭代学习,因此利用VFF-RLS和IWE算法进行权值和结构的设计;在在线阶段,为保证实时性要求,利用VFF-RLS算法进行权值训练.
本文是基于多维泰勒网模型来设计具有噪声干扰的非线性时变系统的辨识策略,其基本思想是将MTN的连接权值作为时变参数,通过设计合适的学习算法来估计、训练这些参数以反映系统输入/输出的变化,即在同一组输入激励下,待辨识系统的输出和MTN模型的输出是一致的.
考虑差分方程描述的具有噪声干扰的单输入单输出非线性时变离散系统:
y(k+1)=f(y(k),y(k-1),…,
y(k-dy),u(k),u(k-1),…,
u(k-du),v(k),k)
(1)
式中,f(·)为未知的非线性标量函数;dy和du为对应的最大延迟;v(k)表示同一时刻的噪声干扰.噪声干扰是指干扰变化很快,不能用时间函数明确表示的一种随机过程.根据其来源[9],可分为:① 声音噪声;② 热噪声和散粒噪声;③ 电磁噪声;④ 静电噪声;⑤ 信道失真、回波和衰落.
根据待辨识系统输入-输出与辨识模型输入-输出之间的关系,辨识策略存在2种辨识结构: 串-并联型和并联型. 在模型自适应训练时, 反馈可以连接到系统输出y(k)(串-并联模型)或模型输出yI(k)(并联模型), 如图1所示.
图1 系统辨识结构图
理论上,在系统输出存在扰动时,串-并联模型是有偏的,但并联模型可以是无偏的[1].因此,下式表示的并联模型更适合辨识含有扰动的系统:
yI(k-dy),u(k),u(k-1),…,
u(k-du),wI(k))
(2)
但在实际应用中并联模型的辨识误差在自反馈递归过程中会产生累积效应,这可能会导致严重的估计误差甚至模型的不稳定.而串-并联模型的当前时刻输出依赖于系统之前的输出和外部输入,由于系统是BIBO稳定的,因此MTN模型的所有输入信号都是有界的,当学习率选择适当时,辨识模型的收敛是可以保证的.
为了克服并联模型不能保证系统辨识收敛的缺点,Plett[10]先采用串-并联辨识结构,当辨识模型收敛后,再切换到并联辨识结构.假设它们之间可以直接切换,但当从串-并联结构切换到并联结构时,如果辨识模型和系统之间存在误差,那么由于误差的累积效应,该并联模型仍然是可能不收敛的.因此,这种方法仍然无法回避辨识模型不收敛的问题.这种在2个模型之间直接切换的可行性仍有待证明.
综上所述,由于串-并联模型更能保证辨识模型的收敛,且结构和算法比较简单,因此本文采用串-并联模辨识结构.
引理1[12]任何定义于一个闭区间的连续函数可以用多项式函数任意准确地逼近.
图2 多维泰勒网模型
y(k-dy),u(k),u(k-1),…,
u(k-du),v(k),wI(k))
(3)
式中,yI(k+1)为k+1时刻MTN模型的输出;wI(k)为在同一时刻MTN模型的时变权重系数向量.
为了方便且不失一般性,设n=dy+du+2,x(k)={y(k),…,y(k-dy),u(k),…,u(k-du)}T,定义wI(k)={w1(k),w2(k),…,wN(n,m)(k)}T.因此,式(3)可被改写成如下形式:
(4)
式中,wIt为第t个变量乘积项之前的权值.
定义如下目标函数:
(5)
式中,β为用来估计“新”、“老”数据对RLS算法影响的遗忘因子,其基本思想是靠近k+1时刻的数据设定较大的权重,远离k+1时刻的数据给予较小的权重.
当系统参数随时间变化时,因新数据被旧数据所淹没,一般的最小二乘递推算法无法直接使用.为适应时变参数的变化情况,降低旧数据的权重,增加新数据的权重,故本文采用VFF-RLS算法[6]进行时变参数估计.对于VFF-RLS算法,一般取0<β<1.β取得越小,意味着旧数据对参数估计的影响越低,新数据影响越大,算法能很好地跟踪时变参数.但是,经过大量仿真实验表明,β越小,噪声干扰影响越大,估计误差的方差越大.在实际应用中,需视具体被辨识对象并根据经验选择,再通过实验来选定.综合考虑,本文设定β的取值范围是0.9<β<1.仿真结果显示,通过引入可变遗忘因子,系统辨识能力、收敛速度和学习算法性能都得到有效改善.
由式(4)有
(6)
经过推导,基于MTN的VFF-RLS算法具体步骤如下:
算法1基于MTN的VFF-RLS算法
① 初始化.wI(τ)的初始权值设定为wI(0)=0;P(τ)的初始值设定为P(0)=δI,其中δ为较大的正常数,I为单位矩阵.
② 计算估计误差
③ 计算权值迭代参数
K(τ+1)=P(τ)Z(τ)/[β+ZT(τ)P(τ)Z(τ)]
P(τ+1)=β-1[I-K(τ+1)ZT(τ)]P(τ)
β(τ)=βmin+(1-βmin)2L(τ)
L(τ)=-INT(ρe2(τ))
式中,INT( ·)表示取靠近ρe2(τ)的最小整数;ρ为敏感增益,可以控制β的速率趋近于1,且当估计误差e(τ)趋近于0时,β=1.
④ 权值迭代
wI(τ+1)=wI(τ)+K(τ+1)e(τ+1)
⑤ 重复步骤②~④,直到满足终止条件.
首先,为了稳定性分析方便,作出如下假设:
假设1MTN的理想权值是有界的,使得
本节将通过李雅普诺夫稳定性理论来证明MTN权值的收敛性.
定理1对于由式(1)定义的含噪声非线性时变系统,在满足假设1的条件下,若MTN的辨识算法采用算法1,则MTN的权值最终趋近于理想取值.
证明选取Lyapunov函数为
(7)
ΔVτ=Vτ-Vτ-1=
(8)
由算法1可得
(9)
因此
(10)
通常情况下,待辨识系统预先是未知的,因此其系统阶次和辨识网络的输入/输出延迟也是不可得的.因此,在辨识模型时,比较保险的策略是采用自顶向下的设计方法,即先构造一个“足够大”的网络.对于MTN,式(4)中的N(n,m)可能会非常大,维数爆炸问题将极大地增加迭代学习的计算复杂度.在保证建模精度的前提下,为了得到最佳的泛化能力(满足辨识精度要求的最小网络结构),本文综合利用剪枝算法和VFF-RLS算法(在VFF-RLS算法的每一次迭代过程中嵌入改进的剪枝算法)来剪除辨识网络的冗余权值,该集成策略可以选择式(4)右侧多项式的某些“有用项”(这些节点/权值对系统贡献最大)作为网络基函数.
对于逼近任意复杂的非线性函数,文献[14]通过理论分析和实际验证得出结论:当网络具有10个左右的中间层分量时,在经过“充分的”学习后,其已可满足大多数情况下的辨识精度要求.同时,当网络具有最简结构时,也利于实际应用和满足在线辨识的高实时性要求,因此网络规模的精简是十分必要的.权衰减法[7]是一种常见的剪枝方法,属于正则化方法,其工作机理可从先验分布的角度加以解释,即损失函数的最小化等同于权参数后验概率的最大化,这证实了网络结构设计的最简原则:对已达到给定训练精度的网络,其有效参数越少,泛化能力就越好,从而为设计最小结构网络的合理性提供了理论基础.由网络结构与泛化能力的关系可知,精简结构后,网络的泛化能力将得到提高,这也是正则化方法能改进泛化能力的直接原因.故本文利用IWE算法来实现降低网络结构复杂性的目标,该算法将表示结构复杂性的正则化项引入到辨识网络的目标函数中.
为了避免过拟合,应设计具有最小结构的多维泰勒网,即如果几个MTN对学习样本拟合的效果相同,则结构最简单的MTN平均意义下泛化能力最好.为了实现此目标,需要有: ① 复杂性测度;② 实现最佳泛化能力的算法.在IWE算法中,用最短描述长度来表示机器学习的复杂性,即给定学习数据后,最优的模型应具有最短总描述长度.总描述长度为描述长度(数据|模型)和描述长度(模型)的和,前者是模型的残差,后者用来衡量模型的复杂性.因此最短描述长度是综合评价残差和模型复杂性的集成测度,其目标是寻找满足目标精度且具有最佳泛化能力的辨识网络.
根据最短描述长度准则,目标函数通常为
J(w)=E(w)+γC(w)
(11)
式中,E(w)为网络误差平方和;C(w)为正则化项,用来表示网络的复杂性;γ表示模型复杂性项的相对重要性.由于正则化项的剪枝特性,学习过程中某些冗余的权值将逐步衰减到0,从而达到剪枝的目的.
由式(11),本文采用的误差函数为
(12)
式中,w0为固定值,称基准权值.
由式(12)可知,辨识网络中的每个权值wt都对应一个损失函数项:
(13)
IWE算法中的正则化系数γ对多维泰勒网的泛化能力影响很大,且难以整定.本文根据进化策略[15]寻找最优正则化参数,并给出了参数调整方法,有效地改进了MTN模型的泛化能力.
调整正则化参数的具体步骤如下:
①γ初始设置为0,随后根据以下规则动态调节.
② 当E(k)