直接加权优化辨识的最小概率设计

王建宏　许莺　毛少杰　徐波

摘要：研究非线性系统辨识的一种新方法一直接加权优化辨识，对于该方法中未知权重值求取，采用统计学习理论中的最小概率准则作为逼近的误差准则函数。最小概率策略选择为最小化估计误差边界应小于某指定门限值的概率，此估计误差边界来源于有限个数的数据点。将最小概率准则转化为一个最大化问题，对于此最大优化问题，通过代数运算来求解此最大化问题以得到未知权重值的显式表达式。权重估计值有类似核估计的渐近收敛特性，且为独立未知噪声方差值的显式形式。最后用仿真算例验证本文方法的有效性。

关键词：非线性系统辨识；直接加权优化辨识；最小概率设计；统计学习

中图分类号：TP273 文献标识码：A

1引言

对非线性系统辨识使用最广泛的方法是基函数法，将原非线性系统在此预选基函数下近似展开，通过调整每个权重值来使得近似误差趋于零。为简化权值的求取过程，常令第一个基函数为1，且所预先选择的基函数之间为正交基函数关系。目前存在一种新的非线性系统辨识方法直接加权优化法。该新方法选用一个关于原非线性系统输出观测数据的线性仿射函数式，考虑各种干扰噪声的存在，在最小化差的条件下得到一个最优化问题，利用最优KKT充要条件得到最佳权重值。

本文在直接加权优化法的基础上，从统计学习理论的角度出发，逼近误差的范数选择为最小化估计误差边界小于某指定的门限值的概率，此估计误差边界来源于有限个数的数据点。基于最小化误差边界概率的估计具有许多特征：1）未知权重的估计值有形如核估计的渐近收敛特性，同时在最小概率下针对任意给定个数的数据观测值是最优的；2）未知权重值的计算过程简单，估计值可表示出具体形式，此形式是独立于未知噪声方差值。

2直接加权优化辨识

b_t为在时刻t时输出观测值y（t）前的未知权重值。通过调整这些未知权重值可使得上式能充分逼近原非线性函数f（φ（t））。在逼近过程中，要使得逼近误差要充分小，需要施加约束条件：

非线性函数f（φ（t））虽是未知的，但可假定其是连续可微的，且具有Lipschitz常数L₁，即：

未知权重值的估计性能通过均方逼近误差来衡量：

因f是未知非线性函数，通常的办法是最小化估计误差的上界，如平均上界值：

上式E表示取统计期望运算。

3最小概率设计

观测（7）式可知，对不大的数据个数N，最小化平均上界不能很好地衡量逼近性能。因此需要增加对平均上界估计的渐近方差分析。为弥补此不足，本文提出最小概率设计用以在给定有限个数数据下，寻找最优权重值。最小概率设计法可叙述如下：给定边界门限值ζ²，求解权重值b_t使得估计误差大于门限值ζ²的概率Pr ob{（f（x）-f（x））²≥ζ²}最小。即由最小概率法得到的最优权重值满足在任意给定的数据个数N下，估计误差大于门限值ζ²的概率最小。但（f（z）-f（x））²的显式形式是未知的，可取其上界作为考虑值。

通过定义变量z，权重值的求解可使得概率Prob{z≥ζ²}最小。因变量b_l=1-b₁-b₂-…b_l-1包含两项，且第二项为一个随机变量。

利用e（t）为零均值、方差值为σ_e²的独立同分布随机白噪声，随机变量z₀具有如下概率分布函数：

因此随机变量z的概率分布为：

由（15）式可见，最优权重值独立于白噪声的方差σ_e²。

4未知权重值的优化求解

因（15）式的优化问题是非凸的，其求解过程不能利用现有的凸优化算法，故求解显得较复

在最大化问题（17）式中令b₁=1及b_t=0，t>1可知，此优化结果通常是正值。根据优化理论中最优性的必要条件可知，b_t要成为（17）式的解，需要满足最大化目标函数的一阶偏导数为0。即有：

（29）式为未知权重值b_t的一个显式形式，其无需用迭代过程来求解。每一个权重值与给定的概率水平门限、数据个数和所有的观测区间长度相关。

5仿真算例

为了验证本节所提出算法的有效性，现给出如下非线性系统：

e（t）是均值为零的独立同分布随机白噪声，其方差为0.1，给定的输入信号以及真实的输出见图1，辨识时取门限值ζ²为0.04，图1给出系统实际输出曲线、采用本节方法辨识的系统输出曲线以及文献方法辨识的输出曲线，从图2可以看出本节方法辨识的输出曲线明显与实际输出曲线比较吻合，而采用文献方法辨识的输出曲线误差较本节方法明显偏大，图3给出了本节方法的估计误差曲线，明显看到估计误差超过0.04的概率很小，基本满足了算法设定的要求。

6结语

在直接加权优化辨识中，若逼近误差准则选用通常的均方估计误差，则未知权重值需要采用迭代递推式来求解，无法给出未知权重值对应估计值的显式形式。为此从统计学习理论中采用最小概率准则作为逼近的误差范数，推导最小概率准则可转化为一个最大化问题，对于此最大优化问题，通过代数运算可得到未知权重值的显式表达式。