有损信道下网络化系统的均方最优渐近跟踪

卢洁莹, 李俊辉, 苏为洲

(华南理工大学自动化科学与工程学院,广东广州 510640)

1 引言

过去十几年,网络化控制在无人机及其编队控制、机器人远程控制、多智能体协调控制、工业网络控制等领域得到了广泛应用,并对这些领域的发展产生了深远的影响[1-3].网络化控制系统是指系统组成单元如传感器、控制器、执行装置等的信号是通过有线或者无线通信信道来传输的一种控制系统.与传统控制系统的区别在于网络化控制系统用通讯信道代替了传统的信号线,因此控制系统可以通过网络获取更多的信息并且进行更有效的信息交换,以完成更加复杂的任务,同时在系统构建和维护上具有更大的灵活性和便利性.由于信号是通过通讯信道进行传输的,因此信道随机时延[4-5]、随机丢包[6-7]、量化误差[8-11]等不确定性对反馈系统的稳定性和品质产生负面影响.近20年来,人们对上述不确定性的机理和应对方法进行了深入的研究.Martins等[12]讨论了当信道中存在噪声、畸变等信道不确定性的情况下,反馈系统稳定性与对象极点、对象不确定性以及信道不确定性之间的关系;Nair等[8]研究了在数据率约束下,信道与网络化系统均方稳定性之间的关系;Elia等[13]研究了随机丢包对网络化反馈系统稳定性的约束;Lu等[14]分析了信道中存在信噪比约束以及随机丢包、固定时延等不确定性时,系统均方稳定的充分必要条件.

为了更全面地描述通讯信道不确定性的特征,根据这些特征来分析和设计系统,本文要对通讯信道进行建模.网络控制的最新发展表明,信道不确定性可以是并行无记忆噪声通信信道,用零均值的随机乘性噪声可以有效地描述信道不确定性.Elia[6]的研究表明,随机乘性噪声为通讯信道不确定性(如丢包、时延等)的描述提供了一个合适框架;Xiao等[7]用乘性噪声模型来描述多输入信道丢包产生的不确定性;Sinopoli等[15]研究了通信信道中丢包的Kalman滤波问题,将丢包引起的信道不确定性建模为随机乘性不确定性;Su等[4-5]针对网络化反馈系统中具有随机时延的情形用乘性噪声模型进行了描述,并且根据这一模型采用均方准则研究了网络化反馈控制系统的稳定性和其他性能.另一方面,随机乘性不确定性线性时不变系统研究有着很长的历史[16-19].在其早期的研究中,Willems和Blankenship[17]针对单输入单输出(single input single output,SISO)随机乘性不确定性的线性系统给出了均方稳定的充分必要条件,进而可知均方可镇定性可以运用H2最优控制方法进行分析;随后Lu和Skelton[18]得到了多输入多输出(multiple input multiple output,MIMO)系统均方稳定的充分必要条件;Su和Qi[20]研究了乘性噪声系统在多信道下的均方可镇定性问题,均方可镇定条件可以转化为求系统闭环传递函数矩阵谱半径的优化问题,并给出了均方意义下最大的乘性噪声方差可容许范围.

对于网络化反馈系统而言,除了均方稳定性和均方可镇定性问题之外,性能的最优设计是另一个基础性研究问题.在过去十几年里,二次最优设计问题是性能最优设计的一个热门话题.Nair[21]考虑了在系统量化效应下的二次最优设计问题;Ishii[9]讨论了在编码器约束影响下的二次最优问题.对于随机丢包等可擦除信道而言,乘性噪声是描述这类信道中信道不确定性的有效模型.利用乘性噪声模型,Elia[6]考虑信道中存在随机丢包等情形下的二次最优调节问题.这一问题可以追随到上世纪60年代,Wonham[16]研究了一个具有随机乘性不确定性线性时不变系统的最优二次状态反馈调节问题,并且根据一个广义代数黎卡提方程(modified algebraic Riccati equation,MARE)的半正定解得到了最优状态反馈控制律.但是,这个状态反馈控制律不一定能使得系统均方稳定.具有随机乘性不确定性的线性时不变系统的最优控制主要有两个方面的问题:一方面是设计最优反馈控制器使得系统能在随机乘性不确定性下均方稳定,另一方面是使得系统的H2性能最优.正如Wonham[16]在文中指出的那样:上述最优状态反馈控制律并不能完全保证系统稳定性.而后,Willems等[22]也研究了类似乘性不确定系统的最优设计问题.他们发现,若状态和控制输入的二次调节的权重矩阵满秩,当且仅当MARE有正定解时,所设计的状态反馈控制器能使得系统在均方意义下稳定.最近,Su等[23]运用乘性噪声模型研究了网络化反馈系统的最优设计问题,并给出了广义代数黎卡提方程(MARE)均方镇定解的充分必要条件,并证明了利用该镇定解得到的均方最优状态反馈控制律能保证所得的网络化反馈系统系统均方稳定.

尽管,过去的研究在网络化反馈系统的均方稳定性分析、均方镇定问题以及均方二次最优设计问题中取得了许多重大的进展,但网络化反馈系统的均方最优跟踪问题很少人涉猎.对传统的反馈系统而言,Davidson[24]提出了内模原理,解决了传统反馈系统的渐近跟踪问题;Chen等[25]给出了离散二次跟踪控制问题的最优解.对于网络化反馈系统而言,通讯信道不确定性给反馈系统中的信号带来了新的非完整性和间隙特性,这些特性给反馈系统渐进跟踪设计提出了新的问题[26-27].

本文研究了具有丢包的网络化反馈系统的均方最优渐近跟踪问题,运用乘性噪声模型描述丢包这一信道不确定性.根据网络化反馈系统的特点,本文提出一种保证网络化反馈系统渐近跟踪特性的控制器结构,针对这种结构讨论了网络化系统的均方可镇定性问题和渐近跟踪控制器存在性之间的等价关系.在此基础上,运用随机均方最优控制理论给出了上述渐近跟踪控制器的均方最优设计方法.由于均方最优控制器的设计取决于广义代数黎卡提方程的均方镇定解,为此提出了一种新的求解算法,该算法简化了已有的结果[23].通过仿真例子,本文验证了运用本文提出的最优渐近跟踪设计方法得到的网络化反馈系统的均方稳定性和均方渐近跟踪特性.

本文的结构如下:第2节给出问题描述;第3节提出一种适合网络化反馈系统的渐近跟踪控制器结构,并讨论实现渐近跟踪的条件;第4节将研究渐近跟踪控制器的最优设计;第5节给出仿真例子;最后,总结本文的主要结果.

2 问题描述

渐近跟踪问题是反馈控制系统中的一个经典设计问题.其基本要求有两点:一是设计控制器保证反馈系统的稳定性;二是使得系统的输出能渐近跟踪外部的指令信号.在传统的渐近跟踪问题中,状态反馈控制系统的结构如图1所示,其中外部指令信号通常为阶跃信号.根据内模原理,为了使得系统输出能渐近跟踪阶跃信号,本文需要在反馈系统的前向通道中加入一个积分器,积分器的系数kI为可调参数.由于控制器的输出与被控对象的输入是由信号线直接连接,所以控制器输出信号u和被控对象的输入信号ud相等.当系统达到渐近跟踪时,跟踪误差e=0,控制信号u为常值.这里,可以运用传统的二次最优设计方法设计最优的积分系数kI和状态反馈增益阵K.

图1 传统状态反馈控制系统Fig.1 A traditional state feedback control system

对于网络化控制系统而言,其控制信号u将通过网络传输到被控对象输入端,由于网络中传输信道的不可靠性,控制信号在传输过程中会产生畸变,因此信号u和信号ud可能不相等.传统跟踪控制系统的渐近跟踪特性和稳定性可能因引入网络通讯信道而受到损害.本文将着重研究当通讯信道中存在随机丢包情形下,网络化反馈系统的渐近跟踪问题.如果本文采用如图1中传统渐近跟踪控制器的结构,由于通讯信道存在随机丢包,当信道出现丢包时,被控对象的输入信号ud为0,进而导致控制输出z偏离期望值,使得跟踪误差e ̸=0,从而破坏了系统的渐近跟踪特性.如果丢包情况严重,有可能会影响系统稳定性.

为了更加精确地分析信道随机丢包对渐近跟踪问题产生的影响,本文用序列{α(k),k=0,1,2,··· ,∞}来描述信号传输过程中丢包情形.该序列的第k个元素α(k)表示k时刻的信号u(k)是否传输成功.当α(k)=1时表示被控对象收到了k时刻的控制信号u(k),当α(k)=0表示信号丢失,即

ud(k)=α(k)u(k), k=0,1,2,··· ,∞.

进一步,本文假设序列{α(k),k=0,1,2,··· ,∞}满足下面随机特性:

假设1 信道丢包序列{α(k),k=0,1,2,···,∞}是一个独立同分布的伯努力过程,即i.i.d随机过程.对于所有非负整数k,α(k)=0的概率为p.

由假设1可知序列{α(k),k=0,1,2,··· ,∞}的均值为1−p,即:对任意非负整数k满足

由上式可知,信号ud(k)包含两部分:第1部分是随机序列{α(k), k=0,1,2,··· ,∞}的均值1−p和被传输信号乘积;另一部分是信道不确定性ω(k)和被传输信号的乘积.上述均值1−p可以看成是信道的平均增益;信道不确定性ω(k)=α(k)−(1−p)为信道增益的随机偏差,也可以看成是系统的一个乘性噪声.因为序列{α(k), k=0,1,2,··· ,∞}满足假设1,所以序列{ω(k), k=0,1,2,··· ,∞}也是一个独立同分布过程.其均值为0,方差为(1−p)p,即

其中:x(k)∈Rn为系统状态,ud∈R是控制输入,z∈R是控制输出.本文研究在网络化反馈系统通讯信道存在丢包情形下的控制器设计,以达到下面3个目的:1)闭环系统均方稳定;2)系统控制输出z在均方意义下渐近跟踪参考信号r;3)均方二次性能指标达到最优.下面将给出系统均方稳定性与均方性能指标的定义:

定义1 图1所示的闭环系统,其控制律为K,若其跟踪参考信号r(k)≡0且任意初始状态有界,对于任意时间k,该系统状态的协方差有界且渐近收敛到0,则称该系统为均方稳定.

本文考虑的跟踪参考信号r是幅值为1的单位阶跃信号,即

设计控制器使得闭环系统达到均方稳定则称为是均方镇定问题;若使系统输出跟踪误差的协方差渐近收敛到零则称为均方渐近跟踪问题;若使系统跟踪误差的平均能量达到最小则称为均方最优渐近跟踪问题.本文将着重讨论均方镇定问题、均方渐近跟踪问题和均方最优渐近跟踪问题三者之间的关系,并给出均方最优渐近跟踪问题的控制器设计方法.

3 均方稳定与渐近跟踪

为了应对上一节提到网络信道中丢包现象对反馈系统产生的负面作用,保证系统实现渐近跟踪,本文提出了如图2所示网络化反馈系统的结构.通过在被控对象的输入端加入一个积分器,使得控制信号u的稳态值为零以避免信道丢包对系统渐近跟踪特性的影响,即当系统达到稳态时,控制器K的输出信号u(k)=0,积分器输入端的信号ud(k)=0,通过设计控制器来调整积分器的稳态输出信号以保证系统对阶跃参考信号的渐近跟踪.

图2 丢包信道上的状态反馈控制系统Fig.2 A state feedback system over a channel with packet loss

下面,本文将研究该系统的均方稳定性并利用其均方稳定性来分析该系统的渐近跟踪性质.

在图2所示系统中,积分器的输出为v,对象P和积分器的状态方程表示如下:

本节主要研究如图2所示的闭环系统在跟踪单位阶跃参考信号r(k)时的均方最优渐近跟踪控制问题.把对象和积分器看成一个扩展对象,其状态空间模型如下:

其中xe(0)=0.

图2所示的反馈系统中,控制器K采用参考信号前馈加状态反馈的结构,相应的控制律如下:

为了研究系统达到渐近跟踪时的性质,本文定义如下变量x(k),xI(k),v(k),z(k),ud(k),u(k)的稳态值分别为xss,xI,ss,vss,zss,ud,ss,uss.当控制器输出z(k)渐近跟踪阶跃参考信号时,由式(6)和式(8)可知

另一方面,为了避免在系统达到渐近跟踪后,信道丢包对控制信号传输产生的影响,本文选择K0使得控制器的输出uss=0,即K0=−Kxss−KIxI,ss.

令˜x(k)=x(k)−xss,˜xI(k)=xI(k)−xI,ss,˜v(k)=v(k)−vss,˜z(k)=z(k)−zss和˜u(k)=u(k)−uss.上述变量分别为系统(7)跟踪阶跃信号r(k)过程中,该系统状态、积分器状态、积分器输出和控制器输出的瞬态响应.利用这些变量本文可得到该系统瞬态响应的状态方程如下:

由于u(k)和ud(k)的稳态值均为零,所以闭环系统偏差状态方程中,信道的输入输出依然可用u(k)和ud(k)之间的关系(10)来描述.

偏差状态方程(14)、状态反馈控制器(16)和信道模型(9)-(10)是图2中网络化反馈系统的另一个等价模型.其特点是把原系统模型(7)-(8)中的状态变量xe(k)、控制输出z(k)等用相应的偏差状态˜xe(k)、偏差输出˜z(k)来表示.在新的状态变量表示下,跟踪参考信号r(k)转换为偏差状态方程初始状态˜xe(0)的一个比例系数.当偏差状态的协方差趋向零时,偏差输出方差也趋向零,系统到达均方意义下的渐近跟踪.因此,闭环系统(7)-(10)均方意义下的跟踪问题被转化为系统(14)(16)(9)-(10)的均方镇定问题.

为了研究系统(14)(16)(9)-(10)的均方镇定问题(即:设计状态反馈控制器使得闭环系统达到均方稳定),本文把该系统分解为确定性部分T和乘性噪声部分ω,如图3所示.

图3 具有乘性噪声的线性系统Fig.3 A Linear feedback system with multiplicative noise

其中确定性部分由方程(14)(16)(10)描述(其传递函数与由方程(7)-(8)和方程(10)描述的系统传递函数相同),T为方程中信号d(k)到信号u(k)的传递函数,即

假设系统{Ae,Be}可镇定,记所有镇定确定性系统T的状态反馈控制器组成的集合为¯K ⊂K.则上述网络化反馈系统均方镇定问题的可解性(即:存在状态反馈控制器使得该系统均方稳定)可由均方小增益定理给出:

其中λi,i=1,··· ,m为对象所有不稳定极点.

注意到扩展对象(7)和对象(3)具有相同不稳定极点.由引理1和等式(19)本文可以得到图2所示系统均方渐近跟踪的基本条件.

定理1 若图2所示网络化反馈系统的被控对象P可镇定,则该网络化反馈系统能达到均方渐近跟踪阶跃信号的充要条件为对象P的不稳定极点λi,i=1,··· ,m和信道丢包率p满足下面不等式:

定理1描述了均方渐近跟踪问题中对象特征参数与信道特征参数之间的基本约束,即只有当不等式(20)成立时,才可能找到使得跟踪性能指标函数J达到最小的状态反馈控制律.在下一节,本文将进一步讨论渐近跟踪的最优设计问题.

4 均方最优渐近跟踪设计

在上一节中,本文针对具有丢包现象的网络信道提出了保证网络化反馈系统渐近跟踪阶跃信号的控制器结构(如图2所示).根据这个结构,通过把由对象模型(3)、控制器模型(8)和信道模型(2)组成的原系统模型变换为由偏差状态方程(14)、状态反馈控制器(16)和信道模型(9)-(10)描述的偏差模型,从而把均方渐近跟踪问题转化为均方镇定问题.这一节将根据偏差模型进一步讨论该系统的均方最优渐近跟踪控制问题.

由式(11)和式(13)可知,偏差模型(14)的输出˜z表示为参考信号r与对象(3)输出z之差,即

因此,式(5)中的跟踪性能指标J可表示为偏差状态的二次函数,

因此,原系统的均方最优渐近跟踪问题可以转化成为偏差模型的均方最优调节问题.下面引理给出了偏差模型均方最优调节问题的状态反馈解:

引理2 对于偏差系统(14)(16)(9)-(10),使得性能指标J达到最小的状态反馈控制器为

注1引理2中广义代数黎卡提方程(23)的均方镇定解X指的是:若该方程的解X产生的最优控制器(22)能镇定由(14)(16)(9)-(10)组成的偏差系统,则X称为是该方程的均方镇定解.

正如文献[22]指出的那样,状态反馈控制器(22)不一定能使得偏差系统(14)(16)(9)-(10)达到均方稳定.只有当X为广义代数黎卡提方程(23)的均方镇定解时,状态反馈控制器(22)才能均方镇定该系统.广义代数黎卡提方程(23)具有均方镇定解的充要条件由下面引理给出:

引理3[23]若{ω(k),k=0,1,2,··· ,∞}是均值为零、方差为(1−p)p的独立同分布随机过程,广义代数黎卡提方程(23)存在唯一均方镇定解的充要条件是:

1) 系统

均方可镇定;2){Ae,Ce}在单位圆上没有不能观极点.

上述引理给出广义代数广义黎卡提方程(23)具有均方镇定解的一般条件.对于单输入系统来说,其均方可镇定的充要条件为系统不稳定极点和丢包率p满足不等式(20).进而,本文可得到均方渐近最优跟踪设计的主要结果:

定理2 假设乘性噪声序列{ω(k),k=0,1,2,··· ,∞}满足假设1.对象P和信道丢包率p满足以下条件:

1) 对象P的所有不稳定极点λ1,··· ,λm和丢包率p满足不等式(20);

2){A,B}可镇定;

3){A,C}在单位圆上没有不能观极点;

4) 对象P没有z=1的零点.

则广义代数黎卡提方程(23)存在均方镇定解,状态反馈控制器(22)能均方镇定偏差系统(14)(16)(9)-(10),原系统(7)-(10)能达到最优渐近跟踪单位阶跃信号.此时,跟踪性能指标最小值为

其中xss和xI,ss由式(13)给出.

证 由于假设{A,B}可镇定,即在单位圆外没有不可控极点,所以对于单位圆外的任意λ,矩阵[A−λI B]行满秩.下面将证明在上述假设下,对于单位圆外的任意λ矩阵[Ae−λI Be]行满秩.若对于单位圆外的某个λ,存在一个非零行向量ve满足

根据式(28)可得v0(λ −2)=0.当λ ̸=2时,v0=0.从而得到v[A −λI B]=0,即λ是{A,B}的不能控极点.这与{A,B}可镇定的假设矛盾.另一方面,当λ=2时,由式(28)可得v0=0.因此λ=2是{A,B}的不能控极点,同样与{A,B}可镇定的假设矛盾.综上所述,{Ae,Be}在单位圆外没有不可控极点,即扩展对象是可镇定的.

另一方面,从式(7)和式(3)很容易看出扩展对象(7)和对象(3)具有相同的不稳定极点,因此当对象P的所有不稳定极点λ1,··· ,λm和丢包率p满足于不等式(20)时,扩展对象的不稳定极点也满足该不等式.从而由引理1可知,图2中的闭环系统均方可镇定.由于对

因此,系统(7)-(10)达到均方渐近跟踪.

同时由引理2可知,均方最优状态反馈控制器(22)使得图2所示系统的均方二次指标函数J达到最小.由于扩展偏差系统的初始状态由式(15)给出,将式(15)代入式(24),可得均方二次指标最小值,即式(26)成立.

证毕.

定理2给出了上述系统的均方最优跟踪状态反馈控制器的设计方法,该设计方法的核心问题是求解广义代数黎卡提方程(23)的均方可镇定解,下面将给出该方程均方镇定解的具体求解算法.

为此,重写方程(23)如下:

其中X为广义代数黎卡提方程(31)的解,则矩阵不等式Q(X)≥0成立.根据引理4可知,二次矩阵不等式Q(X)≥0的最大解等于代数黎卡提方程(32)的最大解.因此,本文可以把求解广义代数黎卡提方程(23)均方镇定解问题转化为基于代数黎卡提方程(32)最大解(或不等式Q(X)≥0最大解)的寻优问题,即下面定理成立:

定理3 若信道不确定性模型(9)中的乘性噪声ω满足假设1,对象P满足定理2中的假设1-4.广义代数黎卡提方程(23)的均方镇定解可由下面线搜索方法求得

证 考虑扩展黎卡提方程(23).对任意满足以下不等式的γ

由引理4可知,线性矩阵不等式(40)的最大解为代数黎卡提方程(32)的最大解.由于代数黎卡提方程(32)的最大解随γ减小而减小,当γ取最小时,不等式(36)等号成立.相应的矩阵X+是广义代数黎卡提方程(23)的均方镇定解.证毕.

下面给出定理3的算法流程图,见图4.

图4 MARE的均方镇定解求解算法流程图Fig.4 The algorithm flow chart of mean-square stabilization solution

上面算法中γ2搜索区间[a,b]初始化的原则如下:当γ2=a时,线性矩阵不等式(37)的最大解不满足不等式(36).a=0是一个简单的选择.另一方面,当γ2=b时,线性矩阵不等式(37)的最大解满足不等式(36).由于广义代数黎卡提方程(23)存在均方镇定解,当γ足够大时,这一条件一定可以满足.

5 仿真算例

系统(42)的采样周期为0.01 s.在仿真中,仿真步长为200 次.图4 给出了对丢包率p分别为0.01,0.02,0.03,0.04,0.05,0.06时,系统跟踪误差˜z(k)的曲线.

图5 系统在不同丢包率下的跟踪误差曲线Fig.5 Tracking error curve of the system under different packet loss rates

可以看出,丢包率取不同值时,系统跟踪误差˜z(k)都能收敛到0,但是随着丢包率变大,跟踪误差收敛的速度变慢,同时响应曲线中出现了由于丢包产生的跟踪误差“毛刺”.

进一步,本文运用蒙特卡洛方法,本文对丢包率p分别为0.01,0.02,0.03,0.04,0.05,0.06的情况进行了100000次仿真.因此表1给出了不同丢包率下系统跟踪误差平均能量J的仿真计算结果.

表1 不同丢包率下的跟踪误差平均能量Table 1 The tracking costs under different packet loss rates

从表1中可以看出,随着丢包率的增大,系统跟踪误差的平均能量在不断增加.

为了更直观地分析不同丢包率下的跟踪误差平均能量,图6给出了系统跟踪误差的平均能量与丢包率的关系.图中实线给出了系统跟踪误差平均能量的理论值,即由定理2中的式(26).表1中由运用蒙特卡洛方法得到的不同丢包率下系统跟踪误差平均能量在图6中以∗表示.图中实线给出的系统跟踪误差平均能量的理论值和不同丢包率下的仿真值基本一致.

图6 不同丢包率下跟踪误差的平均能量Fig.6 Tracking costs with different packet loss rates

6 结论

本文研究了网络化反馈系统中控制信号在传输过程存在随机丢包情形下的均方最优渐近跟踪问题.为了有效地分析信道随机丢包对渐近跟踪问题产生的影响,运用乘性噪声模型来描述信道丢包产生的不确定性.为了保证系统实现渐近跟踪,提出了一种网络化反馈系统的结构.在该结构下,讨论了系统均方可镇定性、均方渐近跟踪问题以及均方最优渐近跟踪问题三者之间的关系和等价性.在此基础上,给出系统均方最优渐近跟踪方案,即通过求解广义代数黎卡提

方程(MARE)的均方镇定解来实现.同时给出了该系统均方镇定的充分必要条件以及求解广义代数黎卡提方程均方镇定解的新算法.最后的仿真例子说明对于信道具有随机丢包的网络化反馈系统,本文所提网络化反馈系统渐近跟踪结构以及均方最优渐近跟踪方案的有效性.

附录