带有终端约束的线性二次最优控制问题①

常绍敏， 丁翊珊， 邱洁， 王燕青

西南大学 数学与统计学院， 重庆 400715

经过半个多世纪的发展， 线性二次最优控制问题(LQ问题)被广泛研究[1-2]． 但是， 已有的结果大多是系统的状态和控制都不带有任何约束， 同时现有的算法的收敛速度也鲜有涉及． 近期， 文献[3]考虑了带终端约束的随机系统的LQ问题， 研究了该问题的可解性问题． 本文是在文献[3-4]的基础上研究一类带有终端约束的确定系统的LQ问题， 并给出了数值计算方法， 最后通过具体例子验证了数值方法的有效性．

1 预备知识

本文考虑以下状态方程：

(1)

性能指标为

其中：T>0，A∈Rn×n，B∈Rn×m，Q∈Rn×n，R∈Rm×m．

经典的LQ问题为： 对于受控系统(1)， 在平方可积的控制函数空间中， 寻找最优控制， 极小化二次性能指标J(·)． 但在实际问题中， 控制函数通常带有一定的约束． 本文中考虑使得系统状态达到特定目标的控制集， 即状态带有终端约束的LQ问题． 对于状态的预期目标xT∈Rn， 定义控制函数类

U∶= {u(·)∈L2(0，T； Rm)|x(T；x0，u(·))=xT}

带终端约束的LQ问题(简记为CLQ问题)描述如下：

对于给定的x0，xT∈Rn， 寻找控制u*(·)∈U， 使得

(2)

如果满足(2)式的u*(·)存在， 则其被称为CLQ问题的最优控制， 相应的状态x*(·)∶=x(·；x0，u*(·))被称为最优状态， (x*(·)，u*(·))被称为最优对． 上述问题称为带有终端约束的线性二次最优控制问题(简称为CLQ问题)．

为了保证控制集U的非空性和CLQ问题的可解性， 我们在本工作中作如下假设：

(A) 系统(1)在区间[0，T]上精确能控， 即Rank(B，AB， …，An-1B)=n；Q为半正定矩阵，R为正定矩阵．

引理1系统(1)在[0，T]上精确能控的充要条件为系统(1)的Gram矩阵Ψ(0，T)可逆， 其中

Φ(·)满足

2 主要定理

采用拉格朗日乘子法， 我们首先将CLQ问题转化为无约束的LQ问题． 引入拉格朗日泛函：

Jλ(u(·))=J(u(·))+2〈λ，x(T)〉

其中x(T)： =x(T；x0，u(·))为系统(1)的状态在t=T处的值． 对于给定的λ， 无约束的LQ问题即(LQ)λ问题为：

利用引理2， 求解CLQ问题的最优控制， 就可以转化为求解如下两个子问题：

(1) (LQ)λ问题的最优控制问题；

对于(LQ)λ问题的可解性， 有如下定理．

(4)

证(LQ)λ问题唯一可解性可以用文献[1]第七章定理2.1的方法得到． 现在证明定理的剩余部分．

我们记

由ε的任意性， 可得

(5)

另一方面， 由方程组(4)容易得到

两边积分， 从而

(6)

由(5)式和(6)式可得

又由u(·)的任意性， 得到

定理1给出了最优控制的开环表示， 而在应用中， 人们更希望给出闭环表示， 即状态反馈形式． 接下来， 我们就研究CLQ问题的闭环表示． 我们引入Riccati方程：

(7)

和两个常微分方程(简称ODE)：

(8)

(9)

关于方程(7)，(8)，(9)的适定性， 读者可以参考文献[1，5]．

其中φ(·)，yλ(·)分别是方程(8)，(9)的解．

证设x(·)是如下ODE的解

(10)

(11)

利用方程(7)-(9)， 我们可以得到

下面引入辅助系统

(12)

引理4系统(12)在[0，T]上精确能控的充要条件是系统(1)在[0，T]上精确能控．

通过引入

引理5P(T)是正定矩阵．

进一步对两边在[0，T]上积分， 有

从而

现在我们可以综合前面的结果， 得到CLQ问题的可解性．

3 最优控制的计算方法

根据定理3， 可以得到CLQ问题的基于状态反馈的最优对的计算方法． 具体计算步骤如下：

1) 选取最优参数λ*．

①解得Riccati方程(7)和ODE(8)的解P(·)，φ(·)．

②求解最优参数λ*=P-1(T)(φ(T)-xT)．

2) 解得最优参数λ*所对应ODE(9)的解yλ*(·)．

现在， 我们通过一个具体的例子， 利用上述计算方法， 得到CLQ问题的最优对．

解： 将条件数据代入Riccati方程(7)得其精确解为

由ODE(8)解得

φ(t)=0

进而可以计算最优参数：

再由ODE(9)解得

最后可以计算最优对为

由例1可知， 即便对于1维系统， 要求解CLQ问题仍然十分复杂， 这就促使我们研究上述计算方法的数值算法． 接下来我们上述的计算方法给出数值计算的版本， 首先将时间区间[0，T]均分为N份， 即有

0=t0

CLQ问题数值算法：

Λ=diag{μ1，μ2， …，μm0， 0， …， 0}，μi>0，i=1，2，…，m0

定义

2) 选取最优参数λ*的近似值λ．

①求解Riccati方程(7)如下：

采用Euler方法求解ODE(8)， 得到其数值解φi，i=0，1，…，N．

②求解近似最优参数λ

3) 利用Euler方法求解近似最优参数λ所对应ODE(9)， 得到其数值解yi，i=0，1，…，N．

4) 求解近似最优对(xi，ui)，i=0，1，…，N：

xi=Piyi+φi，ui=R-1BTyi

取N=25， 用数值算法得到例1的数值解， 和精确解的比较见图1．

图1 精确解与离散方程解的对比

图2 Riccati方程与最优对离散化计算方法的收敛性

4 结论

本文利用参数选择的方法对带有终端约束的LQ问题给出了可解性的理论结果， 同时基于最优控制的闭环表示给出了计算最优对的数值算法． 与基于开环表示的确定/随机系统的LQ问题算法相比， 本文算法的优势在于： 避免了条件数学期望的计算， 避免使用梯度下降法等算法[6-10]， 从而大大减少了计算量．