基于乘性噪声的随机线性二次型最优控制

摘 要： 本文研究了基于乘性噪声的随机线性二次型最优控制。由于参数的不确定性，此类问题很难求得解析的最优控制策略。然而，利用动态规划方法，此类问题的解析解被成功地求解。得到的最优控制策略是一个线性状态反馈策略，其系数可以通过一个扩展黎卡提方程离线计算求得。

关键词： 随机线性二次型；动态规划；乘性噪声

基金项目：基金项目1全称（基金项目号）；

0 引言

本文致力于研究基于乘性噪声的随机线性二次型最优控制（Linear-Quadratic，简称LQ）。近年来，由于线性二次型最优控制问题具有非常广泛的应用，此类问题吸引了国内外学者大量的研究，例如，金融衍生品定价，人口模型，动态投资组合管理。

Kalman[1]最先提出了经典的确定性线性二次型最优控制问题。此后，Wonham[2] 和Bismut[3] 分别将此类问题扩展到确定性参数的和随机性参数的随机线性二次型最优控制问题。从此，关于确定性和随机性的LQ最优控制问题被大量的研究，特别是由Chen等人[4] 提出来的所谓的不定随机LQ控制，其关于控制量和状态量的惩罚矩阵是不定的，此类问题在某些特定条件下仍然是适定的，引起广大学者的研究兴趣[5][6]。

目前研究随机LQ最优控制问题的文献中，其不同阶段的参数是被假设为独立的，但是实际应用中，不同阶段的系统参数可能是相关的。Costa等[5] 研究了参数是带Markov跳跃的随机LQ控制问题并得到了最优控制策略和最优目标值的解析表达式。Chen等[7] 提出了一类参数服从Markov链的随机LQ最优控制问题，并提出有效算法以求得此类问题的最优控制。在实际应用中，不同阶段参数相关性具有多样性的特点，例如，Markov链、二叉树模型、布朗运动及其它时间序列模型。这要求研究者能提出对大部分时间序列模型都能适用的随机LQ控制模型，并寻找有效的理论和算法得到此类问题最优控制策略的解析解或数值解。然而，此类随机LQ控制模型一直还未能得到突破。

本文的主要贡献在于以下：基于不同阶段参数相关性具有多样性的特点，提出了一类基于乘性噪声的随机线性二次型最优控制问题，其参数具有一般相关性且适用大部分的随机过程。利用著名的动态规划求得此类问题的最优控制策略和最优目标值的解析表达式。

1 建立模型

本文中，考虑如下的离散时间随机线性动态系统：

为了对问题P（LQ）进行求解，我们需要以下假设。

2模型求解

本节中，我们应用动态规划的方法来求解问题P（LQ）。

定理1 问题（LQ）在t时刻的最优控制策略是一个线性状态反馈策略，

其中，Lt被定义为Lt，对于t=0，1，...，T-1，

而且，问题P（LQ）的最优目标值为

其中，Kt被定义为，对于t=0，1，...，T-1，

最后，根据假设1，我们可以得到最优控制策略如公式（1.3）。而且，我们还可以得到t时刻的值函数为公式（1.5）。

结束语

本文研究了基于乘性噪声的随机线性二次型最优控制问题。与现有的文献相比，本文中的参数是序列相关的，造成了此类问题很难求得相应的解析解。然而，利用动态规划方法，此类问题的解析解被成功地求解。得到的最优控制策略是一个线性状态反馈策略。

参考文献

[1] R. E. Kalman. Contribution to the theory of optimal control [J]. Bol. Soc. Mat. Mexicana， 1960， 5（63） ： 102-119.

[2] W. M. Wonham. On a matrix riccati equation of stochastic control [J]. SIAM J. Control， 1969， 6（4）： 681-697.

[3] J. M. Bismut. Linear quadratic optimal stochastic control with random coefficients[J]. SIAM J. Control Optim， 1976， 14（3）： 419-444.

[4] S. P. Chen， X. J. Li， and X. Y. Zhou. Stochastic linear quadratic regulators with indefinite control weight costs. SIAM J. Control Optim.， 1998， 36（5）： 1685-1702.

[5] O. L. V. Costa and W. L. Paulo. Indefinite quadratic with linear cost optimal control of markovian jump with multiplicative noise systems. Automatica， 2007， 43（4）： 587-597.

[6] D. D. Yao， S. Z. Zhang， and X. Y. Zhou. Stochastic linear quadratic control via semidefinite programming. SIAM J. Control Optim.， 2001， 40（3）： 801-823.

[7] N. Y. Chen， S. Kou， and C. Wang. A partitioning algorithm for markov decision processes with applications to market microstructure[J]. Management Science， 2017.

[8] J. A. Primbs and C. H. Sung. Stochastic receding horizon control of constrained linear systems with state and control multiplicative noise[J]. IEEE Transactions on Automatic Control， 2009， 54（2）： 221-230.

[9] O. L. V. Costa and M. V. Araujo. A generalized multi-period mean-variance portfolio with markov switching parameters[J]. Automatica， 2008， 44： 2487-2497.

作者簡介： 庞珊 （1989-），女（汉族），陕西西安人，助教，硕士，主要研究方向为优化理论，随机最优控制在金融与刑事科学中的应用.