两种马尔可夫链状态转移概率矩阵的估计与比较

陈 雯，吕王勇，2，李思奇，代 娟，邓 柙

(1.四川师范大学 数学科学学院， 成都 610068； 2.可视化计算与虚拟现实四川省重点实验室， 成都 610068)

马尔可夫链模型是以俄国数学家A.A.Markov命名的一种动态随机模型，通过分析随机变量现实的运动情况来预见这些变量未来的运动情况[1]。目前，马尔可夫链模型在自然科学、工程技术、社会科学、经济研究等领域有着广泛的应用[2-5]。马尔可夫模型通过研究系统对象不同状态的初始概率和状态之间的转移概率来进行预测，因此，状态转移概率的确定称为马尔可夫模型预测的关键。对于马尔可夫链的转移概率矩阵，张二艳等[6]提出了用应用统计方法进行估计；李成燮[7]和李永立[8]分别利用线性方程组和非线性优化法进行估计；文士发等[9]通过构造优化模型并将其转化为线性规划模型来进行估计；聂笃忠等[10]介绍了一种迭代求解方法来确定状态概率转移矩阵；唐小我等[11]在最小二乘指标下导出了马尔科夫链状态转移概率矩阵的估计公式；Yue Dequan等[12]通过迭代公式得到转移概率矩阵的显式解析表达式；贺思辉[13]等以加权平均的方式计算经验转移概率矩阵。

在马尔可夫链预测方法中，重要的是确定状态转移概率矩阵。通过验证马尔可夫链任意等间隔子序列也是马尔可夫链，提出了2种间隔为k的转移概率矩阵的估计方法：第1种方法是利用间隔为1的一步转移概率矩阵和C-K方程计算间隔为k的转移概率矩阵；第2种方法是通过频率代替概率来得到间隔为k的转移概率矩阵。在现有文献中对转移概率矩阵估计的比较大多都是通过预测精度来实现，而忽略了对转移概率矩阵自身的比较。针对这一问题，提出用偏差和均方误差来比较转移概率矩阵的估计，并利用计算机进行仿真实验。

1 马尔可夫链任意等间隔子序列也是马尔可夫链

设随机序列{Xn，n=0，1，2，…}可能取值为E={1，2，…，m}，初始分布为q=(q1，q2，…，qm)，且序列满足马尔可夫性，即对任意的正整数n，i0，i1，…，in-1，i，j∈E有

P(Xn+1=j|Xn=i，Xn-1=in-1，…，X1=i1，

X0=i0)=P(Xn+1=j|Xn=i)=pij

故认为序列{Xn，n=0，1，2，…}是齐次马尔可夫链，pij是从状态i到状态j的一步转移概率，则其一步转移概率矩阵为

序列的l步转移概率为

则其l步转移概率矩阵为

由C-K方程可知

P(l)=Pl

对上述序列{Xn，n=0，1，2，…}进行间隔为k的采样，得到子序列{X0，Xk，X2k，…，XNk，…}，其可能取值仍为E={1，2，…，m}。对任意的正整数n，间隔为k的子序列的一步转移概率pkij为

pkij=P{X(n+1)k=j|Xnk=i，X(n-1)k=jn-1，…，

Xk=j1，X0=j0}=

P{X(n+1)k=j|Xnk=i}

(1)

则子序列满足马尔可夫性，其一步转移概率矩阵Pk为

(2)

由上述分析可知，原序列间隔为k的子序列满足马尔可夫性，且其一步转移概率就是原序列的k步转移概率，其一步转移概率矩阵就是原序列的k步转移概率矩阵。综上，齐次马尔可夫链的任意等间隔子序列也是齐次马尔可夫链。

2 转移概率矩阵的估计

齐次马尔可夫链通常用于预测，因此确定齐次马尔可夫链的关键是要确定其转移概率矩阵。设有一个长度为N的样本序列{xn，n=1，2，…，N}，其为马氏链{Xn，n=0，1，2，…}的一次观测。介绍2种估计间隔为k的齐次马尔可夫链{Xn，n=0，1，2，…}转移概率矩阵的方法。第1种方法是利用间隔为1的一步转移概率矩阵和C-K方程计算间隔为k的转移概率矩阵；第2种方法是通过频率代替概率得到间隔为k的转移概率矩阵。

1) 方法1：基于C-K方程计算转移概率矩阵

用f1ij表示样本序列x1，x2，…，xN中间隔为1的从状态i到状态j的频数，i，j∈E，从而得到间隔为1的一步转移频数矩阵

由式(2)和C-K方程可知

2) 方法2：基于转移频率计算转移概率矩阵

对子序列{x0，xk，x2k，…，x⎣N/k」k}，用fkij表示子序列中从状态i转移到达状态j的频数，i，j∈E，从而得到间隔为k的转移频数矩阵

则间隔为k的转移概率矩阵的估计为

3 转移概率矩阵估计优劣的比较

采用偏差(Bias)和均方误差(MSE)作为评价指标[14]比较以上2种方法的优劣。由于2种方法的比较指标计算方法相同，下面以方法1为例。

偏差(Bias)为

均方误差(MSE)为

估计的偏差和均方误差都是一个矩阵，利用矩阵的最大值、最小值和极差来比较上述两个指标。在方法1中，偏差的比较指标为偏差最大值(Α.B.Maxk)、偏差最小值(Α.B.Mink)、偏差极差(Α.B.Rangek)，其中k表示间隔，且

同理，均方误差的比较指标为均方误差最大值(Α.M.Maxk)、均方误差最小值(Α.M.Mink)、均方误差极差(Α.M.Rangek)。

4 转移概率矩阵估计的仿真

设齐次马尔可夫链{Xn}的初始分布为

其一步转移概率矩阵为

则齐次马尔可夫链间隔为k的真实转移概率矩阵可以通过其一步转移概率矩阵和C-K方程得到

和

均方误差为

1) 偏差的比较。偏差的比较指标有最大值(B.Maxk)、最小值(B.Mink)、极差(B.Rangek)，k表示间隔，则有

通过表1可知：方法1的偏差的最大值和极差相对更小；方法2的偏差的最小值相对更小。因此，以偏差为评判标准时，方法1优于方法2。

表1 转移概率矩阵偏差

2) 均方误差的比较。均方误差的比较指标有最大值(M.Maxk)、最小值(M.Mink)、极差(M.Rangek)，k表示间隔，通过表2可知：方法1的均方误差的最大值、最小值、极差都相对更小。

表2 转移概率矩阵均方误差

根据图1可知：随着间隔k的增大，方法1的均方误差最大值先下降再趋于平稳，方法2的均方误差最大值先上升后下降再小幅度的上下起伏；方法1的均方误差最大值的折线图远远低于方法2，说明当k≥2时，方法1的均方误差最大值远远小于方法2的均方误差最大值。根据图2可知：随着间隔k的增大方法1的均方误差最小值先上升再趋于平稳，方法2的均方误差最小值先上升再小幅度的上下起伏；方法1的均方误差最小值的折线图远远低于方法2，说明当k≥2时，方法1的均方误差最小值远远小于方法2的均方误差最小值。

图1 MSE最大值折线图 图2 MSE最小值折线图

根据图3可知：随着间隔k的增大，方法1的均方误差极值先下降再趋于平稳，方法2的均方误差极值上升后下降再小幅度的上下起伏；方法1的均方误差极值的折线图远低于方法2，说明当k≥2时，方法1的均方误差极值远小于方法2的均方误差极值。因此，以均方误差为评判标准时，方法1优于方法2。

图3 MSE极值折线图

综上，将偏差和均方误差这2个评价指标结合起来，估计间隔为k(k=2，3，4，5，6，7，8)的转移概率矩阵时方法1优于方法2。且多次任意改变初始分布和一步转移概率矩阵进行仿真，所得结果都验证了上述结论的正确性。故在估计齐次马尔可夫链的间隔为k的转移概率矩阵时应当选择第1种方法，即利用间隔为1的一步转移概率矩阵和C-K方程计算间隔为k的转移概率矩阵。

5 结论

对齐次有限马尔可夫过程的转移概率矩阵进行估计，首先证明了马尔可夫链任意等间隔的子序列仍是马尔可夫链，提出了2种估计齐次有限马尔可夫过程的间隔为k的转移概率矩阵的方法，通过仿真利用偏差和均方误差对2种估计方法进行比较。结果表明第1种估计方法，即利用间隔为1的一步转移概率矩阵和C-K方程计算间隔为k的转移概率矩阵相对较好。