马尔可夫链的平稳分布的教学设计

宋月 冯海林

摘 要 马尔可夫链是一类十分重要的随机过程，是专业型硕士课程随机过程的重要内容。但是学生对其的应用知之甚少，本文主要探讨专业型硕士课程马尔可夫链平稳分布及其应用的教学设计，提高学生解决实际问题的能力。

关键词 马尔可夫链 平稳分布

中图分类号：G420文献标识码：A

马尔可夫链是《随机过程》中的重要内容，它是马尔可夫在1906年提出的满足一定条件即无记忆性的随机变量序列，前苏联的数学家辛钦对这种模型给出了高度的评价，认为该模型有很现实的哲学意义。而马尔可夫链的平稳分布又是马尔可夫链的精华所在，几乎马尔可夫链这一章的所有内容：马尔可夫链的转移概率、状态分类以及极限理论都是为平稳分布做准备的。平稳分布的概念学生不难理解，也能够判断马尔可夫链的平稳分布的存在性以及求出相应的平稳分布，但是对平稳分布的应用了解甚少，因而更谈不上应用马尔可夫链这个工具来解决实际问题了。本文主要探讨专业型硕士课程马尔可夫链平稳分布及其应用的教学设计，提高学生解决实际问题的能力。

2平稳分布的应用

例2：（在管理中的应用）假设现在有一个钢琴商店，在销售某款钢琴时采用如下的库存策略：当一天结束时，如果存货降到或者更少，就要订购足够的产品使得存货的数量回到。为了简单起见，假定补充的货物发生在第二天的开始。用表示第天结束时商店的存货量，为第天的需求量。由库存策略知道，如果，则不需要订货，第二天的存货量以架的钢琴开始销售，如果需求量，则当天结束时;如果需求量，则当天结束时。如果，则第二天的存货量以架的钢琴开始，对可以类似分析。假定采用，的库存控制策略，况且需求量的分布列为

是不是马尔科夫链，其一步转移概率矩阵是多少？

由问题显然可知是齐次马尔科夫链，它的一步转移概率矩阵为

另外，如果，假设每一架钢琴，当它被售出时可以获得1200元的利润，否则每天需花费200元的存贮费用，那么长期来看，这种库存策略平均每天的利润是多少？为了获得最大利润，应该如何选择s？

当，s的选择只有2，1，0三种情况，分别计算就可以获得最佳的s。假设采用2，3库存策略，即当库存小于等于2架钢琴时补货，使得第二天开始时有三架钢琴的库存。在这种情况下总是以3架钢琴开始一天的销售，此时转移概率矩阵每行都相等，为

这三种策略中1，3策略时最优的。

引导学生思考：如果S和s均未知，可以思考如何确定最优的库存策略呢？

进一步指出：利用马尔可夫模型也可以建立市场占有率和期望利润的预测模型;马尔可夫模型可以应用到预测单支股票的收益、整个证券市场的股指、证券组合的综合价格与预期收益;汇率预测和期权定价方面，马尔可夫链也大有作为。

马尔可夫链在医学卫生领域的应用起步较晚，但在近些年取得了较大的进展。运用马尔可夫模型可以预测疾病的发病规律;利用马尔可夫链模型，在逐年分析以往疫情的历史资料的基础上，可以预测今后五年的疫情发生情况;马尔可夫理论还可以在药品生产、炭疽病、黑热病发病趋势预测上得到有效的应用。

例3：（在医学方面的应用）统计了某市1980年至1995年肾综合征出血热（HFRS）的发病率分别为（单位：1/10万）：2.95、6.28、10.28、7.01、7.36、13.78、33.93、35.87、33.40、28.38、30.50、33.79、39.70、30.39、39.70、33.59.尝试用马尔可夫链模型对疾病发病情况随时间序列的变化规律进行分析和研究，预测疾病的发展变化趋势，为预防和控制疾病提供依据。

首先根據资料将发病率划分为四个状态，统计各数据的状态归属及各状态出现的频率（初始概率），得表1和表2。

由表1可得各状态的转移频率即状态转移概率的估计值，从而得模型的一步转移概率矩阵：

可以做假设：（1）HFRS下一年的发病率只与当年发病率有关，而与过去的发病率无关;（2）任意时期的一步转移概率矩阵不变，此时马尔科夫链具有平稳分布，因而可用初始分布（4/16，2/16，1/16，9/16），可以用转移概率矩阵为P的马氏链模型来预测HFRS发病率未来的情况。

解方程，，得模型的极限概率分布（稳态分布）：（0，0，1/9，8/9）。

分析预测：由于95年处于状态4，比较转移概率矩阵的第4行的四个数字知最大，所以预测96年仍处于状态4，即发病率大于30/10万。同样，从二、三、四步转移矩阵知，依然是状态4转入状态4的概率最大，所以预测1996年至1999年该市的HFRS发病率将持续在大于30/10万（高发区）水平，这提醒我们应该对此高度重视，采取相应对策。从平稳分布可知，长期来看HRFS发病率将保持在高发区水平，这应该是不符合实际情况的。究其原因，主要是随着各方面采取的控制措施，转移概率矩阵保持不变是不太可能的。因此本例用马尔科夫链作的分析只适合于短期的情况。

马尔可夫链模型还可以在人力资源管理中分析企业内部人力资源的流动趋势和概率，如升迁、转职、调配或离职等方面的情况，以便为内部的人力资源的调配提供依据。当然能使用马尔可夫链进行分析的一个前提是：过去的内部人事变动的模式和概率与未来的趋势大体相一致。

例4：（人力资源管理中的应用）现有某四星级饭店2009-2013年各层员工流动数据如表3所示：

2014年年初该四星级饭店总监、经理、主管、领班、基层人数分别为4、9、24、36、167人。我们关心的是该饭店未来1到5年人员结构状态的变动情况。

由表3可知，可以认为饭店在2009-2013年内部人事变动的模式和概率大体是一致的，假定未来五年的人员变动模式和前几年一致。此时可以用马尔科夫链来描述饭店人员变动的状况，表3的数据就可以作为马尔科夫链的转移概率矩阵。若用表示2004年的饭店人员年龄结构，则2015年各阶层人数为

也就是经过1年，在2014年年末饭店的总监、经理、主管、领班、基层人数分别为4、10、23、50、92人，流失员工61人。饭店为了保持在籍员工总数不变，故本年度应该新招聘61名基层员工，若用表示员工流失和招聘情况，则，因此2014年末（2015年年初）员工结构为。类似可获得未来几年初饭店员工结构和当年员工流失以及招聘情况：

从计算结果可以看出，总监级别的人数在未来几年内保持不变，说明经理级别的员工上升到总监级别是非常不容易的，因此现任总监因故离岗或不能继续担任本职工作时，人力资源管理者需要立即采取措施应对。人力资源部门平时应注意挖掘和发现具有总监潜力的员工并注意对其的培养。能够胜任经理级别和主管级别的 员工人数每年都有所增加，因此人力资源管理部门在做人力资源规划时，对于这两类级别的员工缺乏时可以采取内部招聘的方式。能够胜任领班级别的员工人数增幅较大，人力资源部门应加大对领班界别的考核力度。基层员工流失率较高，这种情况不利于饭店的稳定，因此必须采取措施，给予员工优厚的福利待遇和良好的工作环境以及必要的培训机会。

从这些例子中可以看出，应用平稳分布可以获得感兴趣的指标并做出相应的决策;还可以利用马尔可夫链的平稳分布做预测，尽管背景千差万别，但方法基本相似，具体说来可以分成以下四步：（1）结合实际问题划分系统状态;（2）通过数据以及以往的数据资料确定状态之间的转移概率;（3）求系统的平稳分布;（4）应用平稳分布计算感兴趣的指标从而做出相应的决策，或者应用平稳分布进行预测。实际应用的难度在于系统状态的划分和转移概率的确定，这两步也决定了预测的精度如何，因此为了获得较高精度的预测，需要针对实际问题详细分析。

最后指出马尔科夫链可以预测的领域：经济、金融、管理销售、教育、体育、气象水文、病虫害、生物、卫生医药、网页搜索、通信、控制等。要预测得精准，马尔可夫链经常与其他各种方法相结合，引导学生看相关文献并写出自己的马尔科夫链的应用论文。

参考文献

[1] 李洪杰等.龙泉市肾综合征出血热发病趋势的预测[J].浙江预防医学，1997（02）.

[2] 孙国霞.马尔科夫模型在星级饭店人力资源供给预测中的应用[J].北京第二外国语学院学报，2015（07）.