基于马尔科夫过程理论的风电机组检修策略*

李娇娇 ,方瑞明 ，梁 颖 ，洪 欣

(1.华侨大学 信息科学与工程学院，福建 厦门 361021；2.厦门市电业局，福建 厦门 361004）

风能作为一种蕴藏量巨大且无污染的可再生能源，越来越受到世界各国的关注。风力发电产业迅速发展，特别是近几年来，风电总装机容量大幅增加。随着风力发电行业的快速增长，高故障率和高维护成本制约着风电产业的发展,因此有必要对风电机组的检修策略进行研究。目前风电场主要采取定期检修方式，这种检修方式按照固定的周期对设备进行检修，没有考虑到设备实际的运行状况，容易造成因检修不足而导致重大故障的发生或因检修过度而导致检修费用过高等后果。因此研究新的检修策略来合理地维护风电机组成为行业研究热点。

风电机组的状态转移是一个随机过程。大多数工程现象都可以用随机过程来描述。1906年，俄国数学家MARKOV A A最早提出并研究了一种能用数学分析方法研究自然过程的一般图式——马尔科夫链，同时开创了对一种无后效性的随机过程——马尔科夫过程的研究。

马尔科夫过程描述了一种系统的变化情况与以前系统所处的状态无关的随机过程，是对风电机组运行状态建模的有力工具。目前已有一些国内外学者将马尔科夫过程理论应用在风力发电机的检修中，研究主要集中在：基于马尔科夫过程建立可靠性模型和基于马尔科夫链建立老化模型。本文主要从这两个方面对马尔科夫过程理论在风力发电机组检修策略中的应用现状进行介绍和评述，并提出了在今后研究该问题时值得关注的方向。

1 马尔科夫过程及相关理论

1.1 马尔科夫过程和马尔科夫链

已知时刻t系统所处的状态，在时刻以后，系统的变化情况与以前系统所处的状态无关的随机过程称为马尔科夫过程。时间和状态都是离散的马尔科夫过程,称为马尔科夫链[1]。

1.2 马尔科夫决策过程

马尔科夫决策过程MDP(Markov Decision Process)是指决策者周期或连续地观察具有马尔科夫性的随机动态系统，序贯地作出决策。即根据每个时刻观察到的状态，从可用的行动集合中选用一个行动作出决策，系统下一步随机地转移到一个新的状态，相应给予决策者一个报酬。决策者根据新观察到的状态作新的决策，依此反复地进行[2]。风力发电机组检修的目标是成本最优，那么利用MDP就是要求出成本最小的策略。但是考虑到风力发电机的各个老化状态的停留时间服从一定分布，符合半马尔科夫决策过程的要求，采用半马尔科夫决策过程SMDP(Semi-Markov Decision Process)优化维修策略更加合理。

部分可观察马尔科夫过程POMDP(Partially Observable Markov Decision Processes)指决策者不能直接观察到状态，但能利用随机环境中部分观察到的信息进行决策[3]。风力发电机组部件的状态可以通过状态监测的传感器所发出的信号来评估。描述此信号传达的信息，就是指定一个关于实际状态的概率向量代表对相应的真实状态的一个信念，POMDP问题就可以转化为基于信念状态空间的马尔科夫链来求解。

2 基于马尔科夫过程建立风电机组的可靠性模型

可靠性模型的建立通常是为了对所研究的系统的可靠性进行量化评估，制定适当的维修策略以获得较高的可用率。各部件之间的状态转移过程满足马尔科夫过程的基本假设，因此可以基于马尔科夫过程建立可靠性模型。马尔科夫过程已经应用在电力系统领域中的一些可靠性研究中[4-7]，下面介绍其用于风力发电机组相关系统的可靠性建模的方法。

[8]对风力发电机组的电气系统进行拆分，分别建立了感应发电机、转换器、碳刷和滑环各子系统的可靠性模型。通过某子系统下的各组件的故障率和修复率，利用频率平衡法计算出该子系统的故障率和修复率，从而建立了基于马尔科夫过程的风力发电机组电气系统的可靠性模型。

参考文献[9]基于参考文献[8]中可靠性建模的方法，以双馈风力发电机为例，根据风力发电机组各子系统之间的功能关系将其拆分为几个模块，假设子系统下的各个部件只有正常和故障两种状态，运用马尔科夫过程数学模型和可靠性理论建立风力发电机组的可靠性模型，在此基础上构造风电机组老化和随机故障后全面修复的维修模型，从而制定风电机组可靠性最优时的维修策略。

参考文献[8-9]都是对可修复系统基于马尔科夫过程建立可靠性模型，在建模的过程中都假设了系统零部件只有运行和故障两种状态，如图1所示。而风力发电行业起步较晚，故障数据来源较少，可靠性数据随机性较大，因此，在实际应用中存在不足。

图1 单部件两种状态模型

参考文献[10]基于状态监测系统可以推断出部件处于一种运行与故障中间的退化状态，提出了一个新型的部件可靠性模型，图2所示为带有中间状态的多部件模型。这种考虑了中间状态的可靠性模型避免了只将部件分为运行与故障两种绝对状态的弊端，为可靠性建模提供了新的思路。

3 基于马尔科夫链建立老化模型

将风力发电机的老化过程视为符合马尔科夫过程的离散的老化状态，建立其多阶段老化模型。根据具体老化模型，采取合适的马尔科夫决策过程，可以达到优化检修成本的目的。

参考文献[11]提出了基于马尔科夫链的多阶段老化模型，并考虑了服从泊松分布的随机故障，提出了半马尔科夫过程的优化检修方法。如图3所示，F0为该随机故障，λ0为其转移率，λ为两个老化阶段间的转移率。通过确定设备老化过程中的维修动作和检测时间间隔，获得最小运行维护成本。最后将该方法应用到风电机组齿轮箱的优化检修中，说明此检修策略相比传统定期检修方法，可以有效减少平均成本。

也有学者将维修状态纳入到老化模型中[12-13]，参考文献[9]基于之前提到的可靠性模型计算出整机的故障率和修复率后，提出了一个整机老化和随机故障后全面修复的维修模型,如图4所示。其中，F1代表偶然故障状态，M1、M2、M3代 表 预防 性维修 状态，λ1、λ2、λ3和 μ1、μ2、μ3分别表示整机系统在各个老化阶段内总的失效率和修复率。根据维修模型得到状态转移矩阵，进而列出各状态的稳态方程，风力发电机组正常工作的概率最高时为可靠性最高，由此计算出风力发电机组可靠度最优时的预防性维修平均时间间隔。

以上的研究主要考虑了机组本身的老化特点，而在风力发电机的实际检修工作中，天气条件直接影响具体检修动作的执行和备件物流所需的时间。因此，有部分学者将其作为影响因子引入到检修策略分析中。

参考文献[14]考虑风速对维修动作的限制，在检修时间函数中引入参数来表示风速小于预防性维修和故障后维修的最大允许风速的概率。将部件老化过程离散成有限的老化状态，以长期折扣成本最低为目标，建立基于半马尔科夫决策过程的状态维修优化模型。最后，以某风力机齿轮箱为例，分别求出在等周期、非等周期检测条件下的最优检测时间间隔和维修成本，并提出在非等周期检测方式下，总能得到不劣于等周期检测方式下的维修折扣成本。

参考文献[15]研究在随机天气条件下运行的风力机最佳维修策略。考虑到天气条件会限制检修可行性，从而造成收入亏损，模型中引入了由于恶劣天气条件而禁止预防性维修和故障后维修的概率。通过建立一个多状态的、部分可观察的马尔科夫决策过程模型来表示风力发电机的老化过程和策略优化问题。最终得到一组关于最优策略的闭式表达式，由此得出检修成本最优策略区域图。

参考文献[16]提出了一个考虑季节交替的动态状态检修策略，即在不同时期，对不同的故障模式分别引入参数来表示在该时期的天气条件下不允许故障检修和预防性维修的概率。不同的故障模式，即将随机故障细化为具体的故障模式，如该文以齿轮箱为例，具体故障为轴承故障、齿轮故障、润滑油故障等。图5为原始状态空间的状态转换图，状态1到状态M为老化状态，状态M+1到状态M+L为故障状态。建立一个部分可观察马尔科夫模型来描述该问题，以获得风力发电机组的整个寿命期的最小运行与维护成本。最后以某齿轮箱为例比较了常规的定期检修，不考虑季节变化影响的静止状态检修以及该动态检修策略的效果，证明动态检修策略在降低故障率和运行维护成本上具有明显优势。

4 展望与进一步研究

现有的研究在建立基于马尔科夫链的老化模型时，考虑了自然老化状态、随机故障状态、维修状态及具体故障状态等，所提出的状态模型都有各自的侧重点，但却无法形成一个故障状态相对完善的机组状态模型。而风力发电机组作为一个复杂的系统，故障模式十分复杂，囊括所有的故障状态是不可能的。所以，在选择具体故障状态时，可以根据专家经验并结合人工智能方法处理历史数据，选择对机组运行影响较大的故障，分析故障间的关系，以此来建立状态模型对优化检修策略更具实际意义。

从国内外基于马尔科夫过程的风电机组检修策略的研究中可以发现，马尔科夫理论多用于分析某台机组，甚至是某个部件，如齿轮箱。对于当前风力发电机组检修所面临的困难，如每次维修停机造成的生产损失、拆装花费的巨额成本等，仅考虑某台机组或某一个部件的最低检修成本是远远不够的。而随着海上风电场的快速发展，联合维护多台机组以更大程度地节约检修成本，对未来风电行业的发展具有重要意义。

大型风电机组由多种元部件构成，它们之间的相互耦合关系构成了一个复杂的网络。在评估其状态时可以通过将复杂网络理论与马尔科夫过程理论相结合，建立一个涵盖多台风电机组的综合状态模型。如何将此思想应用到多台风电机组组成的系统中，提出相应的状态评估模型，并基于此模型研究一种适合风力发电机组联合检修的优化策略，是一个值得思考的方向。

参考文献

[1]邱仕义.电力设备可靠性维修[M].北京：中国电力出版社，2004.

[2]胡奇英，刘建庸.马尔科夫决策过程引论[M].西安：西安电子科技大学出版社，2000.

[3]仵博，吴敏.部分可观察马尔可夫决策过程研究进展[J].计算机工程与设计，2007，28(9)：2116-2119，2126.

[4]王韶，周家启.双回平行输电线路可靠性模型[J].中国电机工程学报，2003，23(9)：53-56.

[5]孙福寿，汪雄海.一种分析继电保护系统可靠性的算法[J].电力系统自动化，2006，30(16)：32-35.

[6]廖瑞金，肖中男，巩晶，等.应用马尔科夫模型评估电力变压器可靠性[J].高电压技术，2010，36(2)：322-328.

[7]聂雅卓，周步祥，林楠，等.考虑转供容量约束的配电网马尔可夫可靠性算法[J].电力系统保护与控制，2011，39(13)：59-63.

[8]ARABIAN H H，ORAEE H，TAVNER P J.Wind turbine productivity considering electrical subassembly reliability[J].Renewable Energy，2010(35)：190-197.

[9]李大字，冯园园，刘展，等.风力发电机组可靠性建模与维修策略优化[J].电网技术，2011，35(9)：122-127.

[10]MCMILLAN D，AULT G W.Quantification of condition monitoring benefit for offshore wind turbines[J].Wind Engineering，2007，4(31)：267-285.

[11]Wu Yanru，Zhao Hongshan.Optimization maintenance of wind turbines using Markov decision process[C].2010 International Conference on Power System Technology，Hangzhou，China，October 24-28,PowerCon，2010：1-6.

[12]CHAN G K，ASGARPOOR S.Optimum maintenance policy with Markov processes[J].Electric Power Systems Research，2006(76)：452-456.

[13]Ge Haifeng，TOMASEVICZ C L，ASGARPOOR S.Optimum maintenance policy with inspection by semi-markov decision processes[C].2007 North American Power Symposium(NAPS)：541-546.

[14]苏春，周小荃.基于半马尔科夫决策过程的风力机状态维修优化[J].机械工程学报，2012，48(2)：44-49.

[15]BYON E，NTAIMO L，DING Y.Optimal maintenance strategies for wind turbine systems under stochastic weather conditions[J].IEEE Transactions on Reliability，2010，59(2)：393-404.

[16]BYON E， DING Y.Season-dependent condition-based maintenance for a wind turbine using a partially observed Markov decision process[J].IEEE Transactions on Power Systems，2010，25(4)：1823-1834.