基于供气可靠性的天然气管道系统预防性维护方案智能优化方法

范霖 苏怀 彭世亮 张丽 张劲军

摘要：输气管道设备设施的维护管理是保障管道系统可靠供气的基础。建立管道系统单元状态转移与设备退化过程的描述模型，构建各单元失效场景下管道系统最大供气能力计算方法，建立以系统供气可靠性最高和维护成本最低为目标的管道系统维护策略优化模型，形成基于深度强化学习的管道系统预防性维护优化方法。结果表明：与传统的计划性维护相比，所提出的管段与压缩机单元预防性维护方案可提高天然气管道系统供气可靠度，同时降低管道系统维护成本；優化后系统平均供气可靠性由99.41%提高至99.54%，维护成本降低9.38%。

关键词：天然气管道； 供气可靠性； 预防性维护； 深度强化学习

中图分类号：TE 832 文献标志码：A

引用格式：范霖，苏怀，彭世亮，等.基于供气可靠性的天然气管道系统预防性维护方案智能优化方法［J］.中国石油大学学报（自然科学版），2023，47（1）：134-140.

FAN Lin， SU Huai， PENG Shiliang， et al. Supply-reliability based method of intellectual optimization on preventive maintenance strategy for natural gas pipeline system［J］. Journal of China University of Petroleum（Edition of Natural Science）， 2023，47（1）：134-140.

Supply-reliability based method of intellectual optimization on

preventive maintenance strategy for natural gas pipeline system

FAN Lin^1，2， SU Huai^1，2， PENG Shiliang^1，2， ZHANG Li^1，2， ZHANG Jinjun^1，2

（1.National Engineering Laboratory for Pipeline Safety in China University of Petroleum （Beijing）， Beijing 102249， China;

2.Key Laboratory of Beijing City for Urban Oil and Gas Transmission and Distribution Technology in China University of Petroleum （Beijing）， Beijing 102249， China）

Abstract： Maintenance management of devices is fundamental to ensure the supply reliability of natural gas pipeline system. A descriptive model integrating the state transition with the degeneration process of units was established. Then a method for calculating the maximum gas supply capacity of the pipeline system under scenarios of unit failure was developed. The maintenance strategy optimization model with a high supply reliability and a low maintenance cost was established， and a deep reinforcement learning-based method of maintenance optimization for the pipeline system was presented. The results show that compared with the scheduled maintenance， the proposed preventive maintenance strategy can improve the supply reliability and reduce the system maintenance costs. The average supply reliability increases from 99.41% to 99.54%， and the maintenance cost is reduced by 9.38%.

Keywords： natural gas pipeline; gas supply reliability; preventive maintenance; deep reinforcement learning

站场关键设备设施状态监控和维护管理水平对于天然气管道系统安全极其重要。近年来油气管道系统的维护策略已经从以往的事后维修，发展到计划性维护^［1］为主。事后维修指在设备发生故障后进行修理或更换。这种以修代养的策略严重影响管道可靠性^［2］。计划性维护根据设备运行时间或剩余寿命对设备进行维修，可有效降低设备意外失效。然而计划性维修周期主要依赖厂家推荐的数据或人工经验^［3］，可能导致 “维修不足”或“过度维修”。针对这一问题国内管道界借鉴电力、航天、机械等领域的经验，发展了视情维修、状态维修（CBM）和可靠性为中心的维修（RCM）^［4-5］。例如西气东输分公司引入视情维护技术，开发了燃驱压缩机组在线故障分析诊断及视情维修系统^［6］；华南分公司基于某成品油管道内检测数据，分析了管道的剩余使用寿命，并确定了管道缺陷的维修计划^［7］；金陵石化公司运用RCM理念，确定了某炼化装置离心泵的平均无故障时间与最佳维修周期^［8］。这些研究主要着眼于保障单体设备运行可靠与功能完整。但是单元可靠未必系统可靠，设备维护不仅要着眼于其自身性能，还要考虑系统功能^［9-10］。解决上述问题的关键是如何基于天然气管道的系统特性，度量维护策略的投入与产出之间的关系，即建立维护成本与系统供气可靠性间的映射模型^［11］。黄维和^［12］提出了大型天然气管网系统可靠性的基本内涵，包括需求侧管理、管道可靠性管理、管网可靠性管理和可靠性方案实施4部分。范慕炜等^［13-15］进一步探究了设备可靠性、机组运行方案、供需不确定性、储气调峰能力等因素对管道系统可靠性的影响。然而目前的供气可靠性评价模型大多基于蒙特卡洛随机模拟进行求解，计算量巨大，计算效率难以满足维护策略优化要求。笔者基于马尔可夫模型与寿命分布模型，借助贝叶斯网络方法形成系统供气可靠性快速评价方法，利用深度强化学习对道系统维护优化问题求解；对比预防性维护与计划性维护管理下系统供气可靠性和维护成本。

1 天然气管道系统可靠性评价

1.1 天然气管道模型

分析天然气管道系统可靠性的前提是明确系统内关键单元的运行状态以及单元状态演化规律。为了描述单元运行状态的随机演化过程，引入离散马尔可夫模型，使用正常状态、退化状态、失效状态表示单元在运行过程中的状态变化。单元状态的转移过程见图1。管段与压气站的状态变化是由不同原因造成的，两者相互独立，状态退化共同导致管道的运行压力降低，管道输气能力下降^［16］。

根据马尔科夫过程的基本假设，单元下一时刻状态仅取决于当前状态。以某一单元为例，单元在s时刻处于状态i（即X（s）=i），在经历t时间间隔后，单元在s+t时刻到达状态j（即X（s+t）=j）。可知单元在s+t时刻处于状态j的概率，仅取决于单元s时刻的状态，与其在s时刻之前所处的状态无关。状态转移过程可表示为

当状态转移概率取决于初始状态与最终状态以及时间间隔t时，该过程转化为齐次马尔可夫模型：

式中， P_i，j（t）为单元在经历t时刻后由状态i变化为状态j的概率。

显然有P_i，j（t）≥0。单元在任意时刻处于各个状态的概率之和为1，可记作∑j∈sP_i，j（t）=1。图1表示的系统单元状态转移矩阵可表示为

式中，a_ij为单元由状态i变化到状态j的概率。

通过求解式（1）～（4），可得到单元在任意时刻处于不同状态的概率。

1.2 系统输气能力模型

借助图论表征系统拓扑结构与逻辑关系是分析不同工况下系统供气能力的有效手段。容量网络中G（V， E）（其中V表示容量网络中边的集合）对应天然气系统中管段。在容量网络中各条边的值代表管段的最大输气量，其随管道状态变化；E表示网络中节点的集合，气源、用户、压气站以及管段的连接处在网络中以节点表示。

当天然气管道设备状态发生改变，需要重新调整管道中流量的分配，最大程度地满足下游用户用气需求。因此引入最大流算法计算不同运行工况下天然气管道系统的最大供气量^［17］。最大流算法将天然气管道流量分配问题转化为计算传输网络中两点的最大输送能力，其中将气源与用户分别作为源点和汇点。

1.3 供气可靠性评价模型

天然气管道系统内压缩机、管段关键单元的随机失效会导致下游用户缺气，使用贝叶斯网络可以描述变量间的因果关系：

式中，X代表失效事件；Y表示管道下游用户缺气事件。

利用贝叶斯网络分析管道系统供气可靠性包括4个关键步骤：①结合专家经验与管道运行数据确定贝叶斯网络变量节点以及网络结构；②结合单元寿命分布模型计算单元瞬时失效概率，作为贝叶斯网络节点边缘分布输入；③结合最大流算法与蒙特卡洛法模拟不同单元失效下用户缺气状态，采用参数学习确定贝叶斯网络节点条件分布；④利用贝叶斯法推断计算用户节点概率分布，建立系统供气可靠性评价指标。

1.3.1 边缘概率分布

通过1.1节计算得到管道或压缩机处于不同状态的概率，并作为贝叶斯网络边缘概率。图2为利用贝叶斯网络描述事件间关系。根节点B和C表示管段和压气站状态，叶节点CU（无子节点）表示用户用气状态。图2（a）表示管段1～管段4的状态，会直接影响用户1处于不同用气状态的概率；由图2（b）可知，当压气站C状态发生变化时，其相邻管段B1与B₂的输气能力会受到影响。

1.3.2 条件概率分布

利用贝叶斯网络查询变量分布的基础是获得节点的条件概率分布，使用贝叶斯估计^［18］计算模型参数：

式中，P（y_i）为事件发生的边缘概率；P（x|y_i）为从历史数据中得到的条件概率分布；P（y_i|x）为后验概率；x为管道发生失效事件；y_i为用户i缺气事件。

式（6）表示通过貝叶斯估计可以得到管道失效导致用户i缺气发生的概率。

1.3.3 供气可靠性评价指标

在计算贝叶斯网络的边缘概率分布和条件概率分布后，可以利用贝叶斯推理，根据设备实时失效概率计算用户缺气状态。此处采用近似推理信念传播算法计算用户的缺气概率。供气可靠性指标为

式中，Rci为用户i在0～T时间内用户的平均供气可靠性；Rst为系统在t时刻系统的供气可靠性；Rsys为系统在0～T时间内用户的平均供气可靠性；Pi，t为用户i在时刻t处于缺气状态的概率；N为用户总数；T为维护管理的总时长。

2 维修优化模型

2.1 维护问题建模

以天然气管道系统作为环境，算法作为智能体，智能体通过与环境交互制定策略。智能体与环境的交互过程如下：首先智能体在t时刻观察到环境状态s_t，智能体根据策略函数pπ（a|s）选择执行动作a_t；然后在受到动作影响后环境状态遵循转移规则T（s_t，a_t，s_t+1）更新， t+1时刻系统状态记作s_t+1；最后计算在状态s_t执行动作a_t的奖励值，更新策略函数。

管道系统维护优化的目标是在管理周期内最大化系统收益或最小化系统损失。系统损失包括两部分，即系统维护成本与系统缺气损失。

式中，an，t为在t时刻对设备n的维护行为；cn 为设备n的单次维护成本；Ct为在t时刻系统的供气损失，当系统可靠性Rst小于系统目标可靠度时， Ct>0表示系统缺气产生的额外损失；当系统可靠性大于系统目标可靠度时，Ct=Rst。

当对设备采取维护行为时，an，t=1；当不采取维护时an，t=0。实际中，设备的维修成本与设备的故障类型、维修形式相关，此处cn取值10万元/次。

2.2 维护问题优化求解

求解天然气管道的维护优化问题，可以看作智能体与环境的动态交互寻求最优策略的过程^［19-20］。在某一时刻智能体通过观察系统状态制定相应维护管理方案；在对管道系统执行维护方案后计算系统当前状态下的维护成本与缺气损失，将维护带来的收益返还给智能体，指导智能体更新决策依据。图3为基于强化学习的天然气管道系统维护管理框架。

Q学习算法是应用最广泛的基于值迭代的强化学习算法，传统的Q学习方法在高维空间中利用表格存储动作与状态空间。表格的每一行对应系统的一个状态，每一列对应系统可采取的动作，表中的元素为状态价值函数，表示此状态采取该动作可获得的收益。状态-动作价值函数的更新方式^［21］为

式中，α为学习率，控制着算法的收敛速度；γ为折扣率，表示潜在收益对当前决策的重要程度。

为提高计算效率采用基于神经网络的深度强化学习优化天然气管道系统的维护策略。为减少不同时间数据的相关性导致训练不稳定，建立两个相同结构不同参数的神经网络。其中一个根据策略不断与环境交互并动态更新参数（θ），另一个用来生成目标价值，其参数（

θ^-）每隔一定周期进行更新。在神经网络更新参数时随机梯度下降的目标函数为

式中，θ和θ^-分别为评估网络和目标网络参数；E为取平均符号。

3 案 例

以某天然气管道为例。其拓扑结构如图4所示，管道系统包括1个气源、4座压气站和6个分输用户，管道年输气量为380×10⁸m³。管段的平均失效率为3.5×10^-4/（km·a），压缩机站的平均失效率为0.01 /h。系统的检测周期为1个月，评价周期为24個月。结合企业生产运行计划，要求管道系统在管理周期内总输气量不低于任务输量的98%，系统供气可靠性不低于0.98。

为验证所提出的可靠性评价方法的可靠性，将计算结果与传统的蒙特卡洛评价方法进行对比，将蒙特卡洛法的计算结果作为真实值。管道系统可靠性的对比结果如图5所示。可知与蒙特卡洛法比较，所提出方法的平均误差为1.1%，最大误差不超过2.4%。采用蒙特卡洛法计算管道系统可靠性耗时约5 min，贝叶斯网络计算耗时约3 s。在保证计算精度前提下基于贝叶斯网络的管道系统供气可靠性评价方法能够提高计算效率。

各用户的缺气概率随系统运行时间变化如图6所示。可见管道系统的缺气概率随系统运行时间不断增大，而当维修人员对系统内单元进行维护后，设备的失效概率下降，管道系统缺气概率下降；在对设备无维护时，管道系统因设备失效导致用户缺气的概率随系统运行时间变大。另一方面，由于用户6距离气源距离最远，在管道输配中处于较低优先级，用户6在所有用户中缺气概率最高。

所有用户在评价周期内的供气可靠性分布如表1所示。可见在预防性维护策略下用户供气可靠性在［0.99， 1］区间内有1247个样本，占比为88.47%；对计划性维护，在［0.99， 1］区间样本数为1177，占比为81.74%。通过分析可以发现，预防性维护与计划性维护在评价周期内，用户供气可靠性始终大于0.98，这两种策略能够保障用户供气可靠性。

各用户在计算周期内的供气可靠性水平对比结果如图7所示。可见在所有天然气用户中，用户1在所有用户中有最高的供气可靠性和最低的可靠性方差，用户1在评价周期可靠性高且方差最小，系统供气最稳定且波动最小。而由于输送成本较高，用户6的供气量受多因素影响，导致用户6的供气可靠性较低且波动较大。

另一方面，管道系统全局的供气能力更能反映出管理策略的宏观调控能力，是判断管道系统运行状态的重要指标。不同维护策略下管道系统的供气可靠性对比结果见图8。可知预防维护策略下系统的可靠性均值为0.9954，方差为0.0038；计划性维护策略下系统可靠性均值为0.9941，方差为0.0046。此结果说明所提出的预防维护策略可使系统可靠性更高，且更为稳定。

图9为两种维护策略下系统的供气可靠性与系统维护成本对比。计划性维护下系统平均供气可靠性指标为99.41%，维护成本约为160万元；预防性维护下系统平均供气可靠性指标为99.54%，维护成本约为145万元。可见基于预防性维护的管道系统管理方法可提高管道系统的供气可靠性，保障管道可靠供气与用户平稳用气。同时从管道系统目标供气可靠度出发，对设备可靠度提出要求并制定相应维护方案，通过优化设备的维护周期，降低管道系统维护成本9.38%。

4 结 论

（1）贝叶斯网络可描述管道系统单元失效与下游用户缺气间映射关系，能够克服基于蒙特卡洛评价系统供气可靠性计算成本高的问题，快速地计算不同单元失效场景下管道系统的供气可靠性。

（2）天然气管道系统内单元的维护优化问题，可被转化为马尔可夫决策过程;深度强化学习可通过与管道系统交互，对时序决策问题动态求解、优化；并以系统可靠性最高和维护成本最低为目标，为系统内单元制定维护方案。

（3）相较于传统的计划性维护，本方法能够在减少系统维护成本的同时，降低下游用户缺气风险；优化后系统平均供气可靠性由99.41%提高至99.54%，维护成本降低9.38%。

参考文献：

［1］黄恩涛.长输管道站场机械设备维修策略优化及实践［J］.油气储运，2018，37（4）：475-480.

HUANG Entao. Optimization and application of maintenance strategies for mechanical equipment at the stations of long-distance pipelines［J］. Oil & Gas Storage and Transportation， 2018，37（4）：475-480.

［2］裴峻峰，郑庆元，姜海一，等.离心式压缩机定期维修周期及可靠性研究［J］.中国石油大学学报（自然科学版），2014，38（6）：127-133.

PEI Junfeng， ZHENG Qingyuan， JIANG Haiyi， et al. Research on regular maintenance cycle and reliability for centrifugal compressors ［J］. Journal of China University of Petroleum（Edition of Natural Science） ， 2014，38（6）：127-133.

［3］刘志刚，王禹钦，王学力.油气管道运行维护安全技术研究新进展［J］.天然气与石油，2018，36（4）：112-118.

LIU Zhigang， WANG Yuqin， WANG Xueli. New progress in research on safety technology of oil & gas pipeline operation and maintenance［J］. Natural Gas and Oil， 2018，36（4）：112-118.

［4］裴峻峰，张嗣伟，齐明侠，等.基于可靠性分析与状态监测的钻井泵剩余工作寿命预测［J］.中国石油大学学报（自然科学版），2010，34（5）：121-125.

PEI Junfeng， ZHANG Siwei， QI Mingxia， et al. Drilling pump remaining working life prediction based on reliability analysis and condition monitoring ［J］. Journal of China University of Petroleum（Edition of Natural Science）， 2010，34（5）：121-125.

［5］李方坡，王勇，王建军，等.基于可靠性的S135钻杆疲劳裂纹萌生寿命预测［J］.中国石油大学学报（自然科学版），2018，42（2）：142-146.

LI Fangpo， WANG Yong， WANG Jianjun， et al. Life prediction of S135 drilling pipe due to fatigue crack initiation based on reliability theory［J］. Journal of China University of Petroleum（Edition of Natural Science）， 2018，42（2）：142-146.

［6］高顺华，侯大立.燃气轮机在线分析诊断及视情维修系統在长输管道上的开发及应用［J］.燃气轮机技术，2014，27（4）：54-59.

GAO Shunhua， HOU Dali. Development and application of gas turbine compressor equipment health management on long-distance pipelines［J］. Gas Tubine Technology， 2014，27（4）：54-59.

［7］李明，杨文，牛彻，等.成品油管道基于内检测的适用性评价与维修决策［J］.装备环境工程，2021，18（4）：43-49.

LI Ming， YANG Wen， NIU Che， et al. Thefitness-for-service assessment and maintenance decision-making of a refined oil pipeline［J］. Equipment Environmental Engineering， 2021，18（4）：43-49.

［8］裴峻峰，葛慧中，任名晨，等.炼化装置离心泵的维修周期及可靠性研究［J］.机械设计与制造，2019（增1）：57-60.

PEI Junfeng， GE Huizhong， REN Mingchen， et al. Research on the maintenance cycle and the reliability of centrifugal pump for refining and chemical equipment［J］. Machinery Design & Manufacture， 2019（sup1）：57-60.

［9］KIM K O， ZUO M J. Optimal allocation of reliability improvement target based on the failure risk and improvement cost［J］. Reliability Engineering and System Safety， 2018，180（7）：104-110.

［10］张增刚，李继志.基于概率论的油气管道腐蚀安全评估与维修优化［J］.天然气工业，2010，30（4）：91-95.

ZHANG Zenggang， LI Jizhi. Corrosion safety assessment and maintenance optimization of oil and gas pipelines based on probability theory［J］. Natural Gas Industry， 2010，30（4）：91-95.

［11］苏怀，张劲军.天然气管网大数据分析方法及发展建议［J］.油气储运，2020，39（10）：1081-1095.

SU Huai， ZHANG Jinjun. Approach of big data analysis and suggestions on development of natural gas pipeline network［J］. Oil & Gas Storage and Transportation， 2020，39（10）：1081-1095.

［12］黄维和.大型天然气管网系统可靠性［J］.石油学报，2013，34（2）：401-404.

HUANG Weihe. Reliability of large-scale natural gas pipeline network［J］. Acta Petrolei Sinica， 2013，34（2）：401-404.

［13］范慕炜，宫敬，伍阳，等.基于简化拓扑结构的陕京天然气管网供气可靠性分析［J］.天然气工业，2017，37（4）：123-129.

FAN Muwei， GONG Jing， WU Yang， et al. Gas supply reliability analysis of the Shaanxi-Beijing gas pipeline network based on the simplified topological structure［J］. Natural Gas Industry， 2017，37（4）：123-129.

［14］SU H， ZHANG J， ZIO E， et al. An integrated systemic method for supply reliability assessment of natural gas pipeline networks［J］. Applied Energy， 2018，209：489-501.

［15］张劲军，苏怀，高鹏.天然气管网韧性保供问题及其研究展望［J］.石油学报，2020，41（12）：1665-1678.

ZHANG Jinjun， SU Huai， GAO Peng. Resilience-based supply assurance of natural gas pipeline networks and its research prospects［J］. Acta Petrolei Sinica， 2020，41（12）：1665-1678.

［16］范慕炜，宫敬，伍阳，等.陜京天然气管网系统供气可靠度的敏感性［J］.油气储运，2018，37（4）：378-384.

FAN Muwei， GONG Jing， WU Yang， et al. Sensitivity analysis on the gas supply reliability of Shaanxi-Beijing natural gas pipeline network system［J］. Oil & Gas Storage and Transportation， 2018，37（4）：378-384.

［17］BULUT M， ZCAN E. Optimization of electricity transmission by Ford-Fulkerson algorithm［J］. Sustainable Energy， Grids and Networks， 2021，28：100544.

［18］CAI B， KONG X， LIU Y， et al. Application of Bayesian networks in reliability evaluation［J］. IEEE Transactions on Industrial Informatics， 2019，15：2146-2157.

［19］DONG P， CHEN Z M， LIAO X W， et al. A deep reinforcement learning （DRL） based approach for well-testing interpretation to evaluate reservoir parameters［J］. Petroleum Science， 2022，19：264-278.

［20］FILIPE J， BESSA R J， REIS M， et al. Data-driven predictive energy optimization in a wastewater pumping station［J］. Applied Energy， 2019，252：113423.

［21］DOLCETTA I C， ISHII H. Approximate solutions of the Bellman equation of deterministic control theory［J］. Applied Mathematics and Optimization， 1984，11：161-181.

（编辑 沈玉英）