基于深度强化学习的直流配电线路短路故障测距方法

摘 要：针对现行方法在直流配电线路短路故障测距中应用存在测距误差较大和置信度较低的问题，本文提出基于深度强化学习的直流配电线路短路故障测距方法。采用过滤法对短路故障距离特征进行推导，利用深度强化学习算法对直流配电线路短路故障距离进行分析，实现基于深度强化学习的直流配电线路短路故障测距。经试验证明，设计方法测距误差不超过0.1m，置信度在0.9以上，在直流配电线路短路故障测距方面具有良好的应用前景。

关键词：深度强化学习；直流配电线路；短路故障测距；过滤法；置信度

中图分类号：TM 773" " 文献标志码：A

直流配电线路的短路故障问题一直是制约其进一步发展的关键因素之一。短路故障不仅会导致线路中断，还可能对电力设备造成损害，甚至引发连锁故障，对整个电力系统造成严重影响。因此，研究有效的直流配电线路短路故障测距方法具有重要的理论意义和实际应用价值。文献[1]提出了基于主动探测原理的故障测距方法，主动探测故障电流信息，确定故障距离；文献[2]提出了基于双端同步响应的故障测距方法，根据故障后的线路双端响应特性，确定故障位置和距离。但这些方法存在测距精度不稳定、难以应对多重故障或隐蔽性故障的问题，为此提出基于深度强化学习的直流配电线路短路故障测距方法。

1 短路故障距离特征选择推导

本文采用深度强化学习技术对故障进行测距，通过计算每个特征的可变指数，剔除那些指数较低的特征，仅保留那些满足设定阈值的特征，以提高学习网络模型的预测性能和可解释性。假设2个配电线路短路故障距离特征集分别为X、Y，通过计算特征集X、Y的协方差和标准差，了解特征之间的离散程度以及线性关系。根据特征集的波动性，可得短路故障距离特征集X、Y的可变指数，如公式（1）所示。

R=cov（X，Y）/（εX*εY） （1）

式中：R为特征集X、Y的可变指数；cov（X，Y）为2个短路故障距离特征协方差；（εX*εY）为2个短路故障距离特征标准差。

一般来说，可变指数取值范围为-1～1[3]。当Rgt;0时，表示2个特征成正相关；当Rlt;0时，表示2个特征成负相关；当R=0时，表示2个特征无相关关系[4]。本文根据实际情况设定一个阈值，当R值大于阈值时，仅保留一个特征，自动去除另一个特征，按照该方法对收集的故障距离特征集中所有特征进行推导。通过该特征数据，建立深度强化学习网络模型，以完成后续的线路故障测距任务。

2 深度强化学习网络模型建立

深度强化学习算法是一种将深度学习的感知能力与强化学习的决策能力相结合的人工智能方法，可以直接根据输入数据特征进行控制。具体建立步骤如下。1）收集推导后的直流配电线路故障距离特征样本数据，将其作为深度强化学习网络模型的输入。2）对短路故障线路的环境进行建模，定义智能体的状态空间。在短路故障检测中，状态空间参数包括电流、电压、温度等物理量以及故障线路的运行状态、历史数据等。3）通过定义奖励函数，准确反映智能体行为是否满足短路故障特征学习的要求。根据深度强化学习网络模型的实时反馈，得到实现环境状态转移，以确定识别故障线路特征的最佳环境状态。4）设计环境接口，提供网络模型学习过程中获取的当前状态、执行情况、接收奖励和观察状态转移等功能，使智能体能够与环境进行交互。5）通过多次特征数据的迭代，得出奖励值最高的短路故障距离特征，并以此调整模型的超参数、学习率、批次大小、最大迭代次数、强化系数等，从而优化学习网络模型的性能。

通过上述步骤，完成深度强化学习网络模型的建立任务。该模型的建立主要通过加强环境建模的质量和准确性，提高智能体的学习效果和性能，从而精准反映实际短路故障问题的动态和复杂性，为进一步实现直流配电线路短路故障测距提供技术支持。

3 基于深度强化学习的故障测距

在上述基础上，利用深度强化学习算法对推导的短路故障距离特征集进行学习，首先由智能体、环境和记忆池组建深度强化学习网络模型，将推导得到的故障距离特征数据样本作为模型的输入，智能体通过与环境持续交互，不断学习和适应，以寻找最优的决策策略[5]，具体如图1所示。

将短路故障距离特征作为深度强化学习网络模型决策参照，将当前直流配电线路运行数据输入智能体中，参照特征对故障测距进行决策，在不断决策中获得报酬。根据公式（1）选择推导出的短路故障距离特征，计算深度强化学习的奖励，如公式（2）所示。

s=（xR-x）[（1-α）×δ+α×μ] （2）

式中：s为智能体强化学习中得到的奖励；xR为环境中存在的故障距离特征；x为智能体输入线路短路故障样本；α为学习率；δ为估计奖励；μ为现实奖励[6]。

利用公式（2）对深度强化学习智能体进行训练，将输入故障样本与环境中的故障距离特征进行比对，当满足迭代要求后，输出奖励值最高的短路故障距离特征，该特征意味在故障测距中具有最高的重要性，可以提高测距的准确性和效率。因此，将该特征对应的故障距离作为当前直流配电线路短路故障距离，以此实现基于深度强化学习的直流配电线路短路故障测距。

4 试验论证

4.1 试验设计与参数

出于对本文所提基于深度强化学习的直流配电线路短路故障测距方法性能进行检验的目的，设计对比试验，选择2种传统方法与本文方法进行对比，以某直流配电网为试验环境，该配电系统线路长度为4500m，试验收集直流配电线路短路故障数据2.62GB，将其作为深度强化学习网络训练样本，采集该配电线路信号样本1000个，将其作为试验样本。同时，使用万用表、数字电表来测量直流配电线路故障附近的电流值和电压值，其测量范围为±1000kA和±50kV，测量精度为±1%。利用本文方法对该直流配电线路短路故障进行测距，试验中深度强化学习网络参数设定见表1。

该设定为试验测试中的最优参数设定。因此，根据本文设定的深度强化学习网络的最优参数完成试验，利用本文设计方法来反映短路故障线路中电流和电压的变化情况，并通过与文献[1]方法和文献[2]方法进行对比，测试直流配电线路短路故障测距结果以及响应时间，从而验证本文设计方法在故障测距的精准度以及实时性。

4.2 试验结果与讨论

为验证本文设计方法在识别故障电流和故障电压特征的有效性，测试设计方法反应故障直流配电线路中电流和电压的变化情况，具体结果如图2所示。

由图2可知，本文设计方法能够准确反应直流配电短路故障线路中电流和电压的变化特征，这是由于设计方法在试验初期通过多次迭代，得到了奖励值最高的短路故障距离特征，它能够准确反应故障电流和电压变化，证明了设计方法能够实现对故障电流和故障电压的精准描述，为进一步测量短路故障距离提供可靠保障。

试验统计本文设计方法、文献[1]方法和文献[2]方法对直流配电线路短路故障测距预测结果和实际故障距离进行对比，从而证明故障测距效果，具体数据见表2。为了更直观地体现3种方法故障测距精度，本次试验设置10条故障线路，对3种方法测距结果的置信度进行测评，置信度可以衡量故障测距结果的可靠程度和可信程度，其取值范围为0～1，数值越接近1，说明测距精度越高，3种方法测距置信度见表3。

其中，表3中3种方法测距结果的置信度数值为每100个配电线路信号样本取得的平均数值。根据表2可以看出，设计方法故障距离预测值与实际值基本一致，测距误差不超过1m，而2种传统方法的误差值约为15m～45m，可以明显看出其测距误差远远高于设计方法。这是由于本文方法在设计过程中能够选择推导出的短路故障距离特征，筛选出设定阈值内相似度较高的有效数据，并通过深度强化学习的不断迭代，输出奖励值最高的短路故障距离特征，提高了设计方法在实际故障测距应用中的准确性和效率。

根据表3可以看出，设计方法故障测距置信度在0.9以上，且波动幅度为0.91～0.95；传统方法1最高置信度为0.85，并在0.75～0.85波动；传统方法2置信度最高为0.75，波动范围高于传统方法1。可以明显看出，2种传统方法得到的置信度结果比设计方法低且波动幅度较大，这是由于深度强化学习需要大量的训练数据来学习和优化模型性能，以覆盖更广泛的故障场景和条件。通过奖励机制来优化决策过程，本文的强化学习模型可以通过反复尝试不同的测距策略，并根据实际测距结果的准确性进行实时调整。因此试验证明在精度方面设计方法具有绝对的优势，可以实现对直流配电线路短路故障精准测距的目的。

在此基础上，本文对比3种方法在检测故障直流配电线路的响应时间，具体结果如图3所示。

由图3可知，在检测故障直流配电线路中，设计方法的响应时间为1.5ms左右，且时间波动幅度不大。而文献[1]方法和文献[2]方法的响应时间明显比设计方法长，说明上述2种方法在线路故障检测中，不能及时应对短路电线中电流和电压的突发变化，导致响应时间变长且波动幅度较大，进而影响故障测距的精度，侧面证明了本文设计方法能够及时记录线路中电流和电压数据，并能够迅速反应，缩短直流配电线路短路故障的测距时间。

5 结语

对基于深度强化学习的直流配电线路短路故障测距方法进行深入研究发现，这一方法不仅拓宽了传统故障测距技术的边界，而且为直流配电系统的安全稳定运行提供了一种全新的技术支撑。在当前电力系统智能化、网络化的大趋势下，该方法的应用前景十分广阔。然而，基于深度强化学习的直流配电线路短路故障测距方法仍然面临许多挑战和问题。例如，故障数据的获取和标注是一个重要且困难的环节；同时，深度强化学习算法的计算复杂度较高，对计算资源的需求较大。此外，如何将该方法与实际的电力系统相结合，实现其在实际场景中的有效应用，也是一个需要深入研究的问题。

参考文献

[1]汤耀景，陈水耀，裘愉涛，等.基于主动探测原理的直流配电线路短路故障测距[J].电工电能新技术，2024，43（1）：53-60.

[2]刘沐辰，安景革，程定一，等.基于双端同步响应的高压输电线路故障定位方法[J].智慧电力，2023，51（12）：15-22.

[3]陈晓龙，孙丽蓉，李永丽，等.基于人工神经网络和网络迁移的双端输电线路非同步故障测距算法[J].电网技术，2023，47（12）：5169-5181.

[4]任俊谕，李本瑜，赵明，等.基于计算电阻指标和双端测量信息的高压直流输电线路故障测距方法[J].电气应用，2021，40（6）：24-31.

[5]陈新岗，朱莹月，马志鹏，等.考虑瞬时功率特性的直流配电网线路故障定位及保护[J].重庆理工大学学报（自然科学），2022，36（1）：179-186.

[6]王振浩，董人铭，成龙，等.基于迭代软阈值压缩感知理论的直流输电双极短路故障测距方法[J].现代电力，2021，38（6）：645-655.