基于深度强化学习的分布式电力配电网负荷调度研究

常 远

（内蒙古电力（集团）有限责任公司）

0 引言

随着能源需求的不断增长和能源结构可持续发展的需求，分布式电力配电网作为一种新兴的电力供应模式逐渐受到关注。相比传统的中央化电力配电网，分布式电力配电网通过将电力生产和负荷管理逐渐下放到用户端，具有更高的可靠性、灵活性和可持续性等优势。然而，在实际运行中，分布式电力配电网面临着诸多挑战，包括负荷调度问题[1]。分布式电力配电网负荷调度的研究具有重要的理论和实践意义。首先，优化负荷调度可以有效解决分布式电力网络中负荷高峰和供需失衡等问题，提升系统整体的供电质量和效率[2]。其次，聚焦于分布式电力配电网负荷调度问题，可以促进清洁能源的大规模应用和能源消耗的合理化，链路对能源的利用效率，减少能源浪费，降低环境污染和碳排放。此外，负荷调度研究还能改善分布式电力配电网的鲁棒性和抗灾能力，增加对电力异常情况的应对能力，提升用户用电体验和供电可靠性[3]。然而，在分布式电力配电网实际运行中，负荷数据可能存在损坏、缺失和误差等问题，这可能导致负荷调度过程中的不精确性和不准确性。例如，如果存在损坏的负荷数据，调度系统可能无法正确识别用户的实际用电情况，进而导致负荷的高峰和供需失衡问题。此外，负荷数据的准确性还对于负荷预测和优化调度算法的有效性产生重要影响，不准确的负荷数据可能导致预测偏差和调度策略的错误[4]。

1 基于深度强化学习的损坏负荷数据提取

利用深度强化学习提取损坏负荷数据的原理是通过智能体在虚拟环境模型中与环境进行交互，根据环境状态观测结果选择合适的动作，并从环境获得奖励信号来优化模型的参数，以实现对损坏负荷数据的提取。通过不断尝试和学习，深度强化学习模型可以学习到负荷数据的特征和规律，从而具备生成损坏负荷数据的能力。这一过程类似于人类学习的方式，通过试错和奖惩机制实现智能体的自主学习和决策能力，最终达到提取损坏负荷数据的目标。

用深度强化学习中的LSTM（长短期记忆）网络来实现配电网损坏负荷数据的提取。LSTM 网络具有处理时序数据的能力。配电网损坏负荷数据通常包含时间上连续的信息，存在着时序的依赖关系。LSTM网络通过其记忆单元和遗忘门的机制，能够有效地捕捉和建模时序依赖关系，从而更好地理解和提取损坏负荷数据中的时序模式。LSTM 网络在处理长期依赖问题上表现出色。配电网损坏负荷数据可能存在长期依赖性，即当前状态受前面多个状态的影响。传统的前馈神经网络往往难以处理这种长期依赖关系。而LSTM 网络通过其门控机制，可以选择性地保存和更新记忆，有效地缓解了长期依赖问题，使模型能够更准确地提取损坏负荷数据。并且，LSTM 网络还可以对序列数据进行动态建模和预测。在深度强化学习框架中，LSTM 网络可以作为智能体的决策层，根据当前状态观测结果和记忆内容，生成相应的动作，并将其发送给后续层进行优化。这样，LSTM 网络不仅可以提取损坏负荷数据的特征，还可以针对不同场景和环境做出更合理和智能的决策。

LSTM 作为一种对周期神经网络进行了改良，能有效地解决常规周期神经网络不具有梯度的缺点。在此基础上，提出了一种新的输入门、遗忘门和输出门的新方法，利用内存元素作为隐含的状态维来保存额外的信息。其结构如图1 所示。

图1 深度强化学习网络模型

在图1 中，设定负荷数据处理总时间为T，深度强化学习网络模型的输入为x，前一时刻的隐藏状态为H，利用sigmod 激活函数可获取负荷数据的特征，根据以上已知参数，计算输入门i，遗忘门f，输出门o：

式中，i、f、o分别为输入门，遗忘门，输出门；δ为输入数据特征系数；W为学习系数。

相对于单纯循环结构，LSTM 网络更容易学习时间序列，因此在这类任务中具有明显的优势，实现多个损坏负荷数据包的特征提取。

2 分布式电力配电网调度模型

2.1 约束条件

在构建分布式电力配电网调度模型时，设置约束条件是必要的。约束条件可以确保系统运行的合理性、安全性和稳定性，同时满足各种技术和运行要求。约束条件可以限制电力设备和系统运行的范围，确保其在安全工作区间内运行。例如，对任何电力设备的电压、电流、频率等进行限制，以确保不超过设备的额定值或防止出现过载现象。通过设置这些约束条件，可以有效地避免设备的损坏、事故的发生，维护系统的可靠性和稳定性[5]。

其次，约束条件可以确保供需平衡和电能质量。例如，根据消费需求和供电能力，设置合适的功率平衡约束条件，确保系统供电与需求匹配；对电压波动、谐波含量以及功率因数等电能质量指标进行约束，确保提供稳定、高质量的电能供应。

此外，还可以设置环境和政策方面的约束条件。比如对可再生能源发电容量的上限以及碳排放限制等，以促进低碳环保发展。在分布式电力配电网中，还可以考虑约束条件来确保微网运行的可靠性，例如对微网内部能源供应与需求的匹配以及电力交互的安全性等。

本节设置的具体约束方程如下：

（1）功率损耗约束

式中，Pd(t)为负荷的有功损耗；P1x(t)、Pd(t)分别为分布式电力配电网中负荷的削减功率和用电功率。

（2）电压约束

式中，Ui为节点的实时电压。

（3）储能部分剩余能量约束

式中，SOC.n为第n个储能装置的荷电状态，通常取值在5%～95%之间。

式中，E0、E'分别为储能模块初始能量和剩余能量。

2.2 负荷优化调度模型求解

为实现负荷的寻优调度，引入粒子群算法对上述模型完成求解。但是传统粒子群算法存在以下几个弊端。

早熟收敛问题：传统粒子群算法容易陷入局部最优解，而无法获得全局最优解。这是因为经典粒子群算法只对全局最优位置进行更新，而未考虑到个体粒子的探索能力和多样性。

缺乏自适应性：传统粒子群算法通常使用固定的参数设置，如惯性权重和加速度因子，无法灵活地、自适应地调整参数来适应问题的特性，导致算法的鲁棒性和适应性不足。

收敛速度慢：传统粒子群算法在求解复杂问题时，由于没有有效的机制来引导搜索过程，往往需要较长的时间才能收敛到较好的解。

因此，为了进一步优化负荷调度结果，将非线性递减惯性权重引入到传统粒子群算法中，可产生以下优势。

提高全局搜索能力：非线性递减惯性权重可以增强粒子群算法的全局搜索能力。在开始阶段，较大的惯性权重有利于粒子群在搜索空间中快速探索，增加了算法的多样性和全局搜索能力。随着迭代次数的增加，递减的惯性权重使粒子逐渐减小步长，有助于精细搜索和收敛到更优解。

提高算法的收敛速度：非线性递减惯性权重的引入可以使粒子群算法更快地收敛到最优解。初始阶段较大的惯性权重可以促使粒子群更迅速地发现全局最优解的区域，而后期递减的惯性权重则有助于粒子逐渐收敛到更优解。

增强算法的适应性：非线性递减惯性权重可提高粒子群算法对问题的适应性。粒子群算法可以根据问题的特性自适应地调整权重的下降速度，以更好地平衡全局探索和局部开发的需求。

改进后的粒子群算法表达式为：

式中，vi为粒子i速度；ω为惯性权重系数；Qi为单个粒子寻优最优值；Qg为所有粒子的寻优最优值；Xi为第i个粒子的位置信息。

经过全局搜索和局部搜索后，输出得到目标函数值，具体实现过程如图2 所示。

图2 流程图

3 试验测试

构建试验平台进行试验，检验提出的算法能否获得最佳的调度效果。本项目拟在44 个由4 个光伏电站、2 个燃气轮机、2 个风力发电厂和7 个蓄能单元组成的44 个节点组成的分布式配电网络中进行试验。系统结构图如图3 所示。

图3 试验环境

将图3试验环境的真实全天负荷数据绘制在图4中。

图4 优化前负荷日负荷曲线

利用研究方法对试验区域内负荷完成调度，得到负荷结果如图5 所示。

图5 优化后负荷日负荷曲线

通过对比图3 和图5 可以看出，在此基础上，通过对负荷进行最优调度，实现存储设备及灵活负荷的主动加入，实现新能源功率特性与负载特性的匹配。

为进一步验证研究方法的实用性，以电网成本为指标，测试其性能。对比研究方法应用前后的成本，结果如下表所示。

表 优化调度前后分布式电力配电网运行成本对比

通过对比表中优化调度前后数据可以很明显地看出，所提方法可有效降低分布式电力配电网的发电成本，从而使用户的购电成本得以降低。

4 结束语

通过提出基于深度强化学习的分布式电力配电网负荷调度方法，本方法在以下几个方面具有创新：首先，利用深度强化学习中的LSTM 网络实现对损坏负荷数据的特征提取，能够更好地理解和分析负荷数据中的时序模式和特征。其次，通过建立分布式电力配电网调度模型的约束条件，考虑了不同能源源头的协调调度以及供需平衡等要素，保证了调度的可行性和系统的稳定运行。最后，引入非线性递减惯性权重到传统粒子群算法中，对调度结果进行优化，提高了算法的全局搜索能力和收敛速度。通过实验结果的验证，本方法成功实现了负荷的优化调度，并能够适应存储设备和灵活负荷的主动加入，以及与新能源功率特性和负荷特性的更高匹配度。综上所述，该方法在分布式电力配电网负荷调度中具有可靠的特征提取、灵活的模型约束和高效的寻优调度等主要创新之处，对于实现可持续、智能化的分布式电力配电网具有重要的实际应用价值。