结合数据驱动与物理模型的主动配电网双时间尺度电压协调优化控制

张 剑 崔明建 何怡刚

结合数据驱动与物理模型的主动配电网双时间尺度电压协调优化控制

张 剑1崔明建2何怡刚3

（1. 合肥工业大学电气与自动化工程学院 合肥 230009 2. 天津大学电气自动化与信息工程学院 天津 300072 3. 武汉大学电气与自动化学院 武汉 430072）

高比例电动汽车、分布式风电、光伏接入配电网，导致电压频繁地剧烈波动。传统调压设备与逆变器动作速度差异巨大，如何协调是难点问题。该文结合数据驱动与物理建模方法，提出一种配电网双时间尺度电压协调优化控制策略。针对短时间尺度（min级）电压波动，以静止无功补偿器、分布式电源无功功率为决策变量，以电压二次方偏差最小为目标函数，针对平衡与不平衡配电网，基于支路潮流方程，计及物理约束构建了二次规划模型。针对长时间尺度（h级）电压波动，以电压调节器匝比、可投切电容电抗器挡位、储能系统充放电功率为动作，当前时段配电网节点功率为状态，节点电压二次方偏差为代价，构建了马尔可夫决策过程。为克服连续-离散动作空间维数灾，提出了一种基于松弛-预报-校正的深度确定性策略梯度强化学习求解算法。最后，采用IEEE 33节点平衡与123节点不平衡配电网验证了所提出方法的有效性。

智能配电网 电压控制 深度强化学习 二次规划 双时间尺度

0 引言

未来一二十年，我国配电网将接入大量可再生分布式电源（Distributed Generators, DG）与电动汽车（Electrical Vehicles, EV）。DG、EV对配电网的影响与利用、配电网优化运行、主动配电网技术等已成为电气工程领域的研究热点[1]。某些情况下，传统电压调节方法无法将所有节点电压调整至额定范围[2]。文献[3]针对实际配电网以10 min为动作周期进行的仿真结果表明，电压调节器（Voltage Regulators, VR）、电容器与DG相互作用，导致动作次数急剧上升，甚至达到10万余次/年。

高比例DG接入配电网可能导致潮流反向，超过允许的最大值，损坏VR。间歇性DG、EV与VR、电容器、电动机相互作用可能导致分接头达到最高/最低挡位，失去控制，加重公共并网点电压下降/上升幅度，电压调节失败、恶化[4]，甚至引起暂态电压失稳与振荡[5]。DG启停、出力变化、EV无序充电、快充亦可能导致电压越限、失稳与振荡[6]。光伏发电有功功率变化量在1 min内能够达到其额定功率的15%。文献[1]针对某实际配电网的仿真表明，处于配电网末端的快速充电站内6辆EV同时快充即可导致电压越限。

基于物理模型的无功功率优化是解决上述电压问题的常用手段。根据对通信系统的依赖程度，无功优化可分为集中式、分布式与本地控制。集中式控制主要基于混合整数二次规划、二阶锥规划、半定规划[7]、模型预测控制[8]、灵敏度分析、进化算法[9]等；分布式控制主要基于交替方向乘子法[10]、多智能体技术[11]、一致性算法[12-13]等；本地控制主要基于梯度投影法、下垂控制等。由于存在整数变量与非线性约束，集中式控制模型一般是非凸的，求解十分困难，属于NP难题。本地控制难以保证最优性。分布式控制一般要求模型是凸的。

计及源荷不确定性，传统基于物理模型的配电网多时段有功无功协调优化属于大规模混合整数非凸非线性随机或鲁棒优化，求解复杂度随配电网拓扑规模与可调设备数量的增加呈指数增长，属于NP难题。同时，DG逆变器、VR、可投切电容电抗器（Switchable Capacitors Reactors, SCR）、储能系统（Energy Storage Systems, ESS）、静止无功补偿器（Static Var Compensators, SVC）等可调设备动作速度与特性差异很大，使得配电网有功无功协调优化面临维数高、建模困难、求解缓慢等难题。如何快速找到全局最优解已成为主动配电网最优潮流领域的研究热点。

为消除对配电网精确模型与源荷不确定性先验知识的依赖，近年来基于强化学习的数据驱动方法受到了众多专家与学者的关注。深度强化学习（Deep Reinforcement Learning, DRL）已成功应用于电力系统状态估计与预测[14]、微电网经济调度[15]、电网安全稳定控制[16]、混合动力汽车能量管理[17]、园区综合能源系统优化管理[18]、风储联合电站实时调度[19]、配电网无功优化与电压控制[20-23]等。文献[24]提出了一种配电网双时间尺度电压协调优化控制策略，采用深度Q网络（Deep Q Network, DQN）算法协调控制电容器投切，但未计及配电网三相不平衡、ESS、VR、电抗器的作用。

目前，DQN算法广泛应用于配电网无功功率-电压优化问题。然而，当配电网中存在大量VR或电容器时，DQN算法导致离散动作空间维数灾[24]。针对此问题，文献[25]提出了一种多智能体DQN算法。然而，连续决策变量被离散化，导致离散动作维数急剧增加。此外，逆变器、VR与电容器的动作时间间隔设置为相同，降低了灵活性与最优性。尽管多智能体DRL能够有效地克服维度灾，但训练过程收敛速度与平稳度远低于单智能体。

此外，上述基于数据驱动的方法未计及传统可调设备与新出现的DG、ESS在不同时间尺度上的协同优化。VR、SCR、ESS与SVC、DG逆变器动作速度与特性不同（VR、SCR动作速度慢，为降低磨损，延长使用寿命，不宜频繁动作；ESS充放电功率变化率与循环次数亦存在限制），适用于不同时间尺度的电压调节。当前时刻VR匝比、SCR挡位、ESS充放电功率设定值对下一时段SVC、DG逆变器无功功率设定值具有重大影响。反之，当前时刻SVC、DG逆变器无功功率设定值对未来时段VR匝比、SCR挡位、ESS充放电功率设定值亦具有重大影响。事实上，这种双向长期互动很难刻画、建模与求解。因此，本文从可调设备动作速度与特性出发，结合数据驱动与物理建模方法，提出了一种在短、长时间尺度上协调优化控制VR、SCR、ESS、SVC与DG逆变器五种不同类型可调设备的策略。

1 双时间尺度电压协调优化控制策略

1.1 系统模型

图1 辐射状配电网支路潮流

图2 电压调节器支路等效电路

图3 可调设备双时间尺度动作时刻划分

1.2 双时间尺度有功无功功率-电压协调优化控制模型

2 短时间尺度无功功率-电压二次规划模型

2.1 平衡配电网支路潮流方程

2.2 不平衡配电网支路潮流方程

2.3 DG的模型

2.4 SVC的模型

SVC注入配电网的无功功率约束为

2.5 目标函数

对于三相平衡配电网，短时间尺度电压协调优化控制模型为

对于三相不平衡配电网，短时间尺度电压协调优化控制模型为

值得指出的是，本文对源荷不确定性处理方法如下：短时间尺度凸优化模型时隙间隔可根据实际配电网功率波动情况设置为几分钟。因此，源荷功率可采用超短期预测方法得到精确值[14]。

3 长时间尺度ESS VR与SCR设置

3.1 基于数据驱动的求解方法

随机优化与鲁棒优化是处理源荷不确定性的常用方法。然而，随机优化需要大量数据样本，计算开销巨大，难以满足大规模配电网实时控制需求。鲁棒优化针对最恶劣场景进行决策，未利用源荷不确定性概率密度信息，使得优化结果偏于保守。因此，针对传统大规模混合整数优化NP难题，本文第一层长时间尺度（h级）控制基于数据驱动方法构建MDP，采用DRL方法能够快速求解离散可调设备匝比/挡位与ESS充放电功率（近似）最优设定值。为克服离散动作空间维数灾，本文提出一种基于松弛-预报-校正的改进深度确定性策略梯度（Deep Deterministic Policy Gradient, DDPG）强化学习算法，能够高效处理离散与连续决策变量联合动作。针对高比例间歇性DG、快充EV接入配电网引起的源荷功率与电压频繁、快速、剧烈波动问题，本文第二层短时间尺度（min级）控制在给定第一层控制变量设定值后，通过构建单一时隙无功优化二次规划（Quadratic Programming, QP）物理模型，能够快速求解SVC与DG逆变器无功功率设定值，满足实时控制需求。源荷功率采用超短期预测方法得到精确值[14]。长时间尺度（h级）内求解每个短时间尺度（min级）QP得到的最优目标函数值累加后作为MDP的代价。因此，数据驱动与物理建模方法融为一体，相互协调，互相配合，能够保证解的（近似）最优性。

长期回报：MDP的目标是采用最优策略使得长期折扣回报最大。

3.2 基于松弛-预报-校正的改进DDPG求解算法

图4 消除离散-连续动作空间维数灾的改进DDPG算法

本文提出的双时间尺度电压协调优化控制程序流程如图5所示。

图5 双时间尺度电压协调优化控制程序流程

4 仿真算例

4.1 仿真条件

表1 ESS的参数

Tab.1 Parameters of ESS

表2 可调设备的参数

表3 DDPG人工神经网络的参数

Tab.3 Settings of DDPG

在33节点配电网中，SVC容量为[-0.5 0.5]Mvar；每个SCR最小、最大无功功率分别为-0.5、0.5 Mvar，步长为0.1 Mvar；VR步长为0.006 25；每台WTG最大有功功率与额定容量分别为0.1 MW、0.1 MV·A；时隙间隔长度设置为5 min。

在123节点配电网中，每个SVC容量为[-0.15 0.15]Mvar；每个on-off电容器无功功率分别为0.2、0.2、0.2、0.05、0.05、0.05 Mvar；每个VR步长为0.025；每台WTG最大有功功率与额定容量分别为0.09 MW、0.09 MV·A；节点123为平衡节点，电压固定为1.05(pu)；时隙间隔长度设置为10 min；每个节点最大负荷功率与文献[28]相同。

值得指出的是，目前配电网调度周期是固定的，如1 h。未来，高比例光伏、（快充）EV接入配电网，导致电压频繁、快速、剧烈波动。配电网调度周期将会发生改变，如变为5～15 min。文献[24]设置配电网调度周期为5 min。因此，本文提出的结合数据驱动与物理模型的主动配电网双时间尺度电压协调优化控制方法中，ESS、VR与SCR动作周期为每个时段（h级），在每个时隙（min级）均不动作，SVC、DG逆变器无功动作周期为每个时隙（min级），如图3所示。

4.2 33节点配电网仿真结果

图6 33节点配电网平均每小时代价

图8 第600天数据被训练后当天节点18与33电压幅值

图9 第172 800时隙所有节点电压幅值

4.3 123节点配电网仿真结果

图10 123节点配电网平均每小时代价

图12 在第600天数据被训练后节点96当天电压幅值

图13 第86 400时隙所有节点电压幅值

4.4 与现有多智能体DQN算法比较

5 结论

本文训练集是固定的，而且未采用测试集验证基于松弛-预报-校正的DDPG算法泛化能力。进一步研究的工作重点是采用滚动测试集在线实时验证基于松弛-预报-校正的DDPG算法泛化能力。

[1] Yong Jiaying, Ramachandaramurthy V K, Tan Kangmiao, et al. Bi-directional electric vehicle fast charging station with novel reactive power compensation for voltage regulation[J]. International Journal of Electrical Power & Energy Systems, 2015, 64: 300-310.

[2] Wang Pengfei, Liang D H, Yi Jialiang, et al. Integrating electrical energy storage into coordinated voltage control schemes for distribution networks[J]. IEEE Transactions on Smart Grid, 2014, 5(2): 1018-1032.

[3] Ranamuka D, Agalgaonkar A P, Muttaqi K M. Examining the interactions between DG units and voltage regulating devices for effective voltage control in distribution systems[J]. IEEE Transactions on Industry Applications, 2017, 53(2): 1485-1496.

[4] Agalgaonkar Y P, Pal B C, Jabr R A. Distribution voltage control considering the impact of PV generation on tap changers and autonomous regulators[J]. IEEE Transactions on Power Systems, 2014, 29(1): 182-192.

[5] Kawabe K, Tanaka K. Impact of dynamic behavior of photovoltaic power generation systems on short-term voltage stability[J]. IEEE Transactions on Power Systems, 2015, 30(6): 3416-3424.

[6] Taranto G N, Assis T M L, Falcao D M, et al. Highlighting the importance of chronology on voltage protection and control in active distribution networks[J]. IEEE Transactions on Power Delivery, 2017, 32(1): 361-369.

[7] Bose S, Low S H, Teeraratkul T, et al. Equivalent relaxations of optimal power flow[J]. IEEE Transactions on Automatic Control, 2015, 60(3): 729-742.

[8] Valverde G, Van Cutsem T. Model predictive control of voltages in active distribution networks[J]. IEEE Transactions on Smart Grid, 2013, 4(4): 2152-2161.

[9] 黄大为, 王孝泉, 于娜, 等. 计及光伏出力不确定性的配电网混合时间尺度无功/电压控制策略[J]. 电工技术学报, 2022, 37(17): 4377-4389. Huang Dawei, Wang Xiaoquan, Yu Na, et al. Hybrid timescale voltage/var control in distribution network considering PV power uncertainty[J]. Transactions of China Electrotechnical Society, 2022, 37(17): 4377-4389.

[10] Magnússon S, Qu Guannan, Fischione C, et al. Voltage control using limited communication[J]. IEEE Transactions on Control of Network Systems, 2019, 6(3): 993-1003.

[11] Bolognani S, Carli R, Cavraro G, et al. Distributed reactive power feedback control for voltage regulation and loss minimization[J]. IEEE Transactions on Automatic Control, 2015, 60(4): 966-981.

[12] 杨珺, 侯俊浩, 刘亚威, 等. 分布式协同控制方法及在电力系统中的应用综述[J]. 电工技术学报, 2021, 36(19): 4035-4049. Yang Jun, Hou Junhao, Liu Yawei, et al. Distributed cooperative control method and application in power system[J]. Transactions of China Electrotechnical Society, 2021, 36(19): 4035-4049.

[13] 李忠文, 程志平, 张书源, 等. 考虑经济调度及电压恢复的直流微电网分布式二次控制[J]. 电工技术学报, 2021, 36(21): 4482-4492. Li Zhongwen, Cheng Zhiping, Zhang Shuyuan, et al. Distributed secondary control for economic dispatch and voltage restoration of DC microgrid[J]. Transactions of China Electrotechnical Society, 2021, 36(21): 4482-4492.

[14] Zhang Liang, Wang Gang, Giannakis G B. Real-time power system state estimation and forecasting via deep unrolled neural networks[J]. IEEE Transactions on Signal Processing, 2019, 67(15): 4069-4077.

[15] 巨云涛, 陈希, 李嘉伟, 等. 基于分布式深度强化学习的微网群有功无功协调优化调度[J]. 电力系统自动化, 2023, 47(1): 115-125. Ju Yuntao, Chen Xi, Li Jiawei, et al. Active and reactive power coordinated optimal dispatch of networked microgrids based on distributed deep reinforcement learning[J]. Automation of Electric Power Systems, 2023, 47(1): 115-125.

[16] 顾雪平, 刘彤, 李少岩, 等. 基于改进双延迟深度确定性策略梯度算法的电网有功安全校正控制[J]. 电工技术学报, 2023, 38(8): 2162-2177. Gu Xueping, Liu Tong, Li Shaoyan, et al. Active power correction control of power grid based on improved twin delayed deep deterministic policy gradient algorithm[J]. Transactions of China Electrotechnical Society, 2023, 38(8): 2162-2177.

[17] 陈泽宇, 方志远, 杨瑞鑫, 等. 基于深度强化学习的混合动力汽车能量管理策略[J]. 电工技术学报, 2022, 37(23): 6157-6168. Chen Zeyu, Fang Zhiyuan, Yang Ruixin, et al. Energy management strategy for hybrid electric vehicle based on the deep reinforcement learning method[J]. Transactions of China Electrotechnical Society, 2022, 37(23): 6157-6168.

[18] 陈明昊, 孙毅, 谢志远. 基于双层深度强化学习的园区综合能源系统多时间尺度优化管理[J]. 电工技术学报, 2023, 38(7): 1864-1881. Chen Minghao, Sun Yi, Xie Zhiyuan. The multi-time-scale management optimization method for park integrated energy system based on the Bi-layer deep reinforcement learning[J]. Transactions of China Electrotechnical Society, 2023, 38(7): 1864-1881.

[19] 宋煜浩, 魏韡, 黄少伟, 等. 风储联合电站实时自调度的高效深度确定性策略梯度算法[J]. 电工技术学报, 2022, 37(23): 5987-5999. Song Yuhao, Wei Wei, Huang Shaowei, et al. Efficient deep deterministic policy gradient algorithm for real-time self-dispatch of wind-storage power plant[J]. Transactions of China Electrotechnical Society, 2022, 37(23): 5987-5999.

[20] Xu Hanchen, Domínguez-García A D, Sauer P W. Optimal tap setting of voltage regulation transformers using batch reinforcement learning[J]. IEEE Transactions on Power Systems, 2020, 35(3): 1990-2001.

[21] Al-Saffar M, Musilek P. Reinforcement learning-based distributed BESS management for mitigating overvoltage issues in systems with high PV penetration[J]. IEEE Transactions on Smart Grid, 2020, 11(4): 2980-2994.

[22] Wang Wei, Yu Nanpeng, Gao Yuanqi, et al. Safe off-policy deep reinforcement learning algorithm for volt-VAR control in power distribution systems[J]. IEEE Transactions on Smart Grid, 2020, 11(4): 3008-3018.

[23] Cao Di, Hu Weihao, Zhao Junbo, et al. A multi-agent deep reinforcement learning based voltage regulation using coordinated PV inverters[J]. IEEE Transactions on Power Systems, 2020, 35(5): 4120-4123.

[24] Yang Qiuling, Wang Gang, Sadeghi A, et al. Two-timescale voltage control in distribution grids using deep reinforcement learning[J]. IEEE Transactions on Smart Grid, 2020, 11(3): 2313-2323.

[25] Zhang Ying, Wang Xinan, Wang Jianhui, et al. Deep reinforcement learning based volt-VAR optimization in smart distribution systems[J]. IEEE Transactions on Smart Grid, 2021, 12(1): 361-371.

[26] Dulac-Arnold G, Evans R, Van Hasselt H, et al. Deep reinforcement learning in large discrete action spaces[J]. Computer Science, 2015. DOI:10.48550/ ARXiv.1512.07679.

[27] Zhang Jian, He Yigang. Fast solving method for two-stage multi-period robust optimization of active and reactive power coordination in active distribution networks[J]. IEEE Access, 2022, 11: 30208-30222.

[28] Ding Tao, Liu Shiyu, Yuan Wei, et al. A two-stage robust reactive power optimization considering uncertain wind power integration in active distribution networks[J]. IEEE Transactions on Sustainable Energy, 2016, 7(1): 301-311.

Dual Timescales Coordinated and Optimal Voltages Control in Distribution Systems using Data-Driven and Physical Optimization

Zhang Jian1Cui Mingjian2He Yigang3

（1. School of Electrical and Automation Engineering Hefei University of Technology Hefei 230009 China 2. School of Electrical and Information Engineering Tianjin University Tianjin 300072 China 3. School of Electrical and Automation Wuhan University Wuhan 430072 China）

A large number of electric vehicles (EVs), distributed solar and/or wind turbine generators (WTGs) connected to distribution systems lead to frequent and sharp voltages fluctuations. The action rates of conventional adjustable devices and smart inverters are very different. In this context, a novel dual-timescale voltage control scheme is proposed by organically combining data-driven with physics-based optimization. On fast timescale, a quadratic programming (QP) for balanced and unbalanced distribution systems is developed based on branch flow equations. The optimal reactive power of renewable distributed generators (DGs) and static VAR compensators (SVCs) is configured on several minutes. Whereas, on slow timescale, a data-driven Markovian decision process (MDP) is developed, in which the charge/discharge power of energy storage systems (ESSs), statuses/ratios of switchable capacitors reactors (SCRs), and voltage regulators (VRs) are configured hourly to minimize long-term discounted squared voltages magnitudes deviations using an adapted deep deterministic policy gradient (DDPG) deep reinforcement learning (DRL) algorithm. The capabilities of the proposed method are validated with IEEE 33-bus balanced and 123-bus unbalanced distribution systems.

Smart distribution systems, voltage control, deep reinforcement learning(DRL), quadratic programming(QP), dual-timescale

10.19595/j.cnki.1000-6753.tces.222273

TM732

国家自然科学基金资助项目（52207130）。

2022-12-12

2023-09-27

张 剑 1982年生，男，博士，讲师，研究方向为电力系统建模、主动配电网技术、电动汽车有序充电等。E-mail：z_jj1219@sina.com（通信作者）

崔明建 1987年生，男，博士，教授，研究方向为风力预测、机组组合、配电网物理信息系统等。E-mail：mingjian.cui@ ieee.org

（编辑 赫 蕾）