基于深度强化学习的含储能有源配电网电压联合调控技术

齐韵英, 许潇, 殷科, 马超, 刘友波

(1.四川大学电气工程学院, 成都市 610065;2.国网四川综合能源服务有限公司, 成都市 610072)

0 引 言

能源结构向低碳方向转型的需求[1-2],以及电力电子和可再生能源发电技术的进步,推动了可再生能源的利用。分布式发电(distributed generation,DG)通过逆变器等电力电子设备接入配电网,系统由单向无源网络向双向有源网络过渡[3-4],导致了额外的电压偏移。风机和光伏出力的不确定性和波动性,给配电网的可靠、优化以及安全运行等方面带来了挑战[5-7]。其中,DG渗透率的提高导致的电压越限问题备受关注。

以往的电压调控方法,如内点法[8-9]、混合整数线性规划[10]、混合整数二阶锥规划[11-12]以及元启发式优化算法[13-14]等,尽管这些基于模型的策略在电压优化等方面是有效的,但其依赖于网络的拓扑结构和参数等信息,要求全局信息的掌握,不能保证模型的准确性,因此优化的效果有限。可再生能源发电和负荷等的多种不确定性也是传统优化方法面临的挑战,为此提出了模型预测控制(model predictive control,MPC)[15]、鲁棒优化(robust optimization,RO)[16-17]等不确定优化方法,但基于MPC和RO的策略同样依赖准确的网络参数和拓扑信息,在处理不确定时由于信息采集不全需要引入诸多主观假定参数,变量维度容易爆炸,且MPC和RO通过寻找预先确定的解决方案来处理负荷和DG的不确定性,但DG在短时间内波动较大,使其需要更频繁地操作可控设备,并重新计算最优解[18]。

人工智能的发展为解决上述问题提供了解决方法,深度强化学习[19](deep reinforcement learning,DRL)提供了无模型的框架来解决配电网电压调控问题,可以弥补传统优化方法依赖物理模型和全局信息的缺陷,此外在应对多种不确定性的环境时,无需扩展决策变量维度,性能优于传统的随机优化方法。DRL依据学习到的历史经验在线调整系统的运行状态,具有能够兼容多种复杂模型的优点,目前已被广泛用于电力系统中的控制问题,例如电压控制、自适应紧急控制等。文献[20]基于深度Q网络(deep Q-network,DQN)算法提出了一种两级电压控制框架,通过调度离散的电容组获得无功支持。文献[21]通过协调DG上的电容器、电压调节器等设备,基于多智能体DQN框架实现了不平衡配电网络的电压无功优化。但DQN算法只适用于离散的动作区间,在连续动作空间问题上容易陷入维数灾难。深度确定性策略梯度(deep deterministic policy gradient,DDPG)是DeepMind团队提出的专门应对复杂的高维连续动作空间问题的DRL算法,DDPG算法使用策略网络输出确定性动作,在大规模电网控制方面具有明显的优势[22-23]。

在传统的电压调度控制中,多依托于有载调压变压器、电容器组等调压设备解决电压越限问题,这在过去对于沿馈线电压分布单调递减且电压变化缓慢的传统集中式电源是有效的。然而配电网层面上聚合了大量的分布式可再生能源发电,逆潮流与DG的不确定性增加了电压越限的风险。传统调压设备由于机械特性和寿命问题,只能在很长的时间尺度内调度,缺乏快速响应的能力,无法准确调节具有高渗透率DG配电网的电压[24]。静止无功补偿装置(static var compensator,SVC)作为一种电力电子设备,能在短时间内提供连续的无功功率支持,可以用于含高渗透率DG配电网的电压偏差抑制。但配电网电阻和电抗的比值较大,有功功率的注入对节点电压的影响与无功功率相当,因此单一的无功功率补偿手段可能无法较好地提高配电网络的电压质量。

为此,针对含高比例DG有源配电网的电压越限问题,提出一种基于DDPG的电压调控策略,将电压调控问题建模为马尔可夫决策过程(Markov decision-making processes,MDP),通过将复杂的物理模型转换为数据样本以学习电压波动抑制的规律,利用策略网络输出连续确定性动作,仅在当前的状态下寻找最优策略,而无需建立模型和全局信息。由于单一的SVC无功支持可能无法满足电压质量的要求,引入电池储能系统(battery energy storage system,BESS)。BESS具有响应速度快和高效充放电的优点[25-26],且具备灵活的四象限运行能力,可以同时提供有功和无功支撑。利用BESS和SVC进行配电网的有功无功联合调控,能够有效改善配网末端或波动较大的局部电压运行品质。考虑到储能成本高昂、电池循环次数有限,无规律的充放电动作会加速储能容量的衰减,将储能寿命损耗和容量衰减纳入优化,并考虑了储能的动态运行效率。实现在提高配电网的电压质量、改善电压波动的同时兼顾储能电池的低衰减长循环,提升应用储能的经济性。

1 系统模型和约束

本文考虑的配电网架构由风机、光伏、储能、SVC以及负荷构成,旨在利用电池储能元件和SVC实现电压波动的抑制,并考虑储能的动态运行效率和储能的容量衰减特性,因此对储能的动态运行特性机理进行了研究,并给出了系统的各项约束。

1.1 考虑容量衰减的储能模型

1.1.1 储能动态效率

BESS的荷电状态(state of charge,SOC)和输出功率的关系可近似为:

(1)

式中:SOC,t为储能电池t时刻的荷电状态;EB表示储能电池的额定容量;Pbess,t表示储能电池t时刻的有功输出功率,Pbess,t>0表示充电,反之表示放电;ηch表示充电效率;ηdis表示放电效率;Δt为时间间隔。

储能的效率在电力系统优化建模中通常被假设为恒定常数,实际上电池的效率在运行过程中随电池SOC和输出功率而变化,具有非线性关系[27]。

在储能参与系统的优化调度过程中,为了简化方程,可以用二次多项式拟合储能电池单元充放电效率和SOC、Pbess的关系[28],其中f0—f5、g0—g5均为系数:

(2)

(3)

式中:SOC为储能电池的荷电状态;Pbess为储能电池的有功输出功率。

1.1.2 储能容量衰减和寿命损耗模型

储能电池在运行过程中会伴随着内部溶液浓度下降、溶质氧化等现象,引起电池内阻增加,导致容量的衰减。一般认为储能电池容量衰减至额定容量的80%或内阻增加到原来的两倍时,电池进入退役期,投入梯级利用或进行回收。电池健康状态(state of health, SOH)可用于描述储能电池容量保持程度,定义为可用容量和额定容量的比值:

(4)

式中:SOH指储能电池的健康状态;Esu表示储能电池的可用容量。

BESS电池从满SOC放电到特定SOC,再从特定SOC充电到满SOC循环的总次数称为储能的生命周期。BESS的生命周期与电池的放电深度(depth of discharge, DOD)有关[29]：

(5)

DOD=1-SOC

(6)

式中:DOD表示电池的放电深度;Nlife(·)为拟合函数;h0—h4均为系数。

储能的寿命损耗可以定义为关于电池SOC的函数,储能电池的容量衰减可定义为与寿命损耗相关的函数,其关系式如下:

(7)

Lloss,t=|F(SOC,t)-F(SOC,t-1)|

(8)

(9)

SOH=G(LTloss)=b1e-b2LTloss+b3e-b4LTloss

(10)

式中:F(·)为储能电池的寿命损耗与荷电状态关系的原始函数;Lloss,t表示储能电池在时刻t的寿命损耗;LTloss指初始时刻t0到当前时刻t的总寿命损耗;G(·)为储能电池健康状态与寿命损耗的拟合函数,如式(10)所示;b1～b4为拟合系数。

为简便起见,将储能的寿命近似划分为J个阶段,对SOH和寿命损耗的拟合关系进行分段线性化[30],可得:

SOH,t-SOH,t-1=∂jLloss,t,j=1,2,3,…,J

(11)

(12)

式中:SOH,j0表示第j个阶段的初始SOH;∂j为第j个阶段的容量衰减系数;LTloss,j表示j阶段储能电池的总寿命损耗。

1.1.3 储能变流器

储能变流器(power conversion system,PCS)是BESS除电池单元外另一重要组成部分,具备有功功率和无功功率双向调节功能。PCS可通过充放电从电网吸纳或提供有功能量,还可输出连续可调的感性无功或容性无功。

PCS可以将系统的有功和无功输出解耦,外环控制器检测电网的有功和无功需求,内环控制器控制有功或无功的输出,依据电网的实际运行需求在四个象限或坐标轴上运行,如图1所示。

图1 BESS有功和无功输出范围

储能的输出功率受电池SOC与额定视在功率的限制:

(13)

(14)

式中:SOC,max、SOC,min分别表示电池荷电状态的上下限;Pbess,max表示BESS输出有功功率上限;Qbess表示BESS输出的无功功率;Sbess表示BESS视在功率;SBESS表示BESS额定视在功率。

1.2 系统约束

系统的约束主要包括设备约束、安全电压约束、潮流约束以及功率平衡约束。

1.2.1 SVC出力约束

SVC是一种基于晶闸管开关的无功补偿设备,SVC可以为系统提供连续的无功支持,将电压维持在适当的水平。BESS和SVC的有功无功联合调控,能够有效解决电压越限问题,且减少BESS的充放电次数。SVC的运行受其最大输出功率Qsvc,max的限制:

-Qsvc,max≤Qsvc,t≤Qsvc,max

(15)

式中:Qsvc,max为SVC最大输出功率;Qsvc,t为SVC的t时刻输出功率。

1.2.2 安全电压约束

(16)

式中:Vi,t为t时刻节点i的电压值;Vr为额定电压值;Vi,max、Vi,min分别指节点i的电压上下限,本文设定的电压安全范围为1±5%。

1.2.3 潮流约束

Pi=Vi∑j∈iVj(Gijcosθij+Bijsinθij)

(17)

Qi=Vi∑j∈iVj(Gijsinθij-Bijcosθij)

(18)

式中:Pi、Qi分别为节点i的有功功率与无功功率;Vi、Vj分别为节点i和与其相连的节点j的电压;Gij、Bij分别为节点i和节点j之间的导纳和电纳;θij为节点i和j之间的相角差。

1.2.4 功率平衡约束

(19)

式中:Pload,i,t、Qload,i,t分别表示节点i处的有功和无功负荷;PWT,i,t、PPV,i,t分别表示节点i处的分布式风电、光伏输出功率;Pbess,i,t、Qbess,i,t分别表示节点i处的储能有功和无功出力;Pline,t表示从上级电网获得的功率;Qsvc,i,t表示SVC的无功出力;i∈Ω,Ω表示节点集合。

2 基于DDPG的电压调控框架

复杂的潮流模型以及储能的动态运行模型等使得所提出的电压调控策略的非线性和非凸性增强,传统基于模型的方法很难实现理想的优化效果,未来的不确定性使决策带来的效果更加难以预测。MDP是对于此类问题的一种建模方法,马尔可夫过程认为从一个状态到下一个状态的转换仅取决于当前状态和选择的动作,可以在不确定性环境中执行决策。因此基于DRL的框架,将配电网的电压调控问题建模为马尔可夫决策过程,其中考虑了系统的各项约束。

2.1 电压调控建模为马尔可夫决策过程

MDP包含状态空间S、动作空间A、奖励函数R、状态转移概率P和折扣因子γ五个基本要素。马尔可夫决策过程中,t+1时刻的动作和状态信息仅与时刻t有关:

P(s′;s,a)=P{st=s′∣st-1=s,at-1=a}s,s′∈S,a∈A

(20)

式中:P(s′;s,a)表示在当前状态s下执行动作a后,转移到下一状态s′的概率;st、st-1分别为t和t-1时刻的状态;at-1表示t-1时刻的动作。

MDP具体建模如下:

1)状态空间S：状态空间给出了智能体的环境感知内容。本文中状态信息st包含风力发电输出功率PWT,t、光伏输出功率PPV,t、负荷Pload,t、上级电网传输功率Pline,t-1以及储能的荷电状态SOC,t-1、电池健康状态SOH,t-1、总寿命损耗LTloss,t-1。其中PWT,t、PPV,t、Pload,t属于输入信息,其他属于输出信息,受本身约束和决策的控制生成。

st={PWT,t,PPV,t,Pload,t,Pline,t-1,SOC,t-1,SOH,t-1,LTloss,t-1}

(21)

2)动作空间A：智能体根据学习到的控制策略采取动作at,智能体控制储能的变流器和SVC的出力点,通过选择最优的策略p,向获得更高奖励的方向更新。

at={Pbess,t,Qbess,t,Qsvc,t}

(22)

3)状态转移:状态st到状态st+1的状态转移可以定义为:

st+1=f(st,at,ωt)

(23)

式中:ωt表示在状态转移过程中的随机扰动或噪声。

式(23)表明状态转移不仅由当前状态st和动作at决定,由于下一个状态中负荷需求、风电和光伏出力未知,还受随机性的影响。受负荷、天气变化等因素的影响,还难以建立准确的随机分布模型。因此本文利用DRL算法从不需要随机性统计模型的系统数据样本中学习状态的转换。

4)奖励函数R：即时奖励rt在时刻t后立即返回,智能体执行动作时获得基于状态信息st的at。

在DRL环境中,奖励函数通常是策略的目标的拓展,所提出的电压调控策略通过调控储能和SVC减小系统电压偏差,实现系统的削峰填谷,并考虑储能的电池容量衰减成本,定义如下指标:

FTloss,t=λ1(1-SOH,t)

(24)

(25)

式中:FTloss,t表示储能的衰减成本;λ1为储能寿命损耗成本参数;考虑平缓系统的净负荷曲线,降低与上级电网传输功率的波动,将传输功率波动作为评价削峰填谷的指标Fline,t;Pline,t、Pline,t-1分别为t和t-1时刻的上级电网传输功率;ΔPline,t表示当前时刻的上级电网传输功率与上一时刻的差值,即传输功率波动;λ2为惩罚参数。λ1和λ2数值的选择应遵循将FTloss,t和Fline,t维持在同一数量级的原则。

引入惩罚函数来处理约束,并纳入奖励函数中进行优化,BESS的约束按如下的惩罚函数处理:

(26)

(27)

此外,考虑到最小化系统电压偏差,设置如下的惩罚函数:

(28)

(29)

式(26)—(28)为惩罚项,意在利用负的奖励值限制系统运行在约束范围内。惩罚参数通常为负的很大的值并与模型紧密联系,当BESS在给定约束范围内时,惩罚项置零,而考虑到电压偏差的最小化,电压在安全运行范围内时,惩罚项值较小。因此即时奖励rt可以由如下的表达式给出:

(30)

DRL智能体执行动作并获得奖励,通过探索行动空间,学习最优策略最大化累积奖励:

(31)

式中:R(st,t)表示在当前状态下智能体获得的奖励;γ∈[0,1],表示贴现系数,反映了即时奖励和未来奖励的相对重要性。策略π是从状态st到基于该状态的采取动作at间的映射,这决定了智能体的行为。当前状态st下的动作可以通过状态-动作价值函数Qπ(s,a)评估:

Qπ(s,a)=Eπ[Rt∣s=st,a=at]

(32)

式中:Eπ[·]表示在策略π下的期望值操作,计算根据策略π执行动作所得到的回报Rt的期望值。

从MDP的角度来看,配电网电压调控的目标为寻找最优策略π*以最大化式(32)中的价值函数:

(33)

以上将电压调控策略转化成MDP问题,可以看出,DRL的学习过程基于试错和反馈机制,通过在不同状态下尝试不同的动作并观察获得奖励值,并使它向奖励值更大的方向逼近,可以灵活地应对不同的环境。

本文中DRL的决策框架如图2所示,智能体通过与环境的交互获取经验,并找出最优的策略。

图2 DRL决策框架

2.2 深度确定性策略梯度算法

由于电力系统中负荷和新能源发电存在不确定性,通过传统的优化方法难以确定最优策略π*。DDPG智能体可以从过去的高维历史数据中学习最优策略,在非线性和多约束问题上具有很大的优势,因此采用DDPG算法解决所提出具有连续动作空间的MDP问题。DDPG基于贝尔曼最优方程更新行为值函数:

Qμ(st,at)=Ert,st+1～E[r(st,at)+γQμ(st+1,μ(st+1))]

(34)

式中:Qμ(st,at)表示在状态st下采取动作at的行为值函数;μ为当前策略函数,表示根据状态选择动作的策略;Ert,st+1～E[·]表示对即时回报rt和下一个状态st+1进行期望值操作,其中rt和st+1根据环境的动态特性随机生成。

DDPG基于Actor-Critic架构,使用两种典型的深度神经网络逼近Actor函数(θμ)和Critic函数(θQ),并分别拥有目标网络即目标策略网络θμ′和目标价值网络θQ′。

价值网络用于评估策略,输入包括状态st和动作at,输出为Q值,表示在当前状态下动作的价值,即在当前的负荷、DG出力以及储能的容量和荷电状态下,BESS和SVC的功率输出对配电网电压波动的抑制效果。价值网络向最小化损失函数式(35)的方向迭代更新参数θQ。

(35)

yt=rt+Q′[st+1,μ′(st+1|θμ′)|θQ′]

(36)

式中:L表示损失函数的值;N表示样本数量;θQ为价值网络的参数;yt为目标Q值,表示在状态st下采取动作at的期望累计奖励;Q′表示目标价值网络,θQ′为其参数;μ′表示目标策略,θμ′为其参数。

策略网络以状态st作为输入,输出动作at,即BESS和SVC在当前状态下的最佳出力点。策略网络输出层包含tanh激活函数,所有输出向量值的范围为(-1,1)。策略网络参数θμ的更新遵循确定性策略:

(37)

在算法中,通过在确定性策略中添加随机噪声Nt,以提高DDPG智能体在与配电网环境交互时的探索能力:

(38)

3 算例仿真

3.1 算例设置

在改进的配电网IEEE 33系统中,对基于DDPG的电压调控策略性能进行了测试。在标准IEEE 33系统的不同节点设置风电、光伏以及储能,以应用在所提场景中。其中风机节点{17,32},光伏节点{8,21},储能节点{18,25,33},具体算例系统见图3。

图3 改进的IEEE 33节点系统

选取一年的风光荷的数据[31]作为训练集和测试集。储能装置的主要参数详见附录表A1,储能运行效率模型系数见附录表A2,生命周期Nlife与放电深度DOD拟合函数的系数见附录表A3;容量衰减模型系数[30]见附录表A4。本文奖励函数中的参数根据同一数量级以及不能违背约束的原则选取,并在多次仿真训练中对其进行了调整,具体数值见附录表A5。

3.2 仿真结果

3.2.1 智能体训练过程

将基于DDPG的电压调控模型的训练性能与基于SAC(soft actor-critic)的电压调控模型的训练性能进行了比较,以验证所提算法的有效性。DDPG算法仿真的超参数设置见附录表A6,智能体共进行了500次训练以学习最佳的电压调控策略,训练过程的奖励回报如图4所示,每次训练包含24个时隙,间隔为1 h。训练过程开始阶段,由于智能体没有获取在电压调控方面的经验,以较低的奖励值开始探索,通过不断地从历史经验中学习知识最大化奖励回报,最终收敛在一定水平。由对比结果可知,在本文所提出的考虑储能动态运行特性的电压调控场景中,DDPG表现出了更好的性能,具有更快的收敛速度和更高的奖励回报。

图4 训练过程的奖励曲线

3.2.2 电压调控模型的性能

含DG的配电网中,由于DG出力不稳定,且变化趋势一般与负荷曲线不匹配,因此配电网馈线末端和接入DG的位置存在电压越限的风险。本文通过调控BESS和SVC的出力,使各节点电压在安全范围内运行,减小电压的偏差。通过测试日评估智能体的训练效果,并随机选择了连续两天进行测试。测试日中风光荷的功率曲线如图5所示,仿真过程假设有功负荷和无功负荷曲线变化趋势保持一致。

图5 风光荷标幺功率

不同方法下测试日的电压调控效果如表1所示,比较的方法包括所提出的DDPG算法和SAC算法。定义平均电压偏差指标,对电压的调控效果进行分析,图6给出了测试日中每个节点处电压的极值曲线。

表1 测试日电压调控效果

图6 电压极值曲线

(39)

式中:ρ为电压平均偏差指标;Nnode和NT分别表示节点数量和时间步的数量。

由表1可知,通过DDPG算法和SAC算法进行电压调控后,平均电压偏差较无调控时分别降低了80.81%和32.11%,表1同时给出了测试日中节点电压的最高和最低值。图6表明在DDPG算法的调控下,电压整体水平更接近额定电压,电压偏差较无调控时明显降低。因此所提出的基于DDPG算法的电压调控策略,能够找到更优的BESS有功/无功和SVC的无功出力点,整体提升电压水平,减小电压的波动。

DDPG智能体通过奖励反馈值和环境的交互,寻找BESS和SVC最佳动作策略,以最小化电压偏差。储能的有功充放电功率和无功出力分别如图7、图8所示。

图8 BESS无功功率

由图7可看出,由于BESS1所处馈线同时设置了风机和光伏,DG的有功注入较为稳定,BESS1的SOC值波动最小,在夜间(21:00—24:00)其他储能处于放电状态时,BESS1进行充电。在测试日内,BESS1、BESS2和BESS3根据所处节点位置的功率需求在四象限内运行,为系统提供有功和无功支撑,初始SOC皆为0.5,SOC曲线表明储能SOC值均处于0.1～0.9的范围内,所设计的惩罚项能够很好地约束BESS的运行。

SVC时序无功出力如图9所示,可以看出SVC出力较为稳定,在多数时间内以输出最大无功功率0.8 Mvar运行,来满足系统的无功需求,能够较好地均衡系统中无功的分布。但由于SVC无功补偿量与电压平方成正比,因此电压波动时进行的无功补偿无法达到较高的电压质量。

图9 SVC无功功率

由图5给出的风电出力曲线可知,在13:00—16:00风机的出力开始增大,系统无功需求降低,因此BESS2发生无功倒吸现象,此时SVC的无功出力在一定程度上降低,在某些时刻也出现了无功倒吸现象,可见储能输出有功和无功功率与SVC相互配合,抑制系统内的电压波动。BESS1所处馈线有功功率注入量大,为缓解带来的过压风险,系统需要更多的无功支持,因此BESS1输出无功功率较高,而BESS3所处馈线无DG装置,因此其无功出力变化趋势与负荷变化趋势大致相同。

3.2.3 不确定性场景影响

为了验证所提出方法在应对系统负荷和DG出力的不确定性方面的效果,对某一天的负荷曲线和DG出力加上15%的正态分布偏差进行处理,并将DDPG算法得到的优化结果与粒子群算法(particle swarm optimization,PSO)进行对比,结果如表2所示。

由表2的结果可以看出,基于粒子群算法的日前调度策略,难以应对DG和负荷的不确定性。而DDPG算法可以在线跟踪负荷和DG出力的变化,及时调整动作策略,应对不确定性场景时性能较粒子群提升69.33%,有效抑制节点电压的波动,确保配电网的稳定运行。

3.2.4 储能容量衰减影响

本文提出的电压调控策略旨在实现配电网的短期优化,因此将储能的总衰减成本折算在运行时期的每一天中。为了比较说明储能的容量衰减对其工作性能的影响,考虑了储能新投运时期和储能衰减后时期两种场景,并分析了仅BESS工作、BESS和SVC同时工作两种情况下电压曲线的变化情况。场景1中考虑系统内接入的储能全部处于新投运时期,电池健康状态为0.99,场景2中考虑两个储能已投运一段时期容量衰减至电池健康状态为0.91,如表3所示。

表3 储能初始电池健康状态

利用训练后的DDPG智能体进行了测试,两种场景下的电压如图10所示。由1.1节对储能寿命损耗和容量衰减的分析可知,储能投入运行后,电池的充放电动作同时伴随着损耗,且储能后期衰减的速度更快,充放电效率有一定程度的降低。由图10(a)可以看出储能衰减后期的工作性能较新投运时期差,以平均电压偏差为评价指标,抑制电压波动性能下降了51.05%。BESS和SVC同时工作情况下电压如图10(b)所示,可以看出系统从SVC处获取了额外的无功支持后,场景2下的电压偏差有明显的降低,说明本文所提出的有功无功联合调控策略在储能寿命的动态变化过程中,电压调控性能仍处于较佳水平。

图10 两种场景下的电压变化

4 结 论

针对含高渗透率DG配电网易发生电压越限的问题,提出了基于DRL的电压调控策略,通过对分布式储能和SVC进行有功无功联合控制减小系统节点电压偏差,并考虑了储能的寿命损耗和容量衰减模型,在兼顾储能容量衰减成本的同时实现了非全信息下电压波动的有效抑制。主要结论如下:

1) 本文将电压调控问题推导为马尔可夫决策过程,采用联合调控储能和SVC的策略,有效缓解了多重不确定性引起的电压波动。

2) 基于DDPG算法实现了电压调控的在线决策。相较于传统粒子群方法,基于人工智能的策略在应对负荷和可再生能源发电的不确定性场景时,处理电压越限问题的性能提升69.33%,具有更好的实时性和适应性。

3) 通过考虑储能的动态运行特征和容量衰减,较为准确地模拟了储能的运行。算例验证表明,储能衰减后期的工作性能较新投运时期有所下降,但所提出的有功无功联合调控策略,在储能寿命的动态变化过程中仍能保持良好的电压调控性能。

本文所提的电压控制策略仅实现了电压波动的小时级控制,将其扩展到更短时间尺度的电压控制是未来的研究工作之一。另外,基于DRL的电压控制方法将约束转化为了惩罚项,通过约束策略优化算法进一步地优化是本文后续的研究方向。