基于深度强化学习的微电网源-荷低碳调度优化研究

冯文韬,李龙胜,曾 愚,潘可佳,张子闻,景致远

(1. 国网四川省电力公司信息通信公司,四川 成都 610041;2. 电子科技大学机械与电气工程学院,四川 成都 611731)

0 引 言

近年来,随着各国GDP和科学技术的飞速发展,化石能源消耗急剧增长。近几十年里,化石能源的高消耗造成大气中CO2浓度猛增。为有效降低CO2增长比例,各国开始研究利用可再生能源替代化石能源以此实现低碳生活[1-2]。中国在2020年提出了“碳中和、碳达峰”目标,旨在通过加强对风力、光伏等可再生能源的发展,降低化石能源在微电网体系的比例,从而实现减少碳排放的目标[3]。然而可再生能源存在的随机性、间歇性等缺点导致其在微电网中的比例难以有效提升。此外,能源需求的飞速增长也给当前微电网能源供给优化带来了一定的压力。因此,未来十几年内化石能源依旧会在微电网中占据较大的比例。当前人们面临着如何优化能源管理策略同时满足能源需求与实现系统低碳化的难题。电力行业中发电侧使用能源最多的依旧是燃煤等化石能源,在发电的同时增加了碳排放。碳排放与发电侧密切关联,因此,众多学者对发电侧碳排放进行了相应的研究。

文献[4]构建了一种考虑碳减排合作机制和引入风力发电的微电网低碳调度模型,利用碳捕捉装置有效地吸收燃煤轮机产生的CO2,从而实现系统低碳经济运行[5-6]。文献[7]设计和规划了一个多能载体微电网,利用能源系统中二氧化碳流的建模技术估计能源系统中分布的碳量,提出了配电系统层面多载能系统的优化方法。文献[8]为研究不同的低碳技术对微电网经济调度的影响,构建了一个基于机会约束的两阶段随机优化调度模型。然而,随着微电网规模逐渐庞大化、系统结构逐渐复杂化、控制变量多元化,上述方法难以快速有效地获取最优低碳经济策略。

随着AI技术的快速发展,具有记忆能力的强化学习(reinforcement learning, RL)方法广泛地应用于微电网电压控制、运行优化等领域[9]。文献[10]基于深度Q网络(deep Q network, DQN)构建了一种低碳家庭微电网能源动态管理模型,摆脱了源荷不确定性对系统低碳经济运行的影响。然而,上述方法在面对微电网中连续多目标实时控制问题,难以快速获得最优策略。文献[11]利用深度强化学习(deep reinforcement learning, DRL)构建了一种超参数自适应的多能供给微电网优化调度模型,可以实时制定系统中多元件最优出力策略,实现微电网低碳经济运行。文献[12]利用DRL建立了一种电动汽车充电能源管理策略。基于DRL的先进性,下面采用深度确定性策略梯度算法(deep deterministic policy gradient, DDPG)搭建了一种同时将微电网的经济性和低碳性作为优化目标的调度模型。首先,介绍了碳排放理论流重点概念,并基于此构建了一种更能反映实际情况的阶梯碳价计算模型;然后,利用DDPG建立了一个微电网低碳经济运行优化模型,通过考虑负荷需求响应实现降低系统运行成本和减少碳排放量的目标;最后,建立了一个实时调度模型,能够根据微电网最新的信息实时制定最优策略。

1 碳排放流理论研究

1.1 碳排放理论概述

当利用煤炭等化石能源发电时,燃烧过程中会释放大量的CO2,从而产生碳排放。假定产生的CO2并不是直接从发电厂释放到大气层中,而是随着电能的传输直至用户。用户在使用电能的同时,需要支付发电造成的碳排放成本。因此碳排放成本并不单单由发电侧承担,用户也具有一定的责任。据此,提出了碳排放流方法用以研究碳排放在发电侧到用户之间的关系,如图1所示[13-14]。在计算过程中应该从用户侧讨论碳排放责任划分,而碳排放流理论能够有效地将发电侧的碳排放任务分给用户。

图1 碳排放流结构

1.2 碳排放流理论相关定义

1.2.1 碳排放流率

碳排放流率表示单位时间内系统某一节点通过的CO2流量[15],t/h。

(1)

式中:MCEF为碳排放流率;CCEF为碳排放的流量;t为时间。

1.2.2 支路碳流密度

碳排放流主要依靠电力系统中的有功潮流,支路消耗单位电量导致发电侧产生CO2的数值称之为支路碳流密度[15],t/kWh。

(2)

式中:IBCEl为支路l的碳流密度;Pl为支路l的有功功率。

1.2.3 节点碳势

节点碳势主要描述节点消耗单位电量导致发电侧产生CO2的数值,一般也可叫做节点碳流密度,用INCEi表示[15],t/kWh。

(3)

式中,N+为所有与节点i相连接的支路。

1.3 碳排放流计算方法

以图1的节点2为例,节点2的碳势INCE2[16]为

(4)

式中:P2为节点2的有功功率;INCEg2为发电机在节点2的碳势。

根据碳排放流理论求解过程,支路中碳流密度由本支路中首个节点的碳流密度决定,即

IBCEl2=INCE2

(5)

根据各个发电机组在每个节点的碳势以及系统各个节点的负荷量即可求解出各节点的碳排放量。

Bemi=INCEdi·Di

(6)

式中:Bemi为节点i的碳排放量;INCEdi为负荷节点i的碳势;Di为节点i的负荷量。

2 碳计量模型以及阶梯碳价计算模型

2.1 发电机组碳排放计量模型

在传统的计算过程中,发电机组的碳排放量计算时总是采取固定因子,即碳排放量与发电量之间存在着线性关系,该方法在长时间的计算过程中精确度较低,难以真实有效地评估发电机组长时间运作碳排放量。因此采用了一种动态碳排放计算模型,该模型将发电机组的出力分为了几个区间,随着机组出力的增加,区间数目逐渐增大,区间碳排放强度值增长趋势将逐渐减缓。求解每个机组总碳排放量时,首先计算每个区间的碳排放量,即区间碳排放强度值与机组出力之间的乘积;最后将所有区间的碳排量相加即为总碳排放量。动态碳排放计算模型[14]为

(7)

式中:B(i,t)为机组i在时刻t的总碳排放量;P(i,t)为机组i在时刻t的功率输出;p为区间长度;Pmin,i和Pmax,i分别为机组i最小和最大输出功率;P0为机组最低输出功率;ψ1为碳排放强度的基准值;ξ1、ξ2、…、ξn为碳排放强度的增长系数,随着碳排放的逐渐增加,该值逐渐降低。

2.2 阶梯碳价计算模型

为有效降低节点碳排放量,将各节点每个时刻的碳排放量分为了几个区间,主要包括免费区间、低碳区间、中碳区间等。随着区间的上升,碳价具有一定的涨幅,计算总碳排放成本为各区间碳价与碳排放的乘积之和。阶梯式碳价的计算模型[17]为

(8)

式中:Cemi,i,t为机组i在时刻t的总碳排放成本;ψ2为碳排放成本基准值;Bc为机组免费碳排放额度;b为区间长度;ω为区间之间的碳交易价格涨幅,一般取值较小。

3 问题建模

3.1 优化模型

该模型的优化目标函数为最小化系统发电成本、碳排放成本以及负荷转移成本。

(9)

式中:Cg,t为火力发电机组在时刻t的成本;Cwind,t为风力发电机组在时刻t的成本;Cload,i,t为负荷响应产生的成本。

各成本的计算方式为:

Cg,t=cg·Pg,t

(10)

Cwind,t=cwind·Pwind,t

(11)

Cload,i,t=cload,i,t·Pload,i,t

(12)

式中:cg为火力机组发电成本系数;Pg,t为火力机组在时刻t的发电功率;cwind为风力机组发电成本系数;Pwind,t为风力机组在时刻t的发电功率;cload,i,t为节点i在时刻t的负荷转移系数,Pload,i,t为节点i在时刻t的负荷转移功率。

3.2 马尔科夫决策建模

将微电网低碳经济优化调度问题构建为一个马尔可夫决策,即:

环境:微电网网络。

智能体:深度强化学习算法。

状态:时刻t微电网中各节点用电负荷功率、时刻t各发电机组最大出力和碳排放系数、时刻t风电预测功率和发电机组时刻t碳价。

动作:时刻t火力发电功率、时刻t各节点负荷转移功率和时刻t风电接入系统功率。

奖励值:智能体针对当前状态选择执行的动作所获得的奖励。

3.3 相关约束

Pi,t=Pexp,i,t-Pwind,t-Pg,t,i∈N

(13)

Qi,t=Qexp,i,t-Qg,t,i∈N

(14)

Pg,min≤Pg,t≤Pg,max

(15)

Pwind,min≤Pwind,t≤Pwind,max

(16)

ζre,t=0

(17)

ΔPg,min≤Pg,t-Pg,t-1≤ΔPg,max,t>2

(18)

式中:Pi,t和Qi,t分别为节点i在时刻t净流入有功功率和无功功率;Pexp,i,t和Qexp,i,t分别为时刻t节点i负荷预测维持系统平衡所需有功功率和无功功率;Pg,min和Pg,max分别为发电机组出力的最小值与最大值;Pwind,min和Pwind,max为风电机组出力的最小值与最大值;ζre,t为平衡节点时刻t相角约束;ΔPg,min和ΔPg,max为发电机组功率爬坡限制。

4 深度强化学习方法

在监督或无监督学习中,学习过程是基于现有数据的,但强化学习采用了完全不同的方法,其通过不断的试错获得最优的结果。经过训练的智能体在其环境中以一系列时间离散步骤t=1,2…,T移动。在每个时间步长,智能体感知其状态并选择一个动作at。根据动作智能体移动到下一个状态st+1,它接收到来自环境的评估反馈,这表明它的决策是以目标为导向的。通过这种方式定义奖励rt,如此反复训练直至结果收敛,如图2所示。

图2 智能体与环境交互

4.1 评价网络

DDPG算法的评价网络包括了计算Q值的评价函数[18]。

(19)

式中:Kt为目标评价函数的数值;σ为折扣系数;Q′(·)为目标评价函数;ϑ′为目标评价函数中的参数合集。

评价网络参数的损失函数为

(20)

式中,E(·)为数学期望;Q(·)为评价函数。

其梯度下降求解方法为:

(21)

ϑt+1=ϑt-δ∇ϑJ(ϑ)

(22)

式中:∇ϑJ(ϑ)为梯度下降方向;δ为评价网络的学习率;∇ϑQ(·)为评价函数的下降梯度。

4.2 动作网络

动作网络中t+1时刻的动作函数[19]为

at+1=πθ(st+1|θ)

(23)

式中:πθ(·)为动作函数;θ为动作函数的参数。

梯度∇θJ(θ)表示为:

∇θJ(θ)=Ε[∇aQ(st,at|ϑ)·∇θπθ(st)]

(24)

θt+1=θt-ε∇θJ(θ)

(25)

式中,ε为动作网络的学习率。目标动作函数的计算公式为

a′=πϑ′(s′t+1|ϑ′)

(26)

针对目标动作函数和目标评价函数的参数,选用了一个较小的平滑系数实现软更新。

(27)

(28)

式中:ϑ′为目标动作函数参数合集;λ为平滑系数;θ′为目标评价函数参数合集。

所提方法的流程如图3所示。

图3 算法流程

5 算例分析

在PJM-5节点系统上验证试验,结构如图4所示,该节点系统主要包括了6条输电线路、5种不同类型的发电机组以及3个用电负荷,其中风力发电机组接在节点E,各节点参数来源于参考文献[20]。所提算法选用了python进行程序编撰与运行。

图4 PJM-5节点系统

系统各时刻用电负荷以及风力发电机组出力如图5所示。从图中可以看出风力机组在1:00—8:00、13:00—16:00、22:00—24:00都维持了较高的出力。9:00—12:00、17:00—21:00出力较低。负荷在7:00—21:00之间功率较高。除了4:00—6:00以外,每个时刻的用电负荷都大于风电出力。

图5 风力机组出力及用电负荷

各节点机组参数设置如表1所示,各发电机组碳排放系数求解方法参考文献[21]。粒子群算法、DQN算法以及所提算法中各参数设置分别如表2和表3所示。

表1 发电机组相关参数设置

表2 粒子群算法相关参数设置

表3 DQN和DDPG相关参数设置

为验证所提方法的有效性,选取了粒子群算法以及DQN算法作为对比。粒子群算法是一种基于个体之间信息交流和合作的优化算法,DQN算法是Q-learning算法的升级版,其采用深度神经网络来近似Q值函数。各方法在测试集上的结果如表4所示。从表4中可以看出,虽然粒子群算法的风机发电成本以及负荷响应成本都低于其他两个方法,但是其碳排放成本以及机组发电成本都高于其他两种方法。这是因为其策略负荷需求响应较低,难以有效地开发风力发电机组的潜力。DQN算法相较粒子群方法有了一定提升,但是最终的总成本依旧低于DDPG算法。DDPG算法的总成本相较粒子群算法降低了12.68%,相较DQN算法降低了5.16%。

表4 各算法在测试集上的成本对比 单位:美元

需求响应前后风电出力对比和负荷变化对比情况分别如图6和图7所示。从图6中可以看出,在风电出力较高的时刻,如1:00—7:00、15:00—16:00、22:00—24:00,考虑负荷响应以后,系统消纳风电的功率有所增加。这是因为通过负荷转移,该时段的负荷有所增加,从而提升了负荷需求随着风电消纳的增加,系统中火力发电相应减少,减少了碳排放量与用电成本。

图6 需求响应前后风力机组输出对比

图7 需求响应前后负荷变化对比

考虑需求响应前后系统整体发电成本以及碳排放成本如表5所示。从表中可以看出,考虑负荷需求响应后,系统在负荷可调节的范围内对负荷进行了再分配。将负荷转移至富余风力发电时刻从而提升了风电出力权重,减少碳排放较大的火力发电机组出力,降低系统运行成本的同时实现碳减排。考虑负荷需求响应以后系统发电成本降低了2300美元,碳排放成本降低了7600美元。节点通过负荷响应加大对风电的消纳,减少了碳排放量,如表6所示。从表6中可以看出,各节点经过需求响应后都降低了碳排放量,总碳排放量削减达到了707 t。

表5 考虑需求响应前后成本对比 单位:美元

表6 各节点碳排放量 单位:t

6 结 论

上面提出了一种以系统经济性和低碳为目标的考虑需求响应的优化调度模型,利用碳排放理论流构建了阶梯碳价模型。通过实验验证表明:1)所提方法能有效地求解包括系统经济性与碳排放在内的多目标优化问题,总运营成本相较粒子群算法降低了12.68%,相较DQN算法降低了5.16%;2)通过考虑负荷需求响应,成功地提升了风电消纳比例并降低了碳排放量;3)所提优化调度模型基于DRL算法的快速响应能力能够实时做出决策。