基于近端策略优化算法的电化学/氢混合储能系统双层配置及运行优化

闫庆友，史超凡，秦光宇,3，许传博

(1.华北电力大学经济与管理学院，北京市 102206；2.新能源电力与低碳发展研究北京市重点实验室(华北电力大学)，北京市 102206；3.加利福尼亚大学伯克利分校，可再生能源重点实验室，美国旧金山伯克利市 94709)

0 引 言

随着我国双碳目标的提出，如何高效利用可再生能源受到了高度重视，受风光随机性和波动性的影响，我国在可再生能源的利用上存在明显的弃风、弃光问题。而随着近年来储能技术的快速发展，电网在调峰、调频、改善电能质量和系统稳定性方面得到了很大改善[1-3]，可以说储能技术是推动我国能源由化石能源向清洁能源转型的关键，转变电网原先“即发即用”的状态，将发电和用电在时空上分割开，从而提高了电网对于现有资产的利用率，由向外扩张转为向内增效的发展模式[4-6]。

在储能系统的配置和运行问题上，已有许多学者进行了相关研究。文献[7]提出一种储能系统规划和运行的综合优化模型，将规划和运行2个不同时间尺度的问题结合在一起求解；文献[8-9]以光伏消纳率和利润率为目标构建了多目标优化模型，为微电网进行储能优化；文献[10-12]在考虑风电间歇性和波动性的情况下验证了抽水蓄能与风电联合运行对于风电消纳具有有效性。但已有研究中，对于配置和运行两者的优化界定不够清晰，对于2个不同时间尺度的变量计算较为混乱。文献[13-15]通过对于全球电力行业数据的收集，针对发电侧电化学储能的应用进行了分析，在大规模新能源并网、电力辅助服务领域以及微电网领域，电化学储能都具有巨大潜力；文献[16]综合考虑分布式电源、储能装置及配网安全运行约束条件，建立了以储能成本、网损率以及电压稳定性作为优化指标的配网储能优化配置模型，并运用小生境多目标粒子群优化算法对该模型进行验证。在已有研究中，对于容量型储能技术的研究多以抽水蓄能为主，受地形限制较大，在规划中几乎没有考虑储能的布局情况，不利于在全国范围推广。同时，为实现储能系统配置的可行性，在储能的配置中，除了提高风光等可再生能源消纳之外，对于可再生能源机组的储能配置成本也要进行分析，充分发挥不同储能技术之间的互补特性[17]。进一步研究显示，储能技术在经济性和能量充放速度之间存在明显矛盾，响应速度快的储能装置储能成本较高，成本较低的大容量储能反应时间较长。对此，文献[18]针对典型的容量型和功率型储能进行技术分析，总结了储能电站全生命周期成本的构成，为混合储能模型的构建提供了经济测算方法；文献[19-20]将分布式光伏与储能系统深度融合，提出源-网-荷协同优化方式，兼顾光伏消纳及光储投资商经济效益；文献[21]提出一种改进的人工蜂群算法，对比混合储能和单储能模式的经济性，证明混合储能系统的优势；文献[22]提出微电网的储能系统采取2种储能电池设备，即能量型储能锌溴液流电池和功率型储能钛酸锂电池进行配置优化；文献[23]引入机会约束建立储能系统优化配置模型；文献[24]针对发电侧新能源风光场站的氢储能容量优化配置问题，以氢储能投资成本最小，二氧化碳减排量增量最大为目标，构建了氢储能多目标优化配置模型，并通过遗传算法进行求解验证。在已有研究中，应用粒子群算法、遗传算法、蚁群算法等传统算法求解计算时间较长，且过程复杂、收敛性较差，所得结果偏离最优解。文献[25-26]提出一种基于深度强化学习的最优控制方法，设计状态空间、动作空间、奖励函数与神经网络，克服传统方法中求解的复杂性以及收敛性差的问题，实现混合储能系统的最优控制，将智能算法应用到储能系统的优化配置中。

上述研究有效推动了储能技术的发展，提供了混合储能在新能源消纳中的应用新思路，然而，仍存在三点不足较为突出：

1)将氢储能技术应用到混合储能系统中进行配置的研究尚处于起步阶段，多以独立的氢储能系统进行研究；

2)对储能系统的配置和运行进行优化时，时间尺度混乱，配置问题属于长时间尺度，运行问题属于短时间尺度，优化时层次不分明；

3)在储能规划中所建模型较为复杂，传统算法求解难度较大，与智能算法结合较少。

本文提出一种由电化学储能和氢储能组成的混合储能系统，并采用分层优化的模式，构建双层决策优化模型，将储能配置问题放在上层优化中，将系统运行问题放在下层优化中求解，选用强化学习近端策略优化(proximal policy optimization，PPO)算法，并对比不同储能类型配置下系统的综合效益和弃风、弃光率。另外，本文将氢储能配置中的场地限制考虑在内，使配置问题更加贴近实际情况。

1 混合储能系统结构

在典型可再生能源系统中引入氢储能系统，分布式电源包含了风力发电和光伏发电，混合储能系统包含电化学储能和氢储能系统，具体结构如图1所示。

图1 含氢储能的混合储能系统Fig.1 Hybrid energy storage system with hydrogen energy storage

依据电化学储能和氢储能优缺点，如表1所示，本文提出2种假设运行条件，并在后续算例分析中进行对比验证。

表1 电化学储能和氢储能优缺点对比Table 1 Comparison between electrochemical energy storage and hydrogen energy storage

假设条件1：风电和光电作为该系统内的主要电源，在储能充放电优先级中，氢储能优先于电化学储能。在可再生能源发电高峰时，氢储能通过与电化学储能耦合缩短系统响应时间，短期内多余的风电、光电向电化学储能充电，之后通过电解槽电解水生成氢气进入储氢罐储存，若供电仍然大于所需，则继续向电化学储能充电，其余电量上网；同理，在用电负荷高峰时，可再生能源发电供不应求，短时间内由电化学储能供电，之后由燃料电池进行供电，氢储能供电不足时再通过电化学储能继续供电，仍无法满足用电需求时，则通过向电网购电满足负荷。

假设条件2：在储能充放电优先级中，电化学储能优先于氢储能。在可再生能源发电高峰时，多余风电、光电向电化学储能充电，若供电仍大于所需，则通过电解槽电解水生成氢气进入储氢罐储存；在用电负荷高峰时，优先由电化学储能供电，再通过燃料电池供电，仍无法满足用电需求时，通过向电网购电满足负荷。

1.1 电化学储能模型

电化学储能选用发展较完备的锂离子电池，由充放电功率表示的电化学储能荷电状态为：

(1)

式中：Vd(t)、Vd(t0)分别表示在t时刻和t0时刻的电化学储能储电情况；Pcd、Pfd分别表示电化学储能的充放电功率；μcd、μfd分别表示电化学储能充放电过程的效率。

1.2 氢储能模型

如图1所示，氢储能系统由电解槽、储氢罐和燃料电池3个部分组成。相较于其他容量型储能系统，氢储能是一种可以同时适用于短时和长时供电的能量储备方式，能够保持稳定的输出功率，且不受地形地势影响，对于环境污染也小，是一种极具发展潜力的新型大规模储能技术。目前，在众多电解技术中，碱性电解水制氢最为成熟，且已形成高度产业化；在燃料电池类型中，固体氧化物燃料电池在容量和成本上各有优势，适用于大规模集中储能，因此本文采用碱性电解槽和固体氧化物燃料电池技术。

在理想情况下，ρ表示每kW·h电通过电解槽所能产生的氢气质量，γ表示燃料电池每燃烧1 g氢气所产生的电能。但在实际的转换过程中，效率无法达到100%，因此分别用α1和α2表示电解槽和燃料电池的运行效率。

设在t时段，风光电站输出功率之和记作Pfg(t)，储氢罐容量表示为VH(t)。当可再生能源电站处于发电高峰时，一定比例δ的风光发电通过电解槽电解制氢，并传输至储氢罐中储存。因此，储氢罐容量变化为：

VH(t)=VH(t-1)+Pfg(t)δρα1

(2)

当可再生能源电站发电无法满足高负荷用电时，此时需将一定比例λ的VH(t-1)通过燃料电池进行发电。储氢罐容量变化为：

VH(t)=VH(t-1)-VH(t-1)λγα2

(3)

式(2)、(3)描述了电转氢和氢转电的过程，通过储氢罐中的氢气容量作为判断依据，在优化配置中作为中间变量。

2 储能配置及运行双层优化模型构建

2.1 双层决策优化模型

本文从混合储能系统的经济效益和对可再生能源的消纳2个方面出发，提出了双层决策优化模型。上层优化模型负责求解储能系统的配置和布局问题；下层优化模型负责求解储能系统的运行问题，即在考虑风光出力波动性的情况下储能系统的运行出力情况。

2.1.1 上层优化问题

影响上层决策优化的变量为储能系统的配置情况，包括配置容量、配置类型以及最大输入和输出功率，目标函数为：

minCtotal=Cinvest+Copera

(4)

式中：Ctotal为混合储能系统的总成本；Cinvest为储能系统建设投资成本；Copera为储能系统运行成本。

为方便对本模型的验证，模型中均以“日”作为周期进行结算，从而Cinvest由储能系统中氢储能系统和电化学储能系统日投资成本决定，受各储能系统设备购置成本、维护成本和替换成本影响，具体为：

Cinvest=Ci,H+Ci,d

(5)

Ci,H=C0,EL+C0,HT+C0,FC+C1,EL+
C1,HT+C1,FC+C2,EL+C2,HT+C2,FC

(6)

Ci,d=C0,Li+C1,Li+C2,Li

(7)

式中：Ci,H为氢储能投资成本；Ci,d为电化学储能投资成本；C0,EL、C0,HT、C0,FC分别为氢储能系统中电解槽、储氢罐和燃料电池的设备购置成本；C1,EL、C1,HT、C1,FC分别为电解槽、储氢罐和燃料电池的设备维护成本；C2,EL、C2,HT、C2,FC分别为电解槽、储氢罐和燃料电池的设备替换成本；C0,Li、C1,Li、C2,Li分别为电化学储能系统中锂离子电池的设备初始购置成本、设备维护成本、设备替换成本。因电解槽、储氢罐、燃料电池、锂离子电池寿命周期不同，转换为日投资成本计算更为便捷。

储能系统的运行成本包括储能设备出力成本Csto和网损成本Closs，具体计算公式为：

Copera=Csto+Closs=Csto+ηlossWloss

(8)

式中：Csto为储能设备出力成本，是下层优化结果中的一部分，由下层优化传递而来，是连接上下层的关键变量；Closs为网损成本；ηloss为网损电价；Wloss为网损值，由可再生能源实际发电量和储能系统实际接收量的差值决定。由此也体现了储能运行成本既受上层储能配置影响，也与下层储能系统运行计划有关。

上层优化模型的约束条件为系统平稳运行的安全约束，对于储能系统的容量则采用储能装置的数量进行表示，进一步简化变量进行求解。

电化学储能系统约束条件为：

(9)

(10)

(11)

氢储能系统约束条件为：

VH,min≤VH(t)≤VH,max

(12)

式中：VH,min、VH,max分别表示氢储能系统容量及其最小值和最大值。

对于氢储能系统建造还要考虑实际场地的约束：

(13)

式中：SEL、SHT、SFC分别表示单个电解槽、单个储氢罐和单个燃料电池的占地面积；xEL、xHT、xFC分别表示电解槽、储氢罐和燃料电池的配置个数；SEL,max、SHT,max、SFC,max分别表示电解槽、储氢罐和燃料电池的可用占地面积。氢储能场地约束相关参数取值如表2所示[27]。

表2 氢储能场地约束相关参数取值[27]Table 2 Parameter description value ofhydrogen storage field constraint

2.1.2 下层优化问题

通过上层优化确定了在以总成本最小为目标的情况下，混合储能系统中储能的种类和个数，在这基础上，下层优化主要考虑储能系统的运行问题，通过对储能在运行中的功率进行分配，从而求解在弃风、弃光率不断降低的情况下控制运行成本。因此，下层优化的决策变量为风电站、光伏电站和储能系统在典型日的运行情况，目标函数为储能系统的运行成本，具体为：

minCsto=fsto+fpun

(14)

(15)

(16)

(17)

(18)

表3 下层优化相关参数取值Table 3 Parameter Description Value Low-level optimization

在系统约束条件中，对于系统的功率平衡及系统内各组成部分的输出功率进行约束，约束条件为：

(19)

(20)

(21)

Vskt+1=Vskt-PsktΔt,1≤t≤T

(22)

2.2 求解算法

双层优化问题的变量既包含整数变量，也包含连续变量，属于混合整数规划，用常规的寻优算法求解较为复杂，优化的约束条件在搭建了较大混合储能系统后，计算时间较长。同时，储能系统的运行特性决定了其必须接入整个系统进行运行，混合系统接入的储能个数、储能种类都会影响系统的功率和容量变化区间，从而收敛性达不到要求。综上所述，本文采用强化学习近端策略优化算法，该算法收敛速度快，且参数设置复杂度较低，适用于复杂环境下的寻优问题。

2.2.1 策略梯度算法

强化学习根据环境与动作策略之间的相互映射，使动作向着在环境中获取累积奖励值最大的方向发展。而当动作过多或动作空间连续时，适宜直接进行策略学习，将策略参数化并进行优化，从而最大化累积回报的期望值，得到最优策略。策略梯度算法是在给定最大概率行为的基础上所进行的一定程度的采样探索。

在智能体和环境的交互过程中，将起始状态到结束状态序列称作轨迹χ。在策略参数ω给定的情况下，每个χ存在的概率表示为pω(χ)，计算过程为：

(23)

(24)

(25)

图2 策略梯度算法流程Fig.2 Flowchart of policy gradient algorithm

2.2.2 近端策略优化算法

近端策略优化算法的提出来自于对策略梯度算法的改进。传统的策略梯度方法在应用过程中对步长的敏感性较强，过小的步长会导致策略更新缓慢，步长过大又会提高学习到坏策略的概率，最终导致学习过程崩溃。而PPO算法对策略更新进行了限制，控制前后策略差异来保证更新的稳定性。PPO算法对原策略梯度算法公式修改后为：

(26)

PPO算法通过构建动作网络和评价网络2个深度神经网络即可完成目标，实现过程简单。实现近端策略优化算法流程如图3所示。

图3 深度神经网络实现近段策略优化算法流程Fig.3 Flow chart of PPO algorithm using deep neural network

3 算例分析

3.1 研究对象及基本数据

本文以甘肃省某地区风光数据为例进行分析，该地区风电站装机容量为350 MW，光伏电站装机容量为250 MW。双层决策优化模型以“日”为周期进行结算，因此通过选取夏季典型日和冬季典型日的风光数据进行混合储能系统的优化配置。该地区的风光出力预测曲线及用户负荷曲线如图4所示。

图4 风光出力及用户负荷预测曲线Fig.4 Forecast curves of wind and solar power and user load

混合储能系统中，电化学储能和氢储能系统的相关参数取值见附表A1—A4，由附表A3、A4可得储能系统各元件的日购置成本、日维护成本以及日替换成本，便于后续模型的验证。

3.2 优化结果及分析

本文采用近端策略优化算法对双层决策优化模型进行优化求解。考虑到实际应用中，混合储能系统的应用会受所在地区经济、技术等因素的限制，因此假设3种方案进行优化：

方案1：只采用电化学储能，即只配置锂离子电池；

方案2：只配置氢储能系统；

方案3：配置由电化学储能和氢储能所组成的混合储能系统，并根据假设条件1和条件2进行对比验证。

其中，方案1和方案2作为方案3的对比，用于验证本文所提混合储能方案的经济性和环保性。

以储能系统经济成本和弃风、弃光率最小为目标进行优化后的各方案典型日储能系统出力分布如图5—8所示。

图5 电化学储能出力分布Fig.5 Capacity distribution of electrochemical energy storage

图6 氢储能出力分布Fig.6 Capacity distribution of hydrogen energy storage under

图7 假设条件1下混合储能出力分布Fig.7 Hybrid energy storage capacity distribution under assumed condition 1

图8 假设条件2下混合储能出力分布Fig.8 Hybrid energy storage capacity distribution under assumed condition 2

从图5—8中可以看到，在00：00—06：00时段和23：00—24:00时段，可再生能源出力充足，系统全部由风电出力，而在09：00—22:00时段，方案1和方案2均需向电网购电，方案3(假设条件1和2)仅短暂用电高峰需少量购电以满足负荷。

在方案1中，因锂离子电池配置成本较高，在保证储能经济效益的情况下，无法大规模配置，从而所配置容量只能储存少量多余电量，大部分电量在风电、光电多发时被弃用；在方案2中，电解水制氢和燃料电池发电需要维持在一定温度范围内，启动时间较长，新能源发电供过于求时短期内会存在少量弃风、弃光，在电力负荷发生变化时，需从电网购电以满足燃料电池启动期间的负荷变化；在方案3中，按照2种假设条件运行，大部分新能源发电都能被充分利用，仅短暂用电高峰需少量购电，在保证经济效益的情况下因储能容量限制导致少量新能源发电被弃用。

3.2.1 决策目标分析

为了更好体现该决策优化模型对于整体效益的提升，本算例中各时段购电均采用分时电价，具体取值见附表A5。

各方案储能系统配置优化后的日综合效益随储能容量变化曲线如图9所示。

图9 日综合效益随储能容量变化曲线Fig.9 Curve of daily comprehensive benefit changing with storage capacity

由图9可得，随着储能系统容量的增大，综合效益先增后减，存在最优配置点，使得系统效益最大。对比3种方案的最优配置点，假设条件2下混合储能系统最优配置点最高，假设条件1下混合储能系统次之，之后是配置单一氢储能系统，仅配置电化学储能效益最小。

3个方案的优化结果对比如表4所示，从表4中可以看出，仅配置单一储能系统的弃风弃光率远高于混合储能系统，从而在综合效益的计算中，不仅电网购电成本增加，相应的弃风弃光惩罚成本也会导致综合效益的降低。随着对可再生能源利用率的不断重视，弃风弃光惩罚成本的系数会进一步提高，从而综合效益的差距也会更大；在混合储能系统中，混合储能系统按照假设条件2运行时弃风弃光率低于假设条件1，综合效益增加了22.97%。因此，在综合考虑环保性和经济性的情况下，按照假设条件2运行，所得结果最优。

表4 储能系统优化结果对比Table 4 Comparison of optimization results of energy storage system

3.2.2 算法运行分析

为验证本文所用近端策略优化算法对所建模型求解的适用性，以冬季典型日的混合储能系统(假设条件2)为优化对象，对比其他几种经典算法的收敛速度及收敛效果，所得结果如表5所示。

表5 算法运算结果对比Table 5 Comparison of algorithm results

由表5可得，粒子群算法可以较快求解一些复杂性问题，但所求结果相较于最优结果差距较大，在实际运算中对于遗传算子的选择也较为复杂；蚁群算法所得最优解较为准确，但计算过程繁琐，且用时最长；应用遗传算法求解，系统迭代至91代收敛，总计算时长相比于蚁群算法有所缩短，但存在过早收敛的情况，结果偏离最优解；而应用PPO算法求解，虽存在离线训练耗时，但在线决策仅为3.21 s，即在PPO模型训练完成后，其效率具有明显优势，且随着学习的深入，优化结果还能进一步得到完善。

综上所述，本文所提算法在双层优化决策中，能够适应储能环境的复杂变化，高效学习新能源出力波动规律，从而制定综合效益较高的储能配置方案。

4 结 论

本文提出了含电化学储能和氢储能的混合储能系统，以经济成本最小和弃风、弃光率最低为目标构建双层决策优化模型。该模型可以分析不同储能类型配置下的电力系统运行结果，通过以甘肃省某地区为例对比分析不同储能方案配置下的系统效益。主要结论如下：

1)在我国追求可再生能源优先发电和大力发展氢能源的背景下，氢储能作为容量型储能与电化学储能搭配，参与到解决风光消纳问题中，具有全国适用的参考价值，符合国家关于碳中和的号召。

2)电化学储能响应快，技术较成熟；氢储能容量大，功率较稳定，受地形影响小，但所需启动时间较长且成本较高还不具备商业化水平。将电化学储能与氢储能混合运行，可以缩短储能系统的响应时间，大幅减少电网购电成本，提高可再生能源消纳，减少弃风、弃光的惩罚成本，从而获得更大的综合效益。

3)现阶段氢储能的配置成本依旧较高，转换效率较低。随着未来技术的更新和氢储能的规模化发展，成本必定会大幅下降，从而在最终配置中，所获综合效益会进一步提高。