基于深度强化学习的微电网储能调度策略研究

许冠亚　耿玲娜　邵平　赵肖旭　靳栋曼　谢添

【摘 要】文章研究了基于深度强化学习的微电网储能调度策略，如果场景的电价方式不同，利用强化学习算法，可以将模型的自主性充分发挥出来，结合学习环境信息，确定最优调度策略。

【关键词】深度强化学习;微电网;储能调度;控制策略

【中图分类号】TM73 【文献标识码】A 【文章编号】1674-0688（2019）11-0059-02

微电网属于一种能源网络系统，其中最重要的组成部分是储能系统。储能系统通过储存和释放多余能量，避免能源發电过程的产生波动，提高微电网运行的稳定性，微电网可以利用智能系统实现储能调度，保障整体运行效益。

1 微电网储能调度概述

利用微电网储能调度工作，可以维护能源系统运行的稳定性，但是因为可再生能源比较特殊，通常因为间歇性和随机性等特征可以加大微电网储能调度的难度。微电网可以利用随机优化措施，提升可再生能源发电的准确性。研究人员可以建立随机优化的模型，设置真实的离散场景集合模式，转化可再生能源发电的不确定性。但是在各种外界因素的影响下，微电网储能调度单模型可能会产生各种误差，导致调度结构不符合实际状况[1]。

强化学习算法属于无模型的调度方法，因此无需利用系统模型。利用强化学习算法和智能体的动态性，可以确定最优控制策略。利用深度Q值强化学习机制，智能体交互与微电网调度环境，可以确定最优储能调度策略，科学地管理微电网储储能设备的能量。利用微电网系统调度模型，根据微电网储能调度工作的特殊性，利用Q值强化学习机制，提高微电网储能调度的科学性，再通过高仿真研究，确定各种观测量场景中，深度Q值的性能。

2 微电网储能调度模型

2.1 微电网结构

微电网中包括各种复杂的装置，利用公共连接点连接配电网，需要平衡微电网的整体功率，如果设置的负荷量不满足光伏发电需求，需要立即落实纯调度策略，主要是调节微电网的电池装置，在这一过程中需要发挥控制器的作用，也可以和主电网之间进行电能交易，这些方法都可以对于功率起到平衡作用。

2.2 电池结构

在物理条件的约束下，利用储能调度策略，可以优化微电网充放电时间和电量，提高微电网储能系统的安全性。电池包括闲置、充电、放电3种运行模式，利用电池容量约束和电池充放电速率约束，可以保证电池运行的稳定性。电池容量需要承受物理闲置，控制电池电量，根据要求调整电池电量，这样可以延长电池的使用时间。综合考虑电池使用寿命和容量等方面，科学地设置电池的充放电效率[2]。

当前，电力市场不够稳定，需要结合电力瞬时供需，提高实时电价的科学性，维护电力系统的安全运行，电力市场需要考虑电能边际成本再定价，提高定价的科学性。电力公司在更改实时地电价的时候，需要加强管理用户行为，因为用户在主动用电的过程中，已经成为电网运行的重要影响因素。用户结合电力企业的实时电价信息，再考虑自身的用电需求，科学地调整用电状态，合理控制用电时间和用电量，最终的目的是节省用电成本，这样也可以提高电力企业的运营收益性。

电力企业需要科学地测量光伏发电量，在观测过程中结合时间序列信息，科学地制定储能调度策略，这样可以高效利用电池，保障微电网的收益，减少电能购买量。在智能体输入更多的有用信息，可以改善学习调度策略性能，保证电池应用的高效性，提高充放电行为的合理性，实现微电网收入的最大化。

3 实现微电网储能调度策略

3.1 深度卷积神经网络

利用深度卷积神经网络可以准确获取数据特征，同时可以获得有效的学习时间序列信息。综合微电网储能系统充放电动作的时间序列，利用深度强化学习算法，可以有效处理时间序列数据。卷积神经网络通过第一个卷积层直接输入数据，利用卷积核滤波器获取局部特征，通过池化采样操作确定基础特征。利用第二个卷积层结构，通过组合、抽象基础特征，建立高阶特征。通过非线性处理措施，通过卷积层的输出层，确定离散化动作Q值[3]。

3.2 Q值强化学习过程

基于深度强化学习的微电网储能调度，主要是利用储能系统的时间序列，并且以此作为决策的主要变量条件，学习智能体环境之间实施交互学习，并且可以发出反馈信息，电力企业结合反馈信息，建立科学的调整决策。基于深度强化学习的微电网储能调度策略，利用双重Q网络结构获取相关函数，提高值函数的合理性，通过公双重Q网络，可以提高值函数估计工作的科学性。

4 基于深度强化学习的微电网储能调度策略

4.1 固定电价调度策略

为了强化学习调度策略的性能，本文分析了强化学习调度策略性能。结合不同的场景，确定不同微电网储能调度结果。如果电池核电水平初始值是不同的，微电网工作稳定性不会因此受到影响。在工作过程中不断增加负荷消耗量，利用光伏发电方式，可以在最大限度地满足微电网负荷要求。在工作过程中，智能体也会不断获取智能体观测量，利用智能体可以控制微电网的充放电工作，保障微电网收入的最大化，提升调度策略的科学性。当获取到更多的有效性信息时，智能体观测就会越充分地发挥学习调度策略的性能[4]。

4.2 实时电价调度策略

在每天晚上11：00到早上的6：00，这一阶段实时电价处于低价状态，微电网在这一阶段需要获取电网电能，微电网电池在这个阶段处于充电的状态。电池核电达到90%以上，电池即可闲置。在每天的8：00～16：00，实时电价相对来说较高，智能体需要控制电池放电过程，如果实时电价比较低，电池要保持闲置。时间为19：00～21：00，实时电价比较高，电池处于持续性发电节点，如果电池核电水平达到10%，电池就要保持闲置状态。

微电网需要综合考虑实时电价，提高学习调度策略的灵活性，利用灵活的调度动作，提高微电网的整体效益。

4.3 CPLEX基准验证

利用GAMS建模软件，可以提高电网储能调度策略的科学性，利用准确的算法，转化微电网运行过程存在的问题，利用优化求解器解答混合整数规划问题，再通过实时电价场景验证。利用GAMS建立微电网模型，该模型当中需要具备全面的微电网信息，最后通过优化求解器确定最优收益。

在无干扰场景当中，无模型强化学习算法和模型最优化算法具有一定的偏差大。未来预测信息发生变化，不会影响到模型最优化算法，这种状态不会产生任何干擾。在光伏发电预测量干扰下，利用强化学习策略，各个性能指标不会产生较大的变化，但是干扰因素会影响到优化求解器的最优化求解，提升基于深度强化学习的微电网储能调度策略的有效性和准确性。

5 结语

本文根据微电网调度问题环境模型，针对不同组合模型对于基于深度强化学习的微电网储能调度策略的影响，提出针对性的储能调度策略。基于深度强化学习的微电网储能调度过程中需要利用两种电价方式，通过组合场景模式，获取光伏测量信息，提升微电网储能策略的科学性，实现微电网收益的最大化。微电网需要结合实时电价信息，在预测光伏发电量的过程中考虑时间序列信息，建立科学的微电网储能调度策略，利用场景模型组合的方式，科学地考虑各种可能发生的场景，使微电网的收益性不断提升。将20%光伏发电量加入到微电网模型当中，如果微电网运行出现波动性，可以利用新的场景组合，始终保证微电网储能调度测量的有效性。各种因素都会干扰到微电网收益情况，微电网处于无干扰场景当中，有利于控制整体收益偏差，因此微电网需要提高场景组合模型的适应性，而本文提出的基于深度强化学习的微电网储能调度策略，在一般微电网系统储能调度当中都可以利用。

参 考 文 献

[1]朱永强，刘康，张泉，等.考虑储能系统调度的交直流混合微电网中互联变流器容量配置[J].电力建设，2019（10）：84-93.

[2]王亚东，崔承刚，钱申晟，等.基于深度强化学习的微电网储能调度策略研究[J].可再生能源，2019，37（8）：1220-1228.

[3]黄敏，贺利军.混合储能微电网并网调度多目标灰熵烟花算法[J].计算机系统应用，2019，28（8）：176-182.

[4]胡诗尧，安佳坤，韩璟琳，等.基于一致性算法的智能电网储能单元分布式调度策略[J].沈阳工业大学学报，2019，41（4）：372-377.

[5]王春梅，熊斌宇.基于储能调度模式的微电网不平衡功率平抑两阶段优化方法[J].智慧电力，2019，47（2）：22-28，55.

[6]颜宁，潘霄，张明理，等.基于复合储能的多互联微电网日内调度研究[J].电工技术学报，2018，33（S2）：577-585.