基于深度卷积神经网络和合作博弈的多微网实时 能量管理策略

陈 灵 陈郑平 李军良 米为民 刘铭洋

(1. 国网福建省电力有限公司 福州 350003； 2. 北京科东电力控制系统有限责任公司 北京 100083； 3. 国网新疆营销服务中心 乌鲁木齐 830000)

1 引言

在智能电网(Smart grids, SGs)中，微电网(Microgrid, MG)是由拥有分布式能源(Distributed energy resources, DERs)的电力用户组成的小型电 力系统，可以独立运行，也可以与主电网并网运 行[1-5]。其中，DERs是位于终端用户内部的发电单元[6-8]。在能源需求意外上升、停电和能源生产能力损失的情况下，MG可提供可靠高效的电能，以补充主电网。尽管MG拥有众多优势，但也存许多技术上的挑战，如系统控制和可再生能源(Renewable energy sources, RES)保护，另外，MG的监管和客户参与等政策方面有待探索[9-10]。为了解决这些技术难题，特别是在高渗透率RES的MG中，文献[10]和文献[11]进行一定研究，但大部分工作均集中在日前和实时调度方面。为了应对监管方面的挑战，文献[12]比较了不同的规则下对不同利益主体MG运行方法。不同利益主体MG模型包括：主网模型、集中供热模型、用户自有模型、代理模型和合作模型。监管方面的挑战分为信息工具、经济工具以及命令和控制工具等。

目前，由于可再生能源利用率较低，电力系统正面临着大量绿色能源的被删减。为了同时管理多个MG的RES，多微网系统MMG应运而生。MMG系统是指将不同的MG按空间距离进行整合，实现统一控制[13]。其目标是结合不同的DERs，通过有效的能量交换实现系统的高效率和高稳定性。此外，MG的所有者可以根据其能源的发电量、负载量和电价情况，方便地参与电力市场交易。文献[14]提出了一种MMG系统架构，然而所提框架并没有考虑MMG中整体能源系统的协调。文献[15]提出了基于系统体系结构的MMG系统框架。该框架使用双层优化来处理每个MG作为一个多阶段鲁棒优化Robust optimization, RO)问题。然而，双层优化并没有解决能源供需的不确定性问题。文献[16]提出了分散鞍点动态二次规划来解决功率优化问题，所提方法实现了低有功功率损耗和高RES利用率。然而，这需要很复杂的网络连接，并没有实现能源成本节约。RES和负荷消耗的波动给MMG的运营带来了问题。为了实现实时控制，降低MMG的通信成本，文献[17]提出了一种电压控制的双层博弈模型。该模型由Stackelberg博弈的激励机制构成，该激励机制在忽略仲裁代理的情况下使各MG的收益最大化。文献[18]提出了一种适用于MMG的协同能量管理策略，该策略是一种解决耦合约束问题的随机预测控制。然而，大多数提出的方法是基于确定性条件，处理RES的间歇性非常繁琐。

博弈论的结果可以是决策理论、概率论或效用理论的形式。每个博弈都以实现全局均衡为目标，即每个博弈方的利益没有得到进一步的满足，这就是非合作博弈的纳什均衡并以合作博弈为核心地位。在合作博弈中，联盟优化模型达到全局最优。随后，成本分配模型实现了利益的合理分配。该联盟的目的是解决利益相关者的利益冲突。文献[19-21]讨论了合作博弈在SG中的应用。文献[22]对MG的博弈论的各种概念进行了综述。然而，对于MMG联盟合作博弈的应用还没有得到充分的研究。与合作博弈不同，非合作博弈依赖于个体的整体收益，而忽视了个体的全局收益。文献[23]提出了基于利益相关者并行化分布优化的MMG分布式调度的嵌套列约束生成(Column generation, C&G)方法。该方法采用了一种增强的解析级联方法来实现能量优化。然而，不确定性参数和高计算负担阻碍了该模型的实际运用。为了实现MMG的最优协同，文献[24]中提出了一种基于两阶段优化的MMG协同运营方法，以最小化MMG的运营成本。然而，该方法的缺点是在优化运行的每个阶段都需要计算。文献[25]的作者提出了一种改进的CC&G方法来解决概率加权RO问题。该模型考虑了风电和微型涡轮机的不确定性，实现了长期规划的总体利润最大化。此外，PRO基于最坏情况优化了DERs分配。然而，该方法并没有对所使用的概率分布提供明确的结论。

基于上述文献分析，目前相关领域有待研究，本文的目标主要集中在解决现有解决方案的局限性。首先，采用深度RNN，提出一个单一的动态EMMG，以实现长期运营成本的估计。然而，RNN面临着维数问题。当状态空间量呈指数增长时，模型的精度和效率都很低。因此，为解决这一问题，本文新增一个机器学习模型，以估计MMG的短期日能源成本。其次，提出了一种BD算法，推导出对公平费用分配不满意程度较高的联盟，并求出了合作博弈最优解的上界；然而，BD采用了一种一般化的方法来解决MILP问题，并且以增加约束的数量为代价来减少变量的数量。另外，BD需要多次迭代来收敛，特别是当枚举方法应用于一个小的联盟组时。因此，需要通过最小化大联盟获得的总费用来解决BD的局限性。此外，所提算法应能够随着联盟数量的增加而减少枚举的数量。具体来说，本文的主要贡献如下。

(1) 提出了一个EM系统(Energy management system, EMS)，将无数个MMG转化为一个连贯、高效的系统，每个MG都可以实现自己的运行目标。所提EMS可实时管理和控制每个MG，同时最小化优化运行每个阶段所需的计算量。

(2) 提出一种CGA方法，推导出在合作博弈中提供联盟成员间费用公平分配的核心解决方案。在合作博弈中，每个MG都是希望通过节省能量成本来最大化自己的收益。

(3) 提出了一种深度CNN来执行短期合计能量成本的进一步估计。所提深度CNN中，采用条件限制玻尔兹曼机(Conditional restricted Boltzmann machine，CRBM)增强全连接层。

2 MMG系统结构

图1为MMG系统的示意图。

图1 多微网示意图

由图1可知，该网络由多个相互连通的单一住宅小区子网组成，各子网之间存在能量交互行为。本文假设每个子网都有光伏、火力发电、风力发电和可调度负荷，每个子网都与子网储能系统相连。此外，如果子网储能有剩余能量时，则其可以通过EMS销售给其他子网或主网。所有子电网均采用双向AC/DC变换器，保证了整个子电网的稳定性和电压支持。各子电网通过导线相互连接，而各子电网只有在提供与主电网相同的额定频率时，才通过公共耦合点(Point of common coupling, PCC)与主电网相连。由于RES的间歇性行为，其能量输出被认为是所有子网运行的不确定性因素。EMS利用核和Shapley解决方案，管理网络中每个子网的运行以交换能源，并对每个合理的子网执行协同运行，以实现能源成本节约。这些解决方案构成了合作博弈的核心，其中每个子网格都希望从子网联盟中最小化其总费用。每个MG的内部拓扑如图2所示，1、2、8号节点分别连接三个火电机组组成，风电连接到5号节点，光伏接在11号节点，氢能接在13号节点。另外，假设每个RES既是合作博弈中的参与者，也是独立的MG。

图2 单个MG内部拓扑图

3 MMG系统实时能量管理建模

在t时刻，第k个传统DG的运行成本为火力发电机Ctg(t)、风力发电机Cws(t)、光伏发电机Css(t)和氢能Cssh(t)的总发电成本之和。因此，DGs的总运行成本(t)为

式中，an、bn和Cn为第n个火电机组TG发电成本的参数；t时刻的火电发电量为Etg,n(t)；Gws和Ews(t)分别为风电场直接成本系数和t时刻风电场的输出功率；Hss和Ess(t)分别为光伏的直接成本和t时刻光伏的输出功率；Hssh、Essh(t)和Mssh分别为氢能的直接成本系数、t时刻氢能的输出功率和氢能的直接成本。

3.1 可调度负载模型

由于MMG中需求侧负荷的灵活性，可以通过电价影响负荷来满足供应约束。t时刻的可调度有功和无功负载可表示为

式中，cosφ为功率因数；和分别为第l个可调度负载的最小值和最大值。在高峰日，为了不中断能源供应，避免给发电厂带来过多的负担，用户的负荷被削减。因此，第l个可调度负载的两段甩负载的费用分段线性函数由式(8)表示

式中，m0、m1、c0和c1为常数系数。

3.2 储能系统模型

本文用荷电状态(State of charge, SOC)定义ESS的充放电运行。对SOC考虑启发式方法，若τ(t)Preal(t) ≤1.29 元/(kW·h)，则ESS充电；若τ(t)Preal(t)＞ 1.29 元/ (kW·h)，则ESS放电；其中，τ为SOC决策的二进制变量。Preal(t)为实时电价。设ESS的SOC功率为ESOC(t)，EESS(t)为ESS的能量级。式(9)和式(10)为ESS的相关约束

式中，λch=λdch=0.98为充电放电效率。

3.3 电能交互模型

主电网在t时刻与MMG进行能量交换的约束条件为

式中，在某一时刻t，有功和无功交换用 (t)ACTLG和RACTLG(t)表示。而(t)和(t)分别是有功功率交换的最小值和最大值；是从或出售给主电网的最大电量。为了实现系统的能量平衡，配电系统中各母线的能量必须等于该母线上的发电量与负载之间的差值。

式中，dij=di-dj为节点i和节点j间的电压角差；Vi和Vj分别为节点i和节点j的电压；和分别为节点i有功和无功的第l负载；bij为节点i和节点j间的电纳集合；gij为节点i和节点j间的电导集合。所有发电机的发电约束为

3.4 优化运行成本模型

MG的总运行成本包括传统发电机成本、可调度负荷成本和减负荷成本的总和。为了保证MMG的高效运行，本文还考虑了从市场上购电的辅助服务成本。因此，它解决了电力偏差的调度问题。t时刻的辅助服务成本AS(t)为

式中，β是一个常数因子。

式中，Δf为频率偏差；Eloss(t)为能量损耗，定义为

式中，ln为输电线路数；Vi、Vj分别为节点i、节点j的传输线电压。因此，总运行成本为

式中，ωdg为二进制决策值，“0”表示不使用DG，“1”表示使用DG。总运行成本被用作MDP的奖励函数。MG定义的MDP的作用函数为式(9)在时间步长t时所有可能的作用集合约束。利用式(11)，转移概率取决于ESS的状态。DG和实时价格的状态变量遵循联合概率分布。t时刻的状态变量定义为作用下从状态t-1到状态t的跃迁定义为Strans=S(t-1)×A(t) →Prob(S(t))，其中Prob()为跃迁概率。DGs和Preal(t)的状态变量由它们的联合概率分布决定。目前，MMG的运行目标为降低MMG总运营成本，故优化调度策略定义为

式中，FP是一组可行策略μ，用于在t时刻制定决定行为A(t)的决策规则。状态转移遵循马尔可夫策略，即转移概率依赖于前一个状态，定义为

3.5 多微网系统的联盟运行模式

多微网运行的总体目标函数为发电总成本的最小化。本文提出了一种基于合作博弈的联盟机制，它可通过公平的成本分配来鼓励每个参与者参与大联盟。为此，本研究分别设计Shapley值和核。在MMG成本分配问题中，每个MG都是希望最小化其分配费用的参与者。每个玩家在满足一些条件后，彼此建立联盟。合作博弈由三个要素组成，即参与人集合i={1, 2, …,N)，大联盟N由所有参与合作的参与者组成。设{i}是由单个独立玩家组成的单联盟。根据上述定义，成本分摊公式为

式中，SC为每个参与者首先可分离成本；NSC为SC分配给所有参与者后提醒的不可分离成本。合作博弈往往依赖于遵循次可加性概念的大联盟，而次可加性依赖于成本函数。联盟越大，联盟的次可加性就越有效。次可加性意味着每个玩家都有加入大联盟的动机。拥有非空子集的博弈意味着存在公平的成本分配，前提是所有玩家都接受成为大联盟的一部分。次可加性对策表示为

式中，∅为空集；S和T为两个不相交的联盟。因此，次可加性是建立大联盟的必要条件。本文引入核的概念。核是分配集合必须满足的条件。它激励所有参与者参与到合作中来。需要注意的是，核可以称为个体理性、群体理性和大理性，具体为

个人和群体的理性被定义为分配AL={1l,l2,…,ln}，该核实现了节能降耗。个体或群体理性用于比较联盟或不参与大联盟N的玩家。大理性是指每个玩家将获得的总能量成本，它等于大联盟的总能量成本。为了使任何联盟S的最大费用()vS最小，联盟S对每个玩家PL的费用计算如下

其中，PL的最小化费用定义为

采用Shapley方法计算所有现有联盟的平均边际成本，计算结果为

式中，n∈N和s是联盟中玩家的数量。每个参与游戏的MG都是管理能量并获得公平分配的玩家。每个参与者的分配由v(S)得到，ALdis的分配定义为

本文采用CGA算法解决了大联盟问题。每个玩家都希望最大化其收益。随着联盟和参与者数量的增加，它变得低效和难以解决，因此，CGA通过减少枚举的数量来解决这个问题。能源费用分配问题的目标函数定义为

然而，考虑到高效计算，且函数v(c)为非线性的。列生成的基本思想为

S是一个有限向量集。事实上，假设S是离散的，则S*是一个有限的点集合，即表示MMG的集合，p为MMG的总数。Ψ为二进制的，而S*位于其凸包的最大点内，表示为conv(S*)。因此，通过极值点表示有界多面体与Dantzig Wolfe的分解。对于任何MMGmmgS*∈ ，可以设置mmg为

Ψw∈ { 0 ，1}，如果Ψw=1则为大联盟的成员，Ψw=0不在大联盟中。所以，w=1, 2, …,p。设rw=mmgw，aw=Ayw，v(w)由列生成形式导出为

图3为所提CGA的算法流程图。在流程图中，CGA的工作原理是将问题分为两个，即主问题和子问题。原始问题，即主问题，有一个变量子集；而子问题是新问题，也就是新变量。因此，对于每个约束条件，在RMP中得到一个双变量。如果子问题得到解决，且子问题目标函数值为负，则对RMP应用负的降低代价。RMP被解析，直到RMP创建一组新的非负的双值。因此，子问题产生了非负的缩减成本集。

图3 所提CGA的算法流程图

3.6 深度卷积神经网络的训练

CNN是一种多层神经网络，由卷积算子和最大池化算子等多层网络构造。由于RES出力的随机性，确定能量的规律性将是一项极为重要的工作。此外，CNN的神经元连接存在可扩展性问题，因此，本文提出了一种深度CNN，通过将神经元连接到相邻的神经元来解决这一问题。考虑到序列数据之间的差异，本文将其作为卷积层的输入数据。所提深度CNN由三层组成，如图4所示。第一层是输入层，接收数据序列。第二层是特征学习层，从输入数据中提取特征。卷积通过使用输入数据的最小二乘法来学习特征来保留输入。校正线性单元(A rectified linear unit，ReLU)使用数据的最小二乘法，并考虑预测数据和实际数据之间的相互影响。按照惯例，ReLU是一个函数，如果接收到任何负输入，将返回0，如果接收到任何正输入，将返回相同的值。除了第二层，还有最大池，每个卷积都有一个。每个池返回卷积预期输出的最大值。第三层是全连接层，表示k个神经元与最大池化的神经元相连。当训练样本数量较少，而神经元数量较大时，存在 弱泛化的问题，这可能会导致过拟合或过参数化。为了解决这一问题，本文采用条件CRBM训练全连通层。因此，CNN的深层架构描述如下。

图4 所提深度CNN结构图

4 仿真验证

所提方案将分别基于IEEE 118节点和IEEE 30节点的两个测试系统中实现。第一个测试用例是为了验证MMG联盟的有效性，而第二个测试用例验证了所提成本分配方法的有效性。风力发电机和光伏的输出数据出自文献[20]。储能为容量为60 kW/380 kW·h的蓄电池。考虑的辅助服务价格是实时电价的两倍。每小时的需求负荷出自文献[21]，每小时的电价出自文献[22]。利用Matlab进行仿真，并利用Matpower软件进行潮流计算，以避免重复建立最优潮流模型，这不是本研究的重点。利用Matlab深度学习工具箱实现深度学习，使用的参数出自文献[23]。硬件平台为拥有8GB RAM和1.60 GHz中央处理器的个人计算机。图5为实际24 h的实时电价和净负荷。从图5可以看出，在前1～5个时间段内，用电用户的净负荷开始上升。在后续的时间段内，净负荷有上行和下行的模式，这是由用户的行为决定的。然而，可以观察到，实时价格在1～19时段是不稳定的，在21时段急剧下降，最终在24时段上升。原因是在这个时间段内，负载需求是最小的。

图5 电价及净负荷

4.1 与其他方法对比

为了验证所提方法的有效性，本文采用贪婪算法、MPC和ADP作为基准方法进行比较。图6为不同调度方法的平均累积成本。由图6可知，所提方法和AD方法的平均累积成本在1～5时段增长较快。购买了额外的电能给电池充电，这意味着实时价格很低(即 ()real Pt＜20美分/(kW·h))。随着实时电价的上涨，电池的能量将被释放，以满足用电用户的负荷需求，这意味着能源成本的节约。结果表明，与其他方法相比，所提方法在1～24时间段内的平均成本更低。验证了所提方法的有效性，并能在这些时间段内给出准确的日前调度方案。

图6 不同调度策略的平均交互成本

表1汇总了日常运行成本的平均值、中值、最小值、最大值、第一个四分位数(Q1)、第三个四分位数(Q3)和标准差(Std)。

表1 每日运行成本的一周测试数据 美元

结果表明，所提方法与同类方法相比，成本降低了168.96美元。考虑到需求负荷、电价和可再生能源发电量存在波动，MPC和ADP策略方法的均值相对接近，故这些方法可以适应这种波动。表2为DG的日平均运行成本。

表2 DG的日平均运行成本分析 美元

与同类方法相比，所提方法获得的电网运行成本最小，为166.85美元。从结果来看，ADP策略方法在电网运行成本方面的性能接近于所提方法。请注意，与其他政策方法相比，所提出的最优政策方法在降低所有DG的成本方面取得了更好的性能。

4.2 利用现有模型对所提深度CNN进行评估

图7和图8分别为所提模型和不同预测模型的最优函数值的预测结果。

图7 各模型24 h最优函数值的预测结果

图8 各模型24 h近似函数值的预测结果

从图7的结果可以看出，所提深度CNN与实际数据比较接近。而SVM模型的效率并不高。而且，SVM模型不能泛化实际数据。同样，图8证实了RNN和SVM模型与所提深度CNN和ANN模型相比，并不能准确预测。编码器模型高估了实际数据。原因是编码器模型对于短序列的数据很好，但是对于长序列的数据效率很低，因为编码器模型很难将整个序列的数据存储到一个固定大小的向量中。此外，随着数据大小序列的增加，其性能也相应降低。

采用平均绝对百分比误差(Mean absolute percentage error, MAPE)和方均根误差(Root mean square error, RMSE)评价所提深度CNN的性能。误差值越小，预报精度越高。MAPE和RMSE用于评价所提模型的精度，如表3所示。RNN模型的RMSE值最高，这是由于维数问题造成的。人工神经网络(ANN)模型的RMSE值接近于所提深度CNN模型；而所提深度CNN模型的MAPE和RMSE值均小于同类模型。其他统计参数如均值和标准差(Std)表明，提出的深度CNN、ANN和编码器模型有相对接近的值。注意，RNN模型的Std值最小是由于对实际数据的预测不足。此外，平均值作为预测的最优函数值的平均值计算。

表3 不同模型的MAPE和RMSE分析

4.3 合作博弈方法的评价

测试系统为IEEE 30节点配电系统，仿真时间为168 h，以确定MMG联盟长期行为的经济性。表4为核和Shapley两种联盟方法的最终成本。

表4 每日运行成本的一周测试数据

从表4所示的仿真结果来看，每个MMG都节约了能源成本，这证实了MMG联盟运营的经济效益。与采用BD[14]和Shapley[18]模型的核相比，采用CGA模型的核在MMG的高能量成本节约方面取得了更好的性能。由于所提CGA核具有通过降低负能量成本而使最大费用最小化的能力。与其他模型相比，Shapley模型的结果并没有提供更低的能源成本分配。假设Shapley模型不是核心，它使用可加性，该模型必须单独找到参与者的费用之和，并计算每个参与者的权重。此外，独立MG不参与联盟相比，有较高的能源成本。图9为实际太阳能发电情况，图10为独立运行的氢能机组发电情况。

图9 太阳能发电

图10 独立运行

在独立运行的情况下，氢能机组需要独立供电，发电过程中不存在能量交换，能源成本较高。从图11中可以看出，联盟运行情况下的氢能机组发电比独立运行情况下多。原因是在组建大联盟时，MMG采用氢能机组发电，从MMG获得能量，太阳能发电量大，用户负荷需求比独立的MMG少。

图11 联盟运行

5 结论

本文提出了一种将费用公平分配给各MMG的机制，以确保MMG的稳定性。该机制利用CGA获取合作博弈的核方案。仿真结果表明，采用CGA模型实现核的MMG系统比采用BD、Shapley和无联盟(即独立MG)实现核的MMG系统节约了更高的能源成本。随着MMG数量的增加，仿真时间表明了该方法的有效性。与BD模型的执行时间0.292 0 s、Shapley模型的执行时间41.356 9 s相比，CGA模型执行时间为0.195 5 s的核鲁棒性较好。此外，所提深度CNN模型的MAPE值最小为0.70，RMSE值最小为0.34。另外，与已有的贪婪策略、ADP策略和MPC策略进行了比较。与MPC方法降低成本(约为79.52%)、贪心策略方法降低成本(约为73.94%)和ADP方法降低成本(约为79.42%)相比，所提方法使MG的日运行成本降低了87.86%。

在未来的研究中，本研究将采用强化学习的方法对所提出的方法进行改进。这样，闭环控制策略可以最优地调度ESS运行。