基于增强学习算法的微电网智能频率协调控制策略

姜展鹏，刘 洋，刘守恒，郝立超

(1.沈阳工业大学电气工程学院，辽宁 沈阳 110870；2.中电投东北新能源发展有限公司，辽宁 沈阳 110170)

随着“双碳”战略的实施，可再生能源如风能、水能、太阳能引起了人们广泛关注，其中光伏发电是利用太阳能发电的一种常见形式。然而，光伏发电具有很强的不确定性，尤其在阴天具有很强的波动性，由于不知光伏阵列上方何时有云遮挡，光伏发电功率很难预测[1-4]，同时，由于人们生活水平的提高，负荷种类也越来越多，且有极大的不确定性，严重影响了微电网频率的稳定性。

微电网频率波动可能影响用电设备，解决这个问题通常有减少发电的不确定性和利用控制策略来稳定频率2种方式。由于天气实时变化的因素，很难预测光伏发电的功率，因此，很多学者更加青睐于第2种方式。

增强学习算法是一种具有函数逼近最优性的有效方法，特别适用于非线性系统和复杂系统。在面对“维数灾”时，可以得到近似最优解[5-9]。增强学习算法在电力系统领域应用颇丰，在文献[10]中，通过基于数据的策略迭代对一类离散时间系统进行H∞控制，并将其应用于风力涡轮机。在文献[11]中，设计了一种基于自适应动态规划的控制方案，以辅助电力系统的负荷频率控制。在文献[12]中，研究了基于数据的鲁棒值迭代方法，并将其应用于风机变桨距控制。在文献[13]中，采用自适应的设计方法，在智能电网中应用了一种基于广域测量的动态随机最优潮流控制算法。然而，在现有的电力系统研究中，增强学习算法经常被设计为辅助控制，而利用增强学习算法对电力系统直接控制却很少见[14-15]。本文利用增强学习算法直接控制微型燃气轮机和储能设备的输出功率来抑制频率波动，为未来微电网的应用提供了理论依据。

1 基于储能的微电网模型

1.1 基于储能的具有不确定性的微电网

本文研究了由光伏发电、负荷需求、储能系统和微型燃气轮机组成的微电网，如图1所示。

图1 微电网结构

等效微型燃气轮机、储能系统和电力系统的传递函数分别为G(t)、Ge、Gp，公式如下：

(1)

式中：Tt、Te、Tp分别为微型燃气轮机、储能设备和系统惯性的时间常数；kp为电力系统的增益系数。

定义x(t)=[Δf(t),ΔPt(t),ΔPe(t)]T∈m作为初始状态为x(0)的微电网的状态向量。式中：Δf(t)为频率偏差；ΔPt(t)为微型燃气轮机的频率输出；ΔPe(t)为储能设备的功率输出。

频率动力学可以描述如下：

(2)

(3)

(4)

式中：Δpl(t)为负荷变化；Δpp(t)为光伏发电产生的不确定性；R为调速系数；ut(t)为微型涡轮机的控制信号；ue(t)为储能设备的控制信号。微电网的频率动力学可以用以下形式表示：

(5)

(6)

(7)

(8)

式中：A为系统矩阵；B为控制矩阵；u(t)=[ut(t),ue(t)]T∈n为控制输入；Π(t)表示光伏发电以及负荷的不确定性。

1.2 储能设备运行限制状态

微电网中储能设备的主要作用是抑制由光伏发电和负荷不确定性引起的频率波动，对于该场景下的储能设备具有如下荷电状态限制：

(9)

(10)

其余情况时：

Soc(t+1)=Soc(t)

(11)

1.3 微电网调频过程

在调频过程中，考虑负载和光伏发电功率的不确定性，利用储能设备智能充放电来抑制该不确定性，具体调频过程如图2所示。

图2 微电网频率调节过程

2 基于增强学习算法的智能频率调节

本文设计了一种基于负荷变化和光伏发电不确定性引起的功率不确定性的微电网频率智能控制策略，采用增强学习算法进行调节，并由神经网络实现。

微电网Δf(t),ΔPt(t),ΔPe(t)的状态均为频率控制器的输入端。

2.1 增强学习算法的控制器设计

所研究的微电网的频率动态用式(5)表示，对于频率控制，设计了一个状态反馈控制律u(t)来调节微型燃气轮机和储能设备的功率输出，通过对不确定系统的频率最优控制，可以得到对不确定频率动力系统式(5)的鲁棒控制，并表示为

(12)

对于系统式(12)，通过最小化代价函数设计了控制律u(t)。

(13)

式中：U(x(t),u(t))为效用函数，U(x(t),u(t))=xT(t)Qx(t)+uT(t)Ru(t)；Q，R为具有适当维数的正定对称矩阵。

最优代价函数定义为

(14)

基于贝尔曼最优性原理，可以得到哈密顿函数为

+U(x(t),u(t))

(15)

最优控制律u*(t)满足哈密顿-雅可比-贝尔曼方程。

(16)

式中：Ωc为1个可接受的控制集。

由此可以推断出系统式(12)的最优频率控制律为

(17)

将最优控制律式(17)代入(16)，然后将HJB方程进一步转化为以下形式。

(18)

最优HJB方程符合0=H(x(t),u*(t),∇J*(x))，u*(t)为最优控制律。

2.2 增强学习算法的迭代算法

一般来说，由于式(18)中存在偏微分项，几乎不可能直接求解，因此，利用迭代算法得到了最优控制律u*(t)和最优代价函数J*(x)的近似解。迭代算法流程如下：

a.初始化

设置迭代索引i=0，并让J(i)(x)=0。定义一个足够小的正数ε作为停止该算法的先决条件，从一个初始可接受的控制律u(0)(t)开始迭代。

b.迭代过程

在第1次迭代过程中，用J(0)(x)=0将初始值u(0)(t)代入式(18)，然后，J(i+1)(x)可以用式(19)表示：

0=(∇J(i+1)(x))T(Ax(t)+Bu(i)(t))+U(x(t),u(i)(t))

(19)

c.更新控制律

根据式(20)更新控制律u(i+1)(t)。

(20)

d.停止条件

在此迭代过程中，迭代控制律u(i+1)(t)近似收敛到最优控制律u*(t)，随着迭代指数足够大，迭代代价函数J(i+1)(x)也收敛到最优值J*(x)。

2.3 智能频率控制的神经网络实现

假设存在权值W1，使得J(x)被一个神经网络近似为

(21)

式中：φ1(x):n→N为激活函数向量；N为隐层神经元数；ε(x)为神经网络近似误差。选择激活函数以提供一个完整的基集，使J(x)及其导数一致。

(22)

神经网络权值W1未知，那么神经网络的输出为

(23)

U(x(t),u*(t))=e1

(24)

利用神经网络近似方法可以得到系统式(12)的近似最优控制律。

(25)

(26)

通过最小化平方误差，权值更新定律可以设计为

(27)

式中：γc>0为评价网络的主要学习速率；γa>0为辅助学习速率；Js(x)=0.5xT(t)x(t)是根据李雅普诺夫定理选择的。

因此，利用权值更新定律可以得到评价网络的估计权值，可以为系统提供频率控制律。

3 仿真分析

根据图2给出的微电网日前调度曲线，对微电网模型进行仿真，抑制光伏发电及负荷不确定性引起的频率波动，提高微电网供电可靠性。在频率调节中考虑储能设备的功率约束，微电网参数如下：Tt=0.2，Te=0.7，Tp=9，kp=1，R=0.1，储能设备功率约束见表1。

表1 储能设备功率约束

由于光伏电源连接到微电网，本文考虑了光照和温度2个影响光伏功率的主要因素，受环境影响的光伏发电不确定性如图3所示。同时，考虑了实际负荷需求的不确定性，如图4所示。

图3 光伏发电不确定度

图4 负荷变化干扰

在智能频率控制中，所使用的参数如下：Q=2.5×I3×3，R=2.5×I2×2，γc=0.9，γa=0.15，其中I为单位矩阵。根据系统数据，可以得到评价网络的权值，如图5所示。

根据频率控制器在随机干扰激励下，频率偏差Δf(t)、微型燃气轮机功率输出ΔPt(t)和储能设备功率输出ΔPe(t)的变化误差最终收敛为零，如图6所示，即通过神经网络训练过程。至此，微电网智能频率控制策略训练过程完毕。

图5 在训练过程中的权重更新律

图6 微电网系统的状态收敛

储能设备在该控制策略中应用于整个微电网频率调节过程，维持微电网频率稳定，提高了微电网供电可靠性。

4 结语

本文研究了具有光伏发电和负荷不确定性的微电网频率控制问题，设计了一种基于增强学习算法的智能控制策略，并由神经网络实现，通过调节微型燃气轮机和储能设备的功率输出，抑制微电网频率波动，可有效提高供电可靠性，增加用户用电满意度。仿真结果显示，所提出的智能频率控制策略能够较好地调整频率波动。在未来，可以考虑微电网的拓扑结构，将该控制策略应用于更多场景。