基于自适应动态规划的SMES调频控制策略研究

郝立超，刘 洋，刘守恒，姜展鹏

(1.沈阳工业大学电气工程学院，辽宁 沈阳 110870；2.中电投东北新能源发展有限公司，辽宁 沈阳 110170)

目前，大量分布式新能源接入到配电网，电动汽车(electric vehicles,EVs)作为一种灵活、可控的负荷，可以消耗更多的清洁能源，因而受到广泛关注[1]。如果负荷达到一定水平，当EVs这一类大功率用电设备切入或切出充电桩时，配电网的输出功率将急剧变化[2]。相应配电网的频率波动范围也很容易超过安全区域[3-4]，这对电力系统稳定性有很大影响。

为了提高配电网的频率动态稳定性，许多研究人员通过引入储能系统来解决这一问题。文献[5]提出一种利用超级电容预存储来减轻EVs充电站对配电网影响的方法。文献[6]提出使用飞轮储能系统来降低大功率负荷快速充电对配电网的影响，从而满足负荷快速充电和配电网的稳定性。基于上述设计思路，可以选用大容量超导磁储能(superconducting magnetic energy storage,SMES)作为储能装置，提升电网稳定性。

SMES目前已被广泛应用于提高电网的稳定性中。文献[7]介绍一种改进的电流-电压斩波器组件，并提出一种通过多补偿电路共享SMES线圈的线路间的直流动态电压恢复方案。目前也有SMES被应用于EVs充电的相关案例，然而这些方案的控制难度较高，并且难以实现预定目标。由于SMES具有很高的能量释放速率，可以实现快速的有功和无功补偿。因此，可以采用SMES作为一种储能装置接入到配电网中，参与EVs快速充电过程。

在以往的SMES控制方法中，研究人员一般采用PID控制方法，该方法需要系统模型已知，在难以建模的复杂系统求解中存在局限性。对于复杂模型的控制，自适应动态规划就能够很好地解决，目前研究人员对自适应动态规划的应用已有了较深的研究。文献[8]将自适应动态规划用于微电网调度中，不断在迭代过程中得到最优策略，在考虑经济效益最大化的同时，有效降低了碳排放量。基于以上研究现状，本文提出了一种基于自适应动态规划的无模型辅助学习控制方法。相比于PID控制，该控制方法不需要系统动态模型，控制动作从环境中学习，使用试错方法来获得初始神经网络权值。

本文介绍带有SMES的EVs快速充电站模型，建立其拓扑结构和分析能源管理策略，分析负载的工频特性，介绍SMES的工作原理，以及PID和自适应动态规划2种控制方法，并进行实例仿真分析，得出相应的结论。

1 系统模型

1.1 拓扑结构

本文构建了含SMES的快速充电站系统，拓扑结构如图1所示。

在EVs充电站中设有N台充电桩，通过快速充电站的交流母线接入到配电网中，进行EVs的快速充电。另外，在快速充电站系统中也接入了SMES系统，通过10 kV/6.3 kV变压器、整流器和逆变器，连接到配电网的10 kV交流母线上，参与EVs的充电过程。在充电站的工作状态发生变化时，SMES根据控制指令进行相应的状态切换，并做出功率响应，参与协调配电网的功率平衡，抑制配电网的瞬态频率波动。

1.2 能量管理

对于带有SMES的快速充电站模型，EVs快速充电站的能源管理为

PDN=PEVs+Pload+PSMES

(1)

式中：PDN为配电网输入功率；PEVs为EVs快速充电负荷消耗的功率；PLoad为其他负荷消耗的功率；PSMES为SMES吸收的功率(吸收功率时为正，释放功率时为负)。本文将PLoad设为常数，以简化解析计算，仅分析PDN、PEVs和PSMES之间的关系。

整个EVs充电过程的功率分为上升阶段、稳定阶段和下降阶段。在EVs的充电功率上升阶段，SMES向配电网放电；在充电功率下降阶段，配电网对SMES进行充电；在稳态充电阶段，配电网的输出功率几乎没有波动，SMES不参与这一过程，仅由配电网单独对EVs供电。

2 负荷-频率特性分析

负荷工频特性[9]为

Pl=a0Ple+a1Ple(f/fe)+a2Ple(f/fe)2+…+anPle(f/fe)n

(2)

式中:fe为额定频率;系统频率为f时，系统负荷的有功功率为Pl;系统频率为额定值fe时，系统负荷的有功功率为Ple。一般情况下，a1的值最大，即一次功率的负载比例最高。由式(2)可知，f与Pl大致呈线性关系。

在电网稳定运行时，发电侧输出的功率和用电侧吸收的功率处于动态平衡，系统频率相对稳定。EVs快速充电时会在短时间内吸收大量电能，然而发电系统存在惯性，不能在短时间内有效调整输出功率，导致功率响应不及时。功率偏差和频率偏差为

(3)

式中：k为电力系统的机组功率调节系数；kL为机组负荷调节功率系数；kG为发电机的机组调节功率系数。由式(3)可知，负载变化越大，频率变化就越大,进一步运算得到式(4)。

(4)

由式(4)可知，频率变化率随负荷变化率的增大而增大。

由于功率变化率与频率变化率正相关，所以通过分析配电网的功率变化趋势，可以得到频率变化趋势。从理论上讲，当EVs快速充电时，SMES系统可以降低配电网的功率变化率，从而抑制配电网频率波动。

3 SMES运行原理及控制方式

3.1 SMES运行原理

SMES运行原理如图2所示。

由图2可知，当S1和S2断开时，SMES系统处于充电状态，即从配电网吸收电能；当S1和S2闭合时，SMES系统处于放电状态，即向配电网输送电能。在SMES系统中存储电能为

(5)

式中：Lcoil为超导线圈的电感值；Icoil为流过超导线圈的电流值；W(t)为SMES的储能值。为了避免SMES系统过度充放电，引入了充电状态SOC，实时检测SMES系统的剩余容量。

SOC=W(t)/Qrated

(6)

式中：Qrated为SMES的额定容量。

3.2 控制方式

a.PID控制

SMES的控制方式如图3和图4所示。图3为S1的控制方式，图4为S2的控制方式。PID(a)和PID(b)的输入量为dp/dt，即整流后的功率变化率。设dp/dt(upper)和dp/dt(lower)作为参考值。

SMES工作可分为3个阶段。

放电阶段：当dp/dt>dp/dt(upper)时，SMES自动切换到放电模式，S1、S2关闭，SMES放电。当dp/dt恢复到参考值时，SMES会自动切换到下个工作状态。该阶段用于配电网功率上升阶段。

存储阶段：当dp/dtdp/dt(lower)，SMES此时放电，但S1被迫打开，SMES只能在存储模式下工作。该阶段用于配电网功率稳态阶段。

充电阶段：当dp/dt

SMES工作状态切换过程如图5所示。

b.自适应动态规划控制

基于SMES在EVs充电站中的工作特性，本文考虑一类具有离散时间的非线性控制系统。

(7)

式中：xk和yk分别为系统状态和系统输出；A、B、C为具有适当维数的矩阵。

对于式(7)，将k时刻的瞬时代价函数定义为

(8)

式中：Z(xk)为xk的正定函数；R为正定矩阵。

设控制率为

uk=u(xk)

(9)

在uk控制率下，状态xk的动作依赖值函数为

(10)

最优控制目标是找到一个稳定系统式(7)的uk=u(xk)控制律，并且最小化值函数式(10)，最优值函数为

(11)

根据贝尔曼最优性原理，最优值函数为

(12)

最优控制律为

(13)

在原始自适应动态规划算法的基础上，本文提出了一种基于自适应动态规划的补充控制结构，以改进系统式(7)的原始控制律。如图6所示，不替换原控制器，而是并行连接1个辅助学习控制器。这样可以利用现有控制器的先验知识来保证稳定性，采用执行模块-评判模块的结构来实现补充学习。设计评判模块来评判控制动作，而利用执行模块产生修改控制信号，以提高控制性能。学习过程包括2个步骤：①通过评判模块进行策略评估；②通过评判模块引导执行模块进行策略改进。这2个步骤不断迭代，直到收敛。策略迭代算法说明如下。

第1步：策略评估。

(14)

(15)

式中：Z∈RL为权值向量；φ(xk,uk)∈RL为基函数向量。基于式(15)，策略评估式(14)可以改写为

(16)

(17)

第2步：策略改进。

(18)

通过策略评估式(14)得到值函数Vi(xk,uk)后，可以通过式(15)对补充控制器进行更新。本文讨论了值函数近似结构是状态和控制的二次分量的一种特殊情况，即值函数的形式为

(19)

(20)

式中：V中的元素为第i次迭代中的值函数参数。然后根据策略改进方程式(18)得到：

(21)

即补充控制器是1个线性状态反馈控制器。以上2个步骤不断迭代，直到收敛。

4 仿真验证与分析

PID方法需要利用Matlab中的线性分析工具箱进行系统线性化模型。基于自适应动态规划的方法是无模型的，控制动作从环境中学习，使用试错方法来获得初始神经网络权值。现设置dp/dt(upper)和dp/dt(lower)分别为0.5 MW/s和-0.5 MW/s。SMES系统参数如表1所示。

表1 SMES系统参数

仿真条件设置如下：假设同时有50辆EVs接入快速充电站，每辆EVs的充电功率需求为120 kW，即此时间段内配电网功率需求增加了6 MW。

分别对PID控制和自适应动态规划控制进行仿真验证，得出EVs快速充电功率曲线以及配电网输入功率和频率的变化曲线，如图7所示。

图7反映了EVs在充电过程中所吸收的实时功率。由图7可知，当EVs切入和切出充电桩时，充电功率急剧变化。若无SMES参与充电，则会引起配电网输出功率的急剧上升和下降，这对配电网的稳定性是不利的。

配电网的输入功率曲线如图8所示。由图8可知，在无SMES的情况下，配电网为EVs提供了所需的全部电能。然而在有SMES的情况下，SMES在EVs切入时，为EVs提供部分电能。在EVs切出时，SMES向配电网功率进行补偿，有效减小了配电网功率上升和下降的坡度。

配电网频率变化曲线如图9所示。由图9可知，当无SMES时，EVs切入和切出充电桩时会引起配电网较大的频率波动。然而当接入SMES后，配电网的频率波动范围明显减小。同时，相较于PID控制，采用自适应动态规划的控制方法可以更快地使配电网频率波动趋于稳定，获得更好的控制效果。

5 结语

本文提出了基于自适应动态规划的控制方法，该方法不需要已知系统动态模型，即从系统环境中学习，产生控制动作，规避了系统模型建模困难的弊端。分别对PID控制和自适应动态规划控制进行了仿真验证，结果表明，在EVs快速充电时，利用自适应动态规划的控制方法，SMES可以使电网频率波动更快趋于平稳，提升电网的稳定性。