基于执行依赖启发式动态规划的风电场电压协调控制

薛尚青，蔡金锭

（福州大学 电气工程与自动化学院，福建 福州 350108）

0 引言

随着风电的迅速发展，并网风电场与电网之间的相互影响越来越大。无功电压问题是广受关注的问题之一［1］。风电场一般位于电网的末端，具有快速、先进电压控制的风电场对维持输电系统电压水平和提高电压稳定性起到良好的作用［2］。

通过控制电网中的无功功率可以对电网电压进行调整控制［3-4］。由双馈风电机组组成的风电场作为重要的无功源，众多文献已就此展开深入广泛的研究。文献［1］提出分层分布构架的风电场无功电压控制策略，根据风电场并网点电压偏差量确定风电场无功需求，并以等功率因数方式分配到各个机组；文献［2］通过风电场无功功率调节控制并网点升压变低压侧电压以达到调节高压侧母线电压的目的；文献［3］探讨了如何有效发挥双馈发电机组自身的无功调节能力，提出了风电场无功功率控制策略。文献［1-3］仅研究风电场自身无功调节对电压的支撑，而未考虑风电场配置的无功补偿单元参与无功调节起到的作用。文献［5］引入静止同步补偿器配合双馈风电场解决无功波动及低电压穿越问题。

本文针对双馈风电场与静止同步补偿器STATCOM（STATic synchronous COMpensator）间的协调控制问题进行研究，提出了基于执行依赖启发式动态规划ADHDP（Action-Dependent Heuristic Dynamic Programming）的电压协调控制策略，利用ADHDP控制器协调双馈风电场与STATCOM提供无功功率以维持支撑电网电压，通过不同风速、故障程度下的各种故障仿真算例验证了所提方法的有效性。

1 ADHDP

1.1 动态规划基本思想

假设非线性（时变）离散系统状态方程［6］：

其中，x∈Rn为系统n维状态矢量；u∈Rm为m维控制矢量；F 为 n 维矢量函数；k=0，1，…，N-1。

与该系统关联的性能泛函为：

其中，γ 为折扣因子，0＜γ＜1；U（x（k），u（k））为效用函数。

动态规划的核心是贝尔曼最优性原理，它要求逐段作出决策，选择最优控制，完成从初始状态到终端状态的转移，并使相应段后部子过程的性能函数为极小值，换言之，无论过去的状态和决策如何，对于前部的决策形成的当前状态而言，余下的各个决策必定构成最优策略［7］。

根据贝尔曼最优性原理，动态规划递推方程可描述为［8］：

经典动态规划将多阶段过程转化为一系列单阶段问题，逐个求解，但随着状态变量维数的增加，问题求解难度会按维数规模呈幂级数增加，带来“维数灾”问题［9］。

1.2 ADHDP原理

Werbos等提出了自适应评价设计ACD（Adaptive Critic Design）［10-11］，它集神经网络、近似动态规划 ADP（Approximate Dynamic Programming）和强化学习 RL（Reinforcement Learning）于一体［12］，是一类可以在线通过与系统的相互作用而不断改善控制效果的方法［9］。

执行依赖启发式动态规划是ACD的一种，由评价网络和执行网络组成［13］，其原理如图1所示。

图1 ADHDP原理框图Fig.1 Schematic diagram of ADHDP

定义评价网络最小化目标函数［7，13］：

对任意的 k0，当 Ec（k0）=0 时，由式（4）可得：

式（5）与式（2）的系统性能泛函相同，且满足：

因此，通过调整评价网络权值来构造代价函数Q（k），调整执行网络权值来最小化Q（k）即可得到一系列次优的控制序列u*，这样也在一定程度上解决了“维数灾”的问题。

2 ADHDP控制器设计

本文设计ADHDP控制器，用于实现双馈风电场与STATCOM间的电压协调控制，ADHDP控制器原理如图2所示。

图2 ADHDP控制器原理Fig.2 Schematic diagram of ADHDP controller

图2中，双馈电机转子侧变换器和STATCOM均采用电压控制模式。ADHDP控制器的输入为风电场送端母线电压值US（标幺值）与设定值的偏差量ΔUS，输出为双馈风电机组附加电压信号ΔUF及STATCOM 附加电压信号 ΔUC，ΔUF、ΔUC分别与设定的稳态电压参考值UF0、UC0叠加，作为输入双馈风电机组与STATCOM的电压指令信号和

2.1 评价网络

评价网络采用5-20-1的3层BP神经网络结构，隐层使用S型函数，输出层使用线性函数，输入为状态参数 x（k）=｛ΔUS（k），ΔUS（k-1），ΔUS（k-2）｝和控制量 u（k）=｛ΔUF（k），ΔUC（k）｝，输出为代价函数 Q（k）。

ADHDP控制器的目的是通过协调控制减小风电场送端母线电压偏差，因此，效用函数定义为：

评价网络采用 forward-in-time［6，13］训练 方法 ，即在时刻 k-1 训练，期望输出目标由 γQ（k）+U（k）给定，实现映射：

评价网络的训练过程见图3。评价网络最小化目标函数如式（4）所示，采用梯度下降法更新评价网络权值［14］：

其中，lc为评价网络学习率，Wc为评价网络各层间的连接权值。

图3 评价网络的训练过程Fig.3 Training process of evaluation network

2.2 执行网络

执行网络采用3-20-2的3层BP神经网络结构，隐层和输出层均采用S型函数，输入为状态参数x（k）=｛ΔUS（k），ΔUS（k-1），ΔUS（k-2）｝，输出为控制量 u（k）=｛ΔUF（k），ΔUC（k）｝。

执行网络的训练目标是最小化评价网络输出的代价函数Q（k），定义其最小化目标函数为：

执行网络的权值更新采用梯度下降法［14］：

其中，la为执行网络学习率，Wa为执行网络各层间的连接权值。

执行网络的训练过程如图4所示，代价函数Q（k）误差信号经评价网络反向传播。

图4 执行网络的训练过程Fig.4 Training process of execution network

3 仿真研究

3.1 仿真系统

在MATLAB/Simulink环境下搭建仿真系统以验证所设计ADHDP控制器的正确性和有效性。如图5所示，仿真系统为双馈型风电场并网运行模型，风电场总装机容量200 MW，包含100台单机容量2 MW的双馈风电机组，机组由机端升压变T1升压到 35 kV，再经过 T2升压到 110 kV，通过 50 km、110 kV线路并入无穷大电网。风电场送端110 kV母线接有容量为50 MV·A的STATCOM。在系统大扰动故障情况下，把风电场当作一个整体来简化计算过程对于结论并不会产生很大的误差［15-16］，因此本文以单台等容量风电机组模型代替整个风电场进行仿真研究。

图5 仿真系统Fig.5 Simulation system

稳态时，双馈风电机组和STATCOM的电压参考值设定为1.0 p.u.，网侧变换器采用无功控制模式，无功参考值设为0。ADHDP控制器实现的采样周期为1 ms。假定无穷大电网在t=0.2 s时发生三相跌落故障，150 ms后故障恢复。对不同风速、故障程度下的各种故障情形进行仿真研究，同时将本文所提ADHDP协调控制（方法1）、无ADHDP协调控制（方法2）、双馈风电场单独控制（方法3）作比较，以验证本文所提方法的有效性。当双馈风电场单独控制时，STATCOM采用无功控制模式，其输出设为0。

3.2 不同风速下的故障仿真

跌落幅值为 0.5 p.u.，风速分别为 5 m/s、10 m/s、14 m/s时，分别采用3种方法的风电场送端110 kV母线电压U110（标幺值）控制效果对比如图6所示。

由图6可知，在故障清除后的电压恢复过程中，ADHDP协调控制方法起到附加阻尼作用，缩短了电压振荡时间。在低风速区（见图6（a）），双馈风电场无功发生能力强，调节范围大，其单独控制的效果最好，而方法2的控制效果最差；方法1控制效果虽不如方法3，但电压的振荡衰减速度最快。在高风速区（见图 6（b）和图 6（c）），方法 1 的电压超调量较小，其最大值出现的时刻也较早，而且调整时间也至少快1个周期；方法2和方法3的控制效果基本一样，但方法3稍优于方法2，这是由于双馈风电场与STATCOM间无协调控制时，两者间相互干扰导致的结果，而对比方法1和方法3的电压控制效果，可明显看出采用ADHDP协调控制方法的优越性。

图6 不同风速下母线电压U110控制效果对比Fig.6 Comparison of control effectiveness for U110among different wind speeds

在故障时间段内，STATCOM参与无功电压控制时，电压幅值曲线位于方法3之上，有利于对电网电压的支撑，但会引起与双馈风电场之间的振荡（见图6（a））。在高风速区，双馈风电场无功调节范围随着有功输出增大而减小，降低了对电压的无功支撑能力，导致电压出现振荡。

3.3 不同故障程度仿真分析

风速为 8 m/s，跌落幅值分别为 1 p.u.、0.5 p.u.、0.2 p.u.时，分别采用3种方法的风电场送端110 kV母线电压U110（标幺值）控制效果对比如图7所示。

电网发生幅值为0.5 p.u.或1 p.u.跌落故障时，因无法获得足够的无功支撑而发生振荡，如图7（a）和图7（b）所示，故障期间，方法1能较好地协调双馈风电场与STATCOM提供无功支撑电网电压并抑制电压振荡。故障清除后，如图7（a），电压出现较大较长时间的振荡，方法1的电压调整时间比方法3长，但其对电压振荡的抑制能力更强；对比方法2可知，方法1电压最大值出现在约0.37 s处，比方法2快约1个周期。如图7（b），方法1的电压恢复过程时间约为30 ms，而方法2和方法3约需70 ms。

当电压跌落幅值为0.2 p.u.时，风电场具有足够的无功输出能力，电网电压经振荡后维持在1 p.u.，如图7（c）所示。故障过程中，方法1能在1个周期时间内将电压维持在±5%以内；在电压恢复过程中，方法1的电压振荡最大值为1.12 p.u.，而方法2、方法3的最大值为1.16 p.u.，且其电压振荡衰减时间也提前约半个周期。

4 结论

依据动态规划思想，设计了基于ADHDP方法的双馈风电场与STATCOM间的电压协调控制器。ADHDP控制器在不同风速、故障程度的各种故障情形中的仿真表明，ADHDP控制器起到了外部附加阻尼控制作用，缩短了电压振荡时间，能够协调双馈风电场与STATCOM提供无功支撑电网电压并对电压波动及电压恢复过程中的电压振荡有良好的抑制能力。ADHDP控制方法充分发挥了双馈风电场与STATCOM的无功处理能力，可以缓解电网的无功压力，有效提高了风电场故障穿越能力。