基于Q学习的光伏储能微网VSG与APF协调优化研究

王 洲，张 军，贾春蓉，彭 婧，孙亚璐

（1.国网甘肃省电力公司经济技术研究院，甘肃 兰州 730050；2.国网甘肃省电力公司，甘肃 兰州 730030）

0 引言

近年来，大量太阳能、风能等新能源发电系统渗透率不断提高[1]，[2]，使得电网频率、电压稳定性难以控制[3]。已有学者针对性地提出了虚拟同步发电机（Virtual Synchronous Generator，VSG）技术，在新能源电源并网逆变控制环路中，引入虚拟的惯性与阻尼系数，模拟常规发电机组的机械特性与调频调压特性，实现新能源分布式电源更优的并网运行控制特性[4]～[6]。

现阶段，针对分布式电源的VSG控制研究主要集中在并、离网控制相关技术方面，特别是在微网中的灵活应用[7]～[10]。微网中多台VSG并联运行协调控制困难[11]，微网不可避免地存在非线性负荷，从而引起低阶谐波电流，难以通过常规无源滤波手段进行滤除，严重影响了微网电能质量，亦会造成VSG功频振荡[12]，[13]。文献[14]研究了多VSG并网系统的P/ω导纳建模与功频振荡特性，推导了多VSG并网节点导纳矩阵，分析了VSG数量、电网等效阻抗与惯性对其功频振荡的影响特性。文献[15]研究了同步频率谐振引发VSG功率振荡的问题，提出了基于暂态虚拟电阻的阻尼控制策略。文献[16]将有源滤波（Active Power Filter，APF）引入VSG中，提升了微网电能质量，实现了APF与VSG的协调控制。然而，目前工作未深入研究气象环境变化下新能源电源功率波动及其对微网频率与谐波治理性能的影响。

为此，本文提出了一种基于Q学习（Q-learning）算法的光伏储能微网VSG与APF协调优化方法。通过Q学习算法对VSG虚拟惯性、阻尼等参数进行迭代训练，在提升VSG功频特性的同时，尽可能地合理分配VSG与含APF的光伏电源无功配比，在环境气象条件变化时实现光储微网VSG与APF的协调控制。

1 VSG控制原理与光伏储能微网结构

图1为本文的光伏储能微网系统结构图。微网采用主从控制模式，其中储能系统较光伏系统更稳定，不易受环境条件影响，选取其作为微网电压与频率支撑的主逆变电源；储能逆变器采用基于VSG的控制方式；光伏逆变器采用了基于瞬时无功功率理论的ip-iq谐波检测法提取谐波电流分量[17]，再将逆变器有功电流分量与谐波电流叠加后得到含谐波分量的三相电流信号iah，ibh，ich，通过电流环控制实现VSG并网与APF功能。图中:UPV，IPV分别为光伏阵列电压、电流；ia，ib，ic为网侧三相电流；ed，eq为在dq坐标系下三相电压的分量；id，iq为dq坐标系下光伏逆变器电流分量；Uo，Um分别为VSG输出端电压与幅值；Io为VSG输出端电流；f为VSG频率；Un为VSG额定电压幅值；fn为VSG额定频率；Pn，Qn分别为系统额定有功与无功值；PPV，QPV分别为光伏逆变器有功与无功功率；PVSG，QVSG分别为储能逆变器有功与无功功率；Pload，Qload分别为非线性负荷有功与无功功率；Pgrid，Qgrid分别为电网侧有功与无功功率。

图1 光伏储能微网系统控制框图Fig.1 Block diagram of photovoltaic energy storage micro-gird system

光伏储能微网系统中，VSG控制主要包括转子机械方程、定子电气方程[13]，[16]，即:

式中:J，D分别为VSG转动惯量、阻尼；Pm，Pe分别为VSG额定功率与电磁功率；ω，ωn分别为实际角速度与额定角速度；Eo，Uo，Io分别为VSG感应电动势、定子机端电压、定子电流；Rf，Lf分别为定子电枢等效电阻与电感。

本文采用Q学习算法对上述参数进行整定与优化。计及光伏电源有功功率的VSG功频控制框图如图2所示[16]，其中Kd为功频特性系数。

图2 VSG功频控制框图Fig.2 Active power-frequency control block diagram of VSG

VSG励磁控制器框图如图3所示。

图3 VSG励磁控制框图Fig.3 Excitation control block diagram of VSG

图中:Kq为无功-电压下垂系数；Uref为下垂控制后VSG电压参考值。由于VSG具备一定的无功支撑能力，定义VSG无功分配比例pQ为

由于合并APF的光伏电源有功输出直接受其环境辐照等气象参数影响，当环境气象条件变化时，微网有功功率可由VSG补偿，但其无功与VSG无功配比需要主动协调控制。因此，将pQ作为Q学习算法待整定参数之一，以实现环境气象条件变化下光伏APF与VSG的无功协调控制。

2 光储微网协调控制及Q学习算法

2.1 光储微网VSG与APF协调控制性能指标

当环境气象条件突变时，合并APF的光伏电源有功与无功支撑能力可能受到较大影响。由于平衡微网负荷、调整VSG有功无功出力，VSG频率也将相应变化，但受VSG虚拟惯性与阻尼影响，有必要改善调频特性。因此，本文选取了VSG自启动时刻t0～稳定时刻ts频率调节误差随时间积分值ef与频率波动峰值ef，max作为性能评估指标。其中ef定义为

显然，更短的调节时间可能引起较大的频率波动，为降低频率波动，相应的调节时间可能需要更长。因此，需要更为智能的参数整定算法。

此外，当环境辐照变化时，合并APF的光伏电源与VSG之间存在较明显的无功波动，若不对其进行主动分配，在二者间可能引发一系列的无功振荡过程。因此，还须判断辐照波动后合并APF的光伏电源无功波动程度，并作为控制性能指标，采用运行过程中t时刻无功功率与其均值的偏差在t0～ts时刻的积分，即无功能量变化量ΔEQ进行描述:

以此对前述VSG虚拟惯性、阻尼、无功分配比例参数进行整定。

2.2 Q学习算法

Q学习算法是强化学习算法中较为成熟的算法之一，目前已应用于风电系统自适应频率控制、电网薄弱线路辨识等电力系统控制问题中[18]，[19]。通过建立智能体强化学习的虚拟或实际训练环境，在线训练学习，实现其行为的最优化，从而使智能体适应环境并获得最大奖励值。基本原理如图4所示，智能体依据环境在t时刻的状态St与奖励值Rt，通过epsilon贪心算法与当前最大Q值获取对应的行为，确定当前行为At，将其作用于学习环境，获得下一时刻环境状态值St+1与奖励值Rt+1。

图4 强化学习算法框图Fig.4 Diagram of reinforcement learning algorithm

其中，Q值更新方法为[19]

式中:α为智能体学习率；Rt+1为下一时刻环境反馈的奖励值；maxAt+1Qt+1为t+1时刻行为At+1对应的Q表格中最大Q值；γ为折扣系数，用于降低历史奖励值对当前时刻更新Q值的影响[19]。

图5为本文提出的Q学习算法训练流程，图6为相应的训练框图。首先由智能体输出前述光储微网VSG与APF协调控制待整定参数增量，各智能体具有3种行为:即控制VSG的J，D，pQ增大、不变或减小；再由各控制参数的积分器对此增量进行积分，获得J，D，pQ组成的控制参数向量，并输入MATLAB/Simulink中建立的光伏储能微网系统及其控制器仿真模型，由当前仿真结果计算ef，ef，max，ΔEQ3个性能指标。对比当前仿真结果与上一轮训练结果，将各个性能指标值降低1%，2%，5%，10%，50%，80%和80%以上（即值未明显降低或增长），划分为多个不同的训练环境状态；此外，若当前仿真结果中ef，ef，max，ΔEQ相比于上一轮训练结果降低，则环境反馈的奖励值为正激励1，否则为负向激励-1。基于上述设计的强化学习训练行为、状态、奖励，经过数轮迭代训练，最终可获得满足光储微网VSG与APF协调控制的控制参数。

图5 Q学习算法训练流程图Fig.5 Flow chart of Q-learning algorithm

图6 基于Q学习算法的训练框图Fig.6 Block diagram of training based on Q-learning algorithm

3 Q学习过程与仿真验证

3.1 Q学习过程

本文选取Q学习算法中α为0.01，γ为0.9，在虚拟仿真环境中训练智能体，获得整定的J，D，pQ。图7为训练过程中各个待整定参数变化趋势，其中，VSG的J波动性地下降，而D逐渐增大，pQ波动较大，但随着训练过程整体呈现下降趋势。

图7 训练过程中待整定参数变化趋势Fig.7 Trend of turned parameters during training

3.2 仿真验证

在MATLAB/Simulink仿真环境下，将Q学习算法训练所得的J，D，pQ与训练前模型参数控制的光储微网性能进行对比验证。

首先分析环境辐照变化时光伏储能微网控制效果，设置仿真起始时微网有功负荷为20 kW，仿真过程中在0.5 s时加入三相整流带阻感负载的非线性负荷。图8为VSG频率调节过程曲线，由于负载有功功率突变，VSG频率不可避免地出现一定下降，相比于Q学习算法训练前VSG频率曲线，训练后VSG频率波动更小，且频率可更平稳地调节至稳态。表明通过Q学习算法训练后的VSG虚拟惯性和阻尼达到了更佳的控制效果。

图8 Q学习算法训练前后负载突变时VSG频率曲线Fig.8 Frequency curves of VSG when the load suddenly changes before and after Q-learning

其次，在仿真0.8 s时设置环境辐照从1 000 W/m2瞬间降低至400 W/m2，图9、图10分别为Q学习算法训练前后VSG有功与无功功率变化曲线，当环境辐照阶跃性降低后，光伏电源有功功率逐渐降低，VSG有功功率逐渐升高，有功功率波动由非线性负荷引起。由图10可见，在Q学习算法训练后，光储微网无功功率主要由VSG支撑，合并APF的光伏电源补偿了谐波电流，当辐照降低时，通过Q学习算法训练后的VSG无功功率波动更小、更稳定。

图9 Q学习算法训练前后VSG有功功率曲线Fig.9 Active power curves of VSG before and after Q-learning

图10 Q学习算法训练前后VSG无功功率曲线Fig.10 Reactive power curves of VSG before and after Q-learning

图11显示了Q学习算法训练后合并APF的光伏电源A相电流与VSG的A相电流波形。图12为通过Q学习算法训练后非线性负荷与电网电流FFT分析结果，非线性负荷总谐波畸变率（Total Harmonic Distortion，THD）为7.44%，电网电流THD为2.56%。可见，谐波电流由合并APF的光伏电源补偿，降低了电网电流THD，采用Q学习算法训练后的VSG与APF协调优化方法保证了电网较好的电能质量。

图11 Q学习算法训练后非线性负荷、光伏APF电源、VSG、电网电流波形Fig.11 Current curves of nonlinear loads,PV-APF source,VSG,and grid after Q-learning

图12 Q学习训练后非线性负荷与电网电流FFTFig.12 FFT results of nonlinear loads and grid current after Q-learning

4结论

针对光伏储能微网VSG功频调节性能及其与合并APF的光伏电源无功配比协调控制问题，本文提出了基于Q学习算法的光伏储能微网VSG与APF协调优化方法。在虚拟环境中，通过对VSG中虚拟惯性、阻尼以及微网中VSG无功分配比例进行训练，由虚拟环境仿真结果评估Q学习算法的智能体行为，最终得到Q学习算法训练后的模型控制参数。仿真验证结果表明，Q学习算法训练后的光储微网中VSG频率调节性能更优，当环境辐照变化后，VSG无功波动更小，系统整体更为稳定，光储微网仍可有效补偿非线性负荷的谐波电流，提高了电网电能质量。