注意力机制下的EMD-GRU短期电力负荷预测

方娜，余俊杰，李俊晓，陈浩

(1.湖北工业大学 太阳能高效利用及储能运行控制湖北省重点实验室，湖北 武汉 430068；2.湖北工业大学 湖北省电网智能控制与装备工程技术研究中心，湖北 武汉 430068)

电力负荷预测在电力系统的调度运行中起着重要作用，根据预测时间可分为长期、中期和短期预测.准确的短期负荷预测不仅能帮助系统安全可靠地运行，还能减少资源浪费，提高经济效益[1].

目前，短期电力负荷预测模型主要有统计模型和基于人工智能模型两大类.统计模型中，指数平滑法[2]难以鉴别出数据之间的转折点，在预测带有季节性的数据时，效果不好.自回归移动平均值(auto regressive moving average，ARMA)[3-4]在本质上只能捕捉线性关系，不能捕捉非线性关系.这些统计方法虽简单且速度快，但均无法很好地拟合非线性时序数据，存在局限性.在人工智能的模型中，人工神经网络(artificial neural network，ANN)[5-6]可逼近任意非线性函数，但不能挖掘出数据间的相关性，也需人为选择时间特征.长短期记忆网络(long short-term memory，LSTM)[7-11]能更精确地学习时间序列间的长期依赖性关系，解决需要人工提取时序特征和梯度消失的问题，但其收敛速度较慢.门控循环单元(gated recurrent unit，GRU)[12-13]减少运算单元，改进LSTM，具有更快的收敛速度，并保持与LSTM接近的准确率.GRU能同时兼顾负荷序列的非线性和时序性，但预测效果会因负荷序列中非平稳部分明显下降.经验模态分解(empirical modal decomposition，EMD)[14-16]降低原始电力负荷序列的非平稳性，将非平稳的负荷序列重构成一定数量、不同尺度和相对平稳的信号，当输入的时间序列较长时，GRU在处理数据间结构的信息时不易建模，同时，也会出现丢失序列信息的问题，影响模型预测的准确率.注意力(Attention)机制[17-19]是一种资源分配机制，对输入负荷序列给予不同的权重，放大负荷序列中的重要特征，突出更加关键的特征，使其不受序列长短的影响，当模型输入负荷序列较长时，序列间相互依赖的关系也能更好地被学习分析.

为了提高负荷预测精度，本文构建一种基于注意力机制的EMD-GRU混合预测模型，简称EMD-GRU-Attention混合预测模型.

1 模型原理

1.1 EMD数据重构

经验模态分解不用事先设立任何基函数，可直接根据数据自身的时间尺度分解信号.理论上，这种方法可分解任何类型的信号，且在分析非线性及非平稳数据时有显著的优势，十分适合处理非线性、非平稳信号.当原始信号被EMD之后，得到内涵模态分量(Ci)和残余分量(Rn)，这些分量可表征数据各时间尺度的特征，即

(1)

式(1)中：X(t)为原始时间负荷序列.

过零率(ρ)是分量在时间尺度内的过零次数(n0)与负荷序列长度(l)的比值，计算公式为

(2)

因数据量大，为较好地区分高、低频分量，定义ρ超过0.1为高频分量，ρ低于0.1为低频分量.

1.2 GRU网络模型

GRU网络模型是一种改进的循环神经网络(RNN)，能捕获时间序列长短期之间的依赖关系，且成功解决RNN存在的梯度消失问题，内部结构简单，减少训练参数的同时，保证预测精度.GRU基本单元，如图1所示.

图1 GRU基本单元

GRU单元更新门的输出结果为

zt=σ(wz×[ht-1，xt])，

(3)

rt=σ(wr×[ht-1，xt])，

(4)

(5)

(6)

1.3 Attention机制

Attention机制对特征向量分配不同的权重，对重要特征给予足够的关注，忽略无关信息，从而来突出关键特征.在GRU对输入数据分别进行特征提取和时序分析后，与之进行结合.Attention机制示意图，如图2所示.

计算公式为

C=Tanh(ht)，

(7)

∂=Softmax(wT·C)，

(8)

α=ht·∂T.

(9)

式(7)～(9)中:wT为权重矩阵；α为注意力层的输出.

最后，结果由全连接层映射，得到预测结果.

2 EMD-GRU-Attention混合预测模型

EMD-GRU-Attention混合预测模型结构，如图3所示.图3中：Dense为全连接层.

图3 EMD-GRU-Attention混合预测模型结构

负荷序列中异常值与缺失值均以均值替代及补充，归一化处理后，利用EMD将数据重构成多个分量，并将尽量多的低频内涵模态分量和残余分量叠加组合，以降低模型的时间复杂度.对各高、低频内涵模态分量及残余分量组合分量以同样方式选取训练集和测试集，再分别将各分量的训练集输入GRU神经网络中.同时，引入Attention机制，经全连接层线性拟合后，输出各分量及组合分量的预测值.采用的损失函数为均方误差函数，用Adam优化算法对模型参数进行优化，批次为512，训练轮数为220，进而对模型整体进行训练确定.

运用测试集通过确定后的模型得到各分量及组合分量的预测值，将各时刻对应分量预测值叠加，得出最终各时刻的预测值，最后，用误差指标评估模型.基于TensorFlow-GPU框架下设计网络结构，调用Keras中的函数式模型，根据上述具体参数编写代码，进行仿真.

3 算例分析与验证

3.1 数据集及数据预处理

数据集为丹麦西部2016年(2016年1月1日至2016年12月31日)的负荷数据，来自著名开源代码库GitHub中Gmomo的开源项目，采样频率为1点·h-1，共8 784条.对负荷序列进行EMD，选取各分量前90%的数据进行训练，各分量后10%的数据进行测试，在训练集中取前n个点对应n+1的点，即[x1，x2，x3，…，xn]对应xn+1，[x2，x3，x4，…，xn+1]对应xn+2，依次对训练集进行分割，测试集也做同样处理.

为便于模型训练，对所选负荷数据进行归一化处理，即

(10)

式(10)中：x′为原始值；xmax为极大值；xmin为极小值.

3.2 误差评估指标

预测结果误差评估指标采用平均绝对百分误差(EMAP)和均方根误差(ERMS)，即

(11)

(12)

式(11)，(12)中：yp为预测值；yr为实际值；n为样本数量.

3.3 EMD重构

EMD分解结果，如图4所示.由图4可知：内涵模态分量反映负荷数据在不同影响因素和不同尺度下的分布规律，且逐渐由非平稳到平稳；残差分量(R)反映负荷序列长期的变化规律，且整体变化趋势较为一致.

图4 EMD分解结果

如果对各分量进行预测，可以较大降低预测模型的拟合难度，但同时模型时间复杂度也极大增加.因此，为降低模型的时间复杂度，将部分低频内涵模态分量与残余分量叠加组合，对确定后的模型进行预测.分量C1，C2的过零率分别为45.6%，16.9%，是高频内涵模态分量；分量C3～C10的过零率分别为45.6%，16.9%，8.37%，3.33%，1.53%，0.71%，0.39%，0.20%，0.02%，0，均为低频内涵模态分量.

将低频内涵模态分量根据ρ从小到大依次进行叠加，再与残余分量组合后进行预测，对没有用到的内涵模态分量分别单独进行预测，将预测结果叠加.不同组合分量的EMAP和训练时间(t)，如表1所示.

表1 不同组合分量的EMAP和训练时间

表1中：n为低频内涵模态分量个数.由表1可知：8个低频内涵模态分量与残余分量叠加得到的组合分量与剩余内涵模态分量用EMD-GRU-Attention混合预测模型进行预测时，得到的EMAP，ERMS和训练时间分别为1.41%，46.6 MW·h和1 017 s，在很短的时间内得到了较高的预测精度.因此，将7个低频内涵模态分量和残余分量设定为组合分量，对其余2个高频内涵模态分量与1个低频内涵模态分量分别进行预测.

3.4 GRU网络模型参数

通过原始负荷数据对引入Attention机制的GRU结构进行调优，固定神经元数量、训练轮数和批次，调整GRU层数，根据EMAP，ERMS的大小判断预测精度.GRU层数调整结果，如表2所示.由表2可知：当GRU层数为2时，能在短的时间内取得更好的预测精度；当GRU层数为1层时，由于不能很好分析负荷序列及提取特征，效果较差；当GRU层数为3时，虽精度相差不大，但训练时间过长；当GRU层数为4时，则出现了过拟合，训练时间也太长.因此，GRU层数设定为2，GRU神经元数量设置为2n.上述模型将第1层神经元数设为64，返回全部时间步的隐藏状态；为减少数据流，降低冗余特征的干扰，第2层设置为32，返回全部时间步的隐藏状态，输入Attention机制中，通过计算，分配不同权重，经Dense拟合后，得到更高的精度.

表2 GRU层数调整结果

3.5 仿真结果对比

分别利用BP网络模型，支持向量机(SVR)模型，GRU网络模型，EMD-GRU模型和EMD-GRU-Attention混合预测模型进行仿真实验，对各模型参数进行调优，以相同训练集训练.确定各个模型参数后，以相同测试集预测2016年中1 d(12月31日)及31 d(12月1日至12月31日)的电力负荷，计算EMAP，ERMS.不同模型仿真结果对比，如表3所示.由表3可知:EMD-GRU-Attention混合预测模型在1和31 d的EMAP，ERMS均低于其他4种模型；在31 d里EMD-GRU模型的EMAP，ERMS分别为1.75%和60.1 MW·h，而EMD-GRU-Attention混合预测模型的EMAP，ERMS分别为1.41%和46.6 MW·h，这表明EMD-GRU-Attention混合预测模型具有更高的预测精度.

表3 不同模型仿真结果对比

为了验证EMD，GRU和Attention之间的组合性能，将GRU网络，EMD和Attention递进组合，得出不同组合模型在某一天(2016年11月27日)的预测值及评估指标(EMAP和ERMS)，如表4所示.表4中：Pr为实测功率；Pp为预测功率.由表4可知：GRU网络模型，EMD-GRU模型和EMD-GRU-Attention混合预测模型24 h内的EMAP分别为0.15%～7.94%，0.12%～6.75%，0.28%～3.32%，ERMS分别为3.5～157.6 MW·h，3.0～146.8 MW·h，3.3～80.4 MW·h，随着网络模型的递进组合，其误差范围逐渐缩小，整体准确率稳步上升；3种模型在1 d内的平均EMAP分别为2.13%，1.89%和1.34%，平均ERMS分别为50.4，43.6，31.7 MW·h，这进一步表明EMD-GRU-Attention混合预测模型具有更高的预测性能.

表4 不同模型负荷预测结果

BP网络模型，SVR模型，GRU网络模型，EMD-GRU模型和EMD-GRU-Attention混合预测模型在2016年11月28日和29日的负荷预测结果对比，如图5(a)所示.图5(a)中：P为功率.由图5(a)可知：BP网络模型，SVR模型在波峰和波谷区域出现很大幅度的偏差，而GRU网络模型，EMD-GRU模型和EMD-GRU-Attention混合预测模型相对于这两种模型都能较好地拟合真实曲线.

(a)不同模型预测

GRU网络模型和EMD-GRU模型的负荷预测结果对比，如图5(b)所示.由图5(b)可知:从整体上看，基于EMD-GRU模型的预测曲线不仅在波峰波谷区域与实际变化曲线更贴近，在其他区域也与实际的变化趋势更吻合，其原因是序列的非平稳性导致GRU网络模型不能很好地预测出序列的变化趋势，而EMD重构序列改善了这一问题，使得预测精度更好.

EMD-GRU模型与EMD-GRU-Attention混合预测模型的负荷预测结果对比，如图5(c)所示.由图5(c)可知：在大多数波峰和波谷区域，EMD-GRU-Attention混合预测模型的预测精度更高，这体现了Attention机制突出关键特征的能力，使得在预测转折点时更能拟合真实曲线.

4 结论

提出一种基于Attention机制的EMD-GRU混合预测模型用于短期电力负荷预测.先通过EMD将负荷数据重构；再利用GRU抽取各分量及组合分量中潜藏特征；引入Attention机制突出关键特征，对各分量及组合分量预测；最后，叠加各分量预测值得到最终预测结果.通过算例仿真及对比，得到以下5个结论.

1)负荷序列作为输入，经EMD降低序列的非平稳性及复杂度，便于模型预测.

2)将EMD处理后的向量作为GRU网络模型的输入，通过GRU网络模型，能较好地分析负荷数据的时序性和复杂非线性关系.

3)结合Attention机制，计算GRU处理后的特征向量，给予不同权值，突出关键特征，进一步提高负荷预测精度.

4)EMD-GRU-Attention混合模型结合了EMD，GRU网络和Attention机制的特点，实验结果表明：该模型可明显提升短期电力负荷预测精度.

5)EMD-GRU-Attention混合预测模型提高了预测精度，但模型训练时，时间复杂度也随之提高，后续可对这部分进行改进.