基于AM-LSTM模型的超短期风电功率预测

韩 朋，张晓琳*，张 飞，王永平

(1.内蒙古科技大学信息工程学院, 包头 014010；2.华北电力大学可再生与清洁能源学院, 北京 102206)

近年来，在电力系统中，可再生能源的作用越来越大。可再生能源能够起到保护生态环境和缓解用电压力等作用。风力发电是一种成熟的、非常有发展前途的可再生能源发电方法之一。由于风本身的不稳定性，风力发电具有波动性和间歇性，这将使得电网对风电的调度造成严重的困难[1-2]。精确的风电功率超短期预测有助于缓解电力系统调峰、调频压力，对于风电并网具有重大意义[3]。

目前，已经有了许多种成熟的风电功率预测方法。采用机器学习来对风电功率进行预测的方法比较多。例如，采用机器学习中的K最邻近算法(K-nearest neighbor，KNN)，对风电功率进行短期的预测[4]；将小波变换和BP(back propagation)神经网络结合起来，进行风电功率的预测[5]；采用改进的人工鱼群算法来优化BP神经网络，对短期风电功率进行预测[6]；采用一种仿生学算法优化支持向量机(support vector machines，SVM)预测模型，用于风电功率的短期预测[7-8]。文献[9]建立了一种SVM模型，并通过数据挖掘、小波变换和布谷鸟搜索算法来优化模型，进而提高短期风电功率预测的准确性；文献[10]采用时间序列ARFIMA模型，对风电场短期功率进行预测。这些机器学习方法虽然能够预测短期内的风电功率，但是预测的精度不够高。随着深度学习的兴起，提出了基于长短期记忆网络(long-term and short-term memory，LSTM)风电场发电功率超短期预测模型[3]，解决了传统神经网络不能学习长距离依赖关系的问题，使预测准确度到达了一个新的阶段。但是，传统LSTM网络预测结果的准确度还能有更进一步的提升空间。

现提出一种新的风电场发电功率的超短期预测模型，即长短期记忆网络-注意力模型(AM-LSTM)模型。首先通过相关系数法来计算输入变量与输出功率之间相关性的大小,根据得到的结果筛选出合适的输入变量。LSTM网络擅长处理时间序列数据，注意力模型的优势是其随着时间的推移而整合信息的能力。注意力模型能够优化输入LSTM网络的特征向量，从而优化LSTM网络的权重，使预测结果更加精确有效。利用内蒙古自治区某风电场的实际测量数据进行相关的试验。该方法利用历史数据来进行风电功率的超短期预测，使预测的精确度更高。

1 LSTM网络

LSTM是循环神经网络(recurrent neural network，RNN)中的一种[11]。LSTM对普通的RNN模型进行了相关的改进，它解决了传统RNN的梯度消失和梯度爆炸等问题[12]。LSTM主要由三个门结构组成，分别为遗忘门、输入门和输出门[13]。每个门负责不同的事情。LSTM的内部结构如图1所示。

图1 LSTM的原理图

在LSTM中，遗忘门中的sigmoid层要决定让哪些信息保留在当前这个细胞中。它的输入是ht-1和xt。它的输出是一个向量，这个向量中的数值在[0,1]，长度和前一时刻的细胞状态Ct-1相同，表示让Ct-1的各部分信息通过的比重。输入门决定更新哪些信息，实现更新操作主要包括两个步骤。第一个步骤是通过输入门的sigmoid层来确定需要更新哪些信息；第二个步骤是通过输入门的tanh层产生一个新的向量。把遗忘门和输入门联合起来，对细胞的状态进行相应的更新，更新后的细胞状态为Ct。输出门产生当前时刻的输出结果。输出结果主要是由更新后的细胞状态Ct来决定的。输出门的sigmoid层计算相应的权重，确定输出哪些信息。将Ct输入到tanh层，计算出tanh层的输出。将该输出结果乘上前面计算出来的权重，就得到了当前时刻的输出结果ht。各个变量之间的计算公式如式(1)～式(6)所示：

ft=σ(Wf[ht-1,xt]+bf)

(1)

it=σ(Wi[ht-1,xt]+bi)

(2)

(3)

(4)

ot=σ(Wo[ht-1,xt]+bo)

(5)

ht=ottanh(Ct)

(6)

LSTM网络采用按时间先后顺序展开的反向误差传播算法(backpropagation through time，BPTT)对网络进行训练[14]。LSTM网络能够处理好风速、风向等时间序列变量与风电功率之间的非线性关系。与机器学习的其他方法相比，LSTM更加擅长处理时间序列数据，而风电功率预测数据都与时间有关，因此采用LSTM能够更加准确地预测出未来短时间内的风电功率，便于风电的并网调度。

2 注意力模型(AM)

注意力模型(attention model，AM)是模拟人类大脑注意力的一种模型，是把注意力集中放在重要的地方，而忽略其他不重要的因素。根据应用的不同，注意力模型可以分为空间注意力模型和时间注意力模型两大类，其中，空间注意力模型主要用于图像处理，时间注意力模型多用于自然语言处理。在机器翻译中使用注意力模型取得了巨大的成功[15]。借鉴自然语言处理中的时间注意力模型[16]，进行风电功率的超短期预测。

注意力模型的原理是，计算每个特征的权重，选出其中的重要特征，对这些特征赋予较高的权重，对不重要的特征给予较低的权重。超短期风电功率预测注意力模型是从输入的时间序列变量中学习输入特征向量对风电功率的重要性，按重要性的高低对特征赋予合适的注意力大小，根据注意力的大小，得到新的特征向量。注意力模型的结构如图2所示。

图2 注意力模型

输入数据在不同时间对风电功率预测点的贡献不同，因此引入了注意力模型。该模型的主要作用是突出风电信息中对风电功率预测比较重要的部分。设h=(h1，h2，…，hi，…，hn)表示通过LSTM网络后得到的风电状态向量，hi是其中的一个状态向量，于是对应于hi的注意力αi，其计算公式如式(7)、式(8)所示：

ei=a(ct,hi)

(7)

(8)

式中：ei为得到的注意力的大小；ct为LSTM在t时刻的状态向量；hi为LSTM在第i个时刻的状态向量；a是一个学习函数，用来计算ct与hi之间的相关性的大小；αi是由ei进行指数非线性变换得到的，αi越大，说明分配的注意力越多，则该特征向量对风电功率预测具有重要的作用。计算注意力加权特征向量ε的公式如式(9)所示：

(9)

将该注意力加权后的特征向量输入LSTM中进行训练，使输入特征对风电功率的影响更加合理，风电功率的预测更加准确。

3 AM-LSTM模型设计

3.1 AM-LSTM模型整体框架

采用AM-LSTM模型进行风电功率的超短期预测。先用LSTM来处理输入的时序变量与风电功率之间的非线性关系，再通过注意力模型优化LSTM的特征向量，最终得到风电功率的预测结果。AM-LSTM模型的结构图如图3所示。

X表示AM-LSTM模型的特征向量；每个LSTM表示LSTM网络的一个单元；Y为预测的风电功率值；h为通过LSTM网络后得到的风电状态向量；ε表示LSTM网络输入的特征向量

首先，根据风电机组实测数据对数据进行预处理。数据预处理主要包括相关性分析和数据归一化两个步骤。然后，在AM-LSTM模型中训练预处理后的数据。注意力模型的作用是计算出不同时刻各个特征向量注意力的值，调整图3中LSTM网络的输入，使预测的结果更加准确。整个模型按照BPTT算法对网络进行训练。最后，将预测的风电功率值进行输出，得到风电功率的预测值。AM-LSTM模型进行风电功率预测的具体执行步骤如下。

(1)对风电机组实测数据进行数据预处理。

(2)用LSTM网络对预处理后的风电数据进行训练。

(3)注意力模型计算出不同时刻各个特征向量适合的注意力大小，对LSTM网络输入的特征向量进行更新。

(4)将更新后的特征向量输入LSTM网络，进行训练，得到实验结果。

(5)根据实验结果，对该模型进行评价。

3.2 相关性分析

以内蒙古自治区某风电场的实测数据作为样本数据，数据采样的间隔为10 min。其中，样本数据集中包含风速、风向、温度、大气压、相对湿度和风电功率等6种类别的数据。在这些类型的相关数据的基础上，进行风力发电功率的超短期预测。为了减小预测模型的复杂程度，更好地预测出未来风电功率，采用相关系数法来近似的刻画2014年第一季度中风电功率和另外5种类别的数据的相关程度。相关系数的计算公式，如式(10)所示：

(10)

从相关系数的定义可知，rxy是取值范围在[-1,1]的实数。当rxy>0时，两个变量x和y之间正相关；反之，则负相关。|rxy|越大，变量x和y的相关程度越高；|rxy|越小，变量x和y的相关程度越低。根据相关系数法计算得到的相关性大小的结果如表1所示。

表1 风电功率与其他变量之间相关性分析

表1为风速、风向、温度、大气压、相对湿度和风电功率6组时间序列数据之间的相关系数。从表1可以看出，该风电场的风速与风力发电功率的相关程度最高，为0.91。风向与风力发电功率的相关程度次之，相关系数为0.81。温度与风力发电功率的相关程度也比较高，为0.76。大气压与风电功率、相对湿度与风电功率的相关程度都比较低，相关系数分别为-0.57和-0.06。

因此，根据表1中相关系数的大小，可以确定预测模型的输入变量有相关性较大的风速、风向和温度。大气压和相对湿度与风电功率的相关性比较小，对风电功率的影响较小，因此这两个变量就不必输入预测模型中了。这样选取输入变量，能够有效地减小预测模型的复杂程度，降低无用数据对预测结果的影响，使预测得到的风电功率更加准确。

3.3 数据归一化

通过对样本数据集中的有关变量和风电功率之间的相关性分析，可以得出预测模型的输入变量是4个时间序列变量，它们分别是风速、风向、温度和历史的风电功率值。预测模型的输出变量为未来短时间内的风电功率。

量纲的不同对预测模型的输出结果也有一定的影响。为了使这种影响减小，对数据进行归一化处理也是非常有必要的。归一化的目的一方面是去除变量之间量纲的差异所带来的影响，另一方面是提高网络训练模型的泛化能力。因此，对输入的数据进行数据的标准化处理是非常重要的。它的具体操作就是将数据映射到[0,1]。

采用数据标准化的方法对风速、温度和风电功率进行标准化的处理，并进行线性变换，把原始的实验数据的值归一化到[0,1]，其转换函数为

(11)

式(11)中：Xmin和Xmax分别为变量X的最小值和最大值。

对于风向数据，考虑到其物理意义，对其进行归一化处理采用正弦函数，其归一化后的数值也在[0,1]，其转换函数为

X=sinx

(12)

式(12)中：x代表风向数据的实际值；X代表归一化后的值。

将归一化处理之后的实验数据作为预测模型的输入，对预测模型进行训练，从而得出更加精确的预测结果，即风电功率的预测值。

3.4 预测结果评价标准

为了验证风电场功率预测模型的准确性，使用误差指标和相对系数R-square对预测模型进行评价。误差分析是检验模型是否有效的重要工具。采用均方根误差(root mean square error，RMSE)和平均绝对误差(mean absolute error，MAE)作为风电功率预测模型的误差指标，对模型预测结果的准确性进行评价。采用相对系数R-square来表示预测模型的好坏，它的正常取值范围为[0,1]。它的结果越接近于1，代表模型对数据的拟合效果越好，这个模型的解释能力也越强。式(13)、式(14)给出了均方根误差(RMSE)和平均绝对误差(MAE)的计算公式。

(13)

(14)

4 实验测试及结果分析

以内蒙古自治区某风电场2014年第一季度3个月的风电数据作为实验数据集，即2014年1月1日—3月31日的实测风电数据。实验数据集中包括风速、风向、温度和风电功率4种不同类别的时间序列数据。该实验数据集共有12 960行时间序列数据。

4.1 实验环境

实验是在Keras深度学习开源框架下进行的，Keras的版本号是2.1.2，编程语言是Python 3.5。

4.2 实验结果及分析

采用AM-LSTM模型进行实验。经过预处理之后，80%的实验数据用于训练，作为训练集。其余的20%的数据作为测试集。输入变量的维数为4维，分别是风速、风向、温度和历史的风电功率。输出变量的维数为1维，它就是要预测的风电功率。实验中使用Adam优化器，批次处理的大小batch_size=128,丢弃率dropout=0.3，得到的实验结果如图4所示。

图4中的横坐标时间序列是指按时间顺序，每隔10 min取一个预测值。从图4可以看出，预测时间越短，预测精度越高。预测未来4 h的风电功率预测值能较好地贴近实际值。因此，提出的基于AM-LSTM的预测模型可以准确有效地对未来4 h内的风电功率进行预测。

图4 风电功率预测值与实际值的对比

为了进一步验证预测模型的有效性，利用传统的BP神经网络和LSTM模型建立风电功率预测模型，与所提出的AM-LSTM预测模型进行比较。BP、LSTM和AM-LSTM风电功率预测模型的评价指标RMSE和MAE分别如表2、表3所示。传统LSTM和AM-LSTM风电功率预测模型的R-square(单位：%)如表4所示。

表2 三种预测模型的均方根误差

表3 三种预测模型的平均绝对误差

表4 两种预测模型的相对系数R-square

从表2可以看出，随着预测时间的增长，三种预测模型的RMSE均增大。在预测时间相同时，AM-LSTM风电功率预测模型的RMSE均小于BP和传统LSTM风电预测模型的RMSE误差。从表3可以看出，随着预测时间增长，3种预测模型的MAE均增大。在预测时间相同时，AM-LSTM风电功率预测模型的MAE均小于BP和传统LSTM风电预测模型的MAE。因此，AM-LSTM在这2种评价指标上的表现都优于BP和传统LSTM，说明所提出的模型比BP模型和传统LSTM模型在预测精度上更加精确。从表4可以看出，随着预测时间的增长，两种预测模型的相对系数R-square均减小，说明预测时间越短，预测模型对数据的拟合效果越好。在预测时间相同时，AM-LSTM风电功率预测模型的R-square均优于传统的LSTM风电预测模型。具体来说，预测未来3 h的风电功率时，R-square从6.3%提升到61.9%；预测未来4 h的风电功率时，R-square从1.8%提升到58.8%。AM-LSTM模型的提升效果较为明显，说明预测时间越长，AM-LSTM的优势越明显。AM-LSTM在模型拟合度上的表现也优于传统LSTM。所以，相比BP风电预测模型和传统LSTM风电预测模型，AM-LSTM风电功率预测模型具有更好的预测效果，更加适合超短期风电功率预测。对于不同的风电场，根据风电场的相关数据，对AM-LSTM模型的相关参数进行自适应调整，使其能够更加精确地对风电场超短期功率进行预测。

5 结论

在传统LSTM模型的基础上，提出了一种LSTM和注意力模型相结合的风电功率预测模型，即AM-LSTM模型。实验结果表明了该模型的有效性和可行性。通过实验可知，此次提出的风电功率预测模型的预测误差更小，精度更高，更加接近于实际情况，可以更好地进行风电功率的超短期预测，为风电场的电力调度提供了强有力的参考。

深度学习在风电功率预测方面的发展目前还处于起步阶段，将LSTM网络和其他深度学习方法结合起来，进一步提升风电功率预测的精度，这是下一阶段的研究方向。