基于Attention-BiLSTM 神经网络和气象数据修正的短期负荷预测模型

王继东，杜 冲

（天津大学 智能电网教育部重点实验室，天津 300072）

0 引言

准确高效的短期电力负荷预测是保证电力系统安全可靠运行的前提，也是电网合理安排发电计划的依据。电力市场化改革的进行，对短期电力负荷预测的精度提出了更高的要求。

用于短期电力负荷预测的方法主要分为统计学方法和机器学习方法两大类。统计学方法主要有回归分析法［1］、自回归积分滑动平均模型［2］、波动模型［3］等，这些方法原理简单，计算速度较快，但是对于变量间非线性关系的处理能力有限。机器学习方法主要有支持向量机法［4-5］、反向传播（BP）神经网络［6］、随机森林法［7］等，这些方法的共同缺点是难以挖掘负荷序列的时序性，且不适合处理大量数据。

近年来，深度学习发展迅速，为短期负荷预测方法的研究提供了新的思路。典型的深度学习方法有卷积神经网络、深度信念网络和循环神经网络RNN（Recurrent Neural Network）等。其中，以RNN为主体的预测模型由于在处理时序数据方面的优势而被广泛应用。长短时记忆LSTM（Long Short-Term Memory）神经网络是一种特殊的RNN，其通过增加门控单元，解决了传统RNN存在的梯度消失问题［8］，能够更好地学习时间序列中的历史信息。文献［9］使用LSTM 神经网络进行负荷预测，相较于BP神经网络，LSTM神经网络提高了预测精度，但是由于输入特征较多，难以突出对当前负荷影响更大的因素。文献［10］在负荷预测前首先使用卷积神经网络进行特征提取，但是其仅将历史负荷数据作为模型的输入，而没有考虑其他因素对负荷数据的影响。文献［11］在使用LSTM 神经网络进行预测的同时，引入注意力（Attention）机制，通过给输入特征赋予不同的权重，突出关键特征的影响，增强了模型学习序列中长距离依赖的能力。

上述方法存在的共同问题是，LSTM神经网络只能考虑单向的数据信息，忽视了序列的反向信息对预测的影响。另外，这些方法通常是将历史负荷数据和影响负荷的其他因素如气象数据等作为模型的输入特征共同输入预测模型。文献［12］通过对真实气象数据序列特征的分析发现，气象数据在几个星期到几年的范围内可近似为白噪声，序列内部规律性差。而RNN 及其变体处理内部规律性不强的数据的能力较差［13］。因此，气象数据等不适合作为RNN模型的输入特征。

针对以上问题，本文提出一种基于Attention-BiLSTM（Attention Bidirectional Long Short-Term Memory）和气象数据修正的短期负荷预测模型。在采用最大信息系数MIC（Maximum Information Coefficient）分析影响负荷的主要因素的基础上，针对规律性较强的历史负荷数据以及规律性较差的气象数据分别建立预测模型和误差修正模型。首先，使用双向长短时记忆（BiLSTM）神经网络学习历史负荷数据的正、反向规律，并引入Attention 机制突出关键因素的影响；然后，使用核极限学习机KELM（Kernel Extreme Learning Machine）结合气象数据进行误差预测，并对预测模型的结果进行修正，旨在提高模型的整体预测精度。实验结果表明，本文模型相较于其他模型具有更高的预测精度。

1 影响负荷的因素分析

由于负荷序列具有一定的周期性和趋势性，因此历史负荷数据是预测当前时刻负荷的最主要依据。此外，气象数据特别是温度和相对湿度对负荷数据也有一定影响。因此，本文重点考虑历史负荷及温度、相对湿度对当前时刻负荷的影响。

由于MIC在处理相关性分析问题时具有较好的鲁棒性和较小的计算复杂度［14］，因此本文采用MIC分析各变量与当前负荷数据之间的相关性。

1.1 MIC

MIC 是一种基于互信息的关联性分析算法。它采用网格划分的方法，不仅可以衡量数据集中变量之间的线性和非线性函数关系，还可以广泛地挖掘变量之间的非函数依赖关系，具有较好的普适性和公平性。MIC计算方法描述如下。

在一个二元数据集D∈R2中，给定2 个变量X={xi，i=1，2，…，n}和Y={yi，i=1，2，…，n}，n为变量X和Y的维度，则其互信息I(X；Y)定义为：

式中：MD|G(X；Y) 为标准化的最大互信息值；lg min(a，b)为标准化系数；F(D)MIC为MIC；B（n）为网格划分数的上界，一般取B（n）=n0.6。MIC 是一种归一化的最大互信息，其取值范围为［0，1］，2 个变量间的MIC 值越接近1，表示变量间的关联性越强，MIC值越接近0，表示变量间的关联性越弱。

1.2 历史负荷与当前负荷的相关性分析

附录A 图A1 为我国东部某地区一个月的负荷数据变化情况。由图可知，电力负荷数据具有明显的周期性：随着人们生活作息的变化，白天负荷水平逐渐提高，夜晚负荷水平逐渐降低，这体现出负荷的日周期性；一周中每天的负荷遵从上述变化，其中周一至周五为工作日，负荷以工业用电为主，负荷水平较高，而周六、周日由于工厂等用电大户休息，负荷以居民用电为主，处于较低水平，这体现出负荷的周周期性。此外，负荷数据还具有连续性，中间一般不会出现阶跃和离散现象。

设pi（t）为第i天t时刻的负荷数据，Pi（t）为第i天以负荷项pi（t）为尾项，向第i-1天方向扩展的长度为24 个时刻的负荷序列。考虑到负荷的日周期性、周周期性以及连续性，分别计算一个月内Pi（t-1）、Pi（t-2）、Pi-1（t）、Pi-1（t-1）、Pi-7（t）、Pi-7（t-1）和当前负荷序列Pi（t）之间的相关性，计算结果如表1所示。

表1 历史负荷与当前负荷的相关性Table 1 Correlation between historical load and current load

由表1 可知，所选负荷序列与当前负荷序列的MIC 值均大于0.7，相关性较强［15］。其中，Pi（t-1）与Pi（t）时间相距最近，相关性最强。另外，所选负荷数据的周周期性略强于日周期性，计算结果符合负荷变化的实际情况。

1.3 气象数据与当前负荷的相关性分析

除了历史负荷，气象也被认为是影响当前负荷的重要因素，本文主要考虑温度和相对湿度对负荷的影响。

设Pi为第i天的负荷数据，Ti为第i天的温度数据，Hi为第i天的相对湿度数据。由于气象数据对负荷数据的影响可能存在季节性差异，因此计算各季节典型月中每日气象数据和负荷数据的相关性。本文认为MIC 值大于0.2 则表示两序列之间存在一定的相关性。分别计算各季节典型月中气象数据与负荷数据之间的MIC值大于0.2的天数占比，计算结果如表2所示。

表2 气象数据与负荷的相关性Table 2 Correlation between meteorological data and load

表2 结果表明，温度和相对湿度是负荷重要的外部影响因素，且存在季节性差异。其中温度与负荷的相关性更强，对负荷的影响更大。综合来看，气象数据在夏季时对负荷的影响最为明显。

2 基于Attention-BiLSTM神经网络的预测模型

2.1 BiLSTM神经网络

LSTM 神经网络是一种时间RNN，是目前最成功的RNN 架构之一。LSTM 神经网络基本结构见附录A图A2。

LSTM神经网络的核心是门控单元，其中遗忘门负责选择性地遗忘历史信息，输入门负责保留当前信息并将其与历史信息融合，输出门决定当前状态对隐含层的影响。LSTM 神经网络对应的参数计算如下：

式中：ft、it、ot、ct分别为当前t时刻遗忘门、输入门、输出门和状态单元的状态；ht-1为前一时刻隐含层的状态；xt为当前t时刻的输入；Wf、Wi、Wo、Wc和bf、bi、bo、bc分别为对应的权重系数矩阵和偏置项；σ(·)表示Sigmoid激活函数。

LSTM神经网络存在的一个不足是，其仅能够利用从正向序列中传来的历史信息，这使其在对波动过程进行预测时可能会导致相位滞后。

为验证负荷数据存在双向信息流，选取数据集中连续一个月的负荷数据，以其中心点为原点向正、反2 个方向延伸，得到正向负荷序列和反向负荷序列。分别计算正、反向负荷序列的自相关系数，结果如图1所示。

图1 正、反向负荷序列的自相关系数Fig.1 Autocorrelation coefficients of positive and negative load sequences

由图1 可知，负荷序列具有明显的正、反向规律性，因此，在负荷预测时要同时考虑历史负荷和未来负荷对预测精度的影响。BiLSTM 神经网络由正向和反向2 个LSTM 神经网络组成，相较于传统的LSTM 神经网络，BiLSTM 神经网络同时考虑了前、后向数据的内在规律［16］，是从历史和未来2 个方向展开预测，使用2 个独立的隐含层分别处理来自正向和反向的数据，然后将正向和反向的隐含层输出均作为输出层的输入，从而中和相位误差，提高预测精度。BiLSTM神经网络结构示意图见附录A图A3。

2.2 Attention机制

深度学习中的Attention 机制是一种模拟人脑Attention 的模型。在处理特定信息时，人脑会将Attention 集中在关键区域，以获得更多需要关注的信息［17］。Attention 机制给输入特征赋予不同的权重，以突出强相关因素的影响，减少弱相关因素的影响，相较于分心模型，其可以得到更好的预测效果。Attention结构见附录A图A4，其各参数计算公式为：

式中：et、αt分别为当前t时刻不同特征对应的权重分数和Attention 权重；ν、W为计算Attention 权重时的多层感知机的权重；b为计算Attention权重时的多层感知机的偏置参数；m为预测模型输入向量的维度；Ct为Attention 机制在t时刻的输出。Attention 机制自适应地计算并调整原始输入特征对应的隐含层状态值，达到突出重要特征以及弱化次要特征的效果，最后将加权过的隐含层状态值输入BiLSTM 神经网络进一步挖掘数据的内部规律。

3 基于KELM的气象数据修正模型

为了进一步提高模型的预测精度，本文利用KELM 结合气象数据对Attention-BiLSTM 神经网络模型的预测结果进行修正。

KELM 是在极限学习机的基础上，结合核函数提出的一种改进算法［18］。极限学习机的输出与连接权重计算公式为：

式中：x为模型输入；f(x)为模型输出；h(x)、H为隐含层特征映射矩阵；β为隐含层与输出层连接权值；I为对角矩阵；C为惩罚系数；T为目标向量。

为了提升极限学习机的泛化能力和稳定性，KELM 算法使用核矩阵ΩELM代替极限学习机中的随机矩阵H。核矩阵定义为：

式中：xi和xj分别为样本中第i个和j个输入向量；k(xi，xj)为核函数，通常定义为径向基函数（RBF）核，如式（15）所示。

式中：N为输入样本数。

KELM 属于单隐含层前馈神经网络，计算速度快，其拟合能力相较于普通的极限学习机和支持向量机有较大提升，且由于核函数直接采用内积形式，隐含层节点无需单独设置。综上，本文选择KELM算法建立修正模型。

本文构建基于Attention-BiLSTM 神经网络的预测模型，挖掘历史负荷数据的内在规律性。同时，为了综合考虑影响负荷数据的气象因素，进一步提高预测精度，建立基于KELM 的气象数据修正模型。建模流程如附录A 图A5 所示。建模的具体步骤如下。

1）数据预处理。首先对输入数据序列进行异常值处理，然后再将数据序列按式（17）归一化至区间［0，1］中。

式中：y为原始数据；y*为归一化后的数据；ymax、ymin分别为数据集中的最大值、最小值。

2）负荷预测和误差序列生成。按照第2 节建立Attention-BiLSTM 神经网络预测模型，将处理后的历史负荷数据作为输入特征，采用滚动预测的方式进行模型的训练，分别得到训练集上的预测值序列y′t和测试集上的预测值序列y″t，在此基础上求取真实值yt与y′t之差，得到训练集上的误差序列yres：

3）误差预测。将误差序列yres与处理后的气象数据作为输入特征，训练KELM，得到测试集的误差预测值序列y′res。

4）误差修正。用步骤3）中得到的误差预测值序列y′res修正步骤2）中的预测结果y″t，得到最终的预测值y～t：

4 算例仿真

为验证本文所提方法的科学性和可靠性，选取我国东部某地区连续两年的真实负荷数据和气象数据作为实验数据集进行仿真验证。

本文实验所用PC 机配置为Windows 10 64 位操作系统，CPU 为Inter Core i5-8400，内存为8 GB。软件平台为Spyder，程序运行环境为keras2.0.6 和Tensorflow1.13.1。

本文误差指标选用平均绝对百分比误差（MAPE）eMAPE和均方根误差（RMSE）eRMSE，计算公式分别见附录A式（A1）、（A2）。

4.1 Attention机制分析

为研究Attention 机制对预测模型的影响，选取数据集中一个月的负荷数据，对不同输入特征分配的Attention权重如图2所示。

图2 不同输入特征的Attention权重分配情况Fig.2 Distribution condition of Attention weight for different input features

由图2可知，Attention机制关联了不同输入特征序列对预测结果的影响，其中模型对前一时刻负荷序列Pi（t-1）分配了最高的Attention 权重，其对当前负荷的预测结果影响最大，而Pi-1（t-1）的权重系数最小，因此对预测结果的影响最小。

图3 为所选数据集时间跨度由5 d 增加至50 d时，各输入序列对应Attention 权重的变化情况。由图可知，各输入序列的Attention 权重随着时间跨度的增加而动态变化并逐渐趋于稳定。Attention 机制不是简单地将各影响因素贡献率平均化，而是在各时刻自主挖掘不同输入特征对预测结果的影响程度，进而提高模型对关键特征信息的提取能力。

图3 Attention权重的变化Fig.3 Change of Attention weight

4.2 气象修正模型对预测精度的影响分析

由1.3节可知，气象数据对负荷的影响存在季节性差异。为研究气象修正模型在不同季节时对预测精度的影响，将该地区一年的负荷数据和气象数据划分成4 个数据集，分别为春季（3 至5 月）、夏季（6至8 月）、秋季（9 至11 月）和冬季（1、2、12 月）。将4个数据集按照7∶3 的比例划分为训练集和测试集，使用多步迭代预测的方法对比本文基于Attention-BiLSTM 神经网络和气象数据修正的模型（模型1）与Attention-BiLSTM 神经网络（模型2）的预测精度。其中，模型1 用历史负荷数据训练Attention-BiLSTM 神经网络模型，得到初步的预测误差，再结合气象数据作为KELM 模型的输入进行误差的预测和修正。模型2 的输入特征为历史负荷数据和对应时刻的气象数据。为保证实验的可靠性，两模型中BiLSTM 神经网络的结构相同，均为2 层BiLSTM 神经网络层，各层神经元个数分别为50、40个，时间步为10，迭代次数为500次。

各季节负荷在测试集上的预测误差如表3 所示。气象数据修正模型使得整体预测精度在春、夏、秋、冬季分别提高了0.54%、0.73%、0.45%、0.57%。这表明，相较于模型2 使用Attention-BiLSTM 神经网络模型处理所有的特征，模型1 考虑不同类型特征各自的特点，根据特征序列内部规律性强弱分别对其进行处理，充分发挥了Attention-BiLSTM 神经网络模型处理时序数据的优势，同时建立基于KELM 的气象修正模型，避免了将规律性差的气象数据输入BiLSTM 神经网络，有效提高了预测精度。此外，夏季时气象因素与负荷序列相关性最强，气象修正效果最明显。

表3 气象修正模型对预测精度的影响Table 3 Influence of meteorological correction model on prediction accuracy

4.3 不同模型的预测结果及分析

为进一步研究本文模型的预测性能，分别用本文模型、Attention-LSTM 神经网络模型、BiLSTM 神经网络模型、LSTM 神经网络模型和BP 神经网络模型对该地区进行一天和连续一周的预测。首先将数据集进行重新划分，前18个月的数据为训练集，后6个月的数据为测试集。实验结果如表4所示。

由表4 可知：相较于其他对比模型，本文模型在一天和一周的预测结果中都达到了最好的效果，这说明本文模型具有较高的精度和较强的鲁棒性；相较于LSTM 神经网络模型，增加Attention 机制使得Attention-LSTM 神经网络模型整体预测精度在一天和一周范围内分别提高了0.21%和0.29%，这表明Attention 机制可以更好地突出关键特征对预测结果的影响；相较于LSTM神经网络模型，BiLSTM神经网络模型的整体预测精度分别提高了0.43%和0.53%，这表明BiLSTM 神经网络可以更好地挖掘负荷数据的正、反向规律，进而提高预测精度。

表4 不同模型的预测误差对比Table 4 Comparison of prediction errors among different models

为了更直观地展示不同模型的预测效果，选取不同模型一天的负荷预测值和真实值进行对比，如图4所示。

图4 不同模型的预测结果Fig.4 Predicted results of different models

由图4 可知，所选预测日的负荷曲线近似为双峰曲线，在10:00—20:00 时间段（图中预测时间点20—40）负荷曲线波动较大，相较于其他模型，本文模型在负荷曲线波峰和波谷区域的波动性最小。此外，在早晚负荷曲线的上升和下降阶段，本文模型也能很好地捕捉负荷变化的规律。总体上看，本文模型的预测结果与真实值拟合程度最高，变化趋势基本一致。

5 结论

针对电力系统短期负荷预测精度要求日益提高的要求，本文提出一种基于Attention-BiLSTM 神经网络和气象数据修正的短期负荷预测模型，并通过实验进行验证。本文主要结论如下。

1）采用MIC方法验证了历史负荷数据和气象数据中的温度和相对湿度数据对当前负荷数据存在较大的影响。

2）建立基于Attention-BiLSTM 神经网络的预测模型，BiLSTM 神经网络可以充分挖掘历史负荷数据的时序性和正、反向信息，Attention 机制通过给输入特征赋予不同的权重，突出了对负荷预测精度影响更大的特征。

3）针对BiLSTM 神经网络在处理温度数据、湿度数据等内部规律性不强的数据时精度会降低的问题，建立基于KELM 的气象数据修正模型，充分发挥了BiLSTM 神经网络处理时序数据的优势和KELM学习速度快、非线性映射能力强的特点。另外，引入气象修正模型可以减少时序预测模型输入特征的维度，进而节约时序预测模型的运算成本。

未来可以研究在考虑降雨量、日类型等影响因素更复杂环境下的短期负荷预测问题，并且可以与其他负荷预测方法相结合进一步提高模型的预测精度和普适性。

附录见本刊网络版（http：//www.epae.cn）。