基于深度长短期记忆神经网络的短期负荷预测

王激华，仇钧，方云辉，周苏洋

(1.国网浙江省电力有限公司宁波供电公司，浙江 宁波 315016；2. 东南大学，江苏 南京 211189)

负荷预测属于能量管理系统的重要组成部分，是电力系统经济调度的一项重要内容[1]。精准的电网层级负荷预测有助于电力部门合理规划生产，优化运行成本，保持电网运行的安全稳定性，同时能减少不必要的旋转备用容量，降低发电成本，提高电网运行的经济性。随着电力市场的不断发展，现货市场的改革对负荷预测精度的要求越来越高。精准的用户层级负荷预测有助于进行能源交易方法设计和现货市场报价，以及制订中长期售电策略等；因此，精准的负荷预测是实现电力系统管理现代化、售电公司向现货市场转型的重要基础[2]。

按预测时间的不同，负荷预测可以分为超短期、短期和中长期负荷预测。通常，短期负荷预测会受各种非线性因素的影响，例如待预测地区的气候条件、社会活动、经济情况和一些其他非常规的行为等。随着人们生活水平的提高，社会经济活动日益丰富，负荷波动水平明显增大。此外，随着智能电网、通信网络技术和传感器技术的发展，电力用户侧数据呈指数级增长[3]，给传统负荷预测模型的数据处理能力及预测精度带来巨大压力。这些不确定性因素使电改背景下更为精确的负荷预测成为一项亟需提升的技术。

为提高短期负荷预测的精度，过去数十年间国内外学者提出了很多预测方法，大致可分为经典预测算法和现代预测算法[4]。经典预测算法通常使用早期的统计分析模型，如趋势外推法[5-6]、时间序列法[7-8]、回归分析法[9-10]等，这些方法对于平稳时间序列负荷信号有较好的预测效果，但无法进行非线性拟合分析，因此对于非平稳时间序列负荷信号的预测效果往往较差。

现代预测算法通常使用人工智能算法[11]进行预测。文献[12-14]使用支持向量回归(support vector machine regression，SVR)模型结合人工特征提取器构建了短期负荷预测模型，在国内外地区的负荷预测上取得不错的效果；文献[15]使用人工神经网络(artificial neural network，ANN)算法进行了不同场景下的短期负荷预测，虽然效果较好但存在泛化能力较差的问题；文献[16-17]分别建立了基于BP神经网络和Elman神经网络的短期负荷预测模型，并针对上述2种算法的缺点进行了优化，提高了算法的预测精度；文献[18]使用决策树(decision trees，DT)对未来短期负荷进行概率上的拟合，但存在精度较差的问题；文献[19-20]分别使用随机森林(random forest，RF)算法和迭代决策树(gradient boosting decision tree，GBDT)算法建立了短期负荷预测模型，并使用真实负荷数据进行了有效性验证。上述现有主流负荷预测算法在面对数量较大、随机性较强的数据时，泛化能力较差且无法直接处理，需要人工事先挑选特征，造成有效信息的丢失，进而导致预测精度无法满足智能电网的发展要求。

为解决上述问题，文献[21]使用宽度和深度(Wide & Deep)模型对传统的循环神经网络(recurrent neural network，RNN)进行改进，建立了深度学习短期负荷预测模型，并在此基础上进行了日前台区负荷预测,但该方法的预测精度仍有改进空间。本文提出一种完全数据驱动型的负荷预测方法，该方法基于深度长短期记忆(deep long short-term memory，DLSTM)神经网络构建负荷预测模型，使该模型既具备传统神经网络的泛化能力，又能深度学习、挖掘时间序列中的信息，避免在过长的离线训练中过早陷入局部最优。最后将该方法应用于美国新英格兰地区的负荷预测，并将预测结果与现有主流算法进行了对比分析。

1 数据预处理

某地区的电力负荷通常与当地的自然条件、社会活动等息息相关,因此负荷预测需要充分考虑可能影响用电负荷的重要因素，例如温度、湿度、节假日、工作日、历史负荷等，这些因素均可称为特征变量。

设所有特征变量的历史数据集为C，则该数据集可表示为

C=[C1C2…Ck…Cm]，

(1)

式中Ck为第k(1≤k≤m)维特征变量，m为负荷预测所考虑的特征变量维数。第k维特征变量Ck可进一步表示为

(2)

常规的数据驱动型负荷预测方法通常受限于自身算法的计算能力而不考虑时间维度信息。为提取历史数据中的时序特征用于负荷预测，进一步提高短期负荷预测的精度，本文采用DLSTM神经网络对历史时间序列数据进行深入挖掘。

(3)

式中μ和σ分别为特征变量平均值和标准差。

然后对标准化后的历史时间序列数据使用长度为q的滑动窗口进行帧格化，作为一个训练样本。设样本数据集为X，则第i个训练样本

(4)

式中1

D=[XY].

(5)

2 长短期记忆神经网络构建

长短期记忆(long short-term memory，LSTM)神经网络属于深度学习算法，是特殊形式的RNN算法，由Hochreiter和Schmidhuber在1997年首次提出，并在近期被Alex Graves进行了改良和推广，主要用于对序列数据中的长期依赖信息进行学习和处理[22-25]。

LSTM神经网络能提取序列数据中的长期依赖信息的关键，在于其网络内部结构中各种类型控制门的灵活使用。LSTM神经网络常见的控制门包括输入门、遗忘门和输出门，其神经元典型结构如图1所示。图1中：t为时间点；i(t)为输入门，主要用于控制当前时刻网络的状态有多少信息需要保存到内部状态中；f(t)为遗忘门，主要用于控制过去的状态信息有多少需要丢弃；o(t)为输出门，主要用于控制当前时刻的内部状态有多少信息需要输出给外部状态；h(t)为当前时刻神经元内部状态；c(t)为当前时刻外部状态；x(t)为当前时刻外部输入；σ为激活层函数。

图1 LSTM神经元结构Fig.1 Structure of LSTM neuron

通过综合运用这3种控制门，LSTM神经网络可以控制神经网络中传递信息的保留和丢弃，并控制当前时刻新的状态信息有多少需要保存到记忆单元中。相比一般的神经网络，LSTM神经网络可以学习跨度相对较长的依赖关系，而不会出现梯度消失[26]和梯度爆炸[27]的问题。

为挖掘到更深层次的时间序列信息，本文将多层LSTM神经网络进行顺序堆叠，构建DLSTM神经网络，其网络结构如图2所示，其中T为1个数据帧的时间点个数。

由图2可知，在DLSTM神经网络中，每一层网络的隐藏层输出均作为下一层网络的输入。设DLSTM神经网络的层数为l，则l层DLSTM神经网络的状态更新方式可表示为：

(6)

(7)

(8)

(9)

(10)

式中：W、V、b为网络权重矩阵，下标“i、f、o、c”分别对应i、f、o门和外部状态；⊗表示内积运算。

图2 DLSTM神经网络结构Fig.2 Structure of DLSTM

3 基于DLSTM神经网络的预测模型构建

本文所设计的电力负荷预测模型由嵌入维、DLSTM神经网络以及逻辑回归层顺序堆叠而成，其构建方法如图3所示，其中s为迭代次数，S为算法训练前设定的迭代总次数，E(s)为第s次softmax回归函数值。

图3 构建负荷预测模型的流程Fig.3 Flow chart of building a load forecasting model

负荷预测模型搭建完成后，需要使用大量历史数据进行离线训练，直至收敛后才能生成可用于实际负荷预测的稳定模型。通常离线训练计算量较大、用时较长、速度较慢，但训练完成后在线使用时速度快、用时短，与使用传统负荷预测算法差别不大。

4 实验

为验证本文所提出方法的有效性，以美国新英格兰地区的负荷数据为例，分别使用DLSTM神经网络、RNN、ANN、DT对该地区进行负荷预测，并对预测结果进行对比分析。数据均来源于New England ISO的公开数据集，该数据源的详细下载链接为： https://www.iso-ne.com/isoexpress/web/reports/load-and-demand/-/tree/zone-info。

4.1 实验设置

使用新英格兰地区2004—2009年的负荷数据作为此次实验的数据集，该数据集每小时采集1次，共有52 608点数据。其中，选择2004—2007年的数据作为历史数据集进行离线学习训练，使用2008—2009年的数据作为验证数据集。

分别使用DLSTM神经网络、RNN、ANN、DT预测1 d内24个点(每小时1个点)的负荷，所有方法使用的敏感变量均为温度、湿度、时刻、上一周同时刻负荷量、前一天同时刻负荷量、前一天平均负荷量。不同的是，DLSTM神经网络所使用的变量均为时间序列数据，序列长度为1周共168点数据。

DLSTM神经网络设置为3层，神经元个数分别为7、50、1，训练算法为adam，dropout系数设为0.2。RNN的层数为3层，神经元个数分别为7、20、1，ANN的层数和神经元个数与RNN相同。值得一提的是，在实验过程中，当RNN和ANN的隐藏层神经元设为与DLSTM神经网络一样的50个时训练极为缓慢，且无法收敛，在逐步减少神经元个数情况下才能正常运行，故最终设为20。DT的树深度设为“None”。

4.2 实验指标

本文结合统计学误差分析与实际调度运行的需要，主要使用均方根误差(root mean square error，RMSE)、平均绝对误差(mean absolute error，MAE)、平均绝对百分比误差(mean absolute percentage error，MAPE)、日峰值平均绝对百分比误差(daily peak MAPE，DPM)4个指标作为本次实验结果评价指标，其量符号分别为ERMS、EMA、EMAP、EDPM。

实验指标的定义如下：

(11)

(12)

(13)

(14)

由上述定义可知：ERMS、EMA、EMAP和EDPM的值越小，表示预测值与真实值越吻合，模型越完美；反之则代表预测值与实际值差别越大，预测效果越差。

4.3 实验结果及分析

为验证所提出方法的有效性，分别使用DLSTM神经网络、RNN、ANN和DT对新英格兰地区2008—2009年的日负荷数据进行预测，预测结果见表1。

表1 采用不同方法预测结果Tab.1 Forecasting results using different methods

首先对预测结果进行横向对比分析。由表1可知，使用DLSTM神经网络进行预测，其预测结果的ERMS为376.10 MWh，比RNN的431.26 MWh、ANN的461.37 MWh以及DT的517.41 MWh分别低12.79%、18.48%、27.31%。同时，DLSTM神经网络的EMA为275.64 MWh，也是4种方法中的最小值。

此外，DLSTM神经网络的EMAP降至1.66%，低于RNN的2.26%、ANN的2.40%和DT的2.56%。DLSTM神经网络对日负荷峰值的预测也比其他方法更为精准，EDPM仅有1.58%，分别比RNN、ANN和DT降低21.78%、24.04%和33.05%。

从以上实验指标数值的横向对比不难发现：DLSTM神经网络、RNN、ANN这3种方法的负荷预测结果要优于DT；可从时间序列数据中挖掘特征信息的DLSTM神经网络和RNN的负荷预测结果优于无法处理时间序列的ANN和DT；采用了深度学习架构进行改进的DLSTM神经网络，其负荷预测性能比RNN也有了明显改进。

为了更直观地对比4种方法的预测效果，以新英格兰地区2009年1月16—23日的日负荷预测结果为例，其预测值和真实值的对比以及相关残差如图4、图5所示。

图4 日负荷预测结果与真实值对比(2009年)Fig.4 Comparison of load forecasting results with real values(in 2009)

图5 日负荷预测结果残差对比(2009年)Fig.5 Comparison of load forecasting result residuals(in 2009)

由图4可知，在2009年1月16—23日一周时间内，DLSTM神经网络的日负荷预测曲线与真实的负荷曲线最为贴近，几乎重合；从图5则可进一步发现DLSTM的残差也一直在0附近波动。4种方法中，DLSTM神经网络的预测准确度和稳定度均为最高。

接着再单独针对DLSTM神经网络的预测结果进行纵向对比分析。DLSTM神经网络的全部预测结果残差分布如图6所示。

图6 DLSTM神经网络日负荷预测结果残差分布Fig.6 Residual error distribution of load forecasting results of DLSTM

由图6可知，DLSTM神经网络的预测残差基本满足正态分布，其预测结果较为真实可信。

进一步地按日、周分别进行相关残差统计分析，得到图7、图8所示的箱形图。

图7 按日统计残差箱形图Fig.7 Residual box plot by hours

由图7可知DLSTM神经网络对该地区09：00—16：00之间负荷的预测异常值较少，结果较为精确。这与09：00—16：00通常为工作时间，用电负荷较为稳定有关。而观察一天中的负荷趋势不难发现，该地区13：00—19：00的负荷通常较大。

图8 按周统计残差箱形图Fig.8 Residual box plot by weeks

由图8可知，DLSTM神经网络对该地区星期四、星期五的负荷预测异常值较多，预测较为困难。

5 结束语

为解决传统的短期电力负荷预测方法难以处理大数据量和强随机性导致精度难以满足现状的问题，本文提出了一种完全数据驱动的DLSTM神经网络短期负荷预测方法。为验证该方法的有效性，将该方法与目前常用的几种方法同时应用于美国新英格兰地区的负荷预测，并对预测结果进行了横向和纵向对比分析。最终对比结果表明，本文所提出的方法比目前常用的RNN、ANN和DT具有更高的准确度和稳定度，且能很好地学习适应不同地区的电力负荷特点，具有很强的泛化能力。