基于LSTM网络的住宅负荷短期预测

谢明磊

(广东电网有限责任公司梅州供电局，广东 梅州 514000)

在智能电网和电力市场中，精确的住宅负荷预测是实现需求响应和资源分配的关键[1]。随着各种传感器和通信技术的广泛普及，人们可以实时获取用户不同维度的数据，住宅负荷预测可以基于这些测量数据来执行。然而负荷序列固有的非线性和随机性特征增加了负荷预测的难度[2]，为此学者们大致提出了2种负荷预测的方法，即基于统计模型[3]和人工智能模型[4]的方法。

目前大多数方法如反向传播(back propagation,BP)神经网络、极限学习机(extreme learning machine,ELM)等把负荷预测作为一个静态回归问题[5]。然而负荷数据是一个动态时间序列，即系统的输出会持续受到过去输入的影响。因此BP和ELM等传统方法仅通过简单建立输入变量与输出变量之间的非线性关系难以持续深入挖掘到时间序列的内部规律[6]。Hochreiter等提出的长短期记忆(long short-term memory，LSTM)网络在处理时间序列上具有独特的优势[7-8]，与传统神经网络相比，LSTM网络的预测模型在网络中引入了循环结构并允许隐藏单元之间内部链接，其内部拥有的记忆单元使得LSTM理论上可以探索数据之间的相关性[9]。目前，LSTM网络已成功应用到光伏预测[10]和交通流量预测中[11]。

气候变化和社会活动等许多外部因素均会影响负荷变化，国内外许多学者将气候因素考虑到负荷预测模型中[12]。文献[13]将相关气候数据和负荷数据作为改进回声状态网络的输入用于预测日最大负荷。文献[14]提出一种考虑历史负荷、外界气象因素和日期类型的负荷短期预测模型。上述模型将气象因子作为负荷的影响因素，但均未考虑气象因素之间的相关性。而不同气象变量之间有一定的相关性，若未考虑气象因素的相关性，可能会导致输入信息冗余[15]。

主成分分析(principal component analysis, PCA)能过滤掉多个相关变量间的多余信息，为选择预测模型的输入信息提供了有力的技术支持[16]。据此，本文提出一种LSTM网络的住宅负荷预测方法。为了避免LSTM网络输入变量中存在冗余信息，首先使用PCA技术对气候数据进行有效成分提取；其次利用获取的主成分如气象数据、负荷数据和日期类型建立LSTM网络动态预测模型。为了改善标准LSTM网络的预测性能，使用一种自适应矩估计算法(adaptive moment estimation, ADAM)[16-17]来更新LSTM的网络参数，最终得到住宅负荷预测结果。

1 长短期记忆网络

1.1 长短期记忆网络结构

相对于传统的神经网络，LSTM网络把隐含层设计成更复杂的结构[17]，主要通过遗忘门、输入门、输出门来增加或删除记忆单元的信息[18]。

设T为负荷输入个数，t为采样时刻，给定一个输入的负荷时间序列x={x1,x2,…,xT}，LSTM网络的输出为y={y1,y2,…,yT}，每个时刻LSTM单元通过3个门接收当前输入xt，来自上一隐藏状态输出ht-1和内部单元状态ct-1，则LSTM网络的数学计算过程如下：首先，遗忘门ft帮助LSTM网络决定哪些信息将从记忆单元状态ct-1中删除，即

ft=σ(Wfxxt+Wfhht-1+Wfcct-1+bf).

(1)

其次，LSTM网络使用输入门it来决定将要存储到新单元状态ct的信息，计算过程如下：

it=σ(Wixxt+Wihht-1+Wicct-1+bi).

(2)

Ut=g(Wcxxt+Wchht-1+bc).

(3)

ct=ct-1ft+Utit.

(4)

最后，使用输出门ot计算ht的过程如下：

ot=σ(Woxxt+Wohht-1+Wocct-1+bo).

(5)

ht=ot(ct).

(6)

式(1)—(6)中：σ、、g分别为激活函数，其中σ为sigmoid函数，和g为tanh函数；Wix、Wfx、Wox、Wcx分别为连接输入信息xt的权值矩阵；Wih、Wfh、Woh、Wch分别为连接隐含层输出信号ht的权值矩阵；Wic、Wfc、Woc分别为连接神经元激活函数输出ot和门函数的对角矩阵；bi、bf、bo、bc分别为it、ft、ot、ct的偏置；Ut为添加到新单元状态ct的候选值；ct-1ft作用是确定有多少信息将从ct-1中遗忘；Utit确定有多少信息添加到新单元状态ct。

1.2 LSTM网络优化算法

在LSTM网络中，采用的训练方法为按时间展开的反向误差传播算法[6]。反向误差传播算法先通过前向传播计算出误差函数，在反向传播过程中采用传统梯度下降法对网络的权值和偏置进行更新；然而传统梯度下降算法因难以选择合适的学习率导致陷入局部最优而影响模型的泛化能力。DP kingm针对传统梯度下降法的缺陷，提出了一种自适应矩估计算法(adaptive moment estimation,ADAM)[17]，ADAM能为不同参数设计独立的自适应性学习率，从而使得ADAM算法适用于非平稳目标实现和嘈杂的问题解决。

设{x1,x2,…,xm}为LSTM网络的N个样本中随机抽取的一批容量为m的输入样本，其对应的输出样本为yi。对于传统梯度下降算法，训练LSTM网络的权值和阀值过程如下[18]：

(7)

(8)

LSTM网络在使用传统梯度下降算法进行训练时，学习率太大或者太小均会影响收敛效果。在实际应用中，若根据不同参数的重要性程度设置不同的学习率将有利于目标函数更快收敛。为此，本文将采用一种具有自适应学习率的ADAM算法[19]改善传统LSTM网络的训练过程，让LSTM网络得到一个更合理的网络参数。ADAM算法优化LSTM网络过程如下[17]：

(9)

(10)

(11)

(12)

(13)

θ=θ+Δθ.

(14)

2 气象特征选择

2.1 主成分分析原理

PCA能构造原变量的一系列线性组合，从而形成彼此互不相关的新变量，并且这些新变量能尽可能地反映原变量的信息[16]。新变量中的方差越大，包含原始变量的信息则越多，通常用累计方差贡献率来衡量。本文使用PCA是为了去除与负荷相关的气象数据间的信息冗余，从而提高LSTM网络输入信息的纯度。其具体步骤如下：

a)气象数据标准化。不同气象数据的量纲和数值大小不同，因此需对气象数据进行标准化处理。设有N组对象、m种气象数据，{xi1,xi2,…,xim}为第i组对象所对应的气象数据，用矩阵表示为

(15)

矩阵XN×m进行中心标准化处理的过程为

(16)

b)建立相关矩阵R。相关矩阵

R=X*TX*/(N-1).

(17)

式中X*为标准化后的数值矩阵。求出矩阵R的特征值λ1≥λ2≥…≥λm及其相应的特征向量u1,u2，…,um。

c)确定主成分个数。计算相应的方差贡献率ni和累计方差贡献率：

(18)

(19)

式(19)中p为累计方差贡献率在90%以上所对应的主成分个数。

通常累计方差贡献率在90%以上所对应的p个主成分便包含m个原始气象数据所提供的绝大部分信息，则主成分的个数设为p(p≤m)。主成分表达式为：

(20)

式中：{x1,x2,…,xm}为m维的初始输入气象数据；uim为气象数据变量相关矩阵第i个特征值对应的m维特征向量元素。

2.2 气象数据提取

本文实验数据来源于美国马萨诸塞州某小区公寓从2015-03-01到2015-06-30的负荷数据和气象数据，其中气象数据包括温度、湿度、气压、风速、云覆盖率、降雨强度共6种，该小区数据采集系统的分辨率为1 h。输入数据的质量会影响神经网络的训练效果，LSTM网络拥有记忆历史输入信息的能力，若其隐含层长期保留着与负荷变化无关的信息，反而会对负荷预测造成干扰。为了防止LSTM网络输入气象数据间的信息冗余，本文使用主成分分析对气象数据进行过滤，保留气象主成分信息。

对温度、湿度、气压、风速、云覆盖率、降雨强度6种气象时间序列进行主成分分析，则其重构的新变量见表1。由表1看出，成分1和成分2的方差累计贡献率已达95%，理论上可以代替原始6种不同气候时间序列数据的主要信息，剩下5%的方差累计贡献率为6种气象时间序列之间的冗余信息所提供。使用PCA，我们可以把6种不同气象数据压缩成2组新的变量序列并保留了原始数据的大部分信息。根据PCA的提取原则，本文将使用成分1和成分2代替原始气象数据作为LSTM网络的输入变量。其特征值对应的特征向量见表2。

表1 气象时间序列的新变量分析结果Tab.1 Analysis results of new variables of weather time sequence

表2 主成分特征值对应的特征向量分量值Tab.2 Component values of characteristic vectors corresponding to eigenvalues of principal components

通过表2和式(20)可以写出各主成分的表达式，同时由表2得出：主成分1主要与温度有关，主成分2主要与大气压强有关。

3 住宅负荷预测模型设计

3.1 建模流程

本文提出的基于LSTM网络的住宅负荷预测模型，主要分为2个模块，分别为数据预处理模块和预测模块，即：①数据预处理模块。它包括获取住宅的气象数据(温度、湿度、气压、风速、云覆盖率、降雨强度)用主成分模型分析后，根据新变量的方差和累计方差贡献率选出p个气候主成分数据；对负荷数据、日期类型(工作日和周末)和气象主成分数据进行归一化处理。②预测模块。它包括确定LSTM网络输入层、隐含层、输出层的参数，采用ADAM算法优化的LSTM网络对预处理后的时间序列数据进行动态建模得到住宅负荷预测结果。其中LSTM网络在训练时目标函数采用均方误差函数(mean square error, MSE)

(21)

3.2 评价指标

本文采用均方根误差(root mean square error，RMSE)和平均绝对百分比误差(mean absolute percentage error，MAPE)作为住宅负荷预测效果的评价指标，且：

(22)

(23)

式中：ηRMSE和ηMAPE分别为均方根误差和平均绝对百分比误差函数；λ为预测点的个数。

4 算例分析

本文算例将对该小区公寓进行提前2 d的短期负荷预测,包括算例方案1和算例方案2。

算例方案1：为了验证在数据预处理阶段对气象数据进行主成分提取能提高LSTM网络的预测性能，本文分别将未经PCA处理(简称“NOPCA-LSTM”)的气象数据和经PCA处理(简称“PCA-LSTM”)的气象数据分别同负荷数据和日期类型作为LSTM网络的输入变量。

算例方案2：为了验证ADAM算法能有效提高LSTM网络在负荷预测中的精度，采用PCA-LSTM气象数据、负荷数据和日期类型分别作为LSTM网络和ADAM算法优化的LSTM网络的输入变量。

本算例用前1 h的多维数据作为模型的输入值，下一时刻的负荷值作为其输出值。经过交叉验证方式设置LSTM网络隐含层神经元数量为30，可得到NOPCA-LSTM的网络结构为7-30-1、PCA-LSTM的网络结构为4-30-1和经PCA-ADAM处理(简称“PCA-ADAM-LSTM”)的网络结构为4-30-1。上面3层网络结构分别代表LSTM网络的输入层、隐含层、输出层的神经元数量；此外ADAM算法中的δ=10-8、ρ1=0.9、ρ2=0.999、α=0.01，所有模型均迭代200次。各种LSTM网络模型的预测结果见图1、图2和表3。

由表3和图1、图2可以看出：在数据预处理阶段，引入PCA特征选择技术过滤气象数据冗余信息有助于提高LSTM网络模型的预测精度，控制LSTM网络中输入信息的质量有利于挖掘输入信息与输出时刻负荷的相关性。图3为分别使用传统梯度下降(gradient descent, GD)算法优化LSTM网络(简称“GD-LSTM”)与ADAM算法优化LSTM网络(简称“ADAM-LSTM”)的训练误差对比图。在相同的迭代次数下，ADAM-LSTM收敛速度与收敛精度较GD-LSTM的更好，且具有更出色的全局寻优能力。因此表3中与标准的LSTM网络相比，经过ADAM-LSTM可以得到更加合理的权值和阀值，而且模型的预测精度明显提升。如在2015-06-28到2015-06-30的预测中， ADAM-LSTM网络模型较标准LSTM网络模型的ηRMSE和ηMAPE分别减少了12.43%和25.47%。

图1 5月30—31日的负荷预测结果Fig.1 Load forecast results from May 30 to 31

图2 6月28—30日的负荷预测结果Fig.2 Load forecast results from June 28 to 30

ηMAPE/%ηRMSE/%530—31NOPCA-LSTM7.8326.535PCA-LSTM7.1165.624PCA-ADAM-LSTM6.4465.009628—30NOPCA-LSTM4.65916.912PCA-LSTM4.06511.995PCA-ADAM-LSTM3.7038.939

为了进一步验证所提模型的预测性能，在经过相同的数据预处理后，分别采用BP神经网络(简称“PCA-BP”)、ELM(简称“PCA-ELM”)进行短期负荷预测，其中为了保证公平比较，BP和ELM的隐含层数均设为30，迭代次数为200次。各模型的预测结果见图4、图5和表4。

图3 不同算法优化LSTM网络的收敛曲线Fig.3 Convergence curves of LSTM optimized by different algorithms

由表4可得，传统静态预测模型BP和ELM在算例中的预测误差较为接近，而本文模型在住宅负荷预测中的预测效果表现最优。相比静态预测模型，ADAM-LSTM的ηMAPE和ηRMSE分别减少了11.8%和31.66%，其主要原因为LSTM神经网络在隐含层中具有记忆单元，它能持续记录网络历史输入与当前输出的非线性关系，从而在时间序列预测中具有优势明显。由图4和图5可知，所有神经网络中均能有效地预测出住宅负荷的上下波动趋势；然而在住宅负荷突变的拐点处，如在图4中的第25至35时间段、图5的第10至20时间段及第60至70时间段，ADAM-LSTM网络模型显现出强大的拟合能力，所预测的负荷更贴近实际负荷的变化趋势。这说明了LSTM网络作为一种具有记忆单元的神经网络，它所兼备的复杂循环结构的隐含层能挖掘出数据之间的长久相关性，因此在负荷预测中取得了较好的效果。

图4 各模型在5月30—31日的的负荷预测结果Fig.4 Load forecast results of each model from May 30 to 31

图5 各模型在6月28—30日的的负荷预测结果Fig.5 Load forecast results of each model from June 28 to 30

ηMAPE/%ηRMSE/%530—31PCA-ADAM-LSTM6.4465.009PCA-BP7.4296.415PCA-ELM7.1436.580628—30ADAM-LSTM3.7038.939PCAVBP4.22814.346PCA-ELM4.21415.728

5 结论

本文提出一种LSTM网络的住宅负荷预测模型，算例研究表明：

a)在数据预处理阶段，PCA能有效避免不同气象数据之间的信息冗余输入到LSTM网络，从而提高LSTM网络模型挖掘数据特征的性能。

b)采用自适应矩估计算法优化LSTM网络的权值和偏置的预测结果优于标准LSTM网络，表明ADAM算法具有较强的寻优能力且可提高负荷预测模型的泛化性能。

c)相比BP、ELM静态模型,本文所提模型能对时间序列进行动态建模，有效获取负荷数据之间的长期相关性，具有更好的预测效果。

然而算例仅将单隐层LSTM网络模型作为预测器，而神经网络的泛化性能与隐含层的层数和神经元数目紧密相关。为此，后续将研究重心放置于多隐含层LSTM网络在负荷预测中的应用上。