基于长短期记忆网络和LightGBM 组合模型的短期负荷预测

陈纬楠，胡志坚，岳菁鹏，杜一星，齐 祺

（1. 武汉大学电气与自动化学院，湖北省武汉市430072；2. 广东电网有限责任公司电力科学研究院，广东省广州市510080）

0 引言

短期负荷预测主要对未来几小时或几天的用电负荷进行预测，是电网合理调度和平稳运行的基础［1］。近年来，智能测量设备为电力部门提供了数量更大、质量更高的负荷数据，现代气象预报技术提供了更高时空分辨率、更高精度的天气数据，为以人工智能为代表的新型负荷预测技术奠定了坚实的数据基础［2］。

目前，关于短期负荷预测的方法主要有传统的统计学方法和基于机器学习的预测方法［3］。其中，统计学方法主要有多元线性回归（MLR）［4］、时间序列分析法［5］和卡尔曼滤波法［6］等，这类方法原理与建模简单，但当数据样本容量较大时，预测效果一般。另一类方法则基于机器学习算法，例如灰色系统［7］、人工神经网络［8］、支持向量机（SVM）以及高斯过程（GP）［9］等。其中，反向传播（BP）神经网络和SVM 的应用最为广泛。文献［10］采用多层聚类法对输入数据进行预处理，然后使用改进的BP 神经网络完成了负荷预测。文献［11-12］分别采用蚱蜢算法和小波变异果蝇算法对SVM 模型进行了改进，也取得了不错的预测效果。但上述方法缺少对时间序列相关性的考虑，并且当训练样本较多时存在无法有效收敛的问题［13］。近年来，以长短期记忆（LSTM）网络为代表的深度学习算法在负荷预测领域取得了较好的应用，LSTM 网络可以充分挖掘时序数据之间的内在关联，但当特征为非连续数据时，预测精度不高［14］。此外，梯度提升机（GBM）模型的相关改进算法也对回归预测问题有着不错的效果，例如极端梯度提升机（XGBoost）［15］以及轻梯度提升机（LightGBM）［16］等。它们具有训练速度快、内存占用低等优点，但缺乏对时间序列的整体感知能力。

为了克服单一模型在电力负荷预测精度上的不足，组合预测的方法应运而生。文献［17］指出，当每种单一模型包含预测对象的不同信息时，采用组合预测的方法可以提高结果的精度。文献［18］将全连接网络、LSTM 网络和残差网络相融合。文献［19］通过膜计算的方法将线性回归、趋势外推、灰色模型和SVM 相组合。以上文献通过多模型的合理组合，均取得了较好的预测效果。

本文采用组合预测的方法，将海量的负荷数据、温度数据、日期数据以及节假日信息等作为输入特征，分别输入LSTM 网络以及LightGBM 模型，然后通过最优加权法确定权重系数，从而得出待预测日24 个时刻的负荷预测结果。该组合预测模型能够结合2 种模型各自的特点，既可以挖掘长时间数据之间的内在联系，又可以避免非连续性特征对预测精度的不良影响。算例测试结果表明，本文组合模型能够降低单一模型在极端场景下的误差，相比于其他组合模型，也具有更加稳定的预测效果。

1 基于LSTM 网络的负荷预测模型

1.1 LSTM 网络

LSTM 网络是由循环神经网络改进而来，其独特的记忆结构能够显著改善训练时权重影响过大以及梯度消失等问题。LSTM 网络的基本组成单元主要包括遗忘门、输入门和输出门［20］，具体结构如附录A 图A1 所示，各变量的计算公式如下。

式中：ft为遗忘门中的计算变量；it和gt为输入门中的计算变量；ot为输出门中的计算变量；at-1和xt分别为t-1 时刻的输出和t 时刻的输入，共同组成t 时刻 各 门 的 输 入；Wf，Wi，Wg，Wo分 别 为 输 入 变 量 在相 应 门 中 的 权 重 矩 阵；bf，bi，bg，bo分 别 为 相 应 门 中的偏置项；ct-1和ct分别为t-1 和t 时刻的状态记忆变量；σ 为sigmoid 函数；⊙表示矩阵的哈达玛积。

1.2 基于LSTM 网络的负荷预测模型构造

式 中：xi和分 别 为 归 一 化 前 后 的 值；xmin和xmax分别为原数据的最小值与最大值。

最后，需要对模型的网络结构进行设计，采用如附录A 图A2 所示的深度LSTM 网络模型结构，由1 个输入层、多个隐藏层和1 个输出层构成。前一个隐藏层的输出作为后一个隐藏层的输入，实现对输入数据特征的深度提取，最终通过全连接层输出并反归一化后，得到24 个时刻的负荷预测值。

2 基于LightGBM 模型的负荷预测模型

2.1 LightGBM 模型

LightGBM 模型于2017 年由微软团队首度提出，是一种改进的梯度提升决策树框架。它的基本思想是通过M 棵弱回归树线性组合为强回归树，如式（8）所示。

式中：F(x)为最终的输出值；fm(x)为第m 棵弱回归树的输出值。

LightGBM 模型的主要改进包括直方图算法和带深度限制的叶子生长（leaf-wise）策略［21］。直方图算法将连续数据划分为K 个整数，并构造宽度为K的直方图。遍历时将离散化的值作为索引在直方图中累积，进而搜索出最优的决策树分割点。

而带深度限制的leaf-wise 策略是指在每次分裂时，找到最大增益的叶子进行分裂并循环下去。同时，通过树的深度以及叶子数限制，减小模型的复杂度，防止出现过拟合。

通过上述改进措施，LightGBM 模型大大减少了内存的占用，训练时间仅为XGBoost 模型训练时间的1/10，并且准确率有所提升，十分适合处理负荷预测这类数据量较大的问题。

2.2 基于LightGBM 模型的负荷预测模型构造

LightGBM 模型的输入和输出结构与LSTM 网络有所不同，它无法一次性得到待预测日24 h 的负荷值，因此需要利用训练好的模型对每一个时刻分别进行预测。

本文选取待预测时刻的气温预报值、对应的月份、当月的第几日、当日的第几小时、是否为周末（周六日）、是否为法定节假日以及前一天对应时刻的负荷值作为该模型的输入，输出为待预测时刻的负荷值，共24 个输出。预测过程的示意图如附录A图A3 所示。

此外，由于LightGBM 模型是基于概率的决策树模型，无须对输入特征做归一化操作，只要对其适当编码即可。

3 组合预测模型

3.1 最优加权组合法

在分别采用LSTM 网络和LightGBM 模型得出负荷预测的结果之后，需要确定权重系数来将两者进行线性组合。本文采用最优加权组合的方法［22］，具体步骤如下。

首先求出偏差矩阵E，即

式 中：N 为 负 荷 采 样 总 数；e1t和e2t分 别 为LSTM 网络和LightGBM 模型在t 时刻的预测值与真实值的误差。

通过拉格朗日乘子法可以求出最优权重，如式（10）所示。

式中：w1和w2分别为LSTM 网络和LightGBM 模型的权重系数，系数之和为1；R=[1，1]T。

综上，可以得出最终的负荷预测结果如式（11）所示。

3.2 组合预测流程

组合预测的流程如图1 所示。

首先对原始数据进行预处理并划分训练集、验证集和测试集。其中，训练集用于训练每个模型的连接值等普通参数。根据验证集的评估效果，可以对迭代次数等超参数进行调优。测试集则用于实际的负荷预测试验。在经过模型训练与参数调优后，对测试集中的待预测日进行独立预测，最后通过最优加权法得出组合预测的结果。

4 算例分析

4.1 实验数据和平台

图1 组合预测流程图Fig.1 Flow chart of combined prediction

本文以2012 年全球能源预测竞赛的数据作为实验数据集，其中包括20 个不同地区每小时的负荷数据、对应的温度数据和节假日信息［23］。选择3 号地 区 从2006 年11 月29 日 至2008 年6 月29 日 的 负荷数据，按照8∶1∶1 的比例分为训练集、验证集和测试集。

本文采用的硬件平台为Intel Core i7-8700 CPU和NVDIA GTX 1050Ti GPU。 软件平台采用Python 语言实现，LSTM 网络调用keras 深度学习库，LightGBM 模型调用lightgbm 机器学习库。

4.2 实验评价指标

选取平均绝对百分比误差EMAPE和均方根误差ERMSE作为实验的评价指标，分别如式（12）和式（13）所示。

式中：yt为t 时刻负荷的真实值。

4.3 超参数设置

超参数的设置对于LSTM 网络和LightGBM 模型的收敛速度以及预测效果有着重要的影响，本文采用网格搜索法［24］得出2 种模型的最优超参数。

其中，LSTM 网络的层数为2 层，神经元个数分别为50 和100、学习率取0.01、迭代次数为100、优化算法为Adam 算法。LightGBM 模型的弱回归树数量为200、叶子数为50、学习率为0.06、L1 和L2 正则化参数分别为0.1 和0.9、迭代次数为3 000。

4.4 组合预测的互补性分析

通过改变输入序列的长度分析2 种单一模型以及组合模型对时间序列的整体感知能力，其中一周的预测结果如表1 所示。

表1 不同输入序列长度下的预测结果Table 1 Prediction results of input sequence with different lengths

由表1 可知，当LSTM 网络的输入序列长度达到168 时，其误差最低，较长的序列可为模型提供更多的信息，从而提高预测精度。由于负荷的周变化规律比较明显，故序列长度超过168 时，误差反而有所上升。而LightGBM 模型随着输入序列长度的增加，误差略有上升，表明其对长时间序列信息的挖掘能力较差。通过2 种模型的结合，能够一定程度上提高对时间序列的整体感知能力，获得更高的精度。

在输入特征中，非连续性特征主要为日期类型信息，如周末与法定节假日。选取部分周末与法定节假日负荷进行预测，结果如表2 所示。

表2 周末与法定节假日的预测结果Table 2 Prediction results for weekends and legal holidays

由表2 可知，LSTM 网络对这些日期类型的预测结果一般，均高于4%，也说明其对非连续性特征的拟合效果有限。通过LightGBM 模型的加入，组合模型在周末与节假日的误差上分别降低了0.98%和1.07%，取得了更好的预测效果。

综合以上分析可以得出，将2 种模型进行组合后，可以较为有效地结合各自的优点，不仅可以增强模型对长时间序列的感知力，也可以充分挖掘非连续序列的特征信息。

4.5 不同模型的预测结果对比

分别采用不同组合模型对一天（2008 年5 月10 日）以 及 连 续 一 周（2008 年5 月17 日 至2008 年5 月23 日）的数据进行短期负荷预测。方法1 和2 分别为LightGBM 和LSTM 网络单一模型，方法3 为本文组合模型，方法4 由2 种常用模型组合而成，即BP-SVM 模型［25］，方法5 将LSTM 网络换成深度信念网络（DBN）并组合（用DBN-LightGBM 表示），方法6 为2012 年全球能源预测竞赛中表现优异的GBM-GP 模型［9］，实验结果如表3 所示。

表3 不同模型的结果比较Table 3 Result comparison of different models

从表3 可以看出，通过方法1 和方法2 这2 种单一模型的组合，本文模型的误差得到了显著的降低。方法4 在一天和一周的预测结果中，其EMAPE均最大，分别达到了2.93%和4.26%，ERMSE也明显高于其余模型。方法6 将经典的机器学习方法结合，取得了不错的预测效果，在单日的预测中稍逊于融合了深度学习算法的方法3 和方法5，但在一周的预测效果上好于方法5。而在方法3 与方法5 对比中，融合了LSTM 网络的本文组合模型在精度上全面优于融合了DBN 的方法5，这主要还是得益于LSTM 网络单元的记忆结构，使其能够包含时间序列的更多整体信息。

单一模型和本文组合模型的预测曲线如图2 所示，不同组合模型的预测曲线如图3 所示，不同组合模型在各预测点的绝对误差对比见附录A 图A4。

由图2 可以看出，在负荷的峰谷点附近，由于负荷变化的不确定性大大增加，单一模型的误差均较大，而本文组合模型则可以有效地降低这些极端时刻的误差。结合图3 与附录A 图A4 可知，在不同组合模型的对比中，BP-SVM 模型的误差最大，达到8%左右。其余组合模型的预测效果相对较好，但本文组合模型的误差变化更加平稳，均保持在较低的水平，能够更好地拟合出负荷变化趋势。

图2 单一和组合模型的预测对比Fig.2 Prediction comparison of single and combined models

图3 不同组合模型的预测对比Fig.3 Prediction comparison of different combined models

5 结语

本文提出一种基于LSTM 网络和LightGBM 模型的组合预测方法，该组合方法能够结合2 种模型的特点，既可以考虑时序数据间的相互关联，也能挖掘非连续特征的有效信息。相对于单一模型，所提组合模型能够有效地降低出现极端预测误差的风险。与其他组合模型相比，也取得了更高的预测精度。

后续工作可以考虑增加电价、降水量以及湿度等其他特征，并对各个特征进行评价，得出最佳特征集。此外，模型的包容性检验以及组合权重的选择等问题也值得进一步的探索。

附录见本刊网络版（http：//www.aeps-info.com/aeps/ch/index.aspx），扫英文摘要后二维码可以阅读网络全文。