动态组合深度学习模型在短期负荷及光伏功率预测中的应用

熊 图，赵宏伟，蔡智洋，陈明辉，刘丽新，刘铭铭

（1.广州供电局有限公司，广东 广州 510000； 2.北京清软创新科技股份有限公司，北京 100085； 3.华北电力大学 可再生能源学院，北京 102206）

0 引言

准确地预测光伏功率和负荷是电力系统安全、稳定、经济运行的重要前提。 能源行业的数字化趋势为人工智能技术的应用提供了必要条件。同时，人工智能技术的快速发展也为光伏功率和负荷的预测提供了全新的解决方案[1]。

深度学习技术作为人工智能领域的尖端技术，获得了广泛关注，各行业科研人员对该技术的内涵以及相关应用场景进行了深入挖掘。 深度学习技术将语音识别的正确率提高了25%左右[2]。在图像识别应用方面，深度学习相关算法能够在ImageNet 竞赛中将传统模型的精度提升9%[3]。 由此可见，深度学习技术在多个领域有着优异的实践效果，相比于传统浅层模型，深度学习模型往往能够获得更好的学习效果。目前。深度学习技术与能源领域的结合仍然有限，如何充分发挥各个深度学习模型的特征优势，以获得更好的预测解决方案，成为了科研人员亟待解决的问题。

对于传统的光伏与电力系统负荷预测方法，已经有较多的文献对其展开了分析与研究，主要研究方法包括神经网络[4]、树组合算法[5]和支持向量机[6]。 针对光伏预测模型，文献[7]提出了一种基于ARIMA 时间序列算法的光伏预测模型，该模型在阴雨天与晴天均取得了较好的预测精度。 文献[8]分析了光伏功率预测问题的发展现状，并从点预测、区间预测和概率预测3 个方面，分别对当前的预测方法及相关技术、 预测效果的衡量指标等进行了归纳和总结。 文献[9]结合云计算技术提出一种电力用户侧大数据分析处理平台，将智能电表、SCADA 系统和各种传感器中采集的数据整合，并利用并行化计算模型MapReduce 与内存并行化计算框架Spark 对电力用户侧的大数据进行分析。

针对负荷预测模型，文献[10]为了进一步提升极限学习机的计算性能，采用流形正则化方式优化模型的参数和超参数。文献[11]利用Kohonen神经网络挖掘各用户之间用电行为的相似性，在考虑电价和温度等影响因素的情况下，利用在线学习机模型对聚类分析后的用户分别进行电力负荷预测。 文献[12]使用深度置信网络提取了电、热、气用能信息的耦合特征，对综合能源系统中的电、热、气等多种能源负荷进行了有效预测。 文献[13]将负荷预测问题抽象为非线性数学问题，并考虑了生产活动、供需环境、宏观社会与经济指标等因素对计算结果的影响。 文献[14]通过获取母线负荷所属的行政区域，提取与母线地理位置紧密对应的高精度数值天气预报信息，通过研究母线负荷与气象因素之间的相关特性，构建了基于数值天气预报和负荷分类预测的母线负荷预测模型。

综上可知，目前光伏功率和负荷预测存在以下问题： ①人们较多地采用浅层学习方法进行预测，但该算法的学习能力有限，无法在深层次特征训练过程中有效利用，预测精度难以提升；②现有的模型往往只采用一种算法进行预测，单一算法的鲁棒性较低，如果单一算法在训练过程中陷入局部极小值，那么该模型的预测结果的准确性会较差。

针对上述问题，本文在分析两种深度学习算法（长短记忆网络、深度置信网络）基本原理的基础上，提出了基于深度学习模型动态组合的短期负荷及光伏功率预测模型 （以下简称为短期负荷及光伏功率预测模型），在该模型中使用深度置信网络和长短记忆网络分别对输入数据进行训练，并使用线性模型对各个深度学习的训练结果进行动态结合，最终输出预测结果。

1 相关预测算法机理分析

1.1 深度置信网络模型

深度置信网络以能量函数的方式描述整个系统的状态。令vi为第i 个可见神经元的状态参数；hj为第j 个隐藏神经元的状态参数[13]。深度置信网络DBN 的整体架构如图1 所示。

图1 DBN 的整体构架Fig.1 DBN stacked by RBM

深度置信网络的能量函数E（v，h）、联合概率分布函数 P（v，h）的表达式分别为

式中：ai，bj分别为第 i 个可视单元、第 j 个隐含单元的偏置信息；wij为第i 个可见神经元与第j 个隐藏神经元之间的权值信息；nv，nh分别为可见神经元、隐藏神经元的数量；Z 为统一配分变量。

Z 的计算式为

设θ 为参数集，T 为整个样本个数，通过计算最大化的对数似然函数L（θ）求得模型的最优参数。 令 v（t）为已知的第 t 个输入样本，则 L（θ）的计算式为

θ 的计算式为

1.2 长短记忆网络结构

长短期记忆网络是一种改进优化的循环神经网络模型[16]，标准循环神经网络模型在隐含层中只包含相对简单的记忆模块，在训练模型时，极易出现梯度消失的问题。 为了进一步提升循环神经网络模型，将长短记忆网络中的隐含层设计成更复杂的结构，主要通过遗忘门、输入门、输出门来增减记忆单元的信息。

记忆单元的结构如图2 所示。

图2 记忆单元的结构Fig.2 Architecture memory block

给定一个输入量 X={x1，x2，…，xT}，则长短期记忆网络的输出量为 Y={y1，y2，…，yT}。 每个时刻，当记忆单元经过各个门时，会接收当前的输入量xt、来自上一隐藏状态的输出量ht-1和内部单元状态ct-1。 长短记忆网络的计算过程如下。

首先，遗忘门信号ft决定哪些信息将从记忆单元状态Ct-1中删除，并由激活函数σ（x）决定遗忘门的激活状态。

遗忘门信号ft的计算式为

式中：Wfx为输出信号与遗忘门的权值矩阵；Wfh为记忆单元与遗忘门的权值矩阵；Wfc为输入量与遗忘门的权值矩阵；bt为遗忘门对应偏置。

遗忘门信号ft与最后一个记忆单元状态Ct-1相对应，Ct-1取 0～1。 当 Ct-1为 0 时，表明完全忘记最后的状态；当Ct-1为1 时，表明完全保持最后的状态。

其次，长短记忆网络使用输入门信号it决定将要存储到新单元状态Ct的新信息，输入门信号it的计算式为

式中：Wix为上一状态信号与输入门的权值矩阵；Wih上一状态信号与遗忘门的权值矩阵；Wic为输入门与上一状态的权值矩阵；bi为输入门对应偏置。

令Ut为添加到新单元状态Ct的候选值，Ut的计算式为

式中：Wcx为输入信号与输入门的权值矩阵；g（x）为tanh 函数，也为激活函数；Wch为输入门与遗忘门的权值矩阵；bc为上一状态对应偏置。

将旧记忆单元状态Ct-1更新为新状态Ct的计算式为

依据式（9）中的Ct-1ft确定从Ct中遗忘信息的数量，依据Utit确定添加到新单元状态Ct的信息数量。

最后，利用输出门信号ot计算出ht。

ot的计算式为

式中：σ 为 sigmoid 函数；Wox为输出信号与输出门的权值矩阵；Woh为记忆单元与输出门的权值矩阵；Woc为输入量与输出门的权值矩阵；bo为遗忘门对应偏置。

ht的计算式为

式中：l（x）为 tanh 函数。

针对梯度下降法的不足，本文在优化长短记忆网络的基础上，提出了一种自适应时刻估计方法（Adaptive Moment Estimation，ADAM）。 ADAM能够根据不同的参数状态，设计出定制化的自适应性学习率，从而使得ADAM 能够适用于非平稳或梯度稀疏梯度问题。本文利用ADAM 来更新长短记忆网络的参数，以提高模型对负荷与光伏功率的计算能力。

2 基于组合深度学习算法的短期负荷及光伏功率预测模型

相比于常规预测算法，深度学习算法虽然能够获得较好的预测效果，但是该类型算法的模型层数与节点数较多，短期负荷及光伏功率预测模型中往往包含了较多的信息，该模型在训练过程中有陷入局部极小值的风险。 有的局部极小值点所对应的模型泛化性能较差，该模型与深度学习模型组合后，可有效减少陷入局部极小值点的风险。 组合后的深度学习模型充分发挥了各个算法的优势，摒弃了各个算法中预测效果较差的环节。此外，由于短期负荷及光伏功率预测模型在训练过程中的假设空间通常较大，可能有多个假设在训练集上达到同等性能，组合后的深度学习能够有效地减少单一模型泛化性能不佳的风险。因此，采用组合学习方式后，短期负荷及光伏功率预测模型的预测精度会有所提升。

针对上述问题，本文将短期负荷及光伏功率预测模型与不同类型的深度学习算法进行动态结合，以获得更好的预测效果。在短期负荷及光伏功率预测模型的第一层中使用长短记忆网络与深度置信网络算法对负荷预测数据和光伏预测数据分别进行训练，在第二层中使用线性模型，将第一层中的预测结果进行动态结合，使得第一层模型的计算结果能够取长补短，提高短期负荷及光伏功率预测模型预测结果的准确度。此外，短期负荷及光伏功率预测模型中的线性模型选择的是线性回归方法，该方法属于无偏估计方法。

短期负荷及光伏功率预测模型的结构如图3所示。

图3 短期负荷及光伏功率预测模型的结构图Fig.3 Load and PV output forecasting based on dynamic ensemble deep learning model

由图3 可知，短期负荷及光伏功率预测模型中训练环节的输入特征包括负荷的历史数据、天气数据和节假日数据。 光伏预测环节的输入特征包括光伏出力的历史数据、天气数据。

3 算例分析

本文选用广州某地区负荷实际数据进行验证。为了确定本文算法计算结果的准确性，选择了多种应用场景进行模拟计算，并且在各个场景中分布式光伏的接入容量均达到较高的比例。 场景一为光伏功率预测场景，该场景下光伏装机容量为400 kW，预测目标为下一小时的光伏出力情况；场景二为负荷预测场景，该场景为居民负荷用电情况，预测目标为下一小时的负荷。在各个场景中，算例采用的误差指标为平均相对误差MAPE、均方根误差RMSE。

MAPE，RMSE 的计算式分别为

式中：n 为数据集的样本数量；ai，bi分别为 i 时刻各个预测任务的真实值和预测值。

3.1 深度学习模型的结构参数选择

长短记忆网络与深度置信网络结构参数的选择均较为困难，上述参数的选择方法具有极大的相似性，长短记忆网络与深度置信网络的结构参数包含了神经元、隐含层和训练代数。本文以长短记忆网络在负荷预测任务中的结构参数选择为例，将数据集划分为训练集与测试集，分析不同结构参数对短期负荷及光伏功率预测模型各项性能的影响。其中，变量数目和训练时长分别作为时间和空间复杂程度的计算指标。

不同隐含层在测试集上的预测效果如表1 所示。

表1 不同隐含层在测试集上的预测效果Table 1 The influence of layer number for modeling

由表1 可知，当模型具有2 层隐含层时，测试样本的RMSE 较小，为3.21%，这说明2 层隐含层的长短记忆网络模型与当前数据情况匹配得较好；当隐含层为 3，4 层时，测试样本的RMSE 较大，这说明模型产生了过拟合效应。

表2 为神经元数量对模型建立的影响。

表2 神经元数量对模型建立的影响Table 2 The influence of node number in one layer for modeling

由表2 可知，当神经元个数为20 时，测试样本的RMSE 较小，为3.21%；当神经元个数逐渐增加时，空间、时间复杂度均逐渐增加，测试样本的RMSE 也逐渐升高，此时模型产生了过拟合效应。

3.2 短期负荷与光伏功率预测效果分析

本文对两种场景下的预测结果进行分析，并将使用本文算法与传统神经网络算法 （单层隐藏层）得到的预测结果进行对比。

图4 为测试集中不同的负荷预测结果与实际负荷的比较。

图4 不同的负荷预测结果与实际负荷的比较Fig.4 Load forecasting results based on dynamic ensemble deep learning model

图5 为不同的光伏功率预测结果与实际光伏功率的比较。

图5 不同的光伏功率预测结果与实际光伏功率的比较Fig.5 PV output forecasting results based on dynamic ensemble deep learning model

由图4，5 可知，在负荷预测与光伏功率预测的场景中，短期负荷及光伏功率预测模型的预测精度均优于传统的BP 神经网络模型。 由图4，5还可看出，当负荷曲线或光伏功率曲线产生较大波动时，短期负荷及光伏功率预测模型仍然能够较好地跟踪负荷和光伏功率的变化情况，这是由于短期负荷及光伏功率预测模型充分发挥了深度置信网络与长短记忆网络两种深度学习模型的优势，使得最终预测结果的预测精度能够大幅度提高，而BP 神经网络的学习能力有限，其预测结果的精度低于本文的动态组合模型

3.3 多种算法预测结果对比分析

为了进一步验证本文算法的优越性，将本文的动态组合深度学习算法与深度置信网络、 随机森林算法、时间序列算法的预测结果进行比较。利用不同预测算法得到的负荷与光伏功率预测误差如表3 所示。

表3 利用不同预测算法得到的负荷与光伏功率预测误差Table 3 Load and PV output forecasting error evaluation considering multiple models

由表3 可知，相比于其他算法，动态组合深度学习算法够较好地跟踪负荷与光伏出力的变化趋势。在负荷预测和光伏功率预测的场景下，动态组合深度学习算法均获得了较高的预测精度，这是由于多种深度学习算法动态结合能够提高模型的泛化性与鲁棒性。相比于其他算法，深度置信网络只使用了单一深度学习方法，容易陷入局部极小值，使得整体泛化性不高。随机森林属于浅层学习算法，从输入数据挖掘来的信息有限，虽然该算法也取得了良好的预测精度，但是仍然低于动态组合深度学习算法。时间序列算法的学习能力最弱，只能计及负荷的历史信息，预测精度也偏低，由此可见，本文所提出的组合预测模型对于电力系统制定运行策略有着较高的参考价值。

4 结束语

本文深入分析了深度学习算法在多个领域（图像处理、语音识别等方面）的应用，并将深度学习的尖端人工智能技术与能源领域相关问题结合起来，提出了一种基于深度学习模型动态组合的短期负荷及光伏功率预测模型。 在该模型中使用了2 种深度学习模型 （深度置信网络与长短记忆网络）分别对输入数据进行训练，并使用线性模型对各个深度学习的训练结果进行动态结合，而后输出最终预测结果。此外，本文还使用广州某地光伏功率与负荷的相关数据进行实例验证。 分析结果表明，模型架构对于预测结果有较大影响，多个深度学习模型相结合能够有效地提高负荷预测与光伏预测功率的精度。

在未来，针对深度学习算法的预测问题，可以在以下几个方面作进一步改进，以提高负荷与光伏出力的预测精度。具体的改进方向：①预测模型中的结构参数选择方式对预测结果有着较大影响，今后可探索一种更高效、科学的方式对结构参数进行优化；②目前，在光伏功率预测和负荷预测的算法中，输入特征的选择往往依靠科研人员的经验，下一步工作中应将人工智能方法的特征分析方式与经验相结合。