基于并行深度信念网络的电力负荷预测

李新涛，梁思聪

（国网新疆电力有限公司，新疆 奎屯 830001）

0 引言

电力负荷预测是基于历史负荷数据及多种环境因素进行以电力负荷为对象的预测工作。它包括预测未来的短期电力负荷、长期电力负荷和负荷曲线等，是电力系统制定管理计划的重要组成部分，也是电网调度、运行维护和降低成本的基础，更是电力安全生产的关键因素，对于保证电力系统的稳定、可靠运行以及经济效益等方面具有重要意义。近年来，国内外学者对电力负荷预测方法进行了大量研究，提出了包括基于神经网络［1—3］、时间序列［4］、支持向量机［5］、k均值聚类［6］、k近邻方法［7］以及马尔科夫链［8］等在内的多种方法。另一方面，电力负荷预测中，天气因素也是很重要的一个因素，通过挖掘天气预报的数据，不仅可以进行短期风电预测［9］，同时也有助于综合电力负荷预测的研究［10—11］。

基于神经网络的方法可拟合负荷数据和天气数据等外部因素在内的复杂非线性关系，但容易产生过拟合和局部最优解问题。时间序列法考虑了数据的时序关系，但在非线性关系的数据预测中准确度不高。回归分析法训练时间较短，但在海量数据的处理上效果不如前两种方法。因此，一方面由于大部分传统的电力负荷预测算法都在单机上运行，对于数据量越来越大的历史数据集，其处理效率略显低下；另一方面，传统的机器学习算法在当前数据类型越来越多样化的历史数据上的训练精度也不高。随着中国智能电网的建设，将会产生各类海量数据，这将给训练和预测效率带来巨大的挑战。

综上，为了提高预测精度及运行效率，本文提出了一种基于并行计算框架及深度学习的电力负荷预测方法，搭建了一个基于深度信念网络（deep belief network，DBN）与并行计算框架结合的预测框架，使用历史电力负荷与城市天气数据训练模型，并基于模型来预测未来电力负荷。该方法可以更合理地利用计算资源，得到最优的预测性能。

1 基于深度学习的并行电力负荷预测

1.1 训练过程

自下而上的无监督学习，即从下到上逐层对网络训练。使用标记的数据，以分层的方式训练参数的每一层。由于模型能力和稀疏性的限制，该步骤可以被视为无监督的训练过程。这样模型可以表征数据本身的结构并获得比输入更具表达力的特征，此过程也可以视为特征学习的过程。这也是深度学习与传统神经网络之间最大的区别之一［12—13］。

自上而下的监督学习，即通过标记数据进行训练，自上而下地传递，对网络进行微调，基于从前一步获得的参数，对整个多层模型的参数进行调整。训练的第一步类似于神经网络的随机初始化过程，但深度学习的初始参数不是随机的，而是通过学习输入数据的结构获得。该初始值比神经网络的随机初始值更接近全局最优，并且可以获得更好的训练结果。因此，初始的特征学习过程使得深度学习在很大程度上优于传统神经网络。

1.2 电力负荷预测系统架构

本文提出一种基于并行处理技术的负荷预测框架，该框架包含了分布式计算的相关环节，各层的功能清晰齐备。如图1 所示，系统架构主要包括数据层、中间层和计算层。其中数据层负责抽取电力负荷历史数据和天气数据等原始数据，然后将经预处理后数据传输到中间层；中间层负责对数据进一步进行处理，并对数据进行持久化存储，同时提供给计算层相应的接口，它是整个框架中最关键的部分［14—15］；计算层负责输出电力负荷的预测结果，查看已训练的模型，并进行可视化、预测结果查询等。

图1 电力负荷预测系统架构Fig.1 Power load forecasting system architecture

1.3 深度信念网络模型

DBN 是无监督学习模型［16］，由一系列受限的玻尔兹曼机（restricted boltzmann machine，RBM）构成。文献［17］提出将深度信念网络用于电力负荷的预测，并利用支持向量回归模型拟合输出。文献［18］通过Box-Cox变换处理负荷数据，量化电价和温度两个参数，来优化DBN在电力负荷预测上的性能。

RBM 是一个由可见层和隐藏层组成的概率图模型，两层神经元通过不同权重进行连接。其中，可见层v用来描述数据的特征，而隐藏层h则可以看作特征提取层。假设m、n分别表示可见层和h=隐[h1藏,h2层,…包,hn含]T分神别经表元示的可数见量层，、隐v=藏[v1层,v2的,…状,v态m]T向 、量，a=[a1,a2,…,am]T、b=[b1,b2,…,bm]T分别表示可见层、隐藏层的偏置向量，wij为可见层单元vi与隐藏层单元hj的连接权重。RBM模型如图2所示。

图2 RBM模型Fig.2 The model of RBM

通过将多个RBM 进行堆叠并在最后添加分类器构成DBN。对于给定状态的（v,h），其能量函数定义为

式中：θ为参数组{W,a,b}［17］。当参数都确定后，即可得到v和h的联合概率分布如下

式中：Z是归一化因子，定义为

因RBM 层内没有连接，而层之间是全连接，当给定vi时，hj的激活条件是独立的；反之当给定hj时，vi的激活条件也是独立的。由此可得隐藏层神经元j被激活的概率为

类似地，当给定hj时，第i个可见层神经元的激活概率为

为了获得所有的参数组{W,a,b} ，需要根据训练数据进行拟合。根据似然函数最大化的原理，使用吉布斯采样，推导权重更新公式如下

1.4 基于深度信念网络的电力负荷识别

DBN 的并行负荷预测流程，前文整个模型的输入是经过预处理后的包含所有特征的向量数据，输出则是包含类标的向量数据。

中间层的数据处理是预测过程的核心，这里使用了基于MapReduce 的并行计算方式进行，前一个MapReduce的输出作为后一个的输入。整个处理流程分为3 个部分：数据预处理、生成预测模型、构建并行负荷预测模型，整个负荷预测流程如图3所示。

（1）数据预处理由第一个MapReduce 完成，收集的数据被清理并划分为块。一般情况下，负荷数据是连续平滑的，如果相邻数据点的值差距较大，则是异常值，需要进行处理。另外，数据中如存在缺失值的情况，也需要进行补充。最后，对所有数据做归一化的处理，归一化数据的公式如下

（2）并行生成预测模型。利用Bagging 算法对数据随机抽样，抽取出N个样本，形成N个训练集，这样不仅保持原始数据集的多样性，也提高了训练效率。然后将训练数据输入DBN 进行特征提取及模型训练，从输入的数据中提取到各种负荷工作时的特征，再利用MapReduce方法执行并行算法。

（3）DBN 可从数据中学习到电力负荷的特征，在模型训练好后，将测试数据输入网络对其进行测试，并利用已知类别标签进行评估。最后，基于并行框架生成N个DBN负荷预测模型，进行数据预测，其中N个模型对应于n组参数，此过程由第三个MapReduce完成。

2 实验与结果分析

实验环境为包含4台节点的集群，每台节点配置为CPU Inter Core i7-6 500U，12 GB内存，64 位操作系统。其中一个节点为集群主节点，其余节点为从节点。实验数据来自中国新疆省某地区的历史负荷信息和天气信息，表1展示了其中部分数据，涵盖了历史同期7月20日—7月30日的部分负荷值以及7月21日—7月31日的气象数据。负荷数据来自数据采集和监控系统，天气预报数据来自公开的天气预报系统，当前大部分智能电表的数据是15 min记录一次负荷数据，因此这里负荷数据采集周期统一为15 min。归一化后，上述数据在［0,1］范围内。天气信息包括最高温度，最低温度和天气特征，其中天气特征分别用0、0.5、1表示晴天、阴天、雨天。通过训练后，目标是预测2018年7月31日的负荷值。

表1 部分训练数据集Table 1 Part of the training data set

2.1 性能评估指标

为了评估本文提出的电力负荷预测方法的性能，使用了均方根误差（RMSE）和平均绝对百分比误差（MAPE）作为评估指标。其定义如下

式中：fi为实际负荷；为预测负荷；n为样本量。

2.2 实验结果与分析

DBN利用最小化均方损失函数的方法进行训练微调。损失函数如图4所示。

图4 损失函数Fig.4 Loss function

从图4能够看出，模型训练时都能较快地降低损失函数值，随着迭代的增加，都能达到收敛状态。预测的精度如表2和图5所示，其中表2列出了时间点、预测的负荷值、实际负荷值和误差数据。预测负荷值和实际负荷值之间的平均误差仅为2.86%，由图5所示的预测值与实际值的比较曲线中也可以看出，预测效果基本符合实际情况。

图5 预测结果比较Fig.5 Comparison of prediction results

表2 负荷预测值与实际值Table 2 Predicted and actual load value

实验将并行DBN与传统算法［19—20］进行了对比，同时使用了支持向量机（support vector machine，SVM）、BP神经网络（back propagation neural network，BPNN）以及它们的并行版本进行预测精度的对比，其中SVM中设置参数g在不同数量级上等公差搜索，参数c取值为10 000。BPNN参数随机初始化。DBN使用了3层隐含层网络进行训练迭代，除输入、输出层之外，隐含每层含有100个神经元，学习速率为0.01。DBN逐层进行训练，得到每一层的参数用于初始化DBN，之后再用监督学习算法对参数进行微调。

负荷预测误差如表3 所示，其中并行DBN 的精度与传统机器学习算法比都略高。而在运行效率上，该算法与传统算法（基于SVM 的负荷预测算法［21］、传统非并行DBN）的对比如图6 所示，当数据集较小时，和传统算法相比，耗时相差较小，但传统算法的耗时随着数据量的增加而明显增大，并行DBN的时间增长缓慢，其计算效率较高。

表3 负荷预测误差Table 3 Load prediction errors

图6 并行DBN与传统算法耗时比较Fig.6 Comparison of time consumption

3 结束语

针对传统电力负荷预测方法耗时长，准确率不高，且易陷入局部最优解的问题，本文提出了一种基于并行DBN的电力负荷预测方法，通过并行计算框架MapReduce 搭建了一个计算系统，将历史用电数据及温度数据作为DBN网络的输入，并在分布式集群中建立训练模型，有效提高了预测的效率。同时，得到了较高精度的负荷预测模型。

未来，随着微电网的发展，光伏发电、风力发电等可再生能源的并网使得负荷变化的预测更加困难，对负荷预测方法提出了更高的要求。下一步的研究计划是通过结合区块链技术实现电力数据的分布式存储，提高数据的传输质量，并将深度学习算法应用于电力系统中的其他问题。D