基于改进深度信念网络的短期电力负荷预测方法

王剑锋，郑 剑，王旭东，于建成

（国网天津市电力公司，天津 300010）

电力系统负荷的准确预测是实现高效管理的基础，为电力企业运行调度等业务的实施提供支撑[1]。由于电力数据日益复杂，数据量呈指数级增长。基于智能预测算法的负荷预测具有较高的稳定性和预测精度，还有较强的复杂映射、容错及泛化能力，广泛应用于电力负荷预测领域。科研工作者在负荷预测领域的研究获得诸多突破，支持向量机SVM（support vector machine）[2]、极限学习机ELM（extreme learning machine）[3]、随机森林 RF（random forest）[4]、长短期记忆LSTM（long short-term memory）网络[5]等预测算法被广泛应用逐渐完善。文献[6]提出使用支持向量机预测中期负荷，但在处理大量时间序列数据时速度较慢。文献[7]提出了基于ELM算法的类分布不平衡数据处理技术，依据训练样本的重要性分配样本权重系数。文献[8]提出利用反向传播BP（back propagation）网络进行逐项预测，最终输出为对应于预测模型的每个子数据输出的综合加权值。

在进行负荷预测时，通常有特征组合和预测模型两个影响因素，即输入和模型。上述文献多侧重于模型，通过构建高性能的预测模型，以提升负荷预测精度。然而由于模型很难捕捉到复杂数据之间的关系，需要引入预处理等技术提高预测性能[9]。深度信念网络DBN（deep belief network）及其变种广泛应用于图像识别、机器翻译和医学诊断等各个领域，有效地解决了分类、预测和决策问题。文献[10]提出一种基于双向递归神经网络Bi-RNN（bidirectional recurrent neural network）和DBN的混合模型，该模型采用无监督预训练和监督调整训练方法，在短期电力负荷预测中具有较高的精度。在文献[11]中，利用Nadam动量优化算法对深信度网络进行训练，以获得最佳的DBN参数。在Keras深度学习框架的基础上，对DBN结构进行了调整，可获得最佳的预测结果。

本文提出了一种基于改进DBN算法的电力系统负荷预测方法，在充分挖掘历史负荷数据中的规律性的基础上，数据特征向量输入到多个用于两层稀疏自编码神经网络中进行特征融合，利用DBN模型进行负荷预测，并进行无监督训练对模型进行预训练，最后通过BP算法进行微调到最终的预测结果。本文方法可充分利用历史负荷数据的规律性，从而提高预测的效率，同时可充分考虑不同因素的影响，提高其预测精度。

1 数据的选择与聚合

短期负荷预测的输入数据涉及多类，如天气数据（温度、湿度、降水量、风速等），日类型数据，电量数据及电价信息等，数据的选择与聚合至关重要。其中气象因素对负荷影响的多日累积效应，例如，对于某日的负荷而言，连续三天高温与当日突然高温，两种情况对负荷的影响会有明显差别。同时气象是多个因素产生某种相合效果后才作用于电力负荷，分析影响时需要考虑气象指数的耦合效果。气象因素作用于电力负荷的影响如图1所示[12]。

图1 气象因素作用于电力负荷的影响Fig.1 Influences of meteorological factors on power load

1.1 数据选择和预处理

对于待预测日为非节假日，训练样本集为该日前一些天非节假日的数据；若为节假日，利用灰色关联投影技术获得预测日的相似日，并作为训练样本集。计算Y0j与Yij间的关联度公式为

式中：λ为分辨系数；n为预测日的个数；m为关联系数的位置序号；Y0j为待预测日特征向量的第j个影响因素值；Yij为第i个样本的第j个影响因素值。

各影响因素所占权重计算公式为

式中：Wj为第j个影响因素的权重值；为第i个样本的第j个因素对应的灰色关联度值。

在上述基础上进行数据归一化处理，目标是把有量纲数据变为无量纲数据，并将数据映射到0～1范围之内，以提升预测模型的收敛速度。

式中：Xi为样本数据；为Xi的归一化值；Xmax和Xmin分别为Xi的最大值和最小值。

1.2 数据聚合

本文提出采用三层的自编码神经网络SNN（self-coding neural network）进行，通过近似相同的函数使目标输出值接近输入值从而最小化预期的重建误差。图2给出了SNN基本架构，该网络可以通过激活功能进行从前一层到下一层的非线性转换。

图2 本文所采用的SNN网络基本架构Fig.2 Basic SNN network architecture adopted in this paper

2 应用于负荷预测的改进神经网络模型

2.1 IDBN模型的构建

将受限波尔兹曼机RBM（restricted Boltzmann machine）堆叠形成神经网络，应用RBM训练实现构建神经网络已被证明是一种快速有效的方法[8]。其中如何建立确切的预测模型以及如何恰当地训练所建立的预测模型是利用深度信念网络解决繁杂因素影响下的负荷预测问题的关键。本文所采用的改进深度信念网络模型如图3所示，由一个高斯-伯努利RBM即GB-RBM（Gaussian-Bernoulli RBM）、多个随机单元伯努利RBM即BB-RBM（Bernoulli-Bernoulli RBM）和一个回归输出层构成。输入样本为x={x1,x2,…,xn}，输出样本为y。

图3 改进深度信念网络模型Fig.3 Improved DBN model

将GB-RBM作为堆叠组成DBN的第一个RBM，以便将输入数据中的天气数据和负荷数据等连续型实值数据有效的转化成二进制数据。因为BB-RBM适用于处理二进制数据（如黑白图像或编码后的文本）的建模过程，所以其他RBM均采用BB-RBM，实现输入信息的特征提取；最后的RBM隐藏层和输出层组成线性回归网络，通过不同类型激活函数处理得到时间间隔为15 min，30 min或1 h的电力负荷时间序列。

式中，Z为与二进制向量(v,h)有关的配分函数[6]。

“限制”是指RBM模型的同类节点之间不存在连接，这代表隐藏层单元（或者可见单元）之间条件独立性成立。在BB-RBM中，所有单位都是二进制随机单元，这意味着输入数据应该是二进制的，或者在0和1之间的实数值表示可见单元活跃或不活跃的概率。

每个单位的条件概率分布由其接收的输入的sigmoid函数给出，即

式中，σ(x)=1/(1+exp(-x))为sigmoid激活函数。

2.2 基于Gibbs的数据采样

在进行短期负荷预测时，需要将上述模型进行训练，调整参数θ以拟和给定的训练样本。本文采用最大似然估计方法，寻找参数θ使得训练数据x在该情景下概率最大。对于给定的训练集，训练样本模型对数似然值可以表示为

式中，θ={b、a、W}，D是训练数据集。

其梯度可表示为

3 模型预训练与参数整定

采用无监督学习对DBN进行预训练，同时为下一步的参数微调提供更优的参数基础。在混合预训练的过程中，为保障预测模型的完整性，需在待训练的RBM上堆叠一层临时输出层。

3.1 无监督预训练

将无监督学习应用到深度信念网络中。采用稀疏自动编码器模型作为深度学习中数据的预处理工具具有定的代表性。稀疏自动编码器模型为：对稀疏自编码参数进行训练，在稀疏自编码模型中，寻找重构数据â使其接近原始数据a，即：

3.2 基于BP算法的参数微调

在逐层混合预训练后，本文采用BP算法进行全局参数微调。BP神经网络具有很好的信息顺向传输与误差反向传播特点。通过不断地重复周期以达到所期望的误差，最后经过训练得到符合期望的模型。但由于BP神经网络存在学习速度较慢、精度不高等问题，故采用改进反向传播算法收敛速度的措施，即附加冲量项为

为了加速RBM的训练过程，采用对比散度CD-k算法进行无监督学习。由于CD-k算法中，当k=1时，就能达到较好的拟合效果（一步吉布斯采样）。故一般采用CD-1算法。

式中：v*为可视层v的重构，根据v*所得隐藏层为h*；设学习效率为ε，经过对比散度算法对RBM进行训练后，权重矩阵W、可视层的偏置向量b、隐藏层的偏置向量c。

应用误差反向传播训练过程，包括计算每一层的净输入和激活值，直到最后一层，然后反向传播计算每一层的误差项，获得每一层参数的偏导数，并更新参数。具体训练过程如下：

算法：基于随机梯度下降的反向传播求解过程伪代码输入：IDBN网络参数L，神经元数量ml，1≤l≤L，设定训练集D，验证集V，参数 θ ={b、a、W}.1:初始化W，b 2:repeat 3:对训练集D中的样本随重新排序4:for n=1，…，N，do 5: 从训练集D中选取样本（x，y）；6: 前馈计算每一层的净输入z(l)和激活值a(l)，直到最后一层；7: 反向传播计算每一层误差δ(l)；8: 基于式（16）计算每一层参数的导数9: 基于式（17）更新参数 θ={b、a、W}.10:end 11:IDBN网络在验证集V上的错误率不再下降输出：W，b

3.3 负荷预测流程

传统的处理方法一般通过负荷预测模型直接获得负荷的预测值，本文利用神经网络模型进行负荷预测，并进行无监督训练对模型进行预训练，获得短期负荷预测结果，具体流程如图4所示。

图4 基于改进DBN的负荷预测流程Fig.4 Load forecasting process based on improved DBN

4 算例分析

负荷测试选取中国某区域的实际电力负荷数据，时间跨度为2018年1月至2019年12月，选取的数据包括4组主要的测量变量：天气数据（温度，降水量，风速和太阳辐射）、日类型数据、电量数据和分时电价数据（高峰时段为7：00—11：00，19：00—23：00；平常时段为11：00—19：00；低谷时段为23：00—次日7：00）。从当地的气象网站采集天气数据，并将同一时间下的气象和负荷数据一一对应进行匹配。

模型的评估和比较采用平均绝对百分比误差MAPE（mean absolute percentage error）来衡量，由于MAPE的稳定性好，可以将其作为多种评估标准的基准，即

式中：N为测量负荷的样本数；yl(k)和y∗l(k)分别为第k天的第1小时的量测负荷和预测负荷。

对构建的G-DBN模型进行短期电力负荷预测。图5为G-DBN模型与采用BB-RBM的DBN（BDBN）模型的对比结果。两种模型均进行预训练和BP微调进行模型参数寻优。

图5 G-DBN与B-DBN的预测对比Fig.5 Comparison of prediction between G-DBN and B-DBN

通过比较可得，G-DBN的预测精度更高，BDBN预测效果的不稳定性是由于BB-RBM在处理实值数据时易于产生噪声。

为了进一步验证G-DBN的可行性，对某地区2020年全年负荷值按季节进行分别预测，得到春、夏、秋、冬4个季节场景下的负荷预测值。采用待测日前十个月的实际负荷数据作为训练样本集和测试样本集。选择常用的人工智能预测方法：BP神经网络、SVM方法和传统DBN方法（无监督学习预训练和S-BP算法微调）形成对照。为确保实验结果的真实性，实验结果均为执行100次得到的平均值。4个季节下不同类型预测方法的比较如图6所示。由图6可知，G-DBN模型预测下四季的MAPE为3.59%，小于其他方法。考虑到温度，光照强度和使用时间电价的影响，G-DBN可以更充分地利用多种影响因素和电力负荷之间的复杂关系。

图6 4个季节下的负荷预测方法性能比较Fig.6 Comparison of performance among load forecasting methods in four seasonal scenes

为了验证本文方法的泛化性能，获取可再生能源发电出力占比为30%左右、20%左右、10%左右的3个不同地区的负荷作为对比试验的输入样本，并以MAPE作为评价指标，如图7所示。由图7可知，当可再生能源出力占比提高时，各方法的预测误差均会变大，BP和SVM变化较为明显，而DBN和GDBN略有变化。原因是随着可再生能源出力占比提高，电力系统运行更加不稳定，非线性负荷曲线更加复杂，深层网络拟合复杂非线性曲线的优势更加明显。

图7 不同地区的负荷预测方法性能对比Fig.7 Comparison of performance among load forecasting methods in different regions

5 结语

本文提出的改进深度信念网络的负荷预测算法，通过引入高斯-伯努利受限玻尔兹曼机，改进了现有神经网络算法学习对历史数据利用的问题，提高了学习效率。仿真结果显示，相比于传统神经网络算法，基于改进深度信念网络算法的电力负荷预测预测准确性得到有效提升。