基于贝叶斯深度学习的用户净负荷预测方法

冯桂玲 郑晓晖 李思韬 庄大海

1(国网福建省电力有限公司福州供电公司 福建 福州 350009) 2(国网信通亿力科技有限责任公司 福建 福州 350003)

0 引 言

电力负荷的可预测性受到气候变化、分布式可再生能源发电、电动汽车、能源效率和需求响应的不确定性的影响[1]。因此，提高概率净负荷(即微电网和公用电网之间的交易负荷)预测的准确度对于捕捉这些巨大的不确定性非常重要，有助于未来智能低碳能源系统的运行和规划。

传统的点预测方法[2]能够有效实现系统峰值负荷预测和节点负荷预测。然而，由于电动汽车充电、可再生能源发电、气候变化等都具有不确定性，点预测只能为严重依赖期望值的决策过程提供单时间步长输出，适用性很弱。理想的预测模型应该能够通过分位数、区间或概率密度函数来表示不确定性，并能应用于电力市场概率潮流分析、可靠性规划和最优报价等。概率负荷预测主要方法有直接建立概率预测模型[3]或对多个场景进行确定性模型，得到概率预测结果[4-5]。文献[6]提出了一种混合型概率负荷预测模型，基于改进的小波神经网络，经过广义极值学习机的训练，在捕获预测模型和数据噪声不确定性的同时，为负荷预测提供一个概率区间。

净负荷预测对智能电网的管理、运营、资源分配和电力市场等非常重要[7]。考虑分布式可再生能源(如本地光伏发电)的净负荷，需要考虑更多的不确定性，特别是当光伏发电部分可见或完全不可见时。通过统计预测类方法或人工神经网络(Artificial Neural Network,ANN)能够进行净负荷预测。文献[8]为解决不可见的高PV渗透问题，将净负荷分布分解为PV输出、实际负荷和剩余负荷，并依次进行预测。文献[9]采用一个带有Levenberg-Marquardt训练算法的神经网络来进行馈线净负荷预测。

近年来，深度学习在多个领域受到了广泛关注[10]。在能量相关的时间序列预测方面，文献[11]使用深度学习方法进行负荷预测，并比较了两种受限玻尔兹曼机的性能。文献[12]提出了一种基于深度学习、分位数回归和核密度估计的短期电力负荷概率预测模型。长短时记忆(The Long Short-Term Memory,LSTM)网络解决了原始循环神经网络(Recurrent Neural Networks,RNN)的缺陷，它具有一个可以长时间保存信息并处理长期依赖问题的记忆单元。文献[13]采用深度LSTM网络来处理家庭负载中的高波动性和不确定性，并验证了它的优越性。文献[14]通过在训练过程中引入高斯噪声，提出了一种改进的分位数回归神经网络。虽然上述研究已说明了深度学习在负荷预测上的优越性，但从本质上来说，大多数研究实际上是基于统计确定性模型的，缺乏捕捉认知不确定性的能力。贝叶斯深度学习(Bayesian Deep Learning,BDL)作为一种新的概率型深度学习模型，在计算机视觉、自然语言处理、医学诊断和自动驾驶等领域得到了越来越广泛的应用。BDL通过概率论的视角构建了更可解释的深度神经网络。

本文同时考虑了认知不确定性和随机不确定性，将贝叶斯理论和深度LSTM网络相结合，提出一种基于BDL的概率净负荷预测方法。本文方法采用聚类对居民用户进行分组，并将PV输出作为网络训练输入的一部分。本文充分利用了智能电表数据和部分可见PV输出数据，算例研究基于真实的光伏发电和来自澳大利亚电网的负荷数据，通过聚类、预测和聚合进行日前净负荷概率预测。本文方法在确定性预测和概率性预测两方面均有较好的效果，通过与其他方法比较，证明了聚类和高渗透PV可见性的重要性。

1 研究面临的主要挑战

分布式光伏发电的广泛应用及其间歇性的特性大大降低了居民净负荷的可预测性。本文主要面临以下挑战：

(1) PV可见度：安装在仪表后的分布式光伏对配电网一般是不可见的，这增加了净负荷的不确定性和负荷预测的困难程度，特别是在高PV渗透率的情况。随着计量技术的发展，一些居民用户安装了可以单独测量用电量和屋顶光伏发电量的电表，使分布式光伏发电部分地呈现在电网监控中，并提供了细粒度数据。因此，可以充分利用部分可见PV数据的方法来提高净负荷预测性能。

(2) 大规模随机不确定性：聚集型净负荷的不确定性由负荷不确定性和分布式PV不确定性两部分组成。净负荷中包括不同来源(如气候变化、间歇性发电和非周期性人为活动)注入的随机不确定性。近年来，净负荷预测方面的研究大多只能提供含上下界的预测区间，没有给出关于每个时间步长的预测详细信息。此外，大多数概率预测模型通常基于固有的确定性模型，要么利用残差的概率密度函数进行点密度预测，要么对多个点预测结果进行后处理以生成分位数，在精确捕获随机不确定性方面能力有限。因此，构建一个概率型深度学习模型来处理净负荷中大量的随机不确定性，并为电网运行决策提供可靠边界是非常重要的。

(3) 认知不确定性：即模型的不确定性，主要体现在模型参数和模型结构中的设计认知方面。在概率净负荷预测中，认知不确定性直接影响到模型输出的准确性。在大量潜在的模型结构和参数中，了解所选参数在多大程度上能够准确预测不同条件下(例如，季节、周末/工作日和社会因素)的净负荷是很重要的。

为了有效地应对上述挑战，本文提出一种基于贝叶斯深度学习的概率净负荷预测方法。

2 贝叶斯深度学习

2.1 BDL在净负荷预测方面的优势

为了解决不可读神经计算模型黑匣子、不确定性表征较弱和数据需求大的问题，本节分析使用BDL进行净负荷预测的原因：

(1) 具有构建考虑不确定性的概率模型的能力：传统神经网络有固定的参数，贝叶斯网络参数(权值和偏差)为条件概率。贝叶斯模型从其参数中采样来生成结果，本质上是概率性的，而非确定性的。

(2) 能够同时捕获模型不确定性和随机不确定性：现有的贝叶斯深度学习方法大多只能单独捕获认知不确定性或随机不确定性[15]，而本文所提贝叶斯深度LSTM网络(Bayesian deep LSTM network,BDLSTM)可以同时捕获两种不确定性。通过在模型的权值上给定一个先验分布来捕获认知不确定性；然后，通过推理算法对后验进行近似，由权值分布的形状来表示认知不确定性；通过在输出上给出一个小方差分布(通常是高斯随机噪声)来捕获随机不确定性。

(3) 可用概率论解释：传统的深度神经网络利用神经元记忆训练数据中的信息，其参数没有物理意义，可以是任意值。贝叶斯网络通过贝叶斯理论来计算参数值，使参数可解释，令网络能感知结果的可确定性。此外，BDL可以校准预测的不确定性。例如，在净负荷预测中，当预测过程中遇到与历史值极不相同或极不合理的输入特征时，会给出无法处理的信息，而不是像目前的深度学习模型那样给出偏差较大的预测，不能具体地判断和验证结果的可信性。另外，可以帮助预测人员确定当前模型是否需要使用最新数据进行更新或重新训练。

(4) 小数据集的可靠性：许多实际任务的数据量有限，传统的深度学习系统无法处理这些数据。传统的深度学习通常需要数百万个训练样本，通过智能测量系统采集的测量数据不足，预测性能受到限制。然而，采用BDL进行预测所需的数据较少。通过将先验知识集成到学习系统中，BDL可以通过对隐藏单元或神经网络参数施加先验，使网络能够利用内置的隐式正则化的优点实现模型复杂性自动控制。

2.2 贝叶斯深度LSTM网络(BDLSTM)

长短时记忆网络[16]是一种特殊的递归神经网络结构，文献[13]将其用于短期住宅负荷预测。LSTM的深层结构可以通过一系列线性或非线性函数帮助学习输入特征和输出居民负荷数据之间的高度非线性关系。为描述所提贝叶斯深度神经网络的基本结构，首先给出一个LSTM单元的结构如图1所示。LSTM单元在一个特定的时间步长t上的输入是过去状态ht-1和当前输入xt。通过四个完全连接的神经元ft、gt、it和ot，使用输入门、遗忘门和输出门来实现记忆或遗忘信息的功能。输入门控制新输入信息，遗忘门决定将传输多少以前的信息，输出门决定在这个时间步长的输出。前一时间的输出ht作为下一个时间步的输入，采用ct决定长期的依赖关系。整体计算如下：

(1)

(2)

(3)

(4)

共同获取认知不确定性和随机不确定性的BDLSTM对LSTM网络权重和偏置参数进行了先验分布，然后对给定的数据进行了后验分布的推导。

Xtrain=[x1,x2,…,xTtrain]T∈RTtrain×dx、Ytrain=[y1,y2,…,yTtrain]T∈RTtrain×dy分别表示需要训练的BDLSTM模型的输入数据和输出标签，其中：Ttrain为训练数据点的总数；dx和dy表示输入、输出的维数。深度LSTM网络的主要目标可以形式化为确定函数y=fW(x)的最佳参数W，该参数有可能生成输出(即实际净负荷)。本文y=fW(·)表示具有NL层的深度LSTM网络，模型参数为W=[W1,W2,…,WNL]是一组随机变量。图2给出了所提BDLSTM网络的贝叶斯LSTM单元的示例，并在第一层放大了第t步的遗忘门。详细的数学说明如下。

2.2.1认知不确定性

认知不确定性包括结构不确定性和模型参数不确定性。结构不确定性是指在选择模型结构进行数据外推或内插时的不确定性。在众多可能的模型参数中，应选择哪一组参数来最好地解释观测结果的不确定性，用模型参数不确定性表示[15]。

为了处理认知不确定性，将先验分布(如N(0,I))置于W上。先验分布可分为无信息先验分布、高信息先验分布、中等信息层次先验分布[17]。对于贝叶斯深度神经网络，先验分布应该代表对神经网络参数(权值和偏差)分布的先验信念，由于这些参数的物理意义尚不明确，因此难以识别。根据文献[15]，当先验信念难以确定时，可采用标准参数分布。因此，将标准正态分布作为本文的先验，其零均值有利于正则化。在训练贝叶斯深度神经网络后，将使用后验分布来生成预测样本。

在确定适当的先验之后，模型似然p(Ytrain|fW(Xtrain))被定义为具有恒定噪声水平σ的正态分布N(fW(Xtrain)，σ2)。根据贝叶斯规则，计算后验p(W|Xtrain，Ytrain)：

(5)

式中：p(W|Xtrain，Ytrain)为无法解析估计的边际概率。为此，提出了变分推理和马尔可夫链蒙特卡罗(Markov Chain Monte Carlo,MCMC)[18]等不同的推理方法来逼近。对于训练数据{Xtrain,Ytrain}，p(W|Xtrain,Ytrain)表示权值上的后验分布。给定新输入点x，新输出y，定义为一个随机变量，可以通过积分来预测：

(6)

KL(qθ(W)‖p(W|Xtrain，Ytrain))=

(7)

p(y|x,Xtrain，Ytrain)=

(8)

(9)

M(y;fW(x),σ2)，得到了估计量：

(10)

MU(x,y,W)+σ2

(11)

式中：

(12)

式(12)表示认知不确定性，用于度量模型对其输出的不确定性的程度。

2.2.2随机不确定性

根据不确定性与输入之间的依赖关系，将随机不确定性进一步分为齐次不确定性和异方差不确定性[19]。对于齐次不确定性，观测噪声参数σ是固定的。在处理净负荷时，不确定性随时间变化，需要捕捉异方差的不确定性。为此，需要将式(11)中的σ调整为输入x的函数。令Ttrain表示训练观测的个数，数据相关异方差模型的损失函数可以表示为：

(13)

在这种情况下，进行最大后验(Maximum A Posteriori,MAP)推理来定位参数θ。

2.2.3组合不确定度

(14)

(15)

所提BDLSTM模型的预测不确定度Var[y]，由随机不确定度和认知不确定度组成：

(16)

贝叶斯深度学习的详细解释可见参考文献[20]。

3 基于BDLSTM的短期净负荷预测方法

在上述BDLSTM模型的基础上，本文提出一种新的概率型短期净负荷预测方法，充分利用居民用户数据和部分可见的PV数据，提高预测性能。本文方法包括四个部分：聚类阶段、特征构建阶段、预测阶段和聚合阶段，如图3所示。

3.1 聚类阶段

聚类阶段是根据平均日净负荷将用户分到不同的集群中，并从每个集群中提取有代表性的净负荷曲线。这可以揭示关于聚合负荷的更多信息，进一步帮助提高预测精度。然而，为每个用户构建BDLSTM模型并将其聚合起来是不切实际的。聚类能够平衡模型数量和预测精度，可以有效地降低计算复杂度。

设L=[L1,L2，…,LN]∈RT×N为N个居民用户的历史负荷数据，其中T为观测总数。首先，将所有用户分成不可见光伏发电和可见光伏发电两种：分别以Linv∈RT×Ninv和Lvis∈RT×Nvis表示，其聚类数量分别由Kinv和Kvis表示。基于平均日净负荷模式Linv和Lvis，采用凝聚法分层聚类——Ward离差平方和法[21]，分别定义为RLPinv∈RNinv×48和RLPvis∈RNvis×48，得到每个用户的聚类标签。层次聚类具有确定性，并可根据需要，在任意数量的聚类处终止聚集过程。为不可见组和可见组聚合每个集群中的子空间，以获得更高级别的净负载：

(17)

3.2 特征构建阶段

特征构建阶段识别有助于预测相关变量，并为BDLSTM模型构建训练和测试集。在短期负荷预测中，特征选择是去除无效候选特征从而获得可靠预测结果的关键步骤。为了自动选择有效特征，将输入特征与目标变量的相关性以及候选特征之间的冗余度作为两个关键的信息判据[22]。在此基础上，基于互信息(Mutual Information,MI)和交互增益(Interaction Gain,IG)，文献[23]提出了交互作用的概念，以度量预测过程中候选特征之间的交互作用。

深度学习技术不需要大量的专业数据和细致的特征设计。因此，本文的研究重点不是实现或提出新的特征选择方法，而是研究新的贝叶斯深度学习技术，其优点是在考虑不确定性的情况下，基于原始特征自动识别具有代表性的特征。后续可以将特征选择方法整合到所提框架中，以进一步提高预测性能。特征选择应该反映季节效应、温度关系和其他相互作用的影响[2]，为此，手动为可见组和不可见组选择两组特性。

(18)

(19)

3.3 预测阶段

3.4 聚合阶段

(20)

如果A和B服从各自的高斯分布：

(21)

那么，两个高斯分布的卷积也是一个高斯分布：

(22)

在这种情况下，因为聚类是根据用户的净负荷模式来区分用户，可假设每个集群的概率预测是相互独立的。此外，通过所提贝叶斯深度学习方法得到的个体概率预测(不确定性分量)都服从高斯分布。因此，通过上述卷积过程可以直接估计最终聚合净负荷的分布，其表达式为：

(23)

4 算例分析

4.1 算例描述

本研究算例分析基于从澳大利亚电网收集的真实智能电表数据，包括悉尼的负荷中心和新南威尔士州的区域[24]，数据集包括从2010年7月1日到2013年6月30日每半小时独立的屋顶光伏发电和负荷的测量数据。算例包含300个用户的负荷和PV数据，训练集有21 024个观察值，测试数据集有480个观察值。总净负荷直接由每个家庭的用户用电量和PV输出之间的差值相加得到。

4.2 实验设置

为验证本文方法的优越性，将其与其他负荷预测方法进行比较。方法M1(多元线性回归)[2]和M2(长短时记忆)[13]是点预测技术，M3(分位数回归)[2]、M4(支持向量分位数回归)[25]、M5(梯度增强分位数回归)[4]和M6(分位数随机森林)[4]是概率模型。本文方法M7(BDLSTM)是唯一能在单一模型中同时捕获认知不确定性和随机不确定性的方法。由网格搜索和交叉验证确定的BDLSTM模型的超参数如表1所示。所有测试的算法都是用Python语言实现的，主要软件包采用了Scikit-learn[26]、Keras[27](M1-M6)和Edward[28](M7)，并在Intel Xeon PC上运行。

表1 BDLSTM的超参数

4.3 评价指标

(1) 确定性预测的度量：RMSE度量实际值与预测值之间误差平方和平均值的平方根，表达式如下：

(24)

NRMSD可计算为：

(25)

MAE和MAPE分别以单位kW和%表示实际净负荷与预测净负荷的绝对差值，其表达式如下：

(26)

(27)

(2) 概率预测的度量：为了评估概率预测方法的性能，校准、可靠性和锐度是表示估计分布的一致性、变化和紧密性的三个主要因素。Pinball损失函数是衡量上述因素最全面的指标之一，其计算式表示为：

(28)

计算所有Pinball损失函数值的平均值是为了评估q=0.01,0.02,…,0.99的概率预测的总体性能，较低的值表示更好的性能。Winkler评分是概率预测的另一种综合指标，它可以同时衡量无条件覆盖和区间宽度，其计算式可以表示为：

(29)

式中：maxt和mint分别表示α=0.1时，时间t的概率预测的上界和下界；α为比例增益系数；δ为偏置系数。较低的分数说明概率估计结果较好。

4.4 确定性和概率性预测结果

本节将BDLSTM方法与其他方法在点预测和概率预测结果方面的预测性能进行比较。M3-M7使用第50个百分位值来评估其确定性预测结果。首先，对于所有方法，假设所有用户都属于一个集群(即K=1)，PV数据对于每个用户都100%可用。

表2给出了RMSE、MAE、MAPE和NRMSD的点预测结果。结果表明，与多元线性回归(M1)方法相比，BDLSTM模型(M7)的RMSE、MAE、MAPE和NRMSD分别降低了约60.60%、62.15%、62.28%和65.98%。与分位数随机森林(M6)方法相比，BDLSTM模型四个评价指标的改进幅度分别约为14.63%、10.29%、4.80%和15.21%。

表2 不同方法的各种指标预测对比结果

为了说明BDLSTM方法的有效性及其捕获不确定性的能力，得到不同概率方法的总体概率评估度量值，如表3所示。结果表明，贝叶斯深度LSTM网络的预测精度最高，其次是分位数随机森林法(M6)。M7具有最佳的预测能力这一事实说明了同时捕获认知不确定性和随机不确定性的重要性。如表3所示，M3和M4在这方面性能较差，因为只考虑了净负荷数据中的不确定性。观察可知，不同概率预测方法的性能排序与点预测结果一致：M7(BDLSTM)的性能优于其他测试方法，例如，与M3相比，Pinball损失和Winkler评分分别改进了约64.46%和60.57%。

表3 不同方法的点预测结果

此外，图4和图5显示了M6模型和BDLSTM模型得到的10个试验天的预测结果。在测试期间的实际净负荷由带点的黑色曲线表示。98%、90%、70%和50%的置信区间是由不断加深的灰色细框表示的。一般情况下，概率预测性能主要从可靠性、清晰度和分辨率三个方面进行评价，并通过综合评价标准Pinball损失和Winkler评分来量化。观察可知，M6高估了10个测试日的峰值需求，并有误导性的趋势，本文方法可以很好地预测每天高峰时段的净负荷。

此外，将测试数据集从10天扩展到4个季节，以研究不同季节的概率预测性能。表4给出了所有概率预测方法(M3-M7)的平均Pinball损失值。可以看出，尽管不同季节的相对改善量不同，但本文方法始终优于其他方法，例如，在年度四个季节，M7与M6相比，其平均Pinball损失值低40.14%、29.99%、6.83%和26.77%。

表4 不同季节的平均Pinball损失

表5给出了所有测试方法的训练过程的CPU时间。BDLSTM方法比大多数其他测试方法需要更长的训练时间。然而，模型训练是一个离线过程。在给定输入特征的情况下，所提模型进行日前预报只需几秒钟的时间。

表5 各方法训练过程的CPU时间

4.5 不同数量的集群

本节验证所提框架中聚类阶段的有效性。假设所有PV数据仍然可见，并且集群的数量设置为K=[1，2，3，4，5，6]。图6为不同集群数量的预测性能。

从K=1到K=4的Pinball损失、RMSE、MAE、NRMSD和MAPE分别改善了3.39%、5.99%、8.96%、8.77%和7.40%。此外，这些独立的集群都100%PV可见的情况下，由相同的网络结构进行训练。因此，进一步调整每个集群的超参数可以提高聚合级别上的预测性能。

此外，为了研究由可见性所得用户类别对预测模型的影响，还评估了在可见度为50%的情况下，Kvis和Kinv不同组合的概率预测性能。表6给出了BDLSTM方法在K=Kinv+Kvis不同情况下的平均Pinball损耗，其中：Kinv=1,2,3；Kvis=1,2,3。结果表明，最优组合为Kinv=1、Kvis=3，与无聚类情况(Kinv=1,Kvis=1)相比，平均Pinball损失提高了约31.14%。此外，无论对于可见组还是不可见组，增加集群数量都比不聚类情况下的Pinball损失更低，这说明了所提框架中聚类阶段的有效性。如果集群的数量增加到一个相对较大的值(例如，Kinv=4,Kvis=4)，计算出的Pinball损失可能会比没有集群的情况下更大，因此，必须为Kinv/Kvis选择一个合适的范围，以确定最佳组合。

表6 不同集群数的平均Pinball损失

4.6 不同PV可见度

本节研究分布式光伏发电的可见性对净负荷预测准确性的影响。假设K=1，PV可见度为vis=[0,0.2,0.4,0.5,0.6,0.8,1]。vis=0和vis=1分别表示不可见和完全可见PV，其他值表示PV部分可见。例如，vis=0.5说明300户家庭中有50%的屋顶光伏发电有单独的电表，而其余的光伏输出无法测量。

表7包含了不同可见度下Pinball损失和Winkler评分的结果。由结果可知，增加可见的光伏发电可以提高负荷预测性能。考虑到电表安装成本，可以根据运营商的需求，权衡预测准确性和安装成本。例如，如果运营商可以接受Pinball损失值下降约13%(vis=0.6与vis=1)，那么60%的家庭屋顶光伏发电需要安装独立电表，从而减少其安装的成本。

表7 不同光伏可见度下的净负荷预测性能

续表7

概率预测方法不同可见度下的Pinball损失，如表8所示。可以看出，随着PV可见度的增加，所有方法的概率净负荷预测准确性都得到了提高。结果证明BDLSTM方法在不同可见度下的优越性和有效性。为进一步提高本文方法的性能，后续可通过估算不可见PV发电出力，增加PV的可见性。

表8 各方法不同PV可见度下的平均Pinball损失

5 结 语

本文提出一种利用贝叶斯深度LSTM神经网络，同时处理认知不确定性和随机不确定性的概率净负荷预测方法。本文方法通过聚类为每个单独的集群建立深度学习模型，并在最后聚合每个集群的概率预测结果，以获得最终预测的总净负荷，从而提高预测性能。算例分析了该方法的整体性能，并与一系列概率预测模型进行了比较，评价结果验证了BDLSTM方法的优越性，并分析了聚类和提高PV可见性对提高预测准确性的效果。

未来将进一步深入研究贝叶斯深度学习，考虑具有更高不确定性的问题，例如：家庭层面的净负荷预测与更高的PV渗透率问题。此外，如何选择一个合适的先验仍然是贝叶斯深度学习值得关注的问题。