基于ESMD-PE和ADBN的短期电力负荷预测

王国娟，冷建伟

(天津理工大学 电气电子工程学院， 天津 300384)

0 引 言

电力负荷预测在电力系统安全经济运行方面发挥了不可替代的作用，为了保障供给用户的电能质量的可靠性和达到降低供电成本的目的，短期电力负荷研究十分关键。目前，短期电力负荷预测的常见方法主要有人工神经网络法(ANN)、支持向量机法(SVM)、模糊理论法等。尽管对电力负荷进行预测的方法很多，但伴随着研究的深入，各种方法的局限性也逐渐被发现。因此很多学者提出采用组合预测模型将单一算法取长补短，进行融合，预测效果更佳。如在一定时期内，负荷序列会随影响因素而发生波动，文献[1]提出了一种基于BP神经网络和灰色理论模型的短期电力负荷预测模型，灰色理论预测模型预测平稳序列，BP神经网络预测非平稳序列，充分发挥两个模型的优势，提高了预测精度；文献[2]提出将特征选择与优化BP神经网络的组合模型，提升了预测效果。组合预测模型中还有一种串联模型，一般从原始序列入手，先对原始负荷序列进行信号处理，得到多个子序列，对其分别建模，叠加预测结果。

常用的信号处理方法有小波变换、傅里叶变换、经验模态分解(EMD)等。文献[3]提出了一种基于气象成分分解的短期负荷预测模型，优化了模型输入。文献[4]提出了一种基于VMD和PSO优化深度信念网络的模型，改善了分解效果。由于EMD分解后易出现模态混叠现象且高频分量包含大量噪声，文献[5]提出了CEEMDAN算法,通过在分解的每一阶段添加自适应的白噪声来改善这一问题，但是若不能同预测模型有效匹配，不仅会增加计算量，也不能完全消除模态混叠现象，具有一定的局限性。文献[6-7]提出了ESMD分解法将EMD算法中外部包络线插值法替换为直接插值法，并从信号特征入手，将最优自适应全局曲线概念引入到模型中，自适应地进行时频分解，以此来获得各模态函数的最优分解次数，时间序列的趋势变化和波动特征更加明显。针对在信号分解过程中会产生一系列特征相似的IMF分量的问题，文献[8]提出了基于样本熵的IMF分量重构方法。但是，样本熵具有处理短时间序列会产生不准确估计的局限性，因此，文章提出运用排列熵(PE)解决这一问题。

文章以深度学习思想为基础的深度置信网络(DBN)作为预测模型，在传统模型预训练阶段通常使用一个全局统一的学习率，但这个参数并不一定适用于所有参数的调整速率，考虑主要由对比散度(CD)算法来进行预训练，因此文献[9-10]提出将CD算法改进为以连续两次状态采样的变化趋势为依据的可以自适应地调整学习率大小的算法，来提升DBN的训练效率。

文章综合了ESMD-PE方法和自适应学习率优化的DBN模型的优点，建立的ESMD-PE-ADBN 模型可以提升预测结果的可靠性。

1 ESMD-PE方法基本原理

1.1 ESMD算法

ESMD 方法通常由两部分组成:第一部分是将负荷序列分解为一系列IMF分量，得到一条最优全局自适应均线；第二部分是时-频分析，对固有模态的瞬时频率运用直接插值法进行计算，分析各时间尺度上的频率改变，确定发生突变的时间。ESMD方法分解过程如下:

(1)标出序列的全部极值点，记作Ei(1≤i≤n)；

(2)将所有相邻的极点用线段相连并依次将线段中点记为Fi(1≤i≤n-1)，并在左右两端增补边界中点Fn和F0；

(3)利用n+1个中点构建p条内插曲线L1，L2，……，Lp(p=1，2，……，),并计算它们的均值：

L*=(L1+L2+……+LP)/p

(1)

(4)令X-L*，反复进行上述3个步骤或当筛选次数能够取到最大值K，直到|L*|≤ε(ε为允许误差)，可得首个模态分量IMF1；

(5)对余下序列X-IMF1重复上述4个步骤，当剩余序列R仅剩一定数量的极点，可得经验模IMF2，IMF3，…;

(6)修改限定区间[Kmax，Kmin]内的最大筛选次数K值，反复进行上述 5个步骤。然后计算方差比率σ/σ0，并绘制其随K的变化图，找出σ/σ0最小值对应的K0，以K0为限制条件再重复上述5个步骤，最后将剩余项R作为序列X的自适应全局均线。

经过上述分解，可用X=∑IMFi+R表示原始的时间序列X，即运用ESMD算法将时间序列X分解成了一个剩余变量和一系列经验模态分量。

在分时-频分析中，由于原本的希尔伯特变换将本来离散的信号转换成解析函数处理，这种方式难免要受数学概念的制约。对离散数据，其分析过程中要保留其离散特性，所以针对数据提出了“直接插值法”，既能体现频率时变特性观察到模态函数的振幅，也能够获得总体能量的波动。直接插值法基本思路如下:

(1)找到极值点中的每两个相邻极值点，计算两个点间的时间差；

(2)这些时间段可被看作局部周期并赋值于中点，绘制时间-周期对应点图；

(3)局部频率可通过这些局部周期值取倒数得到，光滑的时间-频率变化曲线可通过再做三次样条插值得到。

1.2 排列熵(PE)

针对ESMD分解产生的IMF分量中部分存在复杂度相近的情况，文章采用排列熵(Permutation Entropy，PE)对各IMF分量的复杂程度进行熵值计算，将熵值相似序列进行重构，可提高模型预测速度，提升整体模型鲁棒性。将时间序列{Xi，i=1，2，…，N}重构可得得矩阵：

(2)

式中j=1，2，…，K；嵌入维数由m表示；重构向量数目由K表示；时间延迟由τ表示。

重构向量由矩阵中的行代表，比较数值大小，将重构分量按照升序重新排列，列可用j1，j2，…，jm表示。

如果重构分量中两元素的值相同，则根据元素所在的列j1，j2的大小确定顺序。因此重构后X(i)得到矩阵S(l)=(j1，j2，…，jm)。

式中l=1，2，…，K，且K≤m!，m个不同的符号[j1,j2,…,jm]共有m!种不同的排列，S(l)为m!种符号序列之一。如果每个符号序列出现的概率分别为P1，P2，…，Pk，则时间序列X(i)的PE定义为：

(3)

PE值的计算可以将序列X(i)的复杂程度量化，通过对比各模态熵值的大小来对比各自的复杂程度。PE对各IMF分量复杂程度的体现，为之后 IMF分量的重构以及建模的简化提供了理论依据。

2 自适应深度信念网络

深度信念网络(Deep Belief Network，DBN)由Geoffrey Hinton 在2006年提出，学习过程主要分为两个阶段：第一阶段为预训练阶段，通常采用CD算法对全部RBM进行无监督训练；第二阶段为微调阶段，将网络展开为一个前向型网络，然后对整个网络权值进行有监督的微调，运用的是误差反传方法[11]。

2.1 无监督训练

RBM是 DBN 网络的基本组成，多个 RBM 堆叠起来可以构成一个DBN模型。RBM由显层和隐层2层神经元构成，层间的连接彼此对称，且相同层内无连接。RBM的基本结构如图1所示。

图1 RBM结构模型

RBM 的训练方法通常采用 CD 算法。一个 RBM中，隐含层状态由h表示，显层状态由v表示。模型参数θ={ωR，a，b}给定，可用E(v，h；θ)表示联合概率分布P(v，h；θ)：

(4)

式中Z=∑v，he-E(v，h；θ)为归一化因子。

RBM能量函数可定义为：

(5)

其中显隐层间的连接权值由w表示，可见层偏置由a表示；隐藏层偏置由b表示。显隐层间的条件激活概率概率为:

(6)

(7)

若训练样本个数为T，式(8)表示参数θ的最优值：

(8)

在 RBM训练的过程中，倘若样本数据量很大，为了使采集到的样本符合目标分布，在训练RBM的时候采用传统方法，则训练速度将会十分缓慢。因此Hinton 教授提出了CD 算法用于 RBM 的训练抽样。此后，CD 算法成了训练 RBM的标准抽样方法。该算法利用利用式(6)、式(7)计算显元和隐元被激活的概率并带入 RBM 模型进行参数更新。

2.2 自适应学习率

在RBM 的快速学习过程中，通常采用对比散度算法(Contrastive Divergence，CD)。CD算法会对所有构成DBN结构的RBM逐个进行无监督训练。各参数的更新准则如下：

Wij=Wij+η(data-recon)

(9)

ai=ai+η(data-recon)

(10)

bj=bj+η(data-recon)

(11)

式中η为DBN的学习率; <*>data为数据分布期望;<*>recon为重构后的模型分布期望; <*>data-<*>recon为二者的散度差; data为状态hj和状态vi同时被激活的期望; recon为在状态hj和状态vi时把重建的数据呈现给可见单元时对应的期望。

为了提高DBN模型的收敛速度，在RBM训练的过程中，可以根据CD算法中参数每次迭代方向的异同得到一个第i个显单元状态和第j个隐单元状态时的自适应学习率ηij，将传统DBN中的全局学习率η替换为一个能够动态变化的学习率。

(12)

(13)

2.3 深度信念网络结构

DBN预测模型的结构如图2所示，可见层是用来接受输入信号，隐藏层用来提取特征，RBM通过无监督学习自动找到研究问题的最佳特征；DBN的最后一层一般采用BP网络，接收RBM的输出特征向量作为该层的输入，反向传播网络对整个模型进行参数调整。

3 ESMD-PE-ADBN组合预测模型

由于经济、气象、日期等因素的不同对电力负荷值造成的影响也不尽相同，但是人类生产生活的周期性使得用电负荷也具备一定的规律性。为了准确分析负荷的变化规律，文章提出了一种基于ESMD-PE方法和自适应深度信念网络的组合模型,如图3所示。首先对短期负荷数据进行预处理，其次通过ESMD方法将短期负荷序列分解为若干模态分量并进行统计分析，采用排列熵重构得到新分量；针对DBN模型存在着自适应能力差的问题，在短期电力负荷预测过程中提出了一种能够自适应调整学习速率的DBN网络预测模型-ADBN网络(Adaptive Deep Belief Networks)，该模型采用一种自适应学习率寻优策略来求得最优学习率，避免了固定经验式的学习率，能够从收敛速度和预测精度两方面提高DBN模型的预测效果。

4 算例分析

4.1 数据来源及预处理

选用第九届电工数学建模竞赛数据2014年6月18日～2014年8月16日每天的整点时刻的电力负荷数据为数据集，建立BP、DBN、ESMD-PE-DBN及ESMD-PE-ADBN用户负荷预测模型，对2014年8月17日整点负荷进行预测，并对比不同模型的预测精度，以验证文章模型有效性。仿真软件为MATLAB R2014a。

在选择输入变量时，需考虑影响因素与输出变量间的相关性，可通过归一化处理消除物理量纲的不同，公式如下：

(14)

4.2 原始负荷序列的分解重构

经ESMD算法分解用户时间负荷序列得到的结果，由图4可见，原始负荷序列被分解为IMF1、IMF2、IMF3、IMF4、IMF5共5个模态函数和一个余量序列R。

图4 ESMD分解结果

为了减少建模重复工作，文章采用排列熵计算各模态函数排列熵值并根据熵值大小对各模态函数进行重构处理。经试验，延迟时间τ=1，嵌入维数m=4 时各IMF分量熵值变化明显，图5为各序列熵值分布。

图5 各IMF分量排列熵值

随着各子序列频率的降低，排列熵值呈现逐渐减小的趋势，且部分相邻子序列的熵值相差不大，由图5可知IMF3与IMF4，IMF5与R熵值近似，因此为了减少计算规模，对相邻排列熵值相差较小的IMF进行叠加，结果如表1所示，重构后的子序列如图6所示。

表1 各分量重组结果

图6 IMF分量重构结果

序列 1计算后平均周期为8.34 h，反映出一天当中人们工作时间和非工作时间用电规律的不同，该序列具有一定的波动性和随机性；序列2平均周期为24.7 h，该序列反映了以天为单位的用电量的变化；序列3体现出了比较明显的规律性，且大致的波动周期为一周;序列4波动较平缓，体现了整体序列的变化趋势走向，可以将其看作趋势分量。

4.3 确定输入

分别对各模态函数建立DBN预测模型。除了日期类型之外，为了确定其余对文章负荷序列产生主要影响的因素作为输入，对湿度、温度、降雨量同重构后的四个IMF分量进行了Pearson相关性分析，其中日平均温度对序列影响最大。因此，预测模型输入也包含了日平均温度和日期类型信息，具体如表2所示，其中字母t和字母d表示d天t时的负荷值，日期类型由Dtype表示，1～7代表周一～周日，日平均温度由T(d)表示。

表2 各重构分量输入选择

4.4 评价指标

文章的预测结果评价指标选用RMSE(均方根误差)和MAPE(平均绝对百分比误差)，定义如下:

(15)

(16)

4.5 实验结果分析

文章使用BP、DBN模型直接对原始负荷序列进行预测，BP网络结构参数为15-28-1；DBN网络结构参数为15-28-15-1，其中RBM 学习率设置为0.1，迭代850次；之后采用 ESMD-PE方法对电力负荷数据进行分解重构，形成了四个特征互异的子序列，之后再加上温度、日期类型影响因素，对各子序列分别构造ESMD-PE-DBN、ESMD-PE-ADBN模型并进行相应模型训练，模型结构参数依次为9-21-15-1、9-15-8-1、8-13-5-1、12-25-20-1，最终叠加预测结果同原始负荷曲线进行比较。

为了体现自适应学习率对模型预测性能的影响，将固定学习率的DBN模型和ADBN模型的预测效果进行对比，其中ADBN模型的增量系数a和减量系数b分别为1.4和0.7，各模型的节点数和隐藏层相同，对比结果如表3所示，结果表明ADBN模型的收敛速度更快，预测准确率也更高。

由图7、表4可以看出，DBN模型的各项评价指标均优于BP预测模型，MAPE值和RMSE值分别降低29.63%和18.84%，主要是因为DBN模型克服了BP 神经网络隐含层只有一层，对训练样本的特征学习不准确、泛化性不高以及出现局部最优解的问题。ESMD-PE-DBN模型预测效果相较于DBN模型其MAPE值和RMSE值比单一DBN模型分别降低了17.11%和21.80%，相对于单一BP、DBN模型，其降低了原始序列的复杂程度，优化了模型输入。ESMD-PE-ADBN模型相对于ESMD-PE-DBN模型其MAPE值和RMSE值分别降低了18.25%和16.02%，主要是因为自适应学习率对DBN模型预测精度及收敛速度的改善。

图7 各模型预测结果

表4 各预测模型误差对比

5 结束语

通过对短期负荷预测领域的学习研究，文章提出了一种ESMD-PE-ADBN组合预测模型并进行了算例分析，结论如下：

(1)提出了一种ESMD-PE-ADBN新型组合预测模型，融合了各算法的优点，预测效果更优；

(2)ESMD方法以EMD方法为基础，可以自适应地完成时频分解，得到的模态分量能够更准确地呈现时间序列的趋势变化和波动特征，使计算方法变得简单，分解效果更好。排列熵(PE)方法能够重构特征相似的子序列，优化预测模型输入；

(3)将短期电力负荷预测同深度学习结合，并将自适应率引入到深度置信念网络中，改善了DBN模型中学习率参数存在难以确定的问题，既增强了收敛速度又提高了模型预测精度。