基于多层融合神经网络模型的短期电力负荷预测方法

郭 成，王 宵，王 波，王加富

(1.昆明理工大学电力工程学院，云南 昆明 650504; 2.昆明理工大学机电工程学院，云南 昆明 650504;3.成都国龙信息工程有限责任公司，四川 成都 610031; 4.云南电网有限责任公司楚雄武定供电局，云南 武定 651600)

0 引 言

近年来，随着国家电网的不断发展和电力市场资源的不断扩大，对短期的电力负荷进行更为准确的预测不仅可以减少相关资源的浪费，带来更高的经济效益，还能够对电网在配电过程中进行建设和规划时提供相关依据，使其更为安全可靠。在过去，短期电力负荷的预测主要依靠电力部门相关人员的经验或者是统一的计划。但随着智能电网的不断发展以及国家电网的不断扩大，依靠单一的控制策略或者模糊的经验已经很难对电力负荷做出更为准确的预测。因此如何更有效地对电力负荷在复杂条件下进行预测和分析显得尤为重要。针对个人、个体经营、企业等不同的用电主体在不同环境下进行分类分析，在用电的高峰和低谷进行资源的合理配置，逐步使电网资产的利用率以及短期电力负荷预测的准确率得到进一步提高，将成为大数据时代和人工智能时代的客观要求。

电力负荷的预测受到时间、天气、经济、政治等各种复杂因素的影响，并且电力系统的负荷还呈现一定的周期性。由于电力负荷呈现出上述现象的随机性、时序性以及非线性等特点，这些特点给短期电力负荷的预测带来了较大的困难。随着大数据时代的到来，海量的数据为深度学习打下了基础。在电力负荷的预测经过长时间的研究发展后，目前国内主要用到的预测方法可以分为2类：一类是基于时间顺序性的经典预测方法，如聚类分析法[1]、线性回归法[2]、加权回归分析法[3]等；另一类是基于深度学习的现代负荷分析方法，灰色数学理论法[4]、人工神经网络分析法[5]和反向传播学习算法[6]等。文献[7]以改进的蚁群化学聚类算法，将高斯函数引入蚁群的化学算法中，实现对短期电力负荷预测的优化，提高了局部预测的准确性。文献[8]通过扩展的记忆粒子群优化技术和支持向量机的回归优化，对传统的SVR参数设置的低效性和盲目性进行了很好的改进，在预测方面表现出更高的稳定性。文献[9]建立了时间区间序列的向量自回归模型，能够精确地将时间定位于某个固定的区间当中，减少了数据的不稳定性，同时使数据结构变得更为简单，易于处理。这些传统的电力负荷预测方法能最大限度地发挥时序特点，但对于更复杂的非线性和多时空的数据缺乏自学习能力和有效的预测能力。文献[10]提出了基于蚁群算法的电力任务的调度算法，建立了新型的任务调度与资源配置的模型，很好地解决了等待延时与运行占用较大内存等问题，可为电力负荷预测和任务的调度做出更为准确的分析。文献[11]对Elman神经网络的反馈支路进行合理改进，简化了网络的结构，对分布式的电源建模和电力负荷预测提供了新的模型。文献[12]将门控循环系统和多元线性回归方法相结合，生成EEMD-GRU-MLR的预测模型，既考虑了时序性特点，同时对不同本征的模态函数加以区分，此方法对随机性数据预测的准确度大有提高。这些现代的电力负荷预测方法，不仅考虑了负荷数据的时序性和非线性等相关特点，还添加了自学习的功能，通过组合预测的方法，能够提高短期电力负荷的预测精度。

传统的针对时间序列的方法、聚类和回归等方法都存在不同程度的缺陷，回归分析的方程和参数难以寻找且难以满足所有要求，不具有普适性。时间序列的方法难以考虑空间分布多样性，无法将气候等影响因素融合进去，聚类的方法缺乏自学习的能力。而基于深度学习的神经网络和相关算法容易陷入局部最优解，无法最大化地发挥深度学习和海量数据的真正价值。因此，本文在此基础上提出基于卷积神经网络(CNN)与长短时记忆网络[13-17](LSTM)下融合注意力机制(Attention)的多元混合神经网络模型。其能够考虑时序和非线性的特点，在自学习的基础上，利用长短时记忆循环系统，以CNN的多层映射和较强的特征提取能力充分保证数据的有效性，引入Attention机制与Softmax层以最大化改进识别有效信息能力，进而切实提高短期电力负荷预测的精确度和准确性。

1 短期电力负荷预测的影响因素

短期电力负荷的预测是指通过对电力负荷的特点以及相关的影响因素，建立关联模型，对未来2周内的电力负荷进行较为准确的预测。短期的电力负荷具有复杂性、随机性、分散性和不确定性等特点。由于电能的物理特殊性，其必须是生产和使用同时进行，这更加大了对电力负荷预测的难度。电厂会在一定范围内进行限制，导致了其灵活程度不高，也造成了负荷预测更大的波动性。因此，在进行电力负荷预测时，很难找到完美契合的曲线去对应每一个数据。怎样应对电力负荷的产生与消除，是现在对电力负荷进行预测的主要问题。

短期的电力负荷预测还受到天气、季节、经济和市场等相关因素的影响。有些负荷的影响因素会在常规的具有较强规律的基础上，同时表现出局部的随机性。在这些因素中，可以将其主要分类为典型负荷因素、天气因素、复杂事件因素以及随机因素。典型负荷因素主要由不同时间段的负荷整体构成；天气因素主要指温度、湿度、风力、降水量等自然状态下的不可控影响；复杂事件因素主要指当地部门的政策、节假日期间的不同载荷、工厂部门以及工作和居民用电高峰期的系统故障等对电力负荷的影响；随机因素指电力本身的波动性及非线性的关联关系。

鉴于上述问题，本文提出一种基于多元神经网络融合的短期电力负荷预测模型。首先从短期电力负荷预测的相关文献中总结归纳电力负荷预测的特点，分析传统预测方法的局限性和不足；然后，针对实际电力负荷数据的特点，以CNN-LSTM-Attention混合神经网络为基础，通过实验，从抽取的均方根误差以及不同网络层的对比中，证实方法的可行性，为利用电力相关的时序数据进行负荷预测提供参考。

2 多元融合神经网络模型

2.1 预测模型

相较于传统的电力负荷预测，本文所构建的多元融合的神经网络模型能够实现不同数据特征的自学习与改进，从而有效避免对单个影响因素的依赖，能够对短期的电力负荷做出更为准确的决策。本文以不同时段的电力负荷作为分类的标准，利用卷积神经网络CNN对数据进行分类和预处理。将注意力机制Attention和长短时记忆网络LSTM进行深度融合，形成网络通路的混合模型，模型结构如图1所示。在该模型中，不同的神经元和层级之间会依据不同的权重提取相应的特征。将与电力负荷相关的数据特征，如温度、湿度、日期、电价等，通过卷积层作用将不同时序下的电力负荷数据转化为易表达的更短的特征序列。LSTM层用于进一步筛选更为有用的信息，对特征更为明显的数据进行记忆，反映电力负荷与不同影响因素之间的关联。将注意力机制引入LSTM层中，对每个从LSTM中输出的细胞向量施加大小不同的权重，从而大幅度提高对电力数据有效信息的识别能力。最后经过Softmax层分类分析，输出相应的结果，实现对短期的电力负荷进行预测[18-21]。

图1 多元融合神经网络模型结构

2.2 卷积神经网络模型

本文所搭建的多元融合的神经网络模型下的卷积神经网络层是一个局部连接和权值共享的前馈神经网络，主要由输入层、卷积层(Conv)、激励层(ReLU)、池化层(Pool)、全连接层(FC)和输出层组成。卷积神经网络主要用于对电力数据特征的提取，当电力数据的某个特征被输入后会传递到卷积层，经过卷积层的过滤后又会继续传递给下一层。在数据被多个激励层和池化层过滤筛选后，相关参数的数量会进一步减少，最后来自不同层的输入会在全连接层被平化，在损失函数的计算优化和不断地反向传播加权后输出结果。以“日期/温度/湿度/电价/负荷”等相关特征为例，在经过卷积层后，其数据被转化为相关维度的矩阵。在卷积层中，多个卷积核在输出矩阵上滑动，自动检测不同宽度视野下的电力数据效应特征mi。最后每个卷积核捕获的效应特征通过连接，得到卷积层的输出结果M，计算公式如下：

mi=σ(W·Ii:l+h-1+b)

(1)

M=[m1,m2,…,ml-h+1]

(2)

其中，mi表示卷积得到的电力数据的第i个效应特征，W为卷积神经网络隐藏层中的权重矩阵，Ii:l+h-1表示第i个输入矩阵块，l表示输入长度，h表示卷积神经网络中卷积核窗口的大小，σ为Sigmoid非线性激活函数，b为偏置项。多元融合神经网络下卷积神经网络层的基本结构如图2所示。本文设计的CNN主要由卷积核数目为32、64、128以及256的卷积层构成，卷积神经网络根据时间序列以内核大小的变化对词嵌入层特征进行提取。在第1层卷积层中读取输入的序列，并将结果投影到特征图上，第2层卷积层执行相同的操作，放大其显著特征。为充分考虑电力负荷数据每30分钟采集一次的特点，将卷积核大小设置为3×3，将池化层中池大小设置为3。每个卷积层使用64个特征图(filters=64)，并以3个时间步长的内核大小读取输入序列。最大池化层将采样成原来特征图尺寸的1/4来简化特征图。在得到通道数为256的三维向量数组后，再在扁平操作下将提取的特征图，也就是三维数组压缩展平为维度为1024的一维向量数组，将其用作解码过程的输入以实现词嵌入层中干球温度、湿球温度、露点温度及湿度的特征提取，应用于全局。

图2 卷积神经网络基本结构

2.3 长短时记忆循环神经网络模型

本文构建的混合神经网络层中的长短时记忆层主要由遗忘门(Forget Gate)、输入门(Input Gate)和输出门(Output Gate)组成。遗忘门主要是对电力数据中变化不大的数据特征进行选择性忘记，如在温度变化极微小的情况下会过滤掉那些骤然变大或变小的温度，使得神经网络在训练时更为可靠。输入门主要是对这个阶段的电力数据进行记忆，对出现较多或者加权分析后有更多记录的数据进行保留。输出门则是经过相关函数的处理和前面2道门的传递后，对当前阶段的电力状态数据特征进行输出。LSTM的神经网络模型结构如图3所示。

图3 LSTM神经网络模型

在长短时记忆神经网络模型中，最核心的便是细胞单元。最开始的电力数据的特征信息会经过遗忘门，由遗忘门读取Mt-1和Xt，进而给细胞状态Bt-1输出代表保留的数字1和代表舍弃的数字0。再经由输入门层和tanh门层进行状态向量的更新。通过前序步骤，继续对细胞的时间状态进行替换，最后在Sigmoid函数的筛选下和tanh门层的相互作用下输出确定需要的部分。其运算的具体公式如下：

ft=σ(Wf·[Mt-1,Xt]+bf)

(3)

it=σ(Wi·[Mt-1,Xt]+bi)

(4)

(5)

(6)

ot=σ(Wo·[Mt-1,Xt]+bo)

(7)

Bt=ot·tanh(Bt)

(8)

2.4 注意力机制

本文所搭建的注意力机制层[22]将电力数据权重的分布从不同的特征学习中提取出来加以运用。注意力机制层不是将所有的注意力集中于信息编码为固定长度的向量上，而是把输入的电力负荷相关数据的时序性序列作为神经网络的参考对象，结合LSTM，使得神经网络从长短时记忆中自发地选择去检索。注意力机制层不仅仅是对单个离散的电力数据位置进行赋值，而是对所有的长短时记忆机制里的每一个位置里的数据进行加权。将注意力机制添加到记忆机制当中，会使得记忆的循环筛选变得更为灵活可靠，也有助于人们在进行神经网络训练时，能够用反向传播代替梯度的计算，实现神经网络的首尾相连。注意力机制运行机理如图4所示。

图4 注意力机制运行机理

Attention层根据不同特征进行注意力的操作，对下一个时间步长上的向量添加上一层中学习到的特征权重，突出电力数据中温度及湿度几个关键特征对负荷预测所产生的影响。

针对短期电力负荷预测的不稳定，基于上述的模型，形成了多元神经网络的架构。将注意力机制、卷积神经网络、长短时记忆神经网络进行多元神经网络融合后的深度学习算法能够考虑短期电力负荷固有的不稳定因素，同时也能考虑其时序和非线性的特点，能够以CNN的多层映射和较强的特征提取能力充分保证数据的有效性。长短时记忆网络和注意力机制可以最大化改进识别有效信息的能力，进而切实提高短期电力负荷预测的精确度和准确性。

3 典型算例分析

3.1 数据集介绍及误差指标

本文采用澳大利亚地区2006—2010年的80000多条电力数据进行分析，数据主要包括行数、日期、小时、干球温度、露点温度、湿球温度、湿度、电价和电力负荷等特征。在进行数据采集时，每隔半个小时进行记录。本文根据其时序性特点，通过上述罗列的干球温度等4项特征对最后的电力负荷进行建模预测。

为了便于多元融合的神经网络模型的训练，采用最大与最小的归一化方法将原始数据进行归一化处理，使其在(-1,1)之间，计算公式为：

(9)

其中，q为原始数据，qn是归一化处理后的数据，xmean、xmax、xmin分别是对样本数据进行训练时产生的平均值、最大值与最小值。

同时为了对模型的预测精度进行评估，本文选取均方根误差RMSE作为评价标准，均方根误差[23]的表达式为：

(10)

3.2 实验平台搭建及参数设置

本文实验采用Windows 7系统，以GTX850为独立显卡，采用基于PC端的硬件基础，搭配TensorFlow 1.14版本和Python 3.6的运行环境，将TensorFlow框架下的Keras作为神经网络融合的引擎，通过GPU来提高算法的运行效率。相比于CPU, GPU更适合进行重复的运算分析，可以有效提高预测的精度并在一定程度上解决神经网络相关的滞后性问题。

在进行神经网络结构定义时，本文将训练过程中的时间步长设置为20，长短时神经网络记忆层的节点数设置为128，将batchsize调试为72的时候损失函数比较稳定。以Adam为优化算法，通过在不同维度上添加注意力机制，达到对不同重要性的维度权值不同的利用，实现更为精准的预测。具体相关设置如表1所示。

表1 实验参数设置

3.3 实验结果分析评估

在实验时，首先对不同的特征进行绘图，直观表现出其曲线特征，如图5所示。为了提高模型的训练效率，本文选择利用第1年的数据进行训练，利用剩下来的3年的数据进行测试。CNN-LSTM(Attention)多元神经网络融合模型对数据的训练和测试的拟合效果如图6所示。整体的均方根误差为0.020。

图5 特征图

图6 测试与训练拟合图

为更好地说明所提出的融合多层神经网络的模型预测效果，将本文与单独的CNN神经网络、LSTM神经网络和CNN-LSTM神经网络的预测进行对比，选取48条真实数据和不同模型预测值进行预测结果比对。图7为真实值和不同模型预测结果对比图。表2为不同模型的均方根误差值表。

图7 不同模型预测结果对比图

表2 不同模型均方根误差值

从图7可以看出，本文提出的CNN-LSTM(Attention)预测模型的平缓程度和拟合效果与真实值最为接近，在负荷变化的波动性上预测结果也较为显著。结合表2的均方根误差，更直观地反应本文提出的模型预测精度都较其他模型更高，表明本文方法具有更优的预测性能。

4 结束语

本文考虑了对电力负荷影响的多重因素，对影响电力负荷预测的多维特征划分为训练集和测试集，以此验证本文模型所预测的精度和准确率。在卷积神经网络提取特征的基础上，利用长短时记忆网络在处理时序性问题时的天然优势，配合注意力机制的优化建立多元融合的混合神经网络模型。经过算例的分析评估，所提出的模型较CNN、LSTM和CNN-LSTM，预测性能均有所提高，充分验证了本文的模型在对短期电力负荷预测的问题上具有较高的可行性和准确性。