基于CNN-BiLSTM-Attention的超短期电力负荷预测

宋珊珊，潘文林，王嘉梅，梁志茂

(云南民族大学 电气信息工程学院，云南 昆明 650500)

为了确保电网运行过程中的安全性、高效性、经济性和稳定性，需要电力调控部门制定有效的能源发电规划和资源调度配置方案，同时也需要电力市场部制定合理的供电计划和电能调度方案，而准确的电力负荷预测是保证电力系统高效运营的必要前提[1].电力负荷预测分为超短期电力负荷预测，短期电力负荷预测，中期电力负荷预测以及长期电力负荷预测，其中，超短期负荷预测是指，通过电力负荷预测模型，对未来的 1 h 之内的负荷进行预测的行为.超短期电力负荷预测有随机性大，不易预测规律难以掌握的特点，但同时具有重要价值，被国内外学者的研究.

对于电力负荷预测的研究，国外很早就开始了这项工作.其中，神经网络在20世纪80年代就问世了，在后续的电力负荷预测研究中，神经网络凭借其优越性，在今天对于电力负荷的研究中，也占据重要的地位[2].相较于国外的研究，国内学者对于电力负荷预测的研究探索相对较晚，但近些年来，国内很多专家学制，以及高校，了解到其重要性，纷纷投入到对电力负荷的预测精度的探索中，设计了各种预测模型，并使得预测精度一定程度上得到了提升.目前，国内外学者对负荷预测的进行了很多研究.文献[3]提出一种基于电力负荷历史数据挖掘的负荷预测算法.该算法基于粗糙集理论构建了一种组合式神经网络,文献[4]提出基于 LSTM 网络的滚动预测模型.文献[5]为了提高光伏出力短期预测精度，提出了一种考虑空间相关性采用长短期记忆(long short-term memory, LSTM)神经网络的预测方法.文献[6]提出了一种新型热气候指数-最大信息系数与振幅压缩灰色模型的用户侧微电网短期负荷预测方法.

1 相关理论介绍

1.1 卷积神经网络

卷积神经网络(convolution neural network)，通常情况下简称为CNN，属于深度学习中的一种重要算法，模拟人类的视觉处理流程，可以高效的提取特征，通常情况下，CNN包括卷积层，池化层(通常是最大池化层)，全连接层，其中，卷积神经网络中对于特征的高效提取是通过卷积层的卷积计算来实现的，它也是卷积神经网络的核心层，是卷积神经网络的重要部分[7].文中主要运用卷积层对电力负荷相关数据进行特征提取.

1.2 循环神经网络

循环神经网络(recurrent neural network)，通常情况下简称为RNN.与卷积神经网络CNN一样，也是神经网络模型中在学术界备受欢迎的模型之一.然而，与卷积神经网络用来高效提取特征用法不同，循环神经网络RNN通常被用来处理时序问题，是一种用于处理时间序列数据的神经网络[8].在循环神经网络中，相邻隐藏层之间相连接，后一层神经元的输出与前一层神经元的输出存在关系，RNN神经网络将前一时刻的输出选择性保留并参与到当下时刻的运算中，循环神经网络的也正是因为这种特征性使得它可以成功的运用到序列式问题当中.RNN结构图如图1所示.

图1 RNN结构图

1.3 长短期记忆神经网络

长短期记忆神经网络(long term and short term memory neural network)，通常情况下简称为LSTM.LSTM最早是由 Hochreiter 和 Schmidhuber 提出的，它本质上也是一种循环神经网络，基于RNN存在的缺陷，它是专门为解决长期依赖时间的问题而设计的，在很多问题，比如在语音识别、图片描述、自然语言处理等，LSTM 都取得相当巨大的成就，并得到了广泛的使用[9].

LSTM的实质也是一个循环神经网络，在与RNN对比下，其优势是可以解决RNN中存在的梯度消失问题，可以解决有较长时间依赖的时间序列问题，是对RNN的一个改进与升级，其结构图如图2所示.

图2 LSTM结构图

1.4 双向长短期记忆神经网络

LSTM只能依赖过去时刻的序列信息来预测下一时刻的输出，但是在很多问题中，当前时刻的输出不仅与过去时刻状态信息相关，还与未来时刻的状态信息有关系[10].而BiLSTM解决了这个问题,其在结构上通过2个LSTM相连接，实现结合过去和未来的信息实现对当前时刻的预测，以期对当前时刻的预测精确度得到有效提升.

通过上文介绍知道，RNN神经网络由于其结构可以参与时序问题的处理与解决，但这种方法通常情况下只考虑过去时刻对当下的影响，而忽略了未来时刻与当下存在的关系.基于这一想法，我们考虑在构建的模型中加入一个环节，即通过将未来时刻信息加入进来，与过去时刻共同参与T时刻的预测，并通过实验，验证其是否对预测精度的提高有帮助.其模型结构如图3所示.

图3 BiLSTM模型结构

1.5 注意力机制

注意力机制起源于对人体视觉的研究.人体视觉在对信息进行处理时，对信息的接受通常是有选择性的，而注意力机制模仿了人体视觉对信息处理的部分，在对信息处理中，选择性的对重要信息进行采集，而对于不重要信息选择丢弃.注意力机制可以通过概率分配的手段，使得神经网络具备专注某些特征的能力[11]，同时解决LSTM中序列过长导致的信息丢失问题.因此，将注意力机制引入神经网络中有可能能将预测精度进一步提升.

2 基于CNN-Bilstm-Attention的超短期电力负荷预测

2.1 影响因素的选取

对电力负荷的预测，通常需要考虑一些影响因素，即在负荷预测中，需要选择一些影响预测的因素.根据经验以及相关的文献阅读，选择温度、湿度以及气压作为有可能造成影响的影响因素，并使用皮尔逊相关系数公式(1)进行科学合理的分析判断，实现了影响因素的科学选择，并完成相应的分析以及数据搜集，并纳入样本数据中.

(1)

经过皮尔逊相关系数公式，得到温度与电力负荷的相关系数为0.7，湿度与电力负荷的相关系数为0.31，气压与电力负荷的相关系数为-0.32，对于皮尔逊相关系数r而言，当0≤|r|≤0.3时，表示2位数据相关程度为低度相关，当0.3≤|r|≤0.8时，表示2位数据相关程度为中度相关，当0.8≤|r|≤1时，表示2位数据相关程度为高度相关.因此，温度与用电负荷呈高度相关，气压与湿度与电力负荷呈中度相关.对三维数据与电力负荷真实数据绘制热力图，如图4～图6所示.

图4 温度与用电负荷相关系数热力图 图5 相对湿度与用电负荷相关系数热力图 图6 气压与用电负荷相关系数热力图

因此，选取温度、气压、湿度作为特征向量具有合理性.

2.2 数据预处理

笔者根据经验以及大量文献阅读，对数据进行分析，选择了温度，大气压强以及相对湿度作为特征向量[12].通过百度以及学术网站，气象网站搜集到每个采样点对应的特征向量，将其与电力负荷数据一一对应，进行整合放入数据集中，其部分数据如表1所示.完整数据集共 35 041 行，5列.

表1 训练数据集

在超短期负荷预测中，其输入数据通常包含不同类型的数据，表示对预测结果有所影响的不同的特征向量，比如文中的温度，大气压强，相对湿度，以及电力负荷数据，温度单位为摄氏度，范围通常在-10到40之间，而电力负荷单位为MW，且值通常在 3 000 到 7 000 间浮动，为了避免因量纲不同而导致的影响度不同问题，需要将各个维度的特征向量先进行归一化，以获得同一量纲的不同维度的特征向量.以保证数值范围大的数据不会淹没数值范围小的数据.

通过归一化，对数据集进行标准化处理，即将不同量纲的数据变换为统一范围内的数据集，通常情况下，归一化后数据范围在[0，1]以及[-1，1]之间.本课题中，我们将数据统一归一化到[0，1]范围内.其计算公式如式(2)所示.

yi=(xi-xmin)/(xmax-xmin).

(2)

其中，xi为特征向量中每个值，xmin为该特征中最小的值，xmax为该特征向量中最大的值.yi为经过处理后的数据.

2.3 训练模型

文中CNN-BiLSTM-Attention神经网络结构为输入层，连接卷积层，通过部分链接BiLSTM层，通过部分链接到Attention层，通过一个Flatten层连接一个全连接层输出.其神经网络结构图如图7所示.

图7 CNN-BiLSTM-Attention神经网络结构

使用Python3.7.6版本，在Keras 2.0.2框架下，将处理好的数据送到构建好的模型中进行训练，文中定性周期epoch设置为10，batchsize设置为64.经过10轮训练.得到一个训练好的模型.

测试集数据通常为总数据集的20%，本课题中选择末端的5 000条数据经过归一化处理作为测试集.喂到训练好的模型中，进行预测.为了降低由于数值过大以及由于不同量纲的特征对预测造成的影响，整个训练过程使用的都是经过归一化的数据，因此，需要将预测结果进行反归一化，得到所需要的预测值，反归一化公式(3)为：

li=Li*(lmax-lmin)+lmin.

(3)

其中,Li为模型输出的预测结果，lmax,lmin分别为样本数据中的最高和最低负荷，li为负荷预测的最终数值.

本文中定性周期epoch设置为10，batchsize设置为64,激活函数为relu.

为了突出该模型的优势，构建CNN-LSTM神经网络，CNN-BiLSTM神经网络预测模型，并将同样的数据对其进行训练，并将最后不同模型对同样数据训练，预测后的结果进行对比.其神经网络结构分别如图8、9所示.

图8 CNN-LSTM神经网络结构图

图9 CNN-BiLSTM神经网络结构图

3 实验结果与分析

通过将处理好的数据集中前 30 000 数据送到搭建好的3个神经网络模型中进行训练，然后调用训练好的神经网络模型，选取数据集中末 5 000 个数据进行验证.

通过对神经网络模型的训练，将验证集输入模型进行预测，得到预测结果如下：

1)CNN-LSTM神经网络模型预测结果(如图10所示).

图10 CNN-LSTM模型预测结果

2)CNN-BiLSTM神经网络模型预测结果(如图11所示).

图11 CNN-BiLSTM模型预测结果

3)CNN-BiLSTM-Attention神经网络模型预测结果(如图12所示).

图12 CNN-BiLSTM-Attention模型预测结果

图13所示为在3种不同的模型下，其预测值与真实值的对比曲线.

图13 预测值与真实值对比曲线图

从几种神经网络模型预测结果，很容易可以得到，在预测精度上，CNN-BiLSTM-Attention神经网络模型平均绝对百分比误差MAPE为1.28%，相比较CNN-BiLSTM模型神经网络模型的1.32%，CNN-LSTM模型的1.44%具有更高的预测精确度.

以平均绝对百分比误差MAPE作为主要模型评判指标，其他的的模型评判指标平均绝对误差(MAE)，均方误差(MSE)以及均方根误差(RMSE)对比如表2所示：

表2 模型评价指标对比

同时CNN-BiLSTM-Attention神经网络预测模型在各个预测精度评价指标都表现得更为出色.因此，在超短期电力负荷预测上精度上有进一步提高，存在一定的价值.

4 结语

近年来,国内电力生产运行部门,尤其是自动发电控制(AGC)的运行和实现动态经济调度都对超短期负荷预测,即预测未来几分钟至 1 h 的负荷数据产生迫切的要求.从长远来看,它也是电力市场的所需信息[13].可见,研究和开发超短期负荷预报具有重要意义和实用价值.

提出了一种CNN-BiLSTM-Attention神经网络预测模型，在选取合适的特征向量，并对实验数据进行科学的预处理前提下，通过实验对模型进行训练，并通过训练好的模型进行预测，结果显示，预测值与真实值的平均绝对百分比误差达到1.28%.与此同时，同样的数据量下，其相对于CNN-BiLSTM，CNN-LSTM模型的预测精度也更加精确，具有可行性.