基于SSA-Bi-LSTM神经网络的母线负荷预测方法

胡如乐，陈逸枞，张大海，张沛，王舒杨，喻芸

(1.南方电网数字电网研究院有限公司, 广东 广州 510663；2.北京交通大学 电气工程学院，北京 100044；3.天津弘源慧能科技有限公司，天津 300010)

母线负荷是指在一个较小的区域中，由变电站的主变压器供给的综合负荷。母线负荷基数小，而且可能直接汇聚不同种类和特性的负荷，如光伏、新能源电动汽车等。母线负荷预测不仅影响发电计划的制订，也是电力市场进行出清和形成实时电价的重要依据，因此提升母线负荷预测的精度具有十分重要的意义。

母线负荷预测的方法主要包括基于系统负荷配比的预测方法和基于母线负荷自身变化规律的预测方法。基于系统负荷配比的预测方法是根据节点负荷的权值，按比例将上级系统负荷预测值分配到各母线上；但由于母线负荷易突变，以及量测装置的逐渐完善，这种方法已经逐渐被淘汰。基于母线负荷自身变化规律的预测方法包括数理统计方法和人工智能的方法，其本质是通过学习历史的负荷数据[1]以及相关因素之间的规律，来拟合预测模型的参数，最终实现负荷变化趋势的预测。

典型的数理统计方法包括基于相似日的线性外推[2]、曲线外推[3]方法等，但统计方法在目前海量数据背景下难以处理非线性的时序序列预测任务。人工智能方法包括基于浅层学习的支持向量机(support vector regression，SVR)[4]、随机森林[5]以及人工神经网络[6]等方法；文献[7]采用最小二乘SVR对经过集合经验模态分解的数据进行拟合。基于深层学习的方法包括循环神经网络、卷积神经网络(convolutional neural network，CNN)和深度置信网络[8]等；文献[9]基于相空间重构将母线负荷历史数据投影到相空间中的动点轨迹，将该结果输入到深度置信网络中，获得母线负荷的预测值。相空间重构与负荷分解的效果类似；文献[10]采用经验模态分解进行负荷分解，然后利用堆栈式长短期记忆(long short term memory，LSTM)神经网络模型捕捉分解后数据的时序关系。一些文献对深层学习的不同神经网络组合预测进行了研究；文献[11]通过CNN和LSTM神经网络线性堆叠方式进行组合预测，滑窗后生成特征图，利用CNN提取其特征，利用LSTM神经网络将生成的特征向量作为输入量进行预测；文献[12]应用CNN和门控循环神经网络进行组合预测。

以上基于人工智能的方法都存在超参数选取的问题，超参数的确定方法分为手动寻优和自动寻优。若对于神经网络参数的选择问题均采用手动寻优的方法，依赖经验选取结果，耗费时间长并且不一定为最优超参数组合。自动寻优方法包括网格搜索、随机搜索和智能算法等。文献[13]采用网格搜索方法对随机森林中的决策树数量和候选分裂属性数进行优化，但网格搜索成本太高，单次训练的代价太大。随机搜索与网格搜索类似，其方法本质上都是对所有可能的结果进行穷举，相较于网格搜索成本略低，但随着寻优超参数数量和取值范围的增加，搜索空间呈指数型增长。文献[14]采用贝叶斯优化方法对XGBoost模型超参数进行优化，贝叶斯优化方法是考虑之前的参数信息，迭代更新先验计算结果，但不适合离散和高维空间，存在算法不容易并行化等问题，一旦超参数数量维度增加，贝叶斯优化方法求解就十分困难。在母线负荷预测问题逐渐高维非线性化的形式下，目前没有一种寻优算法能适用于所有问题，所以新型智能优化算法的研究是十分必要的。文献[15]提出了基于XGBoost和Stacking融合的母线负荷组合预测模型，并使用粒子群优化(particle swarm optimization，PSO)算法对参数进行优化，文献[16]采用改进果蝇优化算法和广义回归神经网络进行组合预测，但这2种算法均存在收敛速度慢和容易陷入局部最优解的问题。

基于现有研究基础，针对母线负荷的波动性大和不确定性强的问题，本文提出一种基于麻雀搜索算法(sparrow search algorithm，SSA)优化的双向长短时记忆(Bi-directional LSTM，Bi-LSTM)神经网络的母线负荷预测方法。该方法充分利用Bi-LSTM神经网络捕获先验知识信息的能力，然后利用SSA进行优化。最后，以实际10 kV母线数据对SSA-Bi-LSTM神经网络模型进行验证，并与Bi-LSTM神经网络和BP神经网络对比，验证SSA-Bi-LSTM的预测效果。

1 LSTM神经网络模型

LSTM神经网络是循环神经网络的变体网络，处理时间序列的长程依赖问题有很好的效果，被普遍应用于时间序列的预测中，可以解决训练过程中产生的梯度爆炸和消失问题，实现对负荷本身时序特性、影响因素与负荷之间复杂关系的建模，预测准确性和稳定性较高。

1.1 LSTM神经网络

LSTM神经网络单元结构如图1所示。输入门、输出门和遗忘门组成1个单向LSTM单元，有3个输入数据：上一时刻(t-1)的单元输出ht-1、上一时刻的单元状态Ct-1，以及本时刻(t)的输入xt。遗忘门根据ht-1和xt选择性地提取记忆单元中的信息，其数学表达式为

图1 LSTM神经网络单元结构

ft=σ(W[ht-1,xt])+b.

(1)

式中：ft为遗忘门的输出函数；σ(·)为激活函数,此处选用sigmoid函数；W和b分别为遗忘门权重、偏置；[ ]表示将2个向量进行拼接。

输入门是针对保存到状态单元里的信息计算，根据ht-1和xt向记忆单元中新增信息，其数学表达式为

it=σ(Wi[ht-1,xt])+bi,

(2)

(3)

记忆单元更新后的输出

(4)

输出门的数学表达式为：

ot=σ(Wo[ht-1,xt])+bo,

(5)

ht=ot·tanhCt.

(6)

式中：ot为输出门的输出函数；Wo、bo分别为输出门权重、偏置。

1.2 Bi-LSTM神经网络

单向LSTM神经网络可以利用过去的数据信息解决长程依赖的问题，而Bi-LSTM神经网络的输出与前后数据元素均有联系，充分利用数据信息的交互[17]，反复利用权重参数，降低了对母线原始负荷数据的要求。Bi-LSTM神经网络单元结构如图2所示，与LSTM结构不同的是增加了数据的反向传播层，相当于前向LSTM和反向LSTM的组合，并且都连接输入层和输出层。输出值为前向、反向数据的加权组合。一维序列的母线负荷数据以及天气数据作为x序列输入。图2中，Wf、Wb分别为前向层和反向层的权重，ω1—ω8为Bi-LSTM神经网络每个时刻被重复利用的8个权重值。

图2 Bi-LSTM神经网络单元结构

需要注意的是，双向的计算方式是隐藏层先储存前向层0到t时刻的输出，再结合反向层t到0时刻的反向计算值，最终的输出是二者的加权组合。具体计算过程如下：

(7)

(8)

(9)

2 Bi-LSTM神经网络模型的优化及预测

2.1 SSA原理

SSA[18]是一种群体智能优化算法，于2020年提出，与蚁群算法、PSO算法和人工蜂群算法等群体智能优化算法相似，其核心思想都是模拟群体动物的行为。SSA求解流程如图3所示。

图3 SSA求解流程

SSA将麻雀的群体行为分为发现者、加入者、侦察者，分别模拟麻雀的觅食行为和反捕食行为。三者的具体行为导则如下：

步骤1：在SSA中，发现者作为适应度值高的麻雀在搜索过程中会优先获取食物，拥有更大的觅食搜索范围。加入者会向发现者靠拢，寻找觅食方向。

步骤2：在觅食过程中，围绕在发现者周围进行觅食的加入者会与发现者争夺食物，以提高自己的捕食率，从而转化为发现者，而饥饿的加入者会到其他地方觅食，寻找更好的发现者。

预先随机设定预警值和预警阈值，当预警值超过上限，代表麻雀种群意识到捕食者的危险，会及时发出警报信号，种群进行反捕食行为,即位置移动，处于种群外围的麻雀和处于种群中心的麻雀都会进行位置移动，种群外围的麻雀会不断调整以获得更好位置，种群中心的麻雀会向邻近麻雀靠拢。

发现者位置转移更新公式为：

(10)

加入者位置转移更新公式为：

(11)

侦察者位置转移更新公式为：

(12)

当mi>mg时，位置在种群边缘的麻雀比较危险，面临捕食者的威胁较大；当mi=mg时，位置在种群中间的麻雀收到警报，需要与邻近麻雀抱团以减少风险。

2.2 SSA优化Bi-LSTM神经网络

Bi-LSTM神经网络虽然在LSTM神经网络的基础上提高了信息提取的能力，但在训练时仍存在超参数难以确定的问题。文献[19]通过基准函数测试表明，SSA在稳定性、确定全局最优解和避免局部最小值等各个方面都优于PSO[20]、遗传、灰狼、鲸鱼和蜻蜓等其他智能优化算法。

为了提高模型的性能和精确度，解决Bi-LSTM神经网络超参数难以确定的问题，首先对母线负荷数据进行异常值检测，辨识不良数据并进行处理[21-22]，包括缺失值填充和异常值处理等。其次在数据预处理后利用SSA局部搜索能力强、收敛速度快的特点进行超参数寻优，随机初始化麻雀种群位置，设置生产者比例和寻优维度，设置不同预警值时发现者的位置更新方式并计算适应度值，设置不同适应度值的跟随者位置更新方式，得到最终位置即为最优解。通过SSA优化得到网络的最优学习率、前向和反向隐含层神经元数目和迭代次数，最后利用优化得到的超参数对Bi-LSTM神经网络进行训练，通过设置好的神经元数目进行前向和后向迭代学习，并进行测试集测试和误差计算。SSA-Bi-LSTM神经网络模型预测流程如图4所示。

图4 SSA-Bi-LSTM神经网络模型预测流程

3 算例分析

本文采用i7-7700HQ处理器，运用python语言进行编写，采用Tensorflow作为框架，pycharm作为编译器。为验证SSA优化模型的有效性，采用华北某地区的母线负荷数据进行验证，选取2018年1—12月的负荷数据，采样时间间隔为15 min，每日96个采样点，共计35 136个数据样本。将前10个月的样本划分为训练集，后2个月作为测试集，对于模型进行评估。对于划分好的训练与测试集，采用滑动窗口的方式进行预测，根据窗口长度w对输入数据进行滑动处理，即前w个采样数据作为特征，第w+1个采样数据作为标签，将w个特征作为模型的输入，得到下个时间点的预测值，然后滑动窗口，将预测值作为新特征进行预测。同时考虑温度、湿度和降雨量这3类对母线负荷影响最大的天气因素，将这些影响因素与负荷数据一同作为模型的输入。为了消除量纲影响，在数据预处理中用sklearn进行MinMaxScaler归一化，将数据压缩至0～1区间。

本文将预测值与真实值的均方误差(mean-square error，MSE)作为SSA的适应度值，图5和图6为SSA和PSO算法的适应度值曲线。

图5 SSA适应度值曲线

图6 PSO算法适应度值曲线

由图6可见SSA的适应度值在10-5量级，最优适应度值能达到1.958 5×10-5，收敛精度更高，说明SSA优化得到的超参数组合更加合理，并且达到最小适应度值的迭代次数更少。将SSA得到的最优超参数在Bi-LSTM神经网络模型中进行训练，训练中采用MSE指标作为损失函数，采用Adam优化器进行优化。最优超参数见表1。

表1 最优超参数

采用时间窗口滑动的预测策略，将窗口长度设置为96，对12月29、30日共192个预测点的预测结果进行展示，将12月28日的96个采样数据点作为特征输入模型中，得到12月29日第1个采样数据点的预测值，然后继续滑动时间窗口，依次预测出12月29、30日所有数据点的预测值。在Tensorflow环境下对本文提出模型进行验证，并将实验结果与其他模型进行对比，各神经网络预测对比结果如图7至图10所示。

图7 BP神经网络模型预测曲线

图8 LSTM神经网络模型预测曲线

图9 Bi-LSTM神经网络模型预测曲线

图10 SSA-Bi-LSTM神经网络模型预测曲线

可以看出，这几种神经网络模型均能对母线负荷的趋势进行预测，但BP神经网络存在一些峰谷期间误差较大的现象，SSA-Bi-LSTM神经网络模型的拟合准确度较高。

采用PSO算法对Bi-LSTM神经网络的相同超参数进行优化，PSO-Bi-LSTM神经网络模型结果曲线如图11所示。

图11 PSO-Bi-LSTM神经网络模型预测曲线

本文采用平均绝对百分误差(mean absolute percentage error，MAPE)和均方根误差(root mean square error，RMSE)作为模型精度的评价指标，计算公式为：

(13)

(14)

式中：eMAPE、eRMSE分别为MAPE、RMSE的值；v为预测点个数；aq为第q个预测点的电力负荷预测值；bq为第q个预测点的电力负荷真实值。MAPE和RMSE的值越小代表模型的预测精度越高。各模型预测结果误差见表2。

表2 各模型预测误差

由表2可以看出：本文所提出的SSA-Bi-LSTM神经网络模型预测结果的MAPE指标下降至0.78%，RMSE指标下降至48.293 kW，这主要是由于SSA-Bi-LSTM神经网络模型对母线负荷规律的捕捉能力更强；PSO-Bi-LSTM神经网络模型对于母线峰谷负荷的预测存在较大的误差，原因是PSO算法存在陷入局部最优解的问题，优化Bi-LSTM神经网络所得到的超参数不是最优超参数的组合，存在一定偏差。SSA-Bi-LSTM神经网络模型与其他模型相比预测精度最高，预测值更加平稳，贴近真实负荷曲线，各神经网络模型预测曲线与真实负荷曲线对比如图12所示。

图12 各神经网络模型预测曲线与真实负荷曲线对比

4 结论

本文提出基于SSA-Bi-LSTM神经网络的母线负荷预测方法，针对母线负荷波动性大难以预测和神经网络超参数难以确定的问题，采用Bi-LSTM神经网络模型对母线负荷数据进行信息提取，增加信息资源的先验知识收集，再利用SSA对Bi-LSTM神经网络进行优化，使用母线负荷样本进行训练；以实际10 kV母线负荷数据对文中方法进行实例验证，并将实验结果与Bi-LSTM神经网络、传统LSTM神经网络和BP神经网络等进行对比，得到以下结论：

a)相较于其他神经网络模型，本文针对母线负荷预测的特点，通过引入Bi-LSTM神经网络，更好地提取母线负荷序列信息，从而提升了预测精度。

b)SSA考虑了群体行为多种可能因素，能快速在最优解附近收敛，有效跳出局部最优，全局搜索能力强，寻优精度更高，适用于高维复杂场景的寻优，利用SSA寻优可以得到最优学习率、隐含层神经元数目和迭代次数等。多次实验结果表明SSA具有良好的鲁棒性，可以有效提高母线负荷预测准确率。

下一步研究工作考虑加入更多超参数并利用SSA进行优化，在母线负荷预测问题上针对性地对算法进行改进，与更多神经网络模型进行结合。