基于CNN-LSTM分位数回归的母线负荷日前区间预测

唐戈， 余一平， 秦川， 鞠平

(河海大学能源与电气学院，江苏 南京 211100)

0 引言

准确的母线负荷预测对电网的安全稳定运行具有重要意义。相较于系统负荷，母线负荷量级低，各母线的负荷成分也不同，不确定性更明显，因此预测难度更大[1]。

母线负荷的传统日前预测大多采用点预测方法[2—3]，其预测结果为确定的预测点值，无法提供预测的不确定性信息。点预测方法对于趋势相近且波动性较弱的母线负荷，例如商业居民类负荷的日前预测可达到较高的精度。但如母线负荷成分中包含一定比例波动性强的工业负荷，点预测结果可能难以满足精度需求。区间预测方法可以提供某一置信区间下未来时刻负荷功率的波动范围(上、下限)，对于波动性较强的母线负荷预测更具有实用性[4]。

国内外学者已提出多种区间预测的方法，常见的方法如基于误差统计的区间预测[5]、基于人工智能等方法的直接区间预测[6—7]和概率密度预测[8—9]等。文献[5]计及负荷的不确定性，将点预测值与预测误差值进行叠加获得预测区间的上、下限，该方法对预测模型的点预测精度要求较高。文献[6—7]利用神经网络建立区间预测模型，并将区间覆盖率、区间宽度等多个评价指标的综合函数作为目标，优化网络参数。但在构造目标函数的过程中，各项指标之间权重及参数的设置尚无统一方法。文献[8—9]采用将机器学习或深度学习与分位数回归相结合的方法获得不同分位点的概率密度预测结果，从而得到给定置信区间下预测负荷的变化区间。

文中针对具有较强波动性的母线负荷，提出了一种基于卷积神经网络(convolutional neural net work,CNN)与长短期记忆网络分位数回归(quantile regression long short-term memory，QRLSTM)组合的日前负荷区间预测模型。采用基于时间分布层(time distributed layer,TDL)封装的一维CNN对输入的历史负荷特征进行提取和压缩，建立基于注意力(attention)机制的QRLSTM模型进行特征学习，从而获得给定置信区间内的负荷变化区间，并从区间覆盖率、区间宽度等方面对区间预测的效果进行评估以验证文中方法的有效性。

1 母线负荷日前区间预测原理与步骤

1.1 母线负荷日前区间预测原理

文中采用分位数回归方法进行区间预测，其误差指标一般采用pinball损失函数，可表示为[10—11]：

(1)

1.2 母线负荷日前区间预测步骤

母线负荷日前区间预测步骤如图1所示。

图1 负荷区间预测流程Fig.1 Flow chart of day ahead load interval forecasting

由图1可知，预测首先进行降噪处理，其次进行特征选择，然后进行特征提取，最后进行分位点预测。由于第2步基于文献[12]所述方法进行特征选择，确定模型输入的历史特征为待预测时刻前2天的历史负荷，不做详细介绍。文中将重点介绍降噪处理、特征提取、分位点预测3个步骤的具体方法。

2 母线负荷日前区间预测方法

2.1 基于去噪自编码器的负荷数据降噪方法

对于含工业类负荷的母线，其日负荷曲线中往往包含一些“毛刺”类高频波动，会增加模型的学习负担，影响负荷预测的精度。因此，文中采用去噪自编码器(denoising auto-encoder，DAE)进行数据平滑处理。DAE是自编码器(auto-encoder，AE)的一种变体，其在AE的基础上引入了噪声(通常使用高斯噪声)，模型的鲁棒性更强。AE由编码器和解码器两部分组成。编码器可将原始输入数据编码转换成另一种表示，该表示蕴含了输入数据的信息。而解码器则是对该表示进行解码。DAE使用添加了噪声的数据进行编码和解码，并通过最小化网络输出与原始数据间的损失函数进行训练[13]。文中采用的DAE的结构如下。

(1) 编码器：由1个一维卷积层和1个最大池化层构成。

(2) 解码器：通过在2个一维卷积层之间添加1个一维上采样层来构成。

文中在DAE的输入端叠加高斯噪声，并使得其在训练过程中设法去除引入的噪声。训练数据以一天96点负荷为单位，训练目标为最小化重构误差，误差的损失函数取均方误差(mean squared er ror,MSE)。

2.2 基于TDL封装一维CNN网络的特征提取方法

文中采用了基于TDL封装的一维CNN网络来进行特征提取。CNN简化结构主要包括输入层、卷积层和池化层等。

卷积层将输入的一维历史负荷数据先与一维卷积核进行卷积运算，再使用激活函数对经卷积运算后的数据进行非线性化处理，可表示为[14—15]：

C=fr(X⊗W+b1)

(2)

fr(z)=max(z,0)

(3)

式中：X=[x1x2…xn]T为长度为n的历史负荷数据；W为权重矩阵；b1为偏置；C为卷积层的输出；fr(z)为激活函数，文中采用的激活函数为Relu函数。

池化层的主要作用是能在保持特征不变性的前提下去除一些冗余信息，把重要的特征抽取出来，即特征的再提取，同时实现数据降维。目前常见的池化方法分为均值池化、最大池化等，由于均值池化性能不如最大池化而更少被使用[16—17]。文中选择的是最大池化，可表示为：

S=maxC+b2

(4)

式中：S为池化层的输出；b2为偏置。

由于网络的输入特征为前2天的历史负荷，即192点(日负荷曲线96点)，如果直接使用一维CNN进行特征提取，会增加网络规模增加训练难度。因此，文中采用TDL对一维CNN的各层进行封装，从而将过长的时间序列数据切分成几个稍短的时间序列数据同时进行特征提取，提高模型训练效率。此外，考虑后续LSTM网络输入维度限制，在池化层后增加1个TDL封装的扁平层，用于数据维度的压缩。

文中将待预测目标时刻前192个时刻点的历史负荷数据均匀切分成8个较短的时间序列数据。经过特征压缩后，输出的数据维度则为(n,8,32)。其中，n为样本数，8为时间步长，32为变量维数[18—19]，有利于后续LSTM网络的学习。整个特征提取与压缩的结构见图2。

图2 特征提取与压缩结构Fig.2 The structure of feature extraction and compression

2.3 基于QRLSTM网络的分位点预测方法

LSTM主要由输入门(it)、遗忘门(ft)、输出门(ot)和内部记忆单元(Ct)组成，通过对细胞状态中的信息进行有选择地“遗忘”和“记忆”，使得对后续时刻计算有用的信息得以传递，无用的信息被丢弃，并在每个时间步输出隐层状态(ht)。输入门控制接受新信息的程度，遗忘门控制历史信息被遗忘的程度，而输出门决定着最终输出的信息。通过这3种特殊的门结构LSTM可实现对较长的时间序列数据进行学习[20—21]。

为使LSTM模型在训练过程中更容易获取序列中长距离相互关联的特征，提高模型训练的效率与效果，文中引入了attention机制，其主要思路是通过对模型输入特征分配不同的概率权重，从而突出某些重要的特征。attention机制层的权重系数计算公式可表示为[21]：

et=utanh(ωht+b)

(5)

(6)

(7)

式中：tanh为激活函数；et为第t时刻由LSTM网络层输出向量ht所决定的注意力概率分布值；u和ω为权重系数；b为偏置系数;st为attention机制层在t时刻的输出。

综上可知，文中采用的QRLSTM网络总体结构如图3所示。输入为经过压缩、提取的负荷特征，输出为待预测日负荷的不同分位点，训练的误差指标参考pinball损失函数。

图3 分位数回归模型结构Fig.3 Structure of quantile regression model

3 负荷区间预测指标

由于区间预测的结果是一个区间值，因此需要指标对模型的性能进行评价。文中采用文献[22]和文献[23]中的评价指标。

(1) 预测区间覆盖率(prediction interval cover age probability,PICP)。

(8)

式中：s为待预测的数据个数；di为第i个真实负荷值；Ui，Li分别为预测区间的上、下限。JPICP的值越大，说明越多的实际负荷落在预测出的区间内，即预测出的区间覆盖性更好。

(2) 预测区间平均宽度(prediction intervals normalized average width,PINAW)。

(9)

式中：R为预测目标的最大、最小值之差。JPICP越大、JPINAW越小，则区间预测效果越好。

(3) 预测区间累计偏差(prediction intervals accumulative deviation,PIAD)。

(10)

式中：mi为第i个负荷实际值与对应预测区间的偏差。则预测区间累计偏差为：

(11)

JPIAD用于衡量实际负荷与预测区间的偏离情况。在JPICP和JPINAW满足一定要求时，PIAD值越小，表明未落入预测区间的负荷值离预测区间的边界越近，区间预测效果更好。

4 实例分析

4.1 实例数据

以2类典型负荷为例，一是工业与非工业混合的负荷，工业负荷占比大约2/3左右，后面简称为工业为主负荷；二是居民与商业混合的负荷，后面简称为居民商业负荷。数据是220 kV母线负荷，时间跨度为2017-01-01至2018-10-23，数据采样间隔为15 min，也即96点日负荷数据。

采用DAE对日负荷曲线进行降噪处理，高斯噪声系数根据经验选择为0.005。以工业为主负荷某日的曲线为例，其数据处理结果如图4所示。由图4可知，降噪后的负荷曲线既保留了原负荷曲线的变化趋势，又滤除了随机高频波动。

图4 日负荷曲线降噪前后对比Fig.4 Daily load curve before and after noise filtering

4.2 波动分析

负荷曲线的波动性可采用负荷曲线各点与负荷均值之间的偏差程度来衡量，指标类似于均方根误差(root mean square error,RMSE)，即：

(12)

考虑到不同负荷曲线的平均值大小不一样，所以采用百分比可能更加直观：

(13)

2类典型负荷的曲线如图5所示，波动指标列于表1。由此可见，工业为主负荷的偏差均方根大但均值也大，所以相对偏差均方根反而小。

图5 不同类型负荷的波动性对比Fig.5 Fluctuation of different loads

表1 2类负荷的波动性对比Table 1 Fluctuation indexes of two types of loads

4.3 区间预测结果

为检验文中提出的模型的区间预测效果，分别将工业为主负荷和居民商业类负荷中的某一日作为待预测日，并选取95%，90%，80%，70% 4个置信水平建立负荷日前预测区间，如图6和图7所示。

图6 工业为主负荷不同置信水平下的区间预测Fig.6 Interval prediction chart of the industrial load at different confidence levels

图7 居民商业负荷不同置信水平下的区间预测Fig.7 Interval prediction chart of the residential and commercial load under different confidence levels

由图6和图7可知：(1) 文中方法所预测出区间的变化趋势与负荷实际值的变化情况基本一致。(2) 随着置信水平的增加，模型的预测区间也逐渐变宽，这是由于越宽的预测区间越容易覆盖住实际负荷。(3) 对于2类不同负荷，文中方法在95%置信水平下均较好地覆盖了实际负荷。

为了进一步验证文中方法的优势，分别采用文中方法、QRLSTM和门控循环单元分位数回归[24](quantile regression gated recurrent unit,QRGRU)进行区间预测对比。其中，QRLSTM中LSTM的神经元个数及QRGRU中GRU的神经元个数保持一致。不同方法的区间预测指标如图8—图10所示。

图8 2类负荷不同置信水平下的预测区间覆盖率Fig.8 Prediction interval coverage probability of two types of loads at different confidence levels

图9 2类负荷不同置信水平下的预测区间平均宽度Fig.9 Prediction intervals normalized average width of two types of loads at different confidence levels

图10 2类负荷不同置信水平下的预测区间累计偏差Fig.10 Prediction intervals accumulative deviation of two types of loads at different confidence levels

由图8—图10可知：

(1) 在2类不同负荷中，文中方法的预测区间覆盖率JPICP基本满足或接近各个置信水平的期望。

(2) 对于2类不同负荷，文中方法相比其他2种方法而言，总体上区间覆盖率JPICP更大，区间平均宽度JPINAW和区间累计偏差JPIAD更小，因此具有更好的区间预测性能。以工业负荷90%置信水平为例，文中方法得到的预测区间的JPICP指标较QRLSTM和QRGRU增加了8.64%和4.77%，而JPINAW指标却减少了9.86%和8.27%，JPIAD指标则减少了66.48%和37.48%。

5 结语

针对具有较强波动性的母线负荷，文中提出了一种基于CNN与QRLSTM组合的负荷区间预测模型。采用TDL对CNN进行封装，可将较长的时间序列数据切分成几个稍短的时间序列数据，实现特征提取与压缩，有利于后续LSTM网络的特征学习，同时在QRLSTM中引入attention机制，使模型更易学习特征序列中长距离相互依赖的关系。实例结果表明，相比于QRLSTM和QRGRU等以往模型，文中方法得到的预测区间总体上具有更高的区间覆盖率，同时区间宽度更窄，区间累计偏差更小，具有更好的区间预测性能。