基于ECA-TCN的电力系统短期负荷预测研究

梁 露，刘远龙，刘韶华，张智晟

（1.青岛大学电气工程学院，青岛 266071；2.山东大学电气工程学院，济南 250013；3.水发集团有限公司，济南 250013）

电力行业发展日新月异，可再生能源的并入以及电动汽车等各种新负荷的加入给电网的安全性和稳定性带来极大挑战[1]。高精度的电力系统短期负荷预测对电网资源的科学调度[2]以及电网的高效、安全、稳定运行具有重要意义[3]。

短期负荷预测的发展大致可分为数学统计模型方法预测和人工智能方法预测两个阶段[4]。常见的数学统计模型方法有卡尔曼滤波和自回归模型等[5]，这些方法虽然计算量小、效率高，但受模型自身结构的限制，在处理复杂且带有非线性因素数据方面表现较差[6]。随着人工智能技术的蓬勃发展，决策树、随机森林、支持向量机、人工神经网络等机器学习方法在电力负荷预测领域应用十分广泛，然而此类方法一般采用浅层结构，在面对数以百万计的数据时，容易出现参数不收敛和稳定性差等问题[7]。因此，具有出色的数据特征挖掘和建模能力的深度学习方法，如卷积神经网络CNN（convolution neural network）、深度置信神经网络等模型备受青睐。文献[8]使用自编码器预处理输入数据，并利用粒子群算法选取最优参数优化卷积神经网络，进而对电力数据进行负荷预测；文献[9-10]提出了基于混合神经网络的负荷预测模型，该模型利用卷积神经网络在数据挖掘领域的优势提取数据在高维空间中的联系，输入到LSTM、GRU循环神经网络中获得了很好的预测精度。由于LSTM、GRU神经网络存在训练速度慢、选取合适参数较难等问题[11]，而传统卷积神经网络由于其卷积核大小的限制，也不能很好地抓取长时的依赖信息。Lea等[12]在2017年开创性地提出了融合扩张因果卷积及残差连接的时间卷积神经网络TCN（temporal convolutional network）。由于在TCN中可以对输入数据进行大规模地并行计算，训练和测试网络需要的时间都会变短[13]；通过堆叠更多的卷积层、使用更大的扩张系数这两种手段，为TCN更加灵活地调整感受野大小提供了便利，同时加强对模型记忆长短的控制；TCN具有不同于输入序列时间方向的反向传播路径，这避免了循环神经网络RNN（recurrent neural network）中时常发生的梯度爆炸或消失问题。尤其是在处理长输入序列问题时，TCN不需要存储大量的门结构，相较于LSTM、GRU在训练时需要的内存更少。

虽然TCN使用了扩张卷积可以扩大感受野，但仍然会受到卷积核大小的限制，导致其不能获得足够大的感受野，在抓取任意长度的相关信息特征方面表现稍差。研究人员发现在改善卷积神经网络的性能方面，通道注意力机制极具潜质。然而，现有的各种方法大都致力于开发更复杂的注意力模块来提高模型的性能，增加模型的复杂性在所难免。为了解决模型性能和模型复杂性二者之间的矛盾，文献[14]提出了一种高效通道注意力ECA（efficient channel attention）模块，该模块只需要增加少量的参数，就可以使模型获得显著的性能增益。

针对上述研究现状，本文提出一种基于高效通道注意力模块优化的时间卷积神经网络ECA-TCN模型。该模型利用TCN模型充分挖掘时序数据之间的关联信息，并利用一维卷积高效地实现不降维的局部跨通道交互，突显重要信息[15]，使模型更容易处理序列间的依赖关系，提升负荷预测的准确性。仿真结果表明，该模型可以在保持较快训练速度的同时有效地提高负荷预测的准确性和稳定性。

1 时间卷积神经网络

时间卷积神经网络是由具有相同输入和输出长度的扩张因果一维卷积层组成，并利用残差连接来避免梯度消失的新网络结构。

1.1 扩张因果卷积

因果卷积是指，每一层中t时刻的状态只与它前一层t时刻以及之前时刻的状态有关。它看不到未来的序列信息，是一个完全单向的结构，只有根据前面的“因”才能得到后面相应的“果”。

单纯的因果卷积因为受到卷积核尺寸的限制，当其想要捕获更长时间序列之间的依赖关系，考虑的输入变量就会越早，参与运算所需要的输入变量也越多，就需要线性地堆叠更多的层。随之而来就会出现梯度消失、训练复杂、拟合效果不好的问题。为了解决这些问题，研究人员提出了扩张卷积（dilated convolution），其结构如图1所示。

图1 扩张因果卷积Fig.1 Dilated causal convolution

扩张卷积与普通卷积的不同之处在于它允许在卷积时对输入数据进行间隔采样，受图中的采样率d控制。图中输入层采样率d=1，代表对每个输入数据都进行采样，中间隐藏层的d=2，表示每2个点取一个数据作为输入。通常，越高的层级会使用越大的采样率。所以，扩张卷积可以使有效窗口的大小随层数呈指数型增长。这样网络就可以用较少的卷积层，获得足够大的感受野，解决了因果卷积带来的问题。对于输入的时间序列x，扩张卷积的计算公式为

式中：F(t)为经过一次扩张卷积运算后的输出；d为采样率即扩张系数；k为卷积核尺寸；f(i)为卷积核中第i个元素；xt-di为只对过去的数据进行卷积操作。

1.2 时间卷积神经网络

TCN由多个TCN残差块堆叠而成。TCN残差块结构如图2所示。

图2 TCN残差块Fig.2 TCN residual block

一个TCN残差块中包含2个一维扩张因果卷积层。为了使TCN不仅仅是一个过于复杂的线性回归模型，在卷积层的顶部添加ReLU激活函数来引入非线性。在每层中还加入了权值归一化层（weight norm）规范隐含层的输入以抵消网络的梯度爆炸问题；随机丢失部分神经元（Dropout）使网络正则化，避免过拟合。最后如图2左侧部分所示，引入残差连接对输入进行直接映射，解决深层网络的退化问题[16]。

2 高效通道注意力机制

近年来，将通道注意力整合到卷积块中来提升CNN性能的方法引起了人们的广泛关注。其中一个代表性的方法就是SENet（squeeze-and-excitation network），在SENet中设置挤压（即特征聚合）和激励（即特征重新校准）后学习每个卷积块的通道注意力，为各种深度CNN体系结构带来了明显的性能增益[17]。因为SENet需要捕获所有通道的依赖关系，通常会带来更高的模型复杂性和更大的计算负担，导致它的效率很低。一般会通过对数据降维来控制模型的复杂性，然而维数减少会对通道注意预测产生副作用。因此，Wang等[14]在2020年提出了一种针对卷积神经网络的ECA模块，该模块避免了降维，能够有效捕捉局部跨通道交互信息。

2.1 ECA模块

ECA模块相较于SENet的优势在于适当地捕获局部跨道信息交互，该模块提出了一种当前通道特征只与其近邻的k个通道进行信息交互的局部跨通道交互方式。为了抓取到合适的局部通道交互信息，合理地确定通道交互信息的大致范围（即一维卷积的卷积核大小k）显得尤为重要。为了避免通过交叉验证手动调整k，引入了一种根据输入通道C的大小自适应确定交互覆盖率k的方法，计算公式为

式中：|t|odd为离t最近的奇数；C为当前总通道数；γ和b分别为固定值2和1。自适应确定好k值后，为了进一步简化模型，所有通道共同分享学习到的注意力权重参数，则第i个通道yi的权重wi可以表示为

ECA模块的工作原理如图3所示。

图3 ECA模块工作原理Fig.3 Working principle for ECA module

图3中：H、W、C分别代表输入数据的长度、宽度以及通道数，GAP表示全局平均池化，σ代表Sigmoid激活函数。从图中可以看到，最左边为原始输入的特征，鉴于SEnet的数据降维操作会丢失注意力权重与原始数据间的直接对应关系，ECA模块不再进行降维操作，直接对输入序列进行全局平均池化GAP（global average pooling）获得未降维的所有特征；在此基础上，ECA通过自适应选择的尺寸为k的快速一维卷积（1D convolution）来有效地捕获局部的跨通道交互信息，之后使用Sigmoid函数生成各通道的权重占比，再将原始输入特征与通道权重结合获得具有通道注意力的特征。以此模块构建的网络更易于在通道维度的基础上提取出输入的特征，在带来明显改进的同时，并没有增加模型的复杂性。

2.2 ECA-TCN短期负荷预测框架

ECA-TCN预测框架由ECA-TCN残差模块堆叠而成，每个ECA-TCN残差模块是由基本的TCN残差块嵌套ECA模块构成。以基本TCN残差块为基准，利用TCN卷积层对输入特征进行学习，经WeightNorm、ReLU、Dropout层引入非线性正则化网络。改进基本TCN残差块下采样位置，嵌入ECA模块，将输入特征进行全局平均池化，利用自适应选择尺寸为k的一维卷积生成通道权重，抓取局部跨通道交互信息。最后将ECA模块提取的注意权重通过乘法加权到原始特征上进行融合输出。具体结构如图4所示。

图4 ECA-TCN短期负荷预测框架Fig.4 ECA-TCN short-term load forecasting framework

3 算例分析

3.1 数据集说明

本文使用山东某地区电网的电力负荷作为数据集。该数据集包含电力负荷、天气、温度、日类型等影响因素数据，采样间隔均为15 min，即将1 d的时间平均分为96个点。以预测日前14 d的负荷数据作为训练集构造训练矩阵，预测日当天数据为测试集。输入矩阵共29维，其中包括与预测日t时刻相关性最大的前3天对应的t-1时刻、t时刻、t+1时刻的9维电力负荷数据；以及预测日当天和预测日前3天的温度数据（最高、最低和平均温度）、天气因素和日类型数据共20维影响因素数据。将预测日t时刻的预测值作为输出矩阵（共1维）。

3.2 参数设置

仿真实验采用了4个ECA-TCN模块堆叠的预测模型，各模块的滤波器数量为[32，16，8，4]，扩张系数为[1，2，4，8]，卷积核尺寸均为2，丢失率为0.2。模型选取Adam算法作为网络优化器，MSE为损失函数，初始学习率设置为0.001，训练回合数100，当2个轮次损失值无变化时，学习率减半。

3.3 数据预处理及评估指标

为了模型能够更好地训练，需要对输入数据进行预处理。首先对负荷与温度原始数据进行归一化，以便统一不同数据间的量纲差异。在天气数据中用1表示晴天，0.5表示多云，0表示雨雪天气；日类型数据中工作日为1，休息日为0.5，节假日为0。

本文引入最大相对误差（MAX）、平均绝对百分比误差（MAPE）和均方根误差（RMSE）作为验证预测结果精度的评价指标。

3.4 仿真结果分析

为了验证ECA-TCN预测框架的有效性，用该模型对山东某地区电网春季典型工作日4月21日的电力负荷进行预测。同时，选取了未改进的原始TCN模型及一维卷积神经网络（1D CNN）模型作为对比模型进行仿真实验。所有模型的预测曲线如图5所示。

图5 3种模型工作日负荷预测曲线对比Fig.5 Comparison of load forecasting curve on working day among three models

从图5中可以看出，ECA-TCN模型的负荷预测曲线与实际的负荷曲线更接近。3种预测模型的工作日误差对比见表1。各模型的预测效率及参数量对比如表2所示。

表1 3种模型工作日误差对比Tab.1 Comparison of error on working day among three models

表2 3种模型预测效率及参数量对比Tab.2 Comparison of prediction efficiency and number of parameters among three models

通过分析图5和表1可知，本文提出的ECA-TCN模型相较于原始TCN模型和1D CNN模型，在各个误差评估指标上都有显著地下降。其中，MAPE分别降低了0.46%和0.85%；RMSE分别降低了0.17MW和57.74 MW；MAX分别降低了2.15%和1.87%。综合表1和表2可知，ECA模块在增加了极少量的参数情况下，有效地提升了模型训练速度及准确率。充分说明本文提出的模型可以在保持较快速度的同时，拥有更高的预测精度，取得了更好的负荷预测效果。

为了验证本文提出的ECA-TCN模型的稳定性，分别用3种模型对该地区电网春季4月19日—4月25日连续一周的电力负荷进行预测，各预测模型7 d的误差对比见表3。

表3 3种模型7 d的误差对比Tab.3 Comparison of seven-day error among three models

从表3中可知，在连续7 d的负荷预测中，ECATCN模型都有非常不错的表现，该模型7 d的平均预测精度可以达到98.80%，相较于原始TCN模型精度提高了0.46%；比1D CNN模型精度提高了0.94%。同时平均RMSE分别降低了0.18 MW和60.01 MW；平均MAX分别降低了0.83%和2.54%。

为验证本文提出的模型在不同季节也有良好的预测精度，分别在夏季、秋季、冬季各选取一个工作日和休息日作为典型日进行预测；同时，选取了某法定假日作为典型节假日进行预测。预测结果如表4所示。

表4 不同季节各类型典型日预测结果Tab.4 Forecasting results on typical days in different seasons

由表4可知，本文提出的ECA-TCN模型在不同季节的各类型日都能保持不错的预测精度，能够很好地完成不同季节负荷变化下的预测任务。

4 结论

本文针对短期电力负荷预测提出了一种ECATCN模型。该模型具有以下优势：

（1）TCN具有强大的挖掘时序特征能力以及可并行运算的高效数据处理能力，能够有效缩短训练和验证的时间，提升预测精度；

（2）ECA模块具有对通道间信息的高效捕获能力，有效弥补了TCN由于卷积核大小限制引起的感受野不够大的缺陷，协调了预测模型精度与模型复杂度、参数量之间的关系，提升了预测效率。

经过仿真验证，本文提出的ECA-TCN模型在负荷预测方面具有较好的精度和稳定性，且拥有较快的模型训练速度。