基于MMoE-TCN的综合能源系统短期多元负荷预测＊

王定美，张睿骁，赵龙

（国网甘肃省电力公司电力科学研究院，甘肃 兰州 730070）

为解决化石能源短缺和环境污染问题，各国纷纷发展多样化的能源利用形式。以“双碳”目标为指引，综合能源系统（Integrated Energy Systems，IES）耦合电、冷、热等多种能源，提高了系统的可靠性和能源的利用率，得到了社会的广泛关注并被推广应用[1]。然而，大量的无序用能必然会对能源网的经济运行和调度产生冲击[2]。因此，提高多元负荷预测的精度对指导IES有序用能具有重要意义。

目前，IES多元负荷预测研究虽尚在起步阶段，但已有不少研究成果。以往负荷预测主要采用统计学的方法[3]，如向量自回归法、多元线性（非线性）回归法等，而目前主要采用深度学习方法[4]。文献[5]提出负荷耦合形态指标来深度挖掘多元负荷间的耦合关系，结合多目标回归与Stacking集成学习模型，建立多元负荷协同预测模型。文献[6]提出一种基于核主成分分析（KPCA）、二次模态分解、深度双向长短期记忆（DBiLSTM）神经网络和多元线性回归（MLR）的多元负荷预测模型。文献[7]以“硬共享机制+长短时记忆共享层”方式构建多任务学习负荷预测模型。文献[8]提出一种基于ResNet-LSTM网络和注意力机制的多任务学习模型，用于拟合多能负荷之间的空间耦合关系和时间耦合关系。这些方法均验证了深度学习对于解决多元负荷预测问题的有效性。

IES多元负荷预测分为数个单独任务预测方法或多任务学习方法。多任务学习方法是对数个预测任务共同构建一个模型，并建立对应的子任务，挖掘不同负荷间的耦合特性，实现对多元负荷的预测[9]。目前，多元负荷预测方法大多是基于参数硬共享机制的多任务学习模型，其预测精准的前提是各类负荷相关性强[10]。但是，IES中各类负荷间的相关性往往较弱。若采用硬共享机制的多任务模型共享信息，则难以考虑相关性较弱的子任务差异。当子任务耦合关系较弱时，硬共享多任务学习模型的预测效果较差[11]。另外，IES的多元负荷（如电、冷和热）特性各异，负荷预测精度的相关影响因素也不同。因此，有必要考虑影响因素与负荷的相关性。相关性分析方法主要有：皮尔逊系数法、灰色相关系数法、最大信息系数（Maximal Information Coefficient，MIC）法等[12]。皮尔逊系数法、灰色相关系数法适用于序列线性相关性分析，MIC法适合于非线性序列相关性分析。由于IES中能源相互耦合，时间序列间呈现非线性关系，故MIC法较适合，但是没有考虑序列中的冗余情况，因此需要对MIC进行改进。

综上所述，IES的多元负荷需从多种类型的负荷特性以及负荷间的动态耦合特性出发，采用先进的深度学习网络和多任务学习方法，建立短期负荷预测模型。

因此，本文提出一种基于改进最大信息系数相关性分析和MMoE-TCN多任务学习的负荷预测方法。首先，采用改进的最大信息系数相关性分析方法筛选目标预测负荷的特征序列集。然后，建立基于参数软共享机制的MMoE（Multi-gate Mixture-of-Experts） 与 TCN （Temporal Convolutional Neural Network）的多元负荷预测模型。通过专家子网和门控单元合理分配共享特征信息，并结合TCN网络实现多元负荷预测。最后，以美国亚利桑那州立大学的IES负荷数据为算例，验证了所提方法的优越性和可行性。

1 输入数据特征处理

1．1 数据填补和归一化

考虑到原始数据样本中可能出现的数据缺失问题，本文使用插值法确保数据的连续性。对数据缺失处使用前后时刻的平均值代替。

式中：dt-1为前一时刻数据；dt+1为后一时刻数据；d＇t和dt分别为修正后和修正前的时刻数据。

综合能源系统中的电、冷、热负荷具有不同的量纲，为了统一数据规格、加速神经网络收敛，将输入数据按照中心置为0的归一化公式（2）进行处理。此外，为了分辨不同日期的能源特征，将日历数据中的工作日定义为1，双休日和节假日定义为0。

1．2 相关性分析

IES中各类用能行为均受多种因素影响，如多元负荷、天气因素、日期数据、碳排放水平等。因此需要对特征序列和负荷序列间的相关性进行计算，为预测模型的特征进行初步的选择。

MIC方法能够同时考虑线性和非线性关系，对单特征变量与目标变量间的相关性进行判断。但通过MIC方法选择的特征子集中往往存在很多的冗余信息，直接剔除这些信息会影响其对时间序列的关键判断。本文在MIC的基础上添加处罚机制进行改进，其计算如式（3）至式（5）所示：

式中：D（S，y）表示变量 y与特征间的相关度；R（S）表示特征的冗余度；S表示所有特征的特征集合；di表示第个特征序列；m表示选择后的特征数量；IMICI为特征序列的IMIC值。

该方法通过递增式选择确保选择特征为局部最优，最终求解优化式（4）即可得到计算选择后的特征子集。针对本文数据集计算的特征子集如表1所示。电、冷、热负荷为必须的输入特征，湿度、温度和太阳辐射对用能需求产生直接影响，碳排放出力和光伏出力反映了IES的能源输入、输出信息。该方法在保留这些强相关特征的同时，去掉了冗余的负荷信息及无关的天气因素，完成了对负荷预测特征的初步筛选。特征筛选的结果如表1所示，各特征序列间的IMIC值如图1所示。

表1 采用IMIC方法的特征序列选择表

图1 特征序列IMIC热力图

2 MMoE-TCN多元负荷预测模型

2．1 MMoE多任务学习模型

将多个相关的序列看作模型的子任务，各子任务间通过共享参数，从而提高模型的整体预测效果，这种策略即为多任务学习。传统的多任务学习策略采用参数硬共享机制，由参数共享层和子任务学习层组成模型。参数共享层将获取所有输入特征，之后进行特征提取。在硬共享机制中，如果部分任务的相关性较弱，模型可能会因其它任务的误导使性能下降。因此，本文使用了基于参数软共享机制的MMoE多任务学习模型，其模型图如图2所示。

图2 MMoE多任务学习模型图

图2中，通过若干专家子网将共享特征参数分割，专家子网以多层感知机构构建，负责挖掘各个任务间的耦合特性，不同专家子网中的参数均为独立信息。每个专家子网的权重通过门控单元进行计算，使不同任务对专家子网的选择更加灵活。模型中第k个子任务的输出yk可用式（6）描述。

式中：n为子网数；i为子网编号；k为任务编号；x为输入特征；g（kx）i为第个子网在第k个任务中的权重；f（ix）为第i个子网的输出；为第 i个子网对应第k个门控单元的线性变换矩阵，由网络训练得到；softmax（·）表示激活函数。

通过线性变换，门控单元将输入特征映射到n维，经过激活函数得到每个子网的权重系数，以对任务中专家子网的输出进行灵活控制。MMoE模型可以在进行多种负荷特征信息共享的前提下，为预测子任务单独训练专家子网的权重系数，保证网络训练时每个子任务均能学习到最有效的信息，因此其更适合采用MMoE多任务学习模型进行建模。

2．2 时间卷积网络

TCN是对一维卷积神经网络的创新和改进[13]。与普通的一维卷积相比，TCN的优势和创新点在于将因果卷积、扩张卷积和跳跃／残差连接集成到网络结构中，使得TCN具有大规模并行处理数据的能力，网络的训练和验证时间更短，膨胀因果卷积图如图3所示[14]。另外，通过调整膨胀率，改变卷积核，可以更好地控制模型的存储长度。

图3 膨胀因果卷积图

使用因果卷积的目的在于确保时间步长t的输出不会使用未来信息，并且只能基于之前时间步长的卷积运算获得。扩张卷积允许卷积的输入进行间隔采样，采样间隔由扩张率d决定。这使得TCN使用更少的层，获得更大的感受野。在时间序列X＝｛x1，x2，L，xt｝中，对元素xt进行扩张卷积和因果卷积如式（8）所示：

式中：F＝｛f1，f2，L，fK｝ 表示大小为 K 的卷积核；xt表示时间t的时间序列数据；fK表示卷积运算中的滤波器；d表示膨胀率。

跳跃连接是将下层的特征图直接连接到上层，并使用1×1卷积来确保要添加的特征图的维度相同。增加跳跃连接可以有效避免网络层数增加时梯度消失，增强网络的稳定性。简而言之，TCN使用因果卷积和扩张卷积作为标准卷积层，并在每一层中添加权重范数和衰减，以规范网络。TCN剩余模块图如图4所示，每两个这样的层和跳跃连接层被封装到剩余模块中。深度网络是由剩余模块堆叠而成，配合模型输入数据的更新，可以不断地计算并输出新的预测值。

图4 TCN剩余模块图

2．3 预测模型结构

本文提出的MMoE-TCN预测模型结构示意图如图5所示。首先，将采集的各类数据输入MMoE多任务学习模型，挖掘各类负荷间的耦合特性。然后，通过专家子网和门控单元合理分配子任务的共享特征信息。最后，子任务模型以时间卷积网络进行构建，进行IES负荷预测任务。

图5 预测模型结构示意图

3 预测流程

预测模型流程图如图6所示，主要分为三个步骤进行。第一步进行数据预处理，完成缺失数据的填补、各数据序列的归一化以及通过改进的MIC方法初步选择特征序列。第二步为多元负荷耦合特性的深入挖掘，通过MMoE多任务学习中的专家子网和门控单元对共享特征信息进行合理分配。第三步使用TCN构建子任务预测模型，结合分配的特征信息完成负荷预测，输出结果并反归一化。

图6 预测模型流程图

4 算例分析

4．1 实验设置与评价指标

实验数据来自Arizona State University的IES。利用校园新陈代谢项目网络平台获得了2021年1月1日至2021年12月31日的电负荷、冷负荷和热负荷数据，数据采样粒度为15min。训练集和测试集按8：2的比例划分。

多任务学习模型中，设置4个专家子网，神经元置为32，每个子网用于学习输入特征与三个预测任务的特定关系。由两层TCN构建子任务层，膨胀系数均采用[1，2，4，8]，网络优化器采用 Adam，Dropout层的随机失活比率取0．1，用于防止网络过拟合，学习率选择0．001，网络训练轮次均为500。

为了验证模型的有效性和对预测结果进行比较分析，选取均方根误差（RMSE）和平均绝对百分比误差（MAPE）作为验证评价指标，分别见式（9）和式（10）。

4．2 实验结果分析

门控单元的实质是为各子任务获取的特征子集分配权重。为验证MMoE的作用效果，使用Softmax函数提取得到子任务的权重分布结果如图7所示。结果证明，MMoE的参数软共享机制能够针对不同的负荷预测任务，能够灵活有效地分配共享特征，能够提升子任务的训练效果。

图7 MMoE权重分布结果

为了验证所提方法的优越性，选取MTL-TCN、MTL-LSTM、LSTM模型作为对比实验。在该数据集下，5种预测模型经过500轮迭代的损失值对比曲线如图8所示。

图8 不同模型训练损失值曲线

由图8可知，虽然5种模型在经过500次迭代后损失值均具有较小的损失值，但所提方法的损失值波动更小，且损失值可以降低至0．35以下。可见，MMoE-TCN模型在经过500次迭代后可以达到最好的训练结果。

五种模型的预测结果如图9所示。各模型的预测误差对比值如表2和表3所示。

图9 五种模型的预测结果

表2 各模型预测MAPE值

表3 各模型预测RMSE值

由图9可以看出，在早上5点、9点左右以及晚上8点左右出现用电高峰或低谷，此时MTL-LSTM和LSTM的预测值均出现较大幅度的波动。热负荷从凌晨2点左右开始持续增加，在下午3点左右达到峰值后开始下降，整个变化过程中MMoE-TCN的预测值始终保持最高的拟合度。而热负荷在一天中始终以较大的波动幅度进行变化，MTL-LSTM和LSTM模型的预测值出现较大的误差。电负荷在第22点、第35点分别达到最小值和最大值，MMoETCN在这两点的误差分别为1．23%和1．21%。而MTL-TCN、MTL-LSTM和LSTM三种模型在这两点的误差达到了 1．80%、3．11%、5．75%和 1．29%、3．71%、4．12%。冷负荷在第10点、第60点达到最小值和最大值，MMoE-TCN预测值仍然保持最小误差，分别为1．82%和 1．33%。在热负荷方面，MMoE-TCN 的预测误差始终保持在3%以内，而其它模型的误差最大达到了6．67%。

由图9也可以看出，MMoE-TCN与MTL-TCN模型预测的结果曲线均有较高的拟合程度，对比两条曲线的细节部分，可以看出MMoE-TCN预测曲线在峰谷时刻的拟合效果更好。这是由于两种多任务学习的特征共享机制不同，传统的多任务学习（MTL）方法使用参数硬共享机制，任务相关性弱的部分导致模型的性能下降。而基于参数软共享机制的MMoE通过专家子网和门控单元有效分配了共享特征信息，故模型性能得以提升。

从表2和表3可以看出，MMoE-TCN模型与MTL-TCN模型在电、冷、热三种负荷的整个时段均具有良好的预测效果，其电、冷、热负荷的MAPE指标值分别为 1．21%、1．79%、2．86%和 1．28%、2．30%、3．27%。相比传统的预测模型，本文所提方法在综合预测精度上提升了41．8%，验证了该模型在预测多元负荷方面的优越性。

MTL-LSTM与LSTM的预测效果较差，电、冷、热负荷的 MAPE 值分别为 1．92%、2．35%、3．51%和2．37%、3．47%、4．86%。这表明TCN处理时间序列的能力优于LSTM的一般递归体系结构。但MTL-LSTM的整体预测精度稍高于LSTM，说明了多元负荷联合预测强于多个单任务独立预测的效果，也证明了多任务学习模型的有效性。

5 结论

本文深入研究了综合能源系统多元负荷预测问题，针对目前多元负荷预测模型精度不高的问题，提出了一种基于改进最大信息系数相关性分析和MMoE-TCN多任务学习的负荷预测方法。本文提出的IMIC方法，对数据样本中特征序列进行相关度分析，完成了特征子集的初步筛选。MMoE多任务学习模型中的专家子网和门控单元能够有效挖掘多元负荷之间的耦合特性，较传统的多任务学习模型，MMoE能够更合理地分配共享特征信息，有效提高了模型的性能，达到了更好的预测效果。其所使用的时间卷积网络相较LSTM也拥有更好的表现，说明了该模型中TCN处理时间序列的能力优于LSTM的一般递归体系结构。以美国亚利桑那州立大学坦佩校区的IES负荷数据为算例进行仿真分析，结果表明，相较于其他3种模型，MMoE-TCN在预测精度上有了很大的提升。电、冷、热负荷的MAPE 指标分别为 1．21%、1．79%、2．86%，其在综合预测精度上较传统模型提升了41．8%，验证了该模型的有效性、可行性和优越性。

本文所研究的对象仅仅是电、冷、热等时序特征的负荷，在将来的研究中，可以针对电动汽车等具有时空特征的随机性负荷，在考虑时间、空间等相关性因素的基础上提出更有效的预测方法。