小波优化多任务学习的综合能源负荷预测

陈 刚，赵 鹏，单锦宁，殷艳虹，周 宇，吕文疆，苏梦梦，黄博南

（1. 国网辽宁省电力有限公司 阜新供电公司，辽宁 阜新 123000；2. 国网辽宁省电力有限公司 电力调度控制中心，辽宁 沈阳 110006；3. 东北大学 信息科学与工程学院，辽宁 沈阳 110819）

0 引言

在煤、石油等传统的化石能源不可再生的背景下，综合能源系统不仅可以提高能源利用效率、开发新能源，而且可以加强可再生能源综合利用[1].以电力系统为核心的综合能源系统，取代传统的各种能源供应系统单独规划、单独设计和独立运行的固定模式，作为新型区域能源供应系统，协调与优化各类能源的分配、转化、存储等环节，充分利用可再生能源[2-3].近些年来，综合能源系统建模[4]、优化运行[5]、调度控制[6]等理论与工程技术问题得到了众多科研学者的广泛关注.

短期负荷预测对于能源系统安全、可靠、经济运行具有重要意义.很多学者关于综合能源系统的负荷预测问题作出了研究，如主元解耦、特征聚类、多变量相空间重构、多任务学习等.目前大多数综合能源负荷预测的预测精度容易陷入局部最优，致使收敛速度较慢，预测时间较长，预测精度不高.文献[7]采用主元解耦方法建立典型建筑冷热负荷计算快速计算预测模型，没有考虑电、热、气负荷之间的耦合关系，导致冷热负荷预测精度不高.文献[8]采用特征聚类的方法对电、热、气负荷特征聚类，将高维气象条件分解为单变量气象条件，忽略环境特征变量间的关联特性，可能导致特征误聚类，导致多能源负荷预测准确度不高.文献[9]、文献[10]充分考虑了冷、热、电负荷中多个变量的相互耦合关系，设计了一种新型的基于多变量相空间重构和卡尔曼滤波的冷、热、电联供系统负荷预测方法，采用五步参数趋势法消除旧数据的趋势利用更大的训练集有效提高负荷的预测精度，但激活函数使用常规的非凸函数，使得预测精度可能得到次优解.文献[11]采用深度结构[12]的多任务学习方法对园区型综合能源多元负荷进行预测，离线与在线相结合，但由于此网络的激活函数是非凸函数，可能陷入局部最优，使得收敛速度较慢，预测精度较低，同样没有达到最优值.

针对上述问题，本文采用小波函数morlet为网络结构中神经元的激活函数，提出基于小波优化的多任务学习的综合能源负荷预测，基于小波优化的多任务学习在网络结构中实现神经元之间权值关联度小，提高综合能源系统负荷预测精度.归纳迁移机制作为多任务学习的核心来提高泛化能力，通过隐含在多个相关任务的特定领域信息完成目标.多任务学习采用权值共享和并行训练多个任务提高泛化能力.多任务学习已经在图像识别[13-15]得到了广泛应用.目前多任务学习也可以应用在大数据预测方面，文献[16]采用深度置信网络与多任务结合对交通流进行预测，提高了交通流预测准确性.文献[17]中电力系统负荷预测采用小波对其神经网络进行凸优化，提高了电力系统负荷的预测精度和预测速度.

在上述研究基础上，本文提出基于小波优化多任务学习的综合能源负荷预测.首先采用多任务学习共享并行综合能源负荷代替传统的单任务学习预测，进而减小数据来源的数量以及整体模型参数的规模；然后通过改变隐藏层的激活函数，不但使得预测精度快速收敛，而且提高负荷预测精度；最后，基于北京某工业园区综合能源系统的实验数据对本文所提算法做了仿真分析.预测结果表明，多任务学习和小波优化在综合能源系统负荷预测中不仅有较快的运算速度，而且预测精度极高，有较好的应用效果.

1 单一任务预测与多任务预测对比

1.1 传统的单一任务负荷预测

传统上，许多专家、学者在考虑负荷预测时，只考虑到单个任务的负荷预测（例如：只预测电力系统负荷，热力系统负荷）.单任务学习时，梯度的反向传播倾向于陷入局部极小值.其单任务负荷预测网络结构见图1.

图1 单一任务负荷预测网络结构Fig. 1 single task load prediction network structure

1.2 传统的多任务负荷预测

由于电、热、气不同任务的局部极小值的位置不同，通过不同任务之间的相互作用，使得模型防止局部极小值；

深度学习中多任务学习模式为隐藏层中参数之间的软共享和硬共享.

（1）参数的硬共享机制 参数的硬共享机制是神经网络的多任务学习中最常见的一种方式，在综合能源负荷预测中，电、气、热负荷预测任务之间共享隐藏层，模型保持电、气、热负荷的输出层来实现.硬共享机制降低了综合能源负荷预测模型过拟合的风险.

（2）参数的软共享机制 电、气、热负荷均有自己的模型和参数.在共享Soft参数时，为保证参数相似化，模型参数之间的距离采用正则化.

根据综合能源系统中电、气、热之间的耦合关系，本文采取参数的软共享机制.其优点根据不同任务的不同噪音，可以提高多个任务的泛化能力.多任务学习的网络结构见图2.

图2 多任务学习网络结构Fig.2 multi-task learning network structure

2 小波优化的多任务学习的负荷预测

在多任务学习中，采用以下方法来接近全局最小.

多个神经网络初始化多组不同参数值并按照标准方法训练以后，将误差最小的解作为神经网络最终参数.等同于神经网络开始以多个不同的初始点进行搜索，使得神经网络陷入不同的局部极小，并选择最可能接近全局最小解.

遗传算法（Genetic Algorithms）作为一种方法，通常训练神经网络使逼近全局最小.由于跳出局部极小的技术大多是启发式，理论上尚缺乏保障.

本文采用小波基函数正交或近似正交代替了隐藏层sigmoid函数和relu函数，由于小波基函数是一个凸函数，多任务学习网络没有局部最小值点，提高了网络的速度，保证网络解唯一性.

小波优化多任务学习负荷预测采用小波基函数作为隐藏层的激活函数与正则化作用相同，因此在降低模型过拟合风险的同时，提高了模型拟合随机噪音的能力.

基于小波优化的多任务学习网络拓扑结构有输入层、隐藏层、输出层.本文选取小波基函数作为隐藏层神经元的激活函数.小波优化的多任务学习网络拓扑结构见图3.不同层之间神经元全互联，神经元之间既禁止跨层连接，也禁止同层连接.输入层神经元由影响因素确定，信号的处理加工由隐藏层神经元与输出层神经元进行，输出层神经元输出综合能源负荷预测的结果.

图3 基于小波优化的多任务学习网络拓扑结构Fig. 3 multi-task learning network topology based on wavelet optimization

图3 模型中需要确定(i+k+1)j+l个参数：输入层到隐藏层需要确定i×j个权值，隐藏层到输出层需要确定j×k个权值，隐藏层需要确定j个阈值，输出层需要确定k个神经元的阈值，多任务学习作为一个迭代算法，在每一轮迭代中对参数进行更新估计，即任意参数v的更新估计公式为

定义h(j)为隐藏层的第j个神经元的输出值，wij为隐藏层与输入层之间的连接权值.

定义βj为输出层的输入值

本文选取morlet作为小波函数.其数学表达式为

假定基于小波优化的多任务学习的输出值的数学表达式为

基于小波优化的多任务学习网络的学习过程实际上就是其权值的调整过程.基于小波优化的多任务学习网络的权值调整算法与BP神经网络的权值调整算法相似.利用梯度下降算法对网络权值和小波函数参数进行调整，使小波优化的多任务学习网络的输出逼近期望输出.基于小波优化的多任务学习网络的学习过程和算法如下：

假设神经网络的输出公式为

网络输出公式为

网络计算的均方误差为

根据任意参数υ的更新式（1），网络计算误差调整小波神经网络的权值参数为

小波优化的多任务学习算法基于梯度下降策略，以目标的负梯度方向对参数进行调整，对于均方误差Ek，给定学习因子η，则其中Δwij,Δwjk,Δaj,Δbj可用网络误差计算.

以wjk为例推理此公式，根据wjk影响的先后顺序排序为βj、、Ek，则有

因为根据jβ的定义，有

根据式（7）和式（8）可得

将式（19）和式（17）代入式（18），再代入式（14），则

同理可得其他参数.

图4中隐藏层神经元采用LSTM，LSTM采用输入门、遗忘门和输出门，解决了梯度爆炸问题.

图4中输入门的计算公式为

遗忘门的计算公式为

输出门的计算公式

内部隐藏状态g的输出公式为

其细胞更新状态的公式为

输出值计算公式为

图4 LSTM结构Fig.4 LSTM structure

3 算例分析

3.1 因素相关性筛选

目前综合能源多元负荷预测影响因素分析，大多从各方面构建影响因素体系，并未进一步探讨各因素对其综合能源系统负荷预测的影响程度.为筛选不同影响因素与综合能源电、气、热负荷的相关性，基于相关系数法，本文采用相关系数确定各影响因素对综合能源系统的电、气、热的影响程度.作为一种统计方法，相关系数法具有操作简单、可信度高等优点，非常适用于评价综合能源系统中影响电、气、热负荷因素与电、气、热负荷之间的相关程度.

在相关系数法的应用过程中，若评价指标为xi和yi,i=1,2,…,n，则两个评价指标之间的相关系数为

评价指标间的相关性程度的判断由相关系数r的正负和绝对值大小确定.两评价指标变化关系呈相反趋势时或呈负相关时，r＜0；同样，两评价指标变化关系具有一致性或呈正相关时，r＞0.此外，r值的绝对值大小可以评价指标间的相关性程度，具体标准见表1.

表1 评价指标间的相关程度Tab.1 relevance between evaluation indicators

因此，本文选取温度、湿度、节假日作为综合能源系统电、气、热负荷预测的预测因素.

3.2 数据归一化

由于多种预测因素的量纲不同，将会数值差别大，根据本模型采用的激活函数的输入输出范围，将预测因素进行归一化处理，归一化范围为[0,1].

采用最小最大值标准化（Min Max Scaler）进行归一化，计算式为

由于在 MAPE 指标中，综合能源负荷电、气、热负荷数据值作为评价指标的分母，当待预测电、气、热负荷值与最小功率值接近或者为最小功率值时，若采用式（28）的数据预处理方法，将会导致数据归一化后的数据值在 0 值附近波动，最终使得到的MAPE误差接近于无穷大，因此为保证数据稳定性，本文采用的归一化计算式为

由于数据进行归一化，使得预测的数据不能反映实际的负荷数据，对预测得到的综合能源系统中电、气、热负荷进行反归一化处理使得综合能源系统预测得到的负荷具有实际的物理意义，因此综合能源负荷预测中，反归一化公式为

3.3 试验指标

选取均方根误差（Root Mean Squared Error，RMSE）和平均绝对百分误差（Mean Absolute Percentage Error，MAPE）作为评判方法预测精度的依据.综合能源负荷预测中，当电、气、热负荷的平均误差MAPE，RMSE越小，则预测越准确.

以测试集的热负荷为例，其公式为

式中，si为第i个采样点的实际热负荷，kW；为预测热负荷，kW；N为样本个数，个.

3.4 实验结果分析

某一周内能源消耗的预测结果见图5、图6、图7.

图5 电负荷在某一周的预测结果Fig.5 prediction of electrical load in a certain week

图6 气负荷在某一周的预测结果Fig.6 prediction results of gas load in a certain week

图7 热负荷在某一周的预测结果Fig.7 prediction of heat load in a certain week

（1）多任务学习与单一任务预测精度对比

单任务与多任务神经网络预测平均绝对误差见表2.本文采用的多任务学习神经网络的预测误差均比单一任务电、热、气负荷神经网络的预测误差低，由此可见，在综合能源负荷预测中，多任务学习的预测精度较高，因此，多任务学习神经网络考虑了电、热、气负荷之间的耦合性.

表2 单任务与多任务神经网络的平均绝对误差Tab.2 average absolute errors of form tasks and multitask neural networks

（2）不同激活函数多任务学习神经网络对比

由于阶跃函数作为理想的激活函数具有不光滑、不连续等性质，因此本文采取morlet小波基函数作为综合能源系统模型的激活函数.作为挤压函数的小波激活函数能够将（0,1）输出范围在作为较大范围内变化的输入值的映射.

本文采用morlet小波基函数作为激活函数与稀疏激活函数relu、传统的sigmoid激活函数在多任务学习网络预测中进行对比.

图8 电负荷某一天相对误差Fig. 8 relative error of electric load on a certain day

图9 热负荷某一天的相对误差Fig. 9 relative error of heat load on a certain day

图10 气负荷某一天的相对误差Fig. 10 relative error of gas load on a certain day

由图8、图9、图10可见多任务学习在morlet函数作为激活函数在某一天电、气、热的相对误差均比以函数relu和sigmoid激活函数低，证明了本文所提方法的有效性.

表3 不同激活函数训练时间与训练精度的对比Tab.3 comparison of training time and accuracy of different activation functions

由表3可知，本文采用的小波morlet小波基函数作为激活函数的神经网络平均绝对误差均比采用稀疏激活函数relu、传统的sigmoid激活函数低，且在训练时间上使用的时间较少，实验结果证明本文提出方法的有效性.

4 结论

（1）针对综合能源系统背景，提出基于小波优化多任务学习的综合能源负荷预测.该方法不仅有效减小了模型过拟合的风险，防止局部极小值，而且提高模型的收敛速度，同时提高预测精度.

（2）随着能源互联网的发展，综合能源系统将会得到越来越大的重视，基于小波优化的多任务学习网络将会在能源互联网系统中有更高的发展与应用，本文提出的基于小波优化的多任务学习在超短期预测中预测精度极高，未来希望通过进一步的应用，能对异常条件进行更精确预测，提升预测结果.