基于LSTM和多任务学习的综合能源系统多元负荷预测

孙庆凯，王小君，张义志，张 放，张 沛，高文忠，2

（1.北京交通大学电气工程学院,北京市100044；2.丹佛大学电气与计算机工程学院,丹佛80208,美国）

0 引言

传统能源系统单独规划、设计和独立运行的模式人为割裂了不同类型能源间的耦合关系,限制了系统运行可靠性和灵活性,不再适合社会发展。必然需要打破行业壁垒,由过去电、热、冷分产分供发展模式转变为多能联合规划运行模式［1-2］。在转型过程中综合能源系统（integrated energy system,IES）逐渐发展成为一种重要的能源利用方式［3］。其内部耦合多种形式的供能、转化和储能设备,外部由能源服务商统一管理,在规划、运行上与传统单一能源系统有较大区别［4-5］。负荷预测作为IES用能管理和优化调度的首要前提,已不再局限于单一负荷,必须统筹兼顾多个能源系统,这对IES多元负荷预测准确性、实时性及可靠性提出了更高要求［6］。

短期负荷预测分为传统方法和机器学习方法。传统方法以时间序列法、回归分析法为代表,文献［7］利用混沌时间序列方法进行短期电力负荷预测。文献［8］通过稀疏惩罚分位数回归分析预测短期电力负荷。传统方法虽有一定成效,但随着能源系统的不断发展,用能需求同时受到多种因素的共同影响,致使无法建立精确的数学模型,难以获得令人满意的结果。机器学习方法以随机森林、支持向量机为代表,文献［9］在数据聚类基础上构造随机森林进行短期负荷预测。文献［10］采用模糊信息粒化法处理历史数据,并在此基础上建立支持向量机进行短期负荷预测。但随着可再生能源接入、需求侧响应等新因素的加入,传统机器学习方法也遭遇了瓶颈。

近些年来,以深度学习为代表的前沿机器学习方法在问题分析过程中无须建立精确的数学模型,可通过多层非线性映射逐层学习海量数据中隐藏的抽象特征,能较好地拟合输入与输出之间的非线性关系［11］。其中长短时记忆（long short-term memory,LSTM）神经网络在电力负荷预测领域已有相关研究［12-14］,但相比于单一电力负荷预测,IES多元负荷预测相关工作仍处于初级阶段,文献［15］通过改进粒子群算法,依据不同粒子惯性权重选择小波神经网络寻优策略进行多元负荷预测。文献［16］结合Kpca降维技术与径向基神经网络进行多元负荷预测。该方法普遍是对模型参数与结构进行优化,在处理不同形式用能耦合问题上仍存在一定的局限。

IES中各用户自身不同形式用能存在耦合,可依据内部终端消耗以及外部因素采用不同策略进行多能综合优化,因此针对用户个体的多元负荷预测困难较大。本文构建的多元负荷预测模型主要是面向IES能源服务商,利用多任务学习（multi-task learning,MTL）通过共享层对用户总体多元负荷间的复杂耦合信息进行学习,以确保IES能源服务商能够向用户提供精确的多元负荷需求。该方法也适用于区域型IES电、热、气联合预测。

本文在现有研究基础上提出了一种LSTMMTL多元负荷预测方法,旨在利用LSTM时序记忆功能与MTL耦合信息共享学习特性来提升IES能源服务商多元负荷预测精度。

1 IES用能特性分析与MTL

1.1 IES用能特性分析

IES作为新一代能源系统的重要组成,是满足不同用户多类型用能需求的坚实保障。其能源服务商可在汇总、分析不同用户各类用能需求的基础上准确预测多元负荷需求,并协调IES内部转化、存储、分配、消费等环节以满足不同用户对能源的需求［17］,其交互结构可简化为图1。

图1 交互结构简化模型Fig.1 Simplified model of interactive structure

目前实际工业园区、商业中心、居民楼宇等典型IES的能源服务商普遍需要向其用户提供电、热、冷等多种用能需求,明显受到气象条件、人类活动以及建筑特性等因素影响。在气象条件方面,由于气温变化,南北方在冷热负荷需求上表现出明显的季节性、地域性差异。在人类活动方面,不同的社会行为会对IES用能特性产生影响,例如居民楼宇IES,工作日时居民普遍外出,系统负荷多为刚性负荷；而非工作日时居民活动频繁,致使用能设备灵活多样,用能需求呈现出随机性、不确定性。同时不同的系统功能定位也是影响用能特性的重要原因,工业区往往电力负荷占主导地位,冷热负荷辅助,共同服从生产进度安排；生活区电热负荷则往往与人的活动密切相关,不同类型负荷间表现出一定的耦合特性。

IES用能特性决定了某一用能需求变化时必将引起能源服务商对其余类型用能需求的调整。负荷预测作为IES用能需求管理与优化调度的首要前提,倘若仍采用传统单一负荷预测方法则难以兼顾不同用能需求间的差异性、随机性及耦合性,无法确保负荷预测精度。同时鉴于IES在长时间运行过程中大量能量转换耦合信息被保存于IES能源服务商数据库中,但这些隐藏在数据中的能量转换特性很难通过建立详细的数学模型进行特征提取与总结［18］。因此本文考虑借助MTL对复杂耦合信息进行学习,经由共享机制并行训练多个负荷预测子任务,共同完成IES多元负荷预测任务。

1.2 MTL

MTL在处理一个问题的过程中可以通过使用共享层来学习并获得其他相关子任务所提供的辅助耦合信息,进而达到提高模型输出精度与增强泛化能力的目的［19］。

使用MTL构建IES多元负荷预测模型的关键在于选择模型结构和构建共享学习层。

1）MTL按特征共享表示方式可分为硬共享机制和软共享机制。其中硬共享机制多个子任务共同使用同一特征共享层,特征参数完全相同；软共享机制每一个子任务都有自己的特征参数,不同子任务间需要进行必要的正则化处理才能达到信息共享的目的。相比之下,硬共享机制在特征参数、模型结构上更加简单,针对所要构建的IES多元负荷预测模型这种参数繁多、结构复杂的情况更不易产生过拟合问题,模型泛化能力也更强。同时考虑到软共享机制相较于硬共享机制的约束条件更加宽松,比较适用于不具有紧密关系的任务,而并不适用于IES多元负荷预测这种具有复杂耦合性的问题［19-20］。因此本文采用硬共享机制进行IES多元负荷预测模型网络结构设计,硬共享机制网络结构如附录A图A1所示。

2）在共享学习层构建过程中,考虑到研究对象IES多元负荷预测具有很强的时间序列特性,前一时刻负荷需求对下一时刻负荷预测具有较大影响,因此采用具有记忆特性的LSTM神经网络来搭建共享学习层。LSTM在每个神经元内部添加了遗忘门、输入门和输出门,并且增加了一条代表长期记忆的信息流,其LSTM神经元内部结构如附录A图A2所示,具体计算过程如式（2）至式（7）所示。

遗忘门:

输入门:

输出门:

式（2）至式（7）中相关变量的含义详见文献［21］。

2 LSTM-MTL多元负荷预测模型的构建

2.1 输入/输出特征集设置

输入/输出特征集是决定模型表现能力的关键。其中输入特征往往是影响负荷预测的各种属性,针对IES多元负荷预测问题设置输入特征时首先需要确定各类负荷的组成以及必要的相关信息,如环境因子、节假日信息等。同时考虑到IES中多元负荷预测具有一定的周特性和日特性,即待预测时刻负荷数据与前一周、前一天负荷具有很大的相关性。因此本文选择环境因子、日类型信息、多元负荷数据等共同作为输入特征x。而输出特征y则为待测时刻实际多元负荷数据。输入特征x与输出特征y共同构成多元负荷预测问题的样本{x,y}。具体的输入/输出特征集如附录A表A1所示。

2.2 数据预处理

首先鉴于所选数据集是某实际IES全年运行数据,其在测量、传输、存储过程中易出现异常情况,倘若直接舍弃该部分样本,会大大削减建立预测模型的可用信息,降低模型预测性能。因此采用文献［23］方法对其进行缺失值填充和异常值辨识,以保证数据集的完整性和优质性。

其次在确定输入/输出数据集后,需要对其进行归一化处理,以防止变量间数量级差异较大影响模型预测精度。区别于传统方法,本文采用(x−xmin)/(xmax−xmin)+1的方式将数据归一化至（1,2）之间,其中xmin为该输入特征的最小值,xmax为该输入特征的最大值,主要是为了避免后续计算平均绝对百分比误差（mean absolute percentage error,MAPE）指标LMAPE时出现无穷大的问题。日类型数据则以二进制变量对其进行标注,其中0表示工作日,1表示非工作日。

2.3 多元负荷预测模型的构建

鉴于深度学习模型构建与训练需要大量的计算资源,宜采用高性能服务器,故本文采用“离线训练+在线应用”的方式构建IES电、热、冷多元负荷预测神经网络模型,详细流程如附录A图A4所示。首先通过高性能服务器对模型进行离线构建和训练,然后将训练好的模型复制到对应的用户侧计算机或终端设备中进行在线应用。其中,离线训练阶段主要是通过LSTM-MTL网络学习多个输入特征和多元负荷间的映射关系；在线应用主要是将当前时刻的特征输入训练好的LSTM-MTL模型中快速得到下一时刻的多元负荷预测结果。

离线建模的具体步骤如下。

1）网络结构超参数选择

网络结构超参数选择直接决定了所建立模型的预测效果。首先依据所建立模型特征确定部分超参数,然后对剩余超参数采用随机追踪法［24］,利用不同超参数子空间对网络收敛速度影响程度不同,选择不同的搜索范围,以加快参数选择效率。

2）网络模型训练

将多维特征向量作为输入,负荷预测数值作为输出,自底向上训练网络,直至迭代到预设次数为止。通过多个隐含层逐层将原始数据集中的低维特征转化为高维特征,使模型学习到隐含映射关系。

3）网络参数调优

采用Adam优化算法将验证集特征量输入训练后的LSTM-MTL网络中,将输出的多元负荷预测结果与真实值进行对比并计算损失函数,依据损失函数逐代调整网络参数。

4）性能评估

鉴于所构建多元负荷预测模型在同一时间需要对多个子任务进行预测分析,因此本文选用LMAPE、平均精度（mean accuracy,MA）指标LMA和权重平均精度（weighted mean accuracy,WMA）指标LWMA为评价指标。MAPE可体现预测模型对每种负荷的预测性能,WMA可从整体上体现模型对多元负荷预测的性能,其具体评价指标表达式如下:

3 算例分析

3.1 算例描述

本文LSTM-MTL模型构建及训练在TensorFlow深度学习框架下进行,硬件平台采用Intel Core i7 CPU和一块NVDIA RTX 2070 GPU。算例数据来源于美国国家可再生能源实验室官网中的某实际楼宇IES［26］,该系统由电、热、冷系统组成,其中热电联产机组、电锅炉、燃气锅炉及电制冷机等设备作为能量转换设备满足不同能源需求。采用1年的实际运行数据进行算例分析,具体数据如附录A图A5所示。训练集、验证集、测试集按照70%、15%、15%的比例进行划分,以1 h为步长对未来电、热、冷负荷进行预测。

3.2 超参数选择与模型构建

模型预测准确度很大程度上取决于超参数选择,本文模型涉及的超参数主要包括:网络结构超参数和优化算法超参数。首先鉴于模型特点以及上文对输入输出特征集的设定,确定每个子输入序列长度为27,每个子输出序列长度为1。其次经由大量文献证实所采用的Adam算法可以确定学习率α初始值、平滑参数、子训练样本集个数、最大训练次数等参数,剩余参数则采用随机追踪法进行寻优。这样做可减少神经网络参数的寻优过程,明显提高模型构建和训练效率。多次试验记录的模型最优超参数如附录A表A2所示。

在模型结构上首先依据电、热、冷3类负荷设置MTL中的3类子任务,分别定义3个子输入与3个子输出。其次针对负荷预测数据的强时间序列特性,利用LSTM神经网络构建模型共享层。最后依据所确定的最优超参数实现LSTM-MTL模型的整体构建并对其进行训练,具体的模型结构如附录A图A6所示。

3.3 离线训练结果分析

1）模型离线训练结果分析

模型构建完毕后需对其进行离线训练,在该过程中为了避免后期学习率过大导致模型在最优解附近来回振荡而无法收敛的问题,采用学习率倍数衰减方法,即在网络训练过程中学习率能够随训练次数的增加而逐渐减少。学习率随训练次数的变化情况如附录A图A7所示,由图A7可知学习率初始值设定为0.01,衰减系数为0.5,在训练次数达到210次左右时学习率达到了预设的最小值0.000 1并稳定于此值。

训练集和验证集预测精度随训练次数变化的情况如附录A图A8所示。结合图A7和图A8分析可知,当训练次数小于210次时,由于学习率从初始值0.01开始逐渐减少,因此训练集和测试集上的预测精度也会随之产生波动,但总体随训练次数的增加而提高。当训练次数达到210次后,训练集和测试集的精度基本趋于稳定,因为此时学习率稳定于0.000 1,已能够准确找到最优解,使模型预测精度趋于稳定。同时还可知模型在训练集和验证集上的预测精度十分接近,验证集预测精度仅比训练集小约0.4%,说明模型在训练过程中并没有出现过拟合现象,模型的训练结果较为合理,具有较强的泛化能力。

电、热、冷负荷各自平均预测精度随训练次数变化的情况如附录A图A9所示。以LMA作为评价指标,可知热负荷与冷负荷平均预测精度随训练次数变化情况大致相同且基本维持在96%附近。而电负荷平均预测精度较热、冷负荷有一定的差距,主要是因为电负荷较热、冷负荷来说实时性较强,不具有热、冷负荷较强的惯性,同时影响因素更多,因此预测难度更大。训练结果反映模型在处理多元负荷预测时与IES实际运行数据较为相近,模型离线训练结果具有可信性。

2）模型耦合信息学习可视化解释

为证实离线训练中LSTM-MTL模型可利用子任务提供的耦合信息来提升预测精度,本节采用附录A中的沙普利加和解释技术（Shapley additive explanation technology,SAET）对神经网络输出结果进行可视化解释［27］。限于篇幅,仅以冬、夏季典型日电负荷预测为例进行说明,各输入特征对预测结果的贡献度如附录A图A10所示,其中红色和蓝色部分分别表示特征对预测值具有正向促进和反向作用；长度表示该特征对预测值的贡献度大小。

由附录A图A10（a）可知冬季典型日模型预测平均基准值为1 385.41 k W,从基准值到预测值主要受太阳辐射、温度、t时刻热负荷预测值、t时刻冷负荷预测值以及前一日t时刻电负荷值等特征量影响。若不考虑热、冷负荷对电负荷预测的影响,则模型预测值为1 423.62 kW,相较于真实值1 814.89 kW的误差为21.56%。相比之下,采用LSTM-MTL模型后预测值为1 773.62 k W,误差为2.32%,预测精度明显提高。主要是因为所研究IES在冬季时热需求较大,而系统内部热量很大一部分来源于电制热设备,致使电需求伴随热需求的提升而提升,在同一时刻热负荷预测对电负荷预测起到很大程度的正向影响。相反冬季所需冷负荷量小,可直接通过吸收式制冷机满足供应需求,不需要电制冷设备进行额外供应,对电负荷预测具有一定的反向作用。

由附录A图A10（b）可知,夏季大量的冷负荷需求致使电负荷需求在一定程度上增大；同时降雨量起到反向作用,因为夏季降雨时刻明显降低了气温,不再需要将大量电制冷设备投入使用。

通过上述分析可知,所构建的LSTM-MTL模型在进行负荷预测时确实能通过共享层利用其余子任务提供的耦合信息,隐式增加原任务数据量,进而对原任务产生不同程度的影响,达到提高模型总体预测精度和泛化能力的目的。

3.4 不同预测模型在线应用结果对比分析

1）LSTM-MTL模型与传统多元负荷预测模型对比

为突出本文所构建模型在IES多元负荷预测上的优势,本节将LSTM-MTL模型与现有预测模型进行对比分析。目前,IES多元负荷预测方法主要有改进粒子群-小波神经网络法（IPSO-WNN）［15］和核主成分分析-广义回归神经网络法（KPCAGRNN）［16］等。上 述2种 模 型 均 在Sklearn与TensorFlow环境下进行复现,预测数据选取测试集中某4天,其中1～48时段为工作日,49～96时段为非工作日。多次试验后记录每种模型在测试数据上的预测结果如图2和附录A表A3所示,LSTMMTL模型针对电、热、冷负荷的小时级MAPE值如图3所示。

图2 多元负荷预测模型的预测结果Fig.2 Forecast results of multiple load prediction model

图3 小时级MAPE值分布Fig.3 Distribution of hourly MAPE values

在预测精度方面,由图3和附录A表A3可知LSTM-MTL模型对电、热、冷负荷的MAPE预测误差仅在个别时间超过3%,总体预测精度较高。对于WMA值,LSTM-MTL较IPSO-WNN提升4.22%,较KPCA-GRNN提升7.78%。同时经图2分析可知,3类模型的预测差距主要体现在峰时刻和谷时刻负荷附近,因为IES实际运行过程中峰、谷时刻负荷波动较大,波动较为强烈的时刻预测难度要明显高于其他时间段。相比之下,LSTM-MTL预测效果较好的原因主要表现在以下几个方面。

①LSTM-MTL模型首先通过子任务学习单一负荷的特征,然后利用共享层学习其余子任务提供的辅助耦合信息,在单一负荷波动较大时能够有效利用学习到的辅助耦合特征来减少预测误差,更好地拟合出负荷变化趋势。而其余2种模型在输入层不做区分,所有特征集数据采用统一学习方式,致使模型需要更多次迭代,学习效率和预测精度较低。

②IPSO-WNN采用小波神经网络,KPCAGRNN采用径向基神经网络,虽然有助于提高收敛速度与精度,但网络结构不具有记忆功能,在处理具有时序特性的负荷数据时相较于LSTM网络仍有一定的劣势。

③KPCA-GRNN对原始数据进行降维处理,虽然在一定程度上减少了数据冗余,提高了模型效率,但却致使隐藏的部分耦合信息被抹去,模型学习不充分。同时鉴于目前IES实际运行数据较难获得、数据降维后易出现训练数据匮乏等问题,受数据量限制,本节中的KPCA-GRNN预测精度最低。

在预测时间方面,由附录A表A3可知离线训练上3类模型差异较大,其中IPSO-WNN时间最长,KPCA-GRNN时间最短,而在线预测上3类模型时间较为接近,主要原因如下。

①IPSO-WNN为避免传统反向传播（BP）算法易陷入局部最优的问题,采用IPSO进行权值和偏置的更新,但IPSO需要对粒子位置和速度反复迭代更新才能获得最优值,这明显加大了模型训练时间,并不适用于离线训练模型。

②KPCA-GRNN通过降维人为简化了输入特征集,提高了模型运算效率,因此离线训练时间最短,但却存在受数据量限制预测精度降低的问题。

③3类模型在线预测均是在离线训练完毕基础上进行,虽然LSTM-MTL相较于其余2种模型,网络结构更加复杂,但三者均不属于大型神经网络结构模型,因此在现有硬件条件支撑下在线预测时间差距并不明显。

2）LSTM-MTL模型与单一负荷预测模型对比

为验证所构建LSTM-MTL模型能有效学习多元负荷间的耦合信息,提高负荷预测精度,本节将其与单一负荷预测模型（以LSTM网络模型为例）进行对比分析,结果如附录A表A4所示。可知LSTM-MTL模型进行预测时能够获得更高的预测精度,其中电、热、冷负荷提高的预测精度分别为2.5%、2.1%、3.4%。因为模型经由共享层学习了不同输入间的复杂耦合关系,在预测某一种负荷时能够充分利用其余2种负荷提供的辅助信息。

除预测精度外,本节还在同样的计算资源前提下对比两者的计算量,并以累加时间长短来表征2类模型计算量的多少。2类模型负荷预测的耗用时间如附录A表A5所示,可以看出多元负荷预测在模型训练、预测上的时间明显小于单一负荷预测的累加。这表明多元负荷预测模型在实际预测过程中的计算量相对较少,可有效缩小训练、预测时间,具有更强的工程应用价值。

4 结语

本文将LSTM神经网络与MTL方法应用于IES电、热、冷多元负荷预测中,通过“硬共享机制+LSTM共享层”方式构建了多元负荷预测模型框架,通过“离线训练+在线应用”方式建立了多元负荷预测模型,最后经由算例分析得出如下结论。

1）基于LSTM-MTL的多元负荷预测模型可以通过共享层模拟多元负荷间的耦合特性,学习不同子任务提供的耦合信息,进而达到提升负荷预测精度的目的。

2）与传统预测模型相比,所构建的LSTMMTL模型可兼顾IES多类型能源用能特性关系,在负荷预测精度和时间上具有更好的应用效果。

随着能源系统的日益交融和人工智能技术的不断发展,使用人工智能进行IES多元负荷预测必将得到越来越多的重视。鉴于目前国内外IES的发展仍处于初期,其在能源利用和需求方面仍采用较为粗犷的经营模式,并未完全考虑价格因素对其优化调度和经济运行的影响,在数据获取上想要获得与价格相关的运行数据具有一定的难度,因此本文并未将价格因素考虑到负荷预测中,未来可在本文所提方法的基础上进一步研究价格因素对IES多元负荷预测的影响。