基于Seq-GRU的建筑能耗预测方法研究

2024-09-12 00:00:00黎恺嘉贺晋曹佳宝张栋威刘浩
物联网技术 2024年4期
关键词:注意力机制时间序列物联网

摘 要:预测建筑能耗常用物理模型方法和机器学习方法,针对这两种方法存在数据获取难度大与大规模建筑能耗数据下预测精度不高的问题,提出了一种基于Seq-GRU的建筑能耗预测方法。通过构建Seq-GRU深度学习模型,使用历史建筑能耗数据对其进行训练,重点研究建筑能耗数据不同特征对预测结果的非线性关系。Seq-GRU使用GRU构建Seq2Seq模型,预测一段时间内的建筑能耗数据,并通过引入注意力机制等方法提高模型的预测精度和速率。实验结果表明,基于Seq-GRU的建筑能耗预测方法可以获取较好的建筑能耗数据。

关键词:深度学习;建筑能耗预测;时间序列;神经网络;注意力机制;物联网

中图分类号:TP181 文献标识码:A 文章编号:2095-1302(2024)04-00-06

DOI:10.16667/j.issn.2095-1302.2024.04.014

0 引 言

随着社会的快速发展,我国建筑规模不断扩大,建筑能耗逐年增加。目前,我国的建筑运行阶段能耗占全国总能耗的21.7%,建筑碳排放占全社会总排放的40%,为达到我国2030年碳达峰,2060年碳中和的目标,建筑是我国实现节能减排的关键领域。通过对建筑能耗进行预测以指导建筑运行模式,优化运行效率,帮助管理者合理控制各类设备,对于建筑节能减排有着重要的意义。

目前,建筑能耗预测方法主要分为2类,基于物理模型的工程方法和基于历史能耗数据的数据驱动方法。基于物理模型的工程方法将建筑物的物理参数和环境参数作为仿真工具的输入,许馨尹等[1]针对气候变化,根据建筑物和环境参数的信息,对住宅和办公建筑进行能耗模拟,得出气候变化与建筑能耗的关系;Fumo等[2]根据气象模型及建筑相关信息,使用度日法对建筑能耗进行模拟,其准确率高于其他方法。由于建筑物的物理参数和环境参数获取难度大,基于物理模型的工程方法常在使用时因缺少精确的数据,导致其预测结果不准确。

基于历史能耗数据的数据驱动方法可在缺少建筑物物理参数的条件下,根据建筑物的历史能耗数据对建筑能耗进行精准预测。数据驱动方法包括机器学习、深度学习等。常见的机器学习算法有支持向量机SVM[3]、人工神经网络ANN[4]和梯度渐进回归树GBRT[5]等,这些算法需要人工干预降低数据的复杂度,从而读取数据间的特征,且当数据量过大时,支持向量机无法获得精准的预测结果,人工神经网络会出现过拟合。

随着大数据和物联网时代的到来,建筑能耗数据呈现指数型增长,常见的机器学习算法难以应对庞大的建筑能耗数据,建筑能耗预测模型逐渐从浅层的机器学习发展到深度学习。深度学习[6-7]相比于机器学习,其可通过自身多层的网络结构特点,提取建筑能耗数据的特征,学习数据间的相关性,快速给出预测结果,且随着训练的能耗数据和迭代次数增多,预测精度可不断提升[8]。常见的深度学习算法有自动编码器AE[9]、卷积神经网络CNN[10]、生成对抗网络GAN[11]等。这些深度学习算法虽然可以用于能耗数据的预测,但能耗数据是建筑物在一段连续时间内的用能统计,具有时间序列性,这些常见的深度学习算法网络结构不能有效的提取数据中的时序特征,预测精确度不高。因此有不少学者研究将循环神经网络RNN及其变体应用在建筑能耗预测领域。KIM等[12]通过构建CNN-LSTM模型有效预测建筑能耗数据,利用CNN提取能耗数据的空间特征,利用LSTM提取能耗数据的时间序列特征,其预测结果均优于其他方法;MARINO等[13]构建了基于LSTM的Seq2Seq深度学习模型,经实验,其预测结果在不同时间跨度的数据上表现良好。循环神经网络RNN及其变体在预测建筑能耗领域有广泛的应用,但其并未考虑输入数据不同特征对预测结果的

影响。

基于上述研究,本文提出了一种基于Seq-GRU的建筑能耗预测方法,通过构建Seq-GRU深度学习模型,对历史建筑能耗数据进行学习,重点研究建筑能耗数据不同特征对预测结果的非线性关系。该深度学习模型使用GRU构建Seq2Seq的编码和解码层,提高模型处理时间序列数据的准确性和快速性,并引入注意力机制等方法进一步研究数据不同特征对预测结果的影响,提高模型的预测精度。

1 相关理论基础

1.1 GRU神经网络

门控循环单元GRU是循环神经网络RNN的一种变体,相比于RNN,GRU可以通过自身特殊的门结构解决RNN的长期依赖问题,保证了信息的远距离传输。GRU内部结构如图1所示。

(1)

(2)

(3)

(4)

(5)

式中:zt为t时刻的更新门状态;rt为t时刻的重置门状态;gt为t时刻的候选隐藏状态;xt为t时刻的输入;ht-1、ht为t-1和t时刻的记忆;yt为t时刻的输出;W为权重系数;σ为激活函数。

1.2 Seq2Seq模型

Seq2Seq为序列到序列模型,内部结构如图2所示。其将输入和输出分成两部分处理,解决了单个循环神经网络RNN只能处理序列到序列等长的问题。Seq2Seq编码层负责对输入序列进行编码,生成固定长度的中间向量C,解码层在给定的隐藏状态下,将中间向量C变成可变长度的输出序列。本文利用该特点构建的Seq-GRU深度学习模型可以输入任意时间段内的所有建筑能耗数据,预测之后某段时间内所有时刻的建筑能耗数据。

由于Seq2Seq的内部神经元是循环神经网络RNN,容易发生梯度消失和梯度爆炸,本文对其进行了优化,使用GRU构建Seq2Seq模型。

1.3 注意力机制

建筑能耗数据各特征对预测结果影响程度不一,而Seq2Seq模型的编码层将输入数据编码成固定向量C,对输入数据的特征没有区分,容易忽视一些包含重要信息的特征。本文在Seq2Seq模型中引入注意力机制,注意力机制是一种模仿视觉对全局事物赋予不同注意力的信息处理方式,其可以快速从大量数据中选出高价值数据,注意力机制如图3

所示。

注意力机制计算如式(6)所示:

(6)

式中:n为建筑能耗数据的输入条数;hi为第i条建筑能耗数据特征;ai为第i条建筑能耗数据特征的权值;C为注意力机制层的输出向量。通过引入注意力机制,模型可对建筑能耗数据各特征赋予合理的权重,提高模型预测精度。

1.4 teacher forcing

Seq2Seq模型的解码层前一时间步的输出作为下一时间步的输入,当前一时间步输出的结果错误时,会影响之后时间步的输出。本文使用了teacher forcing训练方式,在teacher forcing训练方式中每一时间步的输入都是前一时间步正确的输出结果,提高了模型的训练速度和稳定性。门控循环单元teacher forcing训练方式如图4所示。

2 基于Seq-GRU的建筑能耗预测方法设计

本文提出一种基于Seq-GRU的建筑能耗预测方法,方法流程如图5所示。该方法首先对历史能耗数据进行清洗、归一化处理及特征选取,去掉无关的影响因素,再对数据进行编码和训练集、测试集划分,将数据输入到Seq-GRU深度学习模型中训练,通过注意力机制对各数据特征赋权重,并在训练阶段的解码层输入预测时刻真实的能耗数据,加快模型训练速度,提升模型预测精度,实现建筑能耗的预测。

2.1 数据预处理

2.1.1 数据清洗

数据清洗是为了减少数据中的异常值对预测结果产生的影响。本文使用的数据清洗方法为3sigma,如式(7):

(7)

式中:μ表示均值;σ表示标准差,当数据超出(μ-3σ,μ+3σ)区间时,被认定为异常值。删除异常值后,使用线性插值补全。

2.1.2 归一化处理

样本数据中各特征由于类型不同,数据间的差值很大,直接输入模型训练会导致训练速度减缓,预测精度不高[14]。本文使用归一化对样本数据进行处理,将数据归到[0,1]范围,如式(8)所示。模型最终输出的结果需要反归一化,得到实际值。

(8)

式中:y表示归一化后的数据;x表示原始数据;xmin表示原始数据的最小值;xmax表示原始数据的最大值。

2.1.3 数据特征选取

样本数据中包含温度、湿度、云覆盖、气压、风向、风速、工作日、紫外线指数等特征,这些特征对建筑能耗影响不一,若将数据全部输入到深度学习模型中,会影响模型的训练速度和预测精度,因此需要删除数据中的冗余特征,优化样本数据,提高模型可靠性。由于样本特征与建筑能耗之间为非线性关系,且传统相关系数只能处理线性相关问题,因此本文使用距离相关系数[15]检验样本特征与建筑能耗之间的相关性。

计算样本数据特征M和建筑能耗N的Aop和Bop:

(9)

(10)

(11)

(12)

式中:o, p=1, 2, 3, ..., n。

计算数据特征M和建筑能耗N的样本协方差V(M, N):

(13)

计算数据特征M和建筑能耗N的距离相关系数R(M, N):

(14)

式中:V(M)、V(N)为样本方差。

样本特征与建筑能耗之间的距离相关系数见表1所列,保留距离相关系数较大的特征:温度、湿度、工作日、紫外线指数。筛选后的样本数据结构见表2所列。

2.1.4 数据编码处理

Seq-GRU深度学习模型输入需为向量形式,本文将筛选后的二维样本数据映射成三维向量,使用Tensorflow的Embedding函数进行编码处理。本文构建的Seq-GRU深度学习模型可以输入任意时间段内的所有建筑能耗数据,预测之后某段时间内所有时刻的建筑能耗数据,因此本文设置每次向模型中输入前一周的历史建筑能耗数据,预测未来一天所有时刻的能耗数据,数据编码维度变化见表3

所列。

2.2 针对建筑能耗预测问题的Seq-GRU深度学习模型构建

本文针对建筑能耗预测问题,提出了基于Seq-GRU的建筑能耗预测方法,该方法的核心是Seq-GRU深度学习模型。本文对Seq2Seq模型进行优化,使用GRU构建Seq2Seq模型的编码层和解码层,引入注意力机制和teacher forcing训练方法,加强模型的训练速度,提升模型的预测精度。通过历史建筑能耗数据对Seq-GRU深度学习模型进行训练,研究建筑能耗数据不同特征对预测结果的非线性关系,生成能耗数据与预测结果的映射关系网络,快速输出预测结果。深度学习模型结构如图6所示。

2.3 评价指标

本文采用平均绝对误差MAE、均方误差MSE、均方根误差RMSE作为评价指标,对本文深度学习方法的预测效果和准确度进行评估,如式(15)~式(17)所示:

(15)

(16)

(17)

式中:yzi为i时刻的建筑实际能耗值;yyi为预测的i时刻建筑能耗值;n为样本数量;MAE为预测值和实际值的差值;MSE为预测值和实际值差的平方和均值,体现了数据的变化程度;RMSE为预测值和实际值差的平方和均值的开方,体现了模型的预测精度。

3 实验结果与分析

为验证基于Seq-GRU的建筑能耗预测方法的有效性,分析深度学习模型Seq-GRU在建筑能耗预测问题上的应用效果,本文进行了仿真实验。实验在同一计算平台下进行,深度学习模型使用Pycharm和Tensorflow神经网络框架

构建。

3.1 仿真数据准备

本实验数据集来自长沙市某办公建筑,该建筑具备完善的建筑能耗监测系统。通过其能耗监测系统获取了2019年的历史能耗数据及相关天气数据,能耗曲线如图7所示,数据集的时间粒度为小时。将这些实验数据按比例分为训练集和测试集,其中,80%的数据作为训练集,用于训练深度学习模型,20%的数据作为测试集,用来测试模型的实际效果。将实验数据预处理后输入深度学习模型中进行

训练。

3.2 模型参数选择与数据维度变化

深度学习模型的参数设置对于模型训练效果至关重要。对于Seq-GRU深度学习模型来说,需要确定的参数有学习率和神经元个数。本文通过网格搜索算法,对指定参数进行穷举法搜索,最终确定当神经元个数为256、学习率为0.01时,模型有最优的效果。实验数据在模型中各层的维度变化见

表4所列。

3.3 实验结果分析

为了验证基于Seq-GRU的建筑能耗预测方法的有效性,本文将Seq-GRU模型与卷积神经网络CNN、长短期记忆网络LSTM、门控循环单元GRU和加入了注意力机制的门控循环单元attention-GRU进行对比。上述模型均取最优参数,模型的评价指标结果见表5所列。

从表5可以看出,卷积神经网络CNN的MAE、MSE、RMSE均大于其他4个模型,这是由于建筑能耗数据具有时序特征,CNN无法提取数据中的时序特征,导致模型性能不佳。门控循环单元GRU模型与长短期记忆网络LSTM模型对比,2个模型的性能差距不大,但GRU所需要的训练时间大幅减少,这是由于GRU的内部结构相比于LSTM更简单,GRU相比于LSTM少了一个记忆细胞,参数变少,模型处理运算时间也相应减少,因此本文使用门控循环单元GRU构建Seq2Seq模型。

将门控循环单元GRU模型与加入了注意力机制的门控循环单元attention-GRU模型进行对比,attention-GRU模型的MAE、MSE、RMSE均低于GRU模型,这表明加入注意力机制后,GRU模型的预测效果得到了提升。模型在加入注意力机制后,对预测结果影响大的数据特征增加权重,模型能更准确地提取建筑能耗数据不同特征与预测结果的非线性关系,使得模型的预测效果得到了提升,但由于attention-GRU模型多了一个注意力层,模型的训练时间相比于GRU大幅度上升。

本文的Seq-GRU模型相较于其他4个模型,MAE、MSE、RMSE 3个评价指标值都是最小,表明Seq-GRU模型可以有效预测建筑能耗且性能优于其他模型,同时,虽然Seq-GRU模型相比于attention-GRU模型结构更加复杂,但由于模型使用了teacher forcing训练方式,其训练时间反而减少。

从全年的数据中选取能耗相对较低的1月、能耗相对较高的8月作为典型,使用CNN、GRU和Seq-GRU 3个模型对上述两月的前7天进行预测,查看实际能耗数据与预测数据,如图8、图9所示。

从图8、图9中可以看出,卷积神经网络CNN对于预测建筑能耗存在滞后性且不能准确预测能耗峰值时间段的局部特征,这是由于CNN没有注意力机制且不能提取能耗数据中的时序特征,当输入信息过长,无法注意到数据中一些重要的特征并会遗忘部分初始信息。门控循环单元GRU相比于CNN不存在滞后性,这是由于GRU可以通过自身门结构提取时序特征,实现信息的长距离传输;在能耗峰值时间段和能耗变化较大的时间段,GRU并不能很好地预测能耗值,这是因为GRU缺少注意力机制,其对所有的数据特征赋予相同的权重,未注意到数据对预测结果影响较大的特征。本文的Seq-GRU模型拟合程度相比于其他2个模型更好,在能耗变化大的时间段和能耗峰值时间段都可以很好地预测建筑能耗且预测值与实际值接近,表明了Seq-GRU模型可以提取建筑能耗数据不同特征与预测结果的非线性关系,准确反映能耗变化的规律。

本文的深度学习模型是由GRU构建的Seq2Seq模型,模型内部结构相比于CNN和GRU更复杂,模型的训练时间更长,但当模型训练完后,该模型可以一次预测一天24小时的能耗值,相比于CNN和GRU每次只能预测一小时,其模型运行时间大幅缩短,且随着需要预测的时间越长,模型的运行时间优势越明显,见表6所列。

4 结 语

本文提出的基于Seq-GRU的建筑能耗预测方法,通过构建Seq-GRU深度学习模型,对历史建筑能耗数据进行学习,快速给出预测结果。Seq-GRU模型使用GRU替代Seq2Seq模型中的RNN,模型解码层可一次预测某段时间内的建筑能耗数据,并引入注意力机制提高了模型的预测精度和速率。最终通过实验与CNN、GRU等深度学习模型进行了对比,验证了所提方法对于预测建筑能耗数据的有效性和快速性。下一步将对该模型进行扩展优化,引入到其他更为复杂的建筑能耗问题上,并将该模型部署到实际的建筑能耗管理系统中,以测试模型的实际效果。

参考文献

[1] FUMO N,MAGO P,LUCK R. Methodology to estimate building energy consumption using energyplus benchmark models [J]. Energy and buildings,2010,42(12):2331-2337.

[2]许馨尹,李红莲,杨柳,等.气候变化下的建筑能耗预测[J].太阳能学报,2018,39(5):1359-1366.

[3] FU X,ZENG X J,FENG P P,et al. Clustering-based short-term load forecasting for residential electricity under the increasing-block pricing tariffs inChina [J]. Energy,2018,165:76-89.

[4] KIM J H,SEONG N C,CHOI W. Forecasting the energy consumption of an actual air handling unit and absorption chiller using ANN models [J]. Energies,2020,13(17):4361.

[5] ROBINSON C,DILKINA B,HUBBS J,et al. Machine learning approaches for estimating commercial building energy consumption [J]. Applied energy,2017,208:889-904.

[6]朱泓睿,元国军,姚成吉,等. 分布式深度学习训练网络综述[J]. 计算机研究与发展,2021,58(1):98-115.

[7]陈伟宏,安吉尧,李仁发,等. 深度学习认知计算综述[J]. 自动化学报,2017,43(11):1886-1897.

[8] RAJAGUKGUK R A,RAMADHAN R A A,LEEH J. A review on deep learning models for forecasting time series data of solar irradiance and photovoltaic power [J]. Energies,2020,13(24):6623.

[9] FANC,SUN Y J,ZHAO Y,et al. Deep learning-based feature engineering methods for improved building energy prediction [J]. Applied energy,2019,240:35-45.

[10] RUNGE J,ZMEUREANU R. A review of deep learning techniques for forecasting energy use in buildings [J]. Energies,2021,14(3):608.

[11]邹锋,田大伟,王悦,等.基于生成对抗网络的深度学习能耗预测算法[J].电脑知识与技术,2019,15(2):198-200.

[12] KIM T Y,CHO S B. Predicting residential energy consumption using CNN-LSTM neural networks [J]. Energy,2019,182(6):72-81.

[13] MARINO D L,AMARASINGHE K,MANIC M. Building energy load forecasting using deep neural networks [C]// IECON 2016-42nd Annual Conference of the IEEE Industrial Electronics Society,2016:7046-7051.

[14]权波,杨博辰,胡可奇,等.基于LSTM的船舶航迹预测模型[J].计算机科学,2018,45(s2):126-131.

[15] SZEKELY G J,RIZZO M L,BAKIROV N K. Measuring and testing dependence by correlation of distances [J]. The annals of statistics,2008,35(6):2769-2794.

收稿日期:2023-04-10 修回日期:2023-05-22

作者简介:黎恺嘉(1997—),男,硕士研究生,助理工程师,研究方向为深度学习、智慧建筑与建筑节能研究。

贺 晋(1987—),男,硕士研究生,高级工程师,研究方向为深度学习、智慧建筑与建筑节能研究。

猜你喜欢
注意力机制时间序列物联网
基于深度学习的问题回答技术研究
基于LSTM?Attention神经网络的文本特征提取方法
基于注意力机制的双向LSTM模型在中文商品评论情感分类中的研究
软件工程(2017年11期)2018-01-05 08:06:09
InsunKBQA:一个基于知识库的问答系统
基于时间序列的我国人均GDP分析与预测
商(2016年32期)2016-11-24 16:20:57
基于线性散列索引的时间序列查询方法研究
软件工程(2016年8期)2016-10-25 15:43:57
基于物联网的煤矿智能仓储与物流运输管理系统设计与应用
基于高职院校物联网技术应用人才培养的思考分析
中国或成“物联网”领军者
环球时报(2016-08-01)2016-08-01 07:04:45
基于组合模型的能源需求预测
企业导报(2016年8期)2016-05-31 20:04:13