贫乏信息下基于深度迁移学习的智慧建筑负荷预测方法

江晶晶 窦真兰 杨海涛 赵 敏

贫乏信息下基于深度迁移学习的智慧建筑负荷预测方法

江晶晶1窦真兰2杨海涛1赵 敏1

（1. 国网上海市电力公司市北供电公司，上海 200070； 2. 国网上海综合能源服务有限公司，上海 200235）

精确的负荷预测可以显著优化建筑设备运行策略，释放建筑节能潜力，其中基于数据驱动的负荷预测模型得到了广泛关注。然而，一些具有新建数据平台的建筑能够为模型提供的数据非常有限。为了提高在贫乏信息状态下的预测性能，本文建立一种基于因果卷积神经网络结构的深度迁移学习负荷预测模型。首先，引入迁移学习机制，将与目标建筑类型一致的建筑作为源域建筑为模型提供数据；其次，引入全卷积神经网络和因果逻辑约束增强时间序列特征表达，以增加输出神经元的接受域并提升预测精度；最后，以实际工程中的办公建筑为例，对所提出的方法和所建模型进行验证，并将预测结果与长短期记忆网络模型的预测结果相比。结果显示，本文所建模型将预测值与实际值的平均绝对百分比误差和方均根误差系数分别平均降低了22.88%和0.372 0。

负荷预测；迁移学习；深度学习；卷积神经网络（CNN）

0 引言

从世界范围来看，建筑负荷目前约占总负荷的40%，由此可见，优化建筑运行性能至关重要[1]。中国已成为仅次于美国的第二大能源消费国，建筑负荷约占全国总负荷的30%[2]。因此，建筑具有相当大的节能潜力。为达到节能环保的运行目标，需要精确预测建筑负荷，因为负荷预测的准确性直接影响建筑能源设备的控制策略，从而影响建筑的节能潜力。例如，减少高峰电力需求能够取得一定的经济和环境效益[3]，因为高峰需求是能源系统基础设施投资增长的主要因素[4]。因此，准确的建筑负荷预测可使电网和终端用户受益[5]，从而降低系统的运营风险[6]。

预测建筑负荷的方法可分为两种：物理建模方法和数据驱动方法[7]。物理建模方法考虑与建筑本身特性相关的参数，并通过明确的供能机制获得建筑负荷数据。但构建建筑物理模型需要大量与建筑运行相关的参数（建筑热物理参数、能源设备参数等）和详细的系统设置（人员活动时间表、空调分区等），而这些数据一般很难获得。数据驱动方法可以依靠大量历史数据来预测建筑负荷而不需要建立复杂的物理模型。已有大量的文献验证了数据驱动方法在负荷预测中的有效性。例如，文献[8]使用回归卷积神经网络（convolutional neural network, CNN）提取输入数据的隐含信息并用支持向量回归模型来预测短期电、热负荷；文献[9]总结了五个深度学习模型在负荷及新能源功率预测、电力系统故障诊断、暂态稳定性分析等方面的应用现状，这五个模型分别是：生成式对抗网络、递归神经网络、卷积神经网络、堆叠自动编码器和深度信念网络。

近年来，随着建筑负荷数据维数的不断提高，深度学习以其处理高维数据的优越性能得到越来越多的应用[10-11]。文献[12]回顾了负荷预测中的传统模型和基于深度学习的模型，并从预测范围、应用领域、模型类型和预测精度等方面对模型进行了讨论；文献[13]证明了简单稠密深度学习模型相比随机森林或梯度增强模型能获得更好的精度。然而，数据驱动模型都需要大量的历史数据，这一要求在一些新建建筑或具有新建能源监控平台的建筑中很难满足。因此，本文在使用数据驱动方法进行负荷预测时，使用迁移学习来解决历史数据贫乏的问题。迁移学习可以在许多领域中解决现实世界的问题，例如自然语言处理[14-15]、人脸识别[16]和视觉跟踪[17]等。在能源和建筑领域，文献[18]使用在线迁移学习预测住宅建筑中的温度，文献[19]使用具有强化学习的深度置信网络构建在线跨建筑迁移学习模型。在目前关于深度学习的研究中，卷积神经网络和长短期记忆（long short-term memory, LSTM）网络被广泛应用，尤其是在计算机视觉和自然语言处理当中[20]。

相较于K均值聚类算法[21]、主成分分析法[22]、支持向量机[23]、极限学习机等[24]算法，以及多尺度时序分析[25-26]方法，CNN模型在特征提取方面具有平移不变性和特征提取结果准确的优势，所以，本文选用CNN模型从数据中提取高维特征。长短期记忆网络的网络结构常被用来处理时间序列数据，因此，本文使用一个典型LSTM模型作为对照。同时，为保证迁移学习中源域数据的有效性，本文采用动态时间规整（dynamic time warping, DTW）和JS（Jensen-Shannon）散度对源域建筑数据与目标域建筑数据的相关性进行评价，作为选择源域数据集的依据。

1 基于深度迁移学习的负荷预测

1.1 选择源域数据集

合理的源域数据在迁移学习中起着至关重要的作用，与目标建筑具有不同特征分布的源域数据可能会严重影响负荷预测模型的性能。因此，本文使用DTW和JS散度来计算不同负荷数据集之间的相关性。

DTW的数学公式为

作为基于距离的方法，DTW着重比较时间序列的形状相似度，而相对忽略时间序列之间的内部特征分布。因此，使用JS散度进一步计算两个序列之间的内部特征分布的相似度。

JS散度是KL散度的函数，有

综上所述，DTW和JS散度的综合应用考虑了不同序列之间的形状和内部特征分布，从而可以评估时间序列之间的相似性并指导目标建筑负荷预测的源域数据集的选择。

1.2 预训练模型

负荷预测模型的输入是一组一维时间序列，任务是根据历史数据预测1的值。由于时间序列的固有局限性，负荷预测结果只受其先前的观测值影响，而不受任何未来值的影响。因此，选用因果卷积网络作为深度迁移学习模型的框架。因果卷积网络可以等效地通过在输入时间序列之前填充一组零，然后输入层1维卷积层来实现。除了最后一层之外，每一层都采用线性整流函数（rectified linear unit, ReLU）作为激活函数，第层采用线性激活函数。最后经过一个1×1维卷积层产生一维输出。

首先要在源域上训练模型，然后将学习到的知识迁移到目标域上的因果卷积神经网络中。在预训练模型阶段，首先基于上述选择源域数据集的方法筛选合适的源域数据集，然后将筛选得到的源域数据集作为预训练的数据库，采用文献[27]中提出的卷积神经网络回归模型训练方法，使用前向传播算法得到预测值后，再用反向传播算法链式求导，计算损失函数对每个权重的偏导数，再使用梯度下降法对权重进行更新。所得权重即为预测模型在预训练阶段所得知识，需要后续利用目标域的数据对该模型进行微调，使其满足新建建筑的预测需求。

1.3 微调

微调阶段的损失函数是为使源域和目标域的特征分布统一而设计的，详细说明如下。

本文采用随机梯度下降法（stochastic gradient descent, SGD）来求解式（3）中的优化问题。梯度的计算方法为

负荷预测模型训练流程如图1所示，可以将贫乏信息下建筑负荷预测模型的构建分为两个阶段，即模型预训练阶段和微调阶段。在模型预训练阶段，基于源域和目标域的建筑负荷数据训练参数，获得的参数是全局参数。在微调阶段，将针对目标建筑的负荷时间序列专门训练参数，即微调阶段学习到的参数是局部参数。因此，本文建立的模型可以看作是具有全局参数和局部参数的混合模型。

2 案例分析

本节将使用实测数据对本文所建立的基于深度迁移学习的负荷预测模型进行分析和比较，以验证该模型在贫乏信息情况下进行建筑负荷预测的有 效性。

图1 负荷预测模型训练流程

2.1 基础数据

本文对上海世博园区B片区内的三栋办公建筑进行研究分析，分别将三栋建筑的其中一栋作为目标建筑进行三组对照实验，即将建筑A作为目标建筑，建筑B和建筑C作为源域建筑，之后将建筑B作为目标建筑，另外两栋建筑作为源域建筑，以此类推共构建三组不同的实验用以验证模型和方法。由于三栋建筑的距离相近，因而三栋建筑所处地区的天气状态和气象参数都比较接近。此外，由于三栋建筑都属于办公建筑，其每日运行时间和每年的节假日、公休日时间都是一致的，即这三栋建筑处于同样的运行时间表中，可以说这三栋建筑是统一类型的建筑。

本文对目标建筑一年的冷、热、电负荷进行预测，即将目标建筑一年12个月的负荷分别进行12次预测并将结果汇总为一年的数据。表1为不同实验中源域数据和目标域数据的构成，每个目标域包含目标建筑前一年12个月的负荷数据，每个源域都包括其他两栋建筑24个月的数据，在整个训练的过程中，数据按照不同建筑和不同年份按顺序排列。

表1 不同实验中源域和目标域的数据构成

为了在每个实验中验证所提模型的有效性，本文在每个实验中又设定了三种不同的模型。

模型1：使用典型的LSTM层和一层全连接层构建模型，在预测过程中仅使用目标建筑前2个月的负荷数据进行训练和预测。

模型2：模型2为本文建立的负荷预测模型，即基于因果卷积神经网络的深度迁移学习模型，训练集中包含了目标建筑2年的完整数据。

模型3：模型3同样为本文建立的基于深度迁移学习的负荷预测模型，但在预测过程中仅使用目标建筑前2个月的负荷数据进行训练和预测。

2.2 结果分析及比较

由于案例中的三栋建筑面积差异较大，其建筑能耗的数值也会处在不同的量级上。因此传统的方均根误差（root mean square error, RMSE）不适合用来比较不同建筑的预测精度。在本文的迁移学习案例研究中，选择平均绝对百分比误差（mean absolute percentage error, MAPE）和方均根误差系数（coefficient of variation of root mean square error, CV-RMSE）衡量模型的预测性能。

MAPE和CV-RMSE的计算式为

表2为不同建筑的实验结果，包含每个实验中三种负荷预测数据与实测数据的MAPE平均值和CV-RMSE平均值。

表2 不同建筑的实验结果

比较三组模型的预测结果可以看出，模型1在不同建筑的实验中都取得了最差的MAPE结果，在建筑B中取得了最差的CV-RMSE结果，在其他建筑的实验中得到的CV-RMSE结果也较差。这是因为模型1的目的是用于模拟我国当前建筑负荷信息相对贫乏情况下的预测精度，在整个模型训练的过程中仅使用了目标建筑2个月的数据用于训练并预测目标建筑下一个月的能耗。这样的预测结果也更说明了建筑负荷信息的贫乏会很大程度地影响负荷预测的精度。对比每一个实验中模型1和模型2、模型3的差值可以看出，在建筑B作为目标建筑的实验中，迁移学习模型取得的精度提升是最明显的。相比于模型1的精度，模型2将MAPE降低了22.95%，将CV-RMSE降低了0.355 4，可见通过模型2的迁移学习可以有效提升建筑B的能耗预测精度。模型3将MAPE降低了22.81%，将CV-RMSE降低了0.388 5。模型3对于CV-RMSE的提升效果比模型2要更明显一些，而MAPE则稍弱一些，但总体的差距并不是很大，这说明模型3对于建筑B的迁移学习也有很好的效果，预测的精度也比较好，可以满足工程实际中的应用要求。

在上述比较当中，建筑A在贫乏信息下的负荷预测精度最好，因此本文以建筑A为例，对上海世博B片区综合能源站的冷、热、电负荷的预测结果分别进行分析。冷、热、电负荷预测结果分别如图2～图4所示，负荷预测评价结果见表3。

从建筑A的预测结果可以看出，全年冷负荷的预测精度最差，MAPE高达14.80%，CV-RMSE也为三种负荷的最大值，这可能是由于建筑冷负荷的复杂特性和用能行为导致的。热负荷和电负荷的MAPE都低于10%，分别为6.80%和5.61%，这是因为，相比于冷负荷，供热设备的起停和管理通常由建筑调度中心整体调控，因此建筑的供热需求在供热季会较为固定，对热负荷的预测也较为容易。相比于热负荷，电负荷的CV-RMSE更低，这是由于电负荷的大小往往和各种用电设备有密切的关系，而这部分设备的使用往往由于工作时间的规定而较为固定，导致电负荷在全年的变化往往服从一个规律的工作日变化。

图2 冷负荷预测结果

图3 热负荷预测结果

图4 电负荷预测结果

表3 负荷预测评价结果

3 结论

本文建立了一种基于深度迁移学习的负荷预测模型，该模型可以从其他类似建筑的历史数据中提取有效信息和知识并使原始数据贫乏的目标建筑获得较为理想的负荷预测结果。

为验证模型的有效性，以上海三座政府办公楼为例，分别设置了多组对照案例进行研究。与同样模拟贫乏信息情况的LSTM模型结果相比，本文所建立的基于因果卷积神经网络和深度迁移学习的负荷预测模型将负荷的预测值与实测值的平均绝对百分比误差平均降低了22.88%，方均根误差系数平均降低了0.372 0。在对建筑A的全年冷、热、电负荷预测结果的分析中，各类负荷的预测值均接近目标建筑本身的实际值，但冷负荷的预测精度相对较差，预测值与实际值的方均根误差系数和平均绝对百分比误差分别为0.165 3和14.80%；电、热负荷的预测精度相对较好，预测值与实际值的平均绝对百分比误差均在10%以下。

[1] 王健, 阮应君. 建筑分布式能源系统设计与优化[M].上海: 同济大学出版社, 2018.

[2] JRADI M, RIFFAT S. Tri-generation systems: energy- policies, prime movers, cooling technologies, configu- reations and operation strategies[J]. Renewable & Sustainable Energy Reviews, 2014, 32: 396-415.

[3] 廖丽娜. 面向建筑的天然气三联供与可再生能源的耦合优化设计[D]. 上海: 上海电力学院, 2015.

[4] 潘毅群, 郁丛, 龙惟定, 等. 区域建筑负荷与能耗预测研究综述[J]. 暖通空调, 2015, 45(3): 33-40.

[5] KAVGIC M, MAVROGIANNI A, MUMOVIC D, et al. A review of bottom-up building stock models for energy consumption in the residential sector[J]. Building and Environment, 2010, 45(7): 1683-1697.

[6] KONTOKOSTA C E, TULL C. A data-driven predi- ctive model of city-scale energy use in buildings[J]. Applied Energy, 2017, 197: 303-317.

[7] 燕达, 陈友明, 潘毅群, 等. 我国建筑能耗模拟的研究现状与发展[J]. 建筑科学, 2018, 34(10): 130-137.

[8] 罗凤章, 张旭, 杨欣, 等. 基于深度学习的综合能源配电系统负荷分析预测[J]. 高电压技术, 2021, 47(1): 23-32.

[9] 周念成, 廖建权, 王强钢, 等. 深度学习在智能电网中的应用现状分析与展望[J]. 电力系统自动化, 2019, 43(4): 180-191.

[10] HAN Fujia, PU Tianjiao, LI Maozhen, et al. Short- term forecasting of individual residential load based on deep learning and K-means clustering[J]. CSEE Journal of Power and Energy Systems, 2021, 7(2): 261-269.

[11] RUNGE J, ZMEUREANU R. A review of deep learning techniques for forecasting energy use in buildings[J]. Energies, 2021, 14(3): 1-26.

[12] WEI Nan, LI Changjun, PENG Xiaolong, et al. Conventional models and artificial intelligence-based models for energy consumption forecasting: a review[J]. Journal of Petroleum Science and Engineering, 2019, 181: 106187.

[13] RUAN Yingjun, LIU Qingrong, LI Zhengwei, et al. Optimization and analysis of building combined cooling, heating and power (BCHP) plants with chilled ice thermal storage system[J]. Applied Energy, 2016, 179: 738-754.

[14] 徐萍, 吴超, 胡峰俊, 等. 基于迁移学习的个性化循环神经网络语言模型[J]. 南京理工大学学报, 2018, 42(4): 401-408.

[15] YU Chongchong, CHEN Yunbing, LI Yueqiao, et al. Cross-language end-to-end speech recognition research based on transfer learning for the low-resource Tujia language[J]. Symmetry, 2019, 11(2): 179.

[16] 亢洁, 李佳伟, 杨思力. 基于域适应卷积神经网络的人脸表情识别[J]. 计算机工程, 2019, 45(12): 201- 206.

[17] WANG Shanshan, ZHANG Lei, ZUO Wangmeng, et al. Class-specific reconstruction tansfer learning for visual recognition across domains[J]. IEEE Transa- ctions on Image Processing, 2020, 29: 2424-2438.

[18] GUO Li, LIU Wenjian, CAI Jiejin, et al. A two-stage optimal planning and design method for combined cooling, heat and power micro-grid system[J]. Energy Conversion and Management, 2013, 74: 433-445.

[19] 曾竞. 区域供冷供热管网系统优化设计研究[D]. 长沙: 湖南大学, 2017.

[20] FANG Tingting, LAHDELMA R. Genetic optimization of multi-plant heat production in district heating networks[J]. Applied Energy. 2015, 159: 610-619.

[21] 陈振祥, 林培杰, 程树英, 等. 基于K-means++和混合深度学习的光伏功率预测[J]. 电气技术, 2021, 22(9): 7-13, 33.

[22] 洪华伟, 王峰, 郑鹏, 等. 基于模糊综合评价与主成分分析的客户用电能效研究[J]. 电气技术, 2020, 21(10): 29-34, 40.

[23] 王东, 史晓霞, 尹交英. 不同核函数的支持向量机用于空调负荷预测的对比研究[J]. 电工技术学报, 2015, 30(增刊1): 531-535.

[24] 刘念, 张清鑫, 刘海涛. 基于核函数极限学习机的微电网短期负荷预测方法[J]. 电工技术学报, 2015, 30(8): 218-224.

[25] 张帅, 杨晶显, 刘继春, 等. 基于多尺度时序建模与估计的电力负荷数据恢复[J]. 电工技术学报, 2020, 35(13): 2736-2746.

[26] 储晨阳, 秦川, 鞠平, 等. 基于优化稀疏编码的超短期负荷滚动多步预测[J]. 电工技术学报, 2021, 36(19): 4050-4059.

[27] KRIZHEVSKY A, SUTSKEVER I, HINTON G E. Imagenet classification with deep convolutional neural networks[J]. Communicatios of the ACM, 2017, 60(6): 84-90.

Load forecasting method of smart building based on deep transfer learning under poor information

JIANG Jingjing1DOU Zhenlan2YANG Haitao1ZHAO Min1

(1. Shibei Electricity Supply Company of State Grid Shanghai Municipal Electric Power Company, Shanghai 200070; 2. State Grid Shanghai Comprehensive Energy Service Co., Ltd, Shanghai 200235)

Accurate load forecasting can significantly optimize the operation strategy of equipment and release the energy-saving potential of buildings. With the advancement of computer science and smart meters, data-driven load forecasting models have become popular because of good forecasting accuracy. To improve the forecasting performance under poor information, this paper proposes a deep-transfer-learning predictive method based on the causal convolutional neural network. Taking three office buildings of the same type as an example, one of them is set as the target building and the other two are set as the source building. The proposed method and the built model are verified, and the forecasting results are compared with the long short-term memory network model. The forecasting results show that the model built in this paper reduces the average percentage error and the root mean square error coefficient of the predicted value and the actual value by 22.81% and 38.85%, respectively. Finally, this paper selects a building with better forecasting accuracy and compares and analyzes its annual cold, heat, and electrical load forecast results. The results show that the forecast accuracy of electricity and heat load is better than that of cooling load.

load forecasting; transfer learning; deep learning; convolutional neural network (CNN)

2021-09-29

2021-11-22

江晶晶（1982—），女，浙江省宁波市人，硕士，工程师，主要从事电能计量装置安装与故障处理方面的研究工作。

国家电网公司总部科技项目（5400-202017201A-0-0-00）