基于CNN编码—LSTM解码混合神经网络的智慧家庭用电量预测技术研究

张硕， 周小林， 张宇， 唐钧

(复旦大学, 信息科学与工程学院， 上海 200433)

0 引言

近年来，由于人口的不断增长和科技的飞速发展，建筑能耗总量及其比重持续上升，其中，住宅能耗占建筑能耗总量的四分之三[1]。住宅能耗主要来自居民家用电器。随着社会对电力系统运行的安全性、稳定性以及经济性要求的不断提高，用电量预测的重要性也日益突出。然而，住宅用电量具有明显的趋势性、季节性和随机性，而且还与居民的日常生活和工作规律相关，再加上数据采集时可能出现异常、缺失、冗杂等影响，准确地对其进行预测并非易事。

利用传统的ARMA、ARIMA等统计方法对用电量进行预测已越来越不能满足实际应用的需求。KNN、随机森林、SVM等多种传统的机器学习方法也只能提取较浅层的特征，且缺少对时间序列的分析。近几年，随着CNN和LSTM算法分别在图像识别和语音识别等方面取得的巨大成功，它们的应用范围也越来越广泛。许多研究者也开始将这两种模型相结合应用在建筑能耗预测领域中[2-5]。

鉴于CNN强大的数据特征提取能力以及LSTM出色的时间序列分析能力，本文将其结合，并应用于可以处理变长序列的编码器-解码器结构中，提出了一种基于CNN编码—LSTM解码混合神经网络的住宅用电量预测模型(以下简称CE—LD模型)。CNN编码器用于提取特征变量之间的关系，并将其编码为定长矢量。LSTM解码器用于对时间序列进行建模分析，并解码定长矢量为变长序列。最后，通过实例分析，将该模型与其他竞争基准模型进行对比，结果表明，CE—LD模型具有更高的准确性和有效性。

1 CNN编码—LSTM解码混合神经网络

1.1 CNN原理结构

卷积神经网络(CNN)的基本结构包括卷积层、池化层和全连接层。卷积层的主要功能是通过卷积单元进行卷积运算提取不同的输入特征。池化层的功能是对输入变量进行二次采样，将卷积层得到的特征的维度降低，以防止出现过拟合的现象。全连接层可以将卷积层或池化层提取的局部特征整合成全局特征。

1.2 LSTM原理结构

长短期记忆网络(LSTM)能够学习长期依赖关系，有效解决RNN中存在的梯度消失问题。它增加了一个记忆细胞，细胞主要由遗忘门、输入门和输出门构成，如图1所示。遗忘门用于控制丢弃或保留多少前一时刻记忆细胞中的信息，输入门用于控制当前时刻多少信息能被输入和保存到记忆细胞中，输出门用于控制记忆细胞中哪些信息会在当前时刻输出。

图1 LSTM结构示意图

1.3 编码器—解码器原理结构

编码器—解码器(Encoder—Decoder)是一类模型框架，并非特指某一种具体的算法。在这个框架下，输入和输出的内容可以是任意的文字、语音、图像、视频数据等，所以可以使用各种不同的算法来解决不同的任务。它主要应用于序列到序列(seq2seq)问题的求解。如图2所示，由一个编码器将输入序列转化成一个定长矢量C，再由一个解码器将定长矢量C转化成输出序列。

图2 编码器-解码器框架图

1.4 基于CE—LD模型的住宅用电量预测流程

本文提出的利用CNN编码—LSTM解码(CE—LD)模型预测住宅用电量的流程如图3所示，可分为以下三个步骤。

图3 CE—LD模型流程图

(1) 数据预处理：先进行缺失值填补，然后划分训练集与测试集。

(2) 模型训练：将训练集的数据输入模型进行训练。CNN编码器用于提取特征变量之间的关系，并将其编码为定长矢量。LSTM解码器用于对数据进行时间序列的建模分析，并解码定长矢量为变长序列，最后通过两个全连接层输出预测数据。

(3) 结果评估：将训练好的模型在测试集上进行预测，使用性能评估指标对预测值和真实值的拟合度进行度量。

2 算例分析

为验证所提出模型的准确性和有效性，本文采用法国巴黎某家庭2006年12月16日至2010年11月26日采集的数据集进行分析。该数据集是一个多变量时间序列数据集，采样速率为1分钟，总共2 075 259条数据。

2.1 数据预处理

1) 缺失值填补

原数据集中存在两种数据缺失情况。一种为数据在某一时刻或短时间内存在缺失(缺失时间不超过1小时)，另一种为数据在某一很长的时间段内连续缺失(缺失时间长达1～5天)。

针对第一种情况，由于在短时间内，用电量具有一定的趋势性，可以近似为一条直线，所以我们可以用缺失值之前最后—个和其后第一个有效值的线性内插值进行填补。

但上述方法并不适用于第二种情况，因为这样会导致用电量曲线长时间保持为一条特定的直线，与实际情况不符。而对于一个普通家庭来说，不考虑节假日、住户生病等特殊情况的影响，每周同一天的用电量曲线基本会保持较高的相似度，所以我们可以用缺失值的上周同一时刻的数据进行填补。

2) 划分训练集与测试集

本文将前3年的数据作为训练集，剩下的作为测试集。

2.2 模型参数设置

本实验程序使用Python编写，基于Keras深度学习工具的TensorFlow框架来搭建模型，训练过程中使用“Relu”作为激活函数，均方误差(MSE)作为损失函数，优化算法optimizer为Adam算法，评价指标metrics为平均绝对误差(MAE)。如图3所示，CNN编码器由两组卷积-池化层和一层平坦层组成，卷积核数目依次设为64和32。LSTM解码器由两层LSTM网络层组成，各层神经元数量依次为64和128。由于LSTM解码器的输入是时序数据，即有多个时间步，而CNN编码器只输出一个定长矢量，和LSTM的输入要求不匹配，所以我们使用RepeatVector函数作为适配器，将输入重复n次，这样就可以简单地将CNN编码器固定的输出与LSTM解码器期望的输入相匹配。此外，我们在最后一个全连接层之前使用Dropout方法随机地在神经网络中放弃20%的神经元，以降低模型过拟合的风险[6]。

2.3 实验结果分析

本文使用了4种常见的性能评估指标：均方误差(MSE)、均方根误差(RMSE)、平均绝对误差(MAE)和平均相对误差(MAPE)对预测值和真实值的拟合度进行度量。它们的数学公式在式(1)～式(4)中给出。

(1)

(2)

(3)

(4)

图4为CE—LD模型的预测曲线图。从图中我们可以看出，CE—LD模型的预测结果精度较高，与实际曲线变化趋势基本一致。

图4 CE-LD模型的用电量预测结果

此外，我们在原数据集以每分钟采样的基础上，又按每时、每日、每周等不同时间单位进行重采样，并且与其他适用于同一数据集的竞争基准模型[2-5]进行了比较，以验证CE—LD模型在不同时间分辨率下的性能。表1～表4总结了不同时间分辨率下各种竞争基准的性能评估指标。结果表明，不论在何种时间分辨率下，不论是哪种性能评估指标，我们所提出的CE—LD模型的预测误差均明显小于其他模型，各项指标均有大幅度下降，MAPE在每分、每时、每日、每周分别为4.82%、2.67%、3.66%、6.08%，预测精度极大提高。

表1 每分分辨率下不同模型的性能比较

表2 每时分辨率下不同模型的性能比较

表3 每日分辨率下不同模型的性能比较

表4 每周分辨率下不同模型的性能比较

3 总结

本文提出了一种基于CNN编码—LSTM解码混合神经网络(CE—LD)的住宅用电量预测模型。CE—LD模型充分利用了CNN强大的特征提取能力和LSTM出色的时间序列分析能力以及编码器—解码器结构独特的变长序列处理能力，具有更强的泛化能力和更高的预测精度。实验结果表明，与其他竞争基准模型相比，CE—LD模型不依赖于时间分辨率，任意一种性能评估指标的比较都表明该模型的预测误差最小，证明了其有效性和优越性。