基于量子加权多层级GRU神经网络的综合能源系统多元负荷短期预测

王凇瑶，张智晟

基于量子加权多层级GRU神经网络的综合能源系统多元负荷短期预测

王凇瑶，张智晟

(青岛大学电气工程学院，山东 青岛 266071)

针对综合能源系统多元负荷短期预测问题，提出一种基于量子加权多层级GRU(quantum weighted multi hierarchy gated recurrent unit, QWMHGRU)神经网络的多元负荷短期预测模型。采用最大信息系数对多元负荷间和负荷与天气因素间的相关性进行分析，选取模型输入量。然后改进GRU的门控结构，形成多层级门控循环单元(multi hierarchy gated recurrent unit, MHGRU)，并将量子加权神经元引入MHGRU，构成QWMHGRU多变量负荷预测模型。仿真算例结果表明，QWMHGRU多元负荷预测模型在夏季和冬季的权重平均精度均可达97%以上，相比MHGRU、QWGRU和GRU模型具有更高的预测精度。

综合能源系统；最大信息系数；多元负荷短期预测；量子加权多层级GRU

0 引言

综合能源系统(integrated energy system, IES)是以电力系统为核心，通过能量转换设备和存储设备来实现多种能源的协同规划和运行的新型能源系统，近年来已经成为应对能源和环境问题的重要手段[1-4]。IES多元负荷短期预测是系统安全可靠运行的前提和基础，其必须妥善应对IES规模相对较小、多种能源互联而带来的波动性强和耦合性高的问题[5]。传统电力负荷预测领域已有大量研究成果。尤其是近十年来，深度学习蓬勃发展，一些深度学习模型比如卷积神经网络(CNN)[6-7]、循环神经网络(RNN)[8-9]、长短期记忆(LSTM)[10]、门控循环单元神经网络(GRU)[11-13]等在负荷预测上取得了出色的效果。但上述模型仍存在一定问题，比如，CNN由于卷积核的限制不能有效处理较长的时间序列信息；RNN由于结构简单不能解决长期依赖问题；LSTM含有时间记忆单元解决了RNN的局限性，但计算相对复杂；GRU将LSTM的三个门整合成两个门，在保持LSTM预测效果的基础上提高了计算效率，其在信息处理能力上有一定提升空间。而在现有模型结构的改进上，近年来研究者们提出了很多成果，其中文献[14-15]提出，门结构是LSTM的关键部分，对门结构进行优化，可以改善它的性能；文献[16]对LSTM的门结构进行了改进，提出多层级门控LSTM神经网络，在电价预测中取得了较好的效果。

量子神经网络作为一种由量子计算理论和神经网络模型结合而成的新型计算模型，有着更好的信息处理能力和泛化能力，已经应用在负荷预测领域。文献[17]结合特征选取和量子BP神经网络构建电力系统短期负荷预测模型；文献[18]利用遗传算法优化三层量子神经网络参数进行负荷预测。上述量子神经网络虽取得一定效果，但未能考虑将量子计算理论与深度学习模型相结合。文献[19]将量子加权神经元融入GRU神经网络中，并应用在旋转机械状态退化趋势预测上，获得了较好的效果。

在IES多元负荷预测领域，近几年研究成果逐渐丰富。文献[20]提出一种具有同方差不确定性的多任务学习架构和集成多种GRU神经网络的多元负荷预测模型；文献[21]采用深度置信网络进行多元负荷预测；文献[22]将CNN和LSTM神经网络相结合构建负荷预测模型，把CNN提取的特征输入LSTM网络进行电、热、气多元负荷预测，并采用dropout层来解决网络的过拟合问题；文献[23]将多元负荷分解，利用双向长短期记忆神经网络和多元线性回归分别预测不同平稳度的分量，提高了预测精度并节约了时间成本。

本文在现有成果的基础上，针对IES多元短期负荷预测问题，提出了一种基于量子加权多层级GRU(quantum weighted multi hierarchy gate recurrent unit, QWMHGRU)神经网络的IES多元负荷短期预测模型。为了提高多元负荷预测精度，需要在相关性分析的基础上选出合适的模型输入特征，传统方法中常使用皮尔逊相关性分析法来选择模型输入特征[10,22]。该方法对线性关系表现较好，但难以呈现两特征间的非线性关系。本文利用对非线性关系表现较好的最大信息系数法充分分析多元负荷间及负荷与天气因素间的非线性关系，得到模型输入特征；然后构建具有两级重置门和两级更新门的多层级门控循环单元(multi hierarchy gate recurrent unit, MHGRU)；在此基础上，采用量子加权神经元构成MHGRU的一级重置门、一级更新门、二级重置门和二级更新门，形成量子加权多层级GRU神经网络模型，进行多元负荷短期预测。该模型同时具有量子加权神经元和多层级门控循环单元的优点，能够利用多层级门控结构深入挖掘多元负荷序列中的潜在耦合信息，并利用量子信息处理机制对耦合信息进行更有效的学习，同时拥有学习多元负荷序列中时间序列特征的能力，能够妥善应对多元负荷序列的波动，使多元负荷短期预测精度得到提升。本文采用北方某IES夏、冬两季的冷、热、电负荷数据进行仿真验证，结果表明所提模型有较好的预测精度。

1 负荷及影响因素相关性分析

IES能量转换和能量存储设备会不可避免地使多种能源产生相互作用，同时，天气等因素也会影响用户对多种能源的耦合利用[24]。为了充分分析多元负荷间及负荷与天气间相互影响的程度，有效选择多元预测模型的输入特征，需对多元负荷和天气因素进行相关性分析。由于多元负荷与影响因素多呈强非线性，故本文采用对非线性数据表现较好的最大信息系数(maximal information coefficient, MIC)进行相关性分析。

根据上述MIC理论，对北方某IES夏季和冬季的多元负荷及天气因素进行相关性分析。由于温度会直接影响冷热电负荷，而太阳辐射会影响温度，含湿量会影响体感温度，进而间接影响冷热电负荷，故选取这3个天气因素与冷热电负荷一起进行相关性分析，结果如图1和图2所示。图中Power、Cooling、Heating、TEMP、SMI、HR分别代表电负荷、冷负荷、热负荷、温度、太阳辐射和含湿量。

由图1和图2可知，夏季电负荷和冷负荷之间、冬季电负荷和热负荷之间的MIC值接近于1，证明了IES多元负荷间具有在负荷预测中不可忽视的强耦合性。同时，太阳辐射强度、温度、含湿量对多元负荷也有一定程度的影响，在负荷预测时需将它们作为影响因子包含在输入特征集中。

图1 夏季相关性分析结果

图2 冬季相关性分析结果

2 QWMHGRU预测模型

2.1 门控循环单元(GRU)

循环神经网络可以处理时间序列，但简单循环神经网络不能解决长期依赖问题，含有时间记忆单元的LSTM模型和GRU模型相继出现。GRU是LSTM的变体，含有重置门和更新门。它将LSTM的输入门和遗忘门耦合成一个更新门，对是否保留前一时刻的状态及保留多少进行控制；而重置门可以决定是否要把当前状态与之前信息进行结合，网络前向传播公式[27]如下。

式中：为重置门；为更新门；为候选隐藏层向量；为隐藏层的输出；、为重置门的权重；、为更新门的权重；、为候选隐状态的权重；tanh为双曲正切函数；为两矩阵的Hadamard积；为sigmoid函数。GRU结构如图3所示。

2.2 多层级门控循环单元(MHGRU)

重置门和更新门是GRU的核心部分，希望通过对GRU门结构的改进来提升性能。因此，本文提出多层级门控循环单元(multi hierarchy gate recurrent unit, MHGRU)。

图4 MHGRU结构图

由式(14)可得

2.3 QWMHGRU预测模型

量子计算是建立在量子力学基础上的一种新型计算模式，被认为是改进神经网络的有效途径[28]。在量子计算体系中，一个量子态可以表示[29]为

在量子神经网络的研究进程中，出现了许多典型的量子神经元，其中量子加权神经元将传统神经元的权值用量子态表示，不仅拥有量子计算的优势，同时又保留了传统神经元实数输入、实数输出的特点，避免了实数和量子态相互转换带来的不确定性[30]。量子加权神经元模型如图5所示。

图5 量子加权神经元模型图

在此基础上，根据式(11)—式(13)，计算出合成重置门和合成更新门后，由式(21)计算得到候选隐藏层状态，而后由式(6)方法计算得隐藏层状态。

由上述分析可知，相对于MHGRU，量子加权神经元的引入令QWMHGRU拥有了量子态叠加特性，而且模型对生物神经系统的信息处理机制模拟更充分。网络的各个权值和活性值均参与网络优化的过程，使其获得比MHGRU更强的信息处理能力和学习能力。基于QWMHGRU的多元负荷预测流程如图6所示。

图6 预测流程图

3 算例分析

3.1 输入数据处理

3.2 预测模型参数设置

本文模型通过Python3.8和Pytorch平台搭建，神经网络模型选择单隐藏层，由40个QWMHGRU单元组成；在隐藏层后添加一层dropout层来防止过拟合，dropout值设置为0.25；dropout层后经过一层全连接层得到输出；选择均方误差作为损失函数；采用Adam优化算法，迭代次数设置为8000次，学习率设置为0.0089。

图7 模型输入特征量

3.3 评价指标

本文选择权重平均精度(WMA)作为评价模型预测效果的指标，其公式为

3.4 预测结果分析

以北方某IES夏季和冬季的冷/热负荷、电负荷数据构成训练集和测试集。用GRU模型、量子加权GRU模型(QWGRU)、MHGRU模型来与本文提出的QWMHGRU模型进行预测效果对比。并分析多层级门控和量子加权神经元的引入对预测精度的影响。各模型预测精度如表1所示。

表1 4种模型夏季预测效果

从表1中可以看出，本文提出的QWMHGRU模型在夏季工作日和休息日的预测精度均好于另外3个对比模型。在夏季工作日QWMHGRU多元负荷预测模型的权重平均精度可达97.17%，相对于MHGRU、QWGRU、GRU模型，权重平均精度分别提高0.36%、0.75%和1.27%；在夏季休息日QWMHGRU模型的权重平均精度达到97.06%，相对于MHGRU、QWGRU、GRU模型，权重平均精度分别提高0.19%、0.70%和0.98%。图8和图9给出了本文QWMHGRU模型和对比模型的夏季负荷预测曲线。由图8和图9可看出，相对于其他模型，QWMHGRU模型的预测曲线与真实负荷曲线更加贴近，说明模型预测效果较好。整体上来看，由于峰值负荷随机性较强，预测难度较大，4种模型在多元负荷峰值附近预测误差均较大。

为了进一步研究多层级门控结构和量子加权神经元的引入对多元负荷预测精度的影响，将4种模型在冬季数据集上进行对比试验，结果如图10所示。从图10中可以看出，QWMHGRU模型预测精度高于QWGRU模型，MHGRU模型预测精度高于GRU模型。说明多层级门控结构能够更好地筛选利用输入序列中的细节信息，进而提升多元负荷预测精度。同时，QWMHGRU模型预测效果好于MHGRU模型，QWGRU模型预测效果好于GRU模型，充分说明量子加权神经元的引入增强了网络的学习能力，提高了预测精度。

图8 夏季电负荷预测曲线对比图

图10 4种模型冬季预测精度对比

本文第1节通过MIC法分析得到，IES多元负荷间具有在负荷预测中不可忽视的强耦合性，在负荷预测时须将多元负荷综合建模。为了进一步说明这一点，将本文提出的QWMHGRU模型分别进行多元负荷预测和单一负荷预测。单一负荷预测时将冷、热、电负荷单独预测，仅考虑天气因素，不考虑它们间的相互影响。除输入特征不同以外，单一负荷预测时模型设置与多元负荷预测时相同。预测结果如表2所示。

表2 两种预测方式的精度对比

从表2中可以看出，由于单一负荷预测忽视了各个负荷间的耦合信息，预测精度相对多元负荷预测较低。

4 结论

本文针对IES多元负荷预测问题提出一种基于量子加权多层级GRU神经网络的IES多元负荷短期预测模型。经过仿真算例分析，得出如下结论：

(1) IES多元负荷间存在强耦合性，负荷预测时需统筹考虑多元负荷间及负荷与天气因素间的相互作用。

(2) 门控结构是GRU的核心，多层级门控结构可以改善GRU的性能，进而提高负荷预测精度。

(3) 将量子加权神经元引入MHGRU，可以使其获得更强处理多元负荷序列信息的能力。QWMHGRU模型能够通过量子信息处理机制充分学习多层级门控结构挖掘出的多元负荷间的耦合特征，克服了单一负荷预测忽视多元负荷间相关信息的缺点，并能够通过隐含层的循环结构学习多元负荷的前后依赖关系，故该模型可以对IES多元负荷进行有效预测，在夏季工作日和休息日的权重平均精度可达97.17%和97.06%，冬季工作日和休息日的权重平均精度可达97.17%和97.13%。

在未来，IES结构必将更加复杂，能源接入将更加多样，在下一步的研究中要考虑更多的影响因素，探索更好的方法来选择和提取输入特征，从而有效提高IES多元短期负荷预测精度。

[1] 代璐, 田立勃, 王海亮, 等. 计及用户综合用能行为和政策导向的广域综合能源系统联合规划方法[J]. 电力系统保护与控制, 2021, 49(9): 57-71.

DAI Lu, TIAN Libo, WANG Hailiang, et al. Integrated planning of supply and demand side considering the behavior analysis of energy users and the policy-oriented impact[J]. Power System Protection and Control, 2021, 49(9): 57-71.

[2] LI Chengzhou, YANG Yongping, WANG Zhuo, et al. Energy hub-based optimal planning for integrated energy systems considering part-load characteristics and synergistic effect of equipment[J]. Global Energy Interconnection, 2021, 4(2): 169-183.

[3] LI Jiaxi, WANG Dan, JIA Hongjie, et al. Prospects of key technologies of integrated energy systems for rural electrification in China[J]. Global Energy Interconnection, 2021, 4(1): 3-17.

[4] 黄彦彰, 周宇昊, 郑文广, 等. 产业园区新型多能联供综合能源服务研究[J]. 发电技术, 2021, 42(6): 734-740.

HUANG Yanzhang, ZHOU Yuhao, ZHENG Wenguang, et al. Research on new integrated energy system with multi-power combined supply of industrial parks[J]. Power Generation Technology, 2021, 42(6): 734-740.

[5] ZHU Mengting, XU Chengsi, DONG Shufeng, et al. An integrated multi-energy flow calculation method for electricity-gas-thermal integrated energy systems[J]. Protection and Control of Modern Power Systems, 2021, 6(1): 65-76.

[6] 崔朴奕, 李国丽, 张倩, 等. 基于VMD-CNN的小电流接地系统故障电弧检测方法研究[J]. 电力系统保护与控制, 2021, 49(23): 18-25.

CUI Puyi, LI Guoli, ZHANG Qian, et al. A fault arc detection method of a small current grounding system based on VMD-CNN[J]. Power System Protection and Control, 2021, 49(23): 18-25.

[7] 曾囿钧, 肖先勇, 徐方维, 等. 基于CNN-BiGRU-NN模型的短期负荷预测方法[J]. 中国电力, 2021, 54(9): 17-23.

ZENG Youjun, XIAO Xianyong, XU Fangwei, et al. A short-term load forecasting method based on CNN-BiGRU-NN model[J]. Electric Power, 2021, 54(9): 17-23.

[8] TOKGÖZ A, ÜNAL G. A RNN based time series approach for forecasting Turkish electricity load[C] // 2018 26th Signal Processing and Communications Applications Conference (SIU), May 2-5, 2018, Izmir, Turkey: 1-4.

[9] 庞传军, 张波, 余建明. 基于LSTM循环神经网络的短期电力负荷预测[J]. 电力工程技术, 2021, 40(1): 175-180, 194.

PANG Chuanjun, ZHANG Bo, YU Jianming. Short-term power load forecasting based on LSTM recurrent neural network[J]. Electric Power Engineering Technology, 2021, 40(1): 175-180, 194.

[10] LI Ke, SUN Yunxin, LI Shuzhen, et al. Load forecasting method for CCHP system based on deep learning strategy using LSTM-RNN[C] // 2019 14th IEEE Conference on Industrial Electronics and Applications (ICIEA), June 19-21, 2019, Xi'an, China: 827-831.

[11]杨威, 蒲彩霞, 杨坤, 等. 基于CNN-GRU组合神经网络的变压器短期故障预测方法[J]. 电力系统保护与控制, 2022, 50(6): 107-116.

YANG Wei, PU Caixia, YANG Kun, et al. Short-term fault prediction method for a transformer based on a CNN-GRU combined neural network[J]. Power System Protection and Control, 2022, 50(6): 107-116.

[12] 李正浩. 基于NACEMD-GRU的组合型日前负荷预测方法[J]. 电网与清洁能源, 2021, 37(6): 43-50.

LI Zhenghao. A combined method of day-ahead load forecasting based on NACEMD-GRU[J]. Power System and Clean Energy, 2021, 37(6): 43-50.

[13] 李正浩, 李孟凡. 基于深度学习的智能型负荷预测方法的研究[J]. 智慧电力, 2020, 48(10): 78-85, 112.

LI Zhenghao, LI Mengfan. Smart load forecasting method based on deep learning[J]. Smart Power, 2020, 48(10): 78-85, 112.

[14] GREFF K, SRIVASTAVA R K, KOUTNÍK J, et al. LSTM: a search space Odyssey[J]. IEEE Transactions on Neural Networks and Learning Systems, 2017, 28(10): 2222-2232.

[15] SHEN Yikang, TAN S, SORDONI A, et al. Ordered neurons: integrating tree structures into recurrent neural networks[C] // Seventh International Conference on Learning Representations, May 6-9, 2019, New Orleans, USA: 1-14.

[16]赵雅雪, 王旭, 蒋传文, 等. 基于最大信息系数相关性分析和改进多层级门控LSTM的短期电价预测方法[J]. 中国电机工程学报, 2021, 41(1): 135-146, 404.

ZHAO Yaxue, WANG Xu, JIANG Chuanwen, et al. A novel short-term electricity price forecasting method based on correlation analysis with the maximal information coefficient and modified multi-hierachy gated LSTM[J]. Proceedings of the CSEE, 2021, 41(1): 135-146, 404.

[17] SUN W, HE Y J, MENG M. A novel quantum neural network model with variable selection for short term load forecasting[J]. Applied Mechanics and Materials, 2010, 20-23: 612-617.

[18]颜艳. 基于量子神经网络的短期负荷预测[D]. 吉林: 东北电力大学, 2010.

YAN Yan. Short-term load forecast based on quantum neural network[D]. Jilin: Northeast Electric Power University, 2010.

[19] XIANG W, LI F, WANG J, et al. Quantum weighted gated recurrent unit neural network and its application in performance degradation trend prediction of rotating machinery[J]. Neurocomputing, 2018, 313: 85-95.

[20] WANG Xuan, WANG Shouxiang, ZHAO Qianyu, et al. A multi-energy load prediction model based on deep multi-task learning and ensemble approach for regional integrated energy systems[J]. International Journal of Electrical Power & Energy Systems, 2021, 126.

[21] ZHOU Bin, MENG Yunfan, HUANG Wentao, et al. Multi- energy net load forecasting for integrated local energy systems with heterogeneous prosumers[J]. International Journal of Electrical Power & Energy Systems, 2021, 126.

[22] ZHU R, GUO W, GONG X. Short-term load forecasting for CCHP systems considering the correlation between heating, gas and electrical loads based on deep learning[J]. Energies, 2019, 12(17): 3308.

[23]陈锦鹏, 胡志坚, 陈纬楠, 等. 二次模态分解组合DBiLSTM-MLR的综合能源系统负荷预测[J]. 电力系统自动化, 2021, 45(13): 85-94.

CHEN Jinpeng, HU Zhijian, CHEN Weinan, et al. Load prediction of integrated energy system based on quadratic modal decomposition and deep bidirectional long short-term memory and multiple linear regression[J]. Automation of Electric Power Systems, 2021, 45(13): 85-94.

[24]朱继忠, 董瀚江, 李盛林, 等. 数据驱动的综合能源系统负荷预测综述[J]. 中国电机工程学报, 2021, 41(23): 7905-7924.

ZHU Jizhong, DONG Hanjiang, LI Shenglin, et al. Review of data-driven load forecasting for integrated energy system[J]. Proceedings of the CSEE, 2021, 41(23): 7905-7924.

[25]徐先峰, 赵依, 刘状壮, 等. 用于短期电力负荷预测的日负荷特性分类及特征集重构策略[J]. 电网技术, 2022, 46(4): 1548-1556.

XU Xianfeng, ZHAO Yi, LIU Zhuangzhuang, et al. Daily load characteristic classification and feature set reconstruction strategy for short-term power load forecasting[J]. Power System Technology, 2022, 46(4): 1548-1556.

[26] CHEN Biyun, WANG Yifeng. Short-term electric load forecasting of integrated energy system considering nonlinear synergy between different loads[J]. IEEE Access, 2021, 9: 43562-43573.

[27] JUNG S, MOON J, PARK S, et al. An attention-based multilayer GRU model for multistep-ahead short-term load forecasting[J]. Sensors, 2021, 21(5): 1639.

[28] 李鹏华, 柴毅, 熊庆宇. 量子门Elman神经网络及其梯度扩展的量子反向传播学习算法[J]. 自动化学报, 2013, 39(9): 1511-1522.

LI Penghua, CHAI Yi, XIONG Qingyu. Quantum gate Elman neural network and its quantized extended gradient back-propagation training algorithm[J]. Acta Automatica Sinica, 2013, 39(9): 1511-1522.

[29]朱勇. 量子神经网络模型结构与算法的研究[D]. 沈阳:东北大学, 2012.

ZHU Yong. Research on quantum neural network model of structure and algorithm[D]. Shenyang: Northeastern University, 2012.

[30]林丽华. 一种量子权值神经网络模型及算法研究[D]. 沈阳: 东北大学, 2011.

LIN Lihua. Research on a quantum weighted neural network model and its learning algorithm[D]. Shenyang: Northeastern University, 2011.

[31]李欣. 量子计算与过程神经网络研究及应用[D]. 大连:大连理工大学, 2010.

LI Xin. Research and application of quantum computation and process neural networks[D]. Dalian: Dalian University of Technology, 2010.

[32]宋冬梅, 刘春晓, 沈晨, 等. 基于主客观赋权法的多目标多属性决策方法[J]. 山东大学学报(工学版), 2015, 45(4): 1-9.

SONG Dongmei, LIU Chunxiao, SHEN Chen, et al. Multiple objective and attribute decision making based on the subjective and objective weighting[J]. Journal of Shandong University (Engineering Science), 2015, 45(4): 1-9.

Short-term multivariate load forecasting of an integrated energy system based on a quantum weighted multi-hierarchy gated recurrent unit neural network

WANG Songyao, ZHANG Zhisheng

(College of Electrical Engineering, Qingdao University, Qingdao 266071, China)

To solve the problem of short-term multivariate load forecasting for integrated energy systems, a model based on a quantum weighted multi-hierarchy gated recurrent unit (QWMHGRU) neural network is proposed. The maximum information coefficient is adopted to analyze the correlation between multivariate loads and the relevance between loads and weather factors to form the multiple input sequence. Then the gate structure of the GRU is improved to form a multi-hierarchy gate recurrent unit (MHGRU) and the quantum weighted neurons are introduced into the MHGRU to form the QWMHGRU multivariate load forecasting model. The simulation results show that the weighted average accuracy of the multivariate load forecasting model of QWMHGRU model in summer and winter can reach over 97%. This is higher than MHGRU, QWGRU and GRU models.

integrated energy system; maximum information coefficient; short-term multivariate load forecasting; quantum weighted multi-hierarchy gated recurrent unit

10.19783/j.cnki.pspc.220128

国家自然科学基金项目资助(52077108)

This work is supported by the National Natural Science Foundation of China (No. 52077108).

2022-01-28；

2022-05-12

王凇瑶(1998—)，男，硕士研究生，主要研究方向为综合能源系统多元负荷短期预测；E-mail: wangsongyao1998@ 163.com

张智晟(1975—)，男，通信作者，博士，教授，主要研究方向为电力系统和综合能源系统负荷预测、经济调度等。E-mail: slnzzs@126.com

(编辑 魏小丽)