基于联邦学习的短期负荷预测模型协同训练方法

车亮 徐茂盛 崔秋实

摘要：针对机器学习方法在电力系统短期负荷预测领域的应用过程中，存在数据样本不足、模型泛化能力差以及数据隐私保护要求较高等问题，以气象、日期以及历史负荷数据为输入特征，构建基于长短期记忆（Long Short-Term Memory，LSTM）网络的短期负荷预测模型，提出基于联邦学习（Federated Learning，FL）的短期负荷预测模型协同训练方法.通过分散训练、中心聚合的方式对模型参数进行迭代更新，实现各负荷运营商在保证数据隐私的情况下协同构建预测模型.在GEFCom2012比赛的多个地区负荷数据集上进行仿真验证，结果表明，所提方法在保证各运营商数据隐私的同时，有效提升了短期负荷预测准确率，所训练出的模型在多场景下具有优秀的泛化能力.

关键词：数据隐私；机器学习；负荷预测；联邦学习

中图分类号：TM715文献标志码：A

Federated Learning Based Coordinated Training Method of a Short-term Load Forecasting Model

CHE Liang1，XU Maosheng1，CUI Qiushi2

（1. College of Electrical and Information Engineering，Hunan University，Changsha 410082，China；2. School of Electrical Engineering，Chongqing University，Chongqing 400044，China）

Abstract：Machine learning methods have been widely used in the field of short-term load forecasting of power systems. However，it is difficult for load operators to obtain high-performance forecasting models due to insufficient data samples，poor model generalization ability，and high data privacy protection requirements in the application process. In this paper，meteorological，date，and historical load are used as input features to construct a short-term load forecasting model based on Long Short-Term Memory（LSTM）. A federated learning（FL）based coordinated training method of a short-term load forecasting model is proposed. The proposed method mainly iteratively updates model parameters through decentralized training and aggregation of centers，so as to realize cooperative construction of the prediction model by all load operators under the condition of data privacy. The simulation results based on the GEFCom2012 dataset show that the proposed method not only ensures the data privacy of operators but also effectively improves the forecasting accuracy of the load forecasting model，and the trained model has satisfied generalization ability in multiple scenarios.

Key words：data privacy；machine learning；load forecasting；federated learning

电力系统短期负荷预测是指根据过去一段时间的负荷以及日期、气象等数据，对未来短时间的负荷变化进行预测[1].精准的负荷预测是电网实施精确调度、制订发电计划以及设置合理备用的基础，是保证电力系统可靠运行与增加经济效益的必要条件[2].随着电网数字化程度不断加深，电力公司陆续安装了多种智能仪表，获得了更多精细的负荷与气象等数据，这使得采用人工智能方法进行精准负荷预测变得可行[3].

近年来，机器学习算法被广泛应用在短期负荷预测领域，研究者们对各种算法进行改进，提出了许多解决短期负荷预测领域相关问题的方法[4].研究者将支持向量机、BP（Back Propagation）神经网络（Neural Network，NN）、LSTM网络等多种机器学习算法应用于负荷预测，并对其进行改造以提升预测精度.文献［5］提出基于深度信念网络的短期负荷预测方法，将无监督与有监督训练结合，进而提升预测准确度；文献［6］将Attention机制加入LSTM网络构建预测模型，从输入数据中提取对负荷预测起到关键作用的特征；文献［7］基于Hadoop架构中的MapReduce框架构建BP神经网络预测模型；文献［8］构建基于双向长短期网络的预测模型，并融入特征选择方法，选择出最佳输入特征.一般来说，单一类型的神经网络只擅长挖掘数据的某一类特征，而负荷预测数据包括负荷、气象和日期等多类特征，利用不同的神经网络能更有效提取不同数据类型的特征［9］；文献［10］先运用卷积神经网络（Convolutional Neural Network，CNN）提取特征与负荷的联系，最后将结果输入到GRU网络中进行负荷预测，提升预测准确率；文献［11］将卷積神经网络（CNN）和长短期记忆（LSTM）网络相结合以构建短期负荷预测模型；文献［12］综合集合经验模态分解（Ensemble Empirical Mode Decomposition，EEMD）、门控循环单元神经网络（Gated Recurrent Unit，GRU）和多元线性回归（Multiple Linear Regression，MLR）方法构建预测模型；文献［13］提出了一种基于GRU-NN模型的短期电力负荷预测方法；文献［14］提出了基于LSTM和XGBoost的组合预测模型.

由上可见，目前机器学习方法在短期负荷预测领域的应用已取得了一定的成果，但在实际应用中，现有方法还存在以下问题：

1）未解决实际情况下负荷数据样本数量与特征不足的问题.现有基于机器学习的负荷预测方法依赖于预测者拥有样本数足够多、特征种类足够丰富的训练数据集，但在实际负荷预测工作中，部分预测者往往难以满足该条件（例如小规模电力公司、新接入电网的用户和负荷聚合商等通常难以建立满足负荷预测需求的数据量和特征足够的训练数据集［15-16］）.

2）预测模型泛化能力问题.仅使用单个地区数据训练出的模型，难以直接移植到新的地区进行预测，预测模型的泛化能力亟待增强.

3）数据隐私问题.若能实现不同地区间共享数据训练模型，就可以有效提升模型预测能力［17］.但目前各电力公司均具有较高的数据保密要求，历史负荷等数据是严格保密的，这限制了数据共享训练，因此相关数据隐私保密问题亟待解决.

因此，目前亟需一个在保护负荷等数据隐私的前提下实现协同构建负荷预测模型的方法.针对这一需求，本文引入联邦学习（Federated Learning，FL）方法.联邦学习可以实现多个数据持有者在不共享其数据情况下协同训练机器学习模型，在保护数据隐私的同时降低数据通信量，提高通信效率［18］.目前，联邦学习已被研究者们应用在一些需要考虑数据隐私及降低通信开销的场景［19］.文献［20］将深度强化学习模型进行联邦，实现高准确率、低时延的设备节点选择；文献［21］将联邦学习应用于物联网框架下的边缘计算过程；文献［22］将联邦学习应用于雾计算过程；文献［23］将联邦学习应用在电力计量系统中，分别应用于计量装置故障诊断、无线接入安全检测以及电费风险识别场景，均取得了较好的效果，证明了将联邦学习方法应用在电力系统领域具有实用性和可行性.

针对上述负荷预测模型构建所需数据样本数量与特征不足、模型泛化能力差以及负荷相关数据高度保密无法共享训练的问题，本文引入联邦学习方法，以LSTM网络的短期负荷预测模型为基础，提出基于联邦学习的短期负荷预测模型协同训练方法，结合短期负荷预测场景的特点，对数据传输过程与模型聚合过程进行优化改进.该方法实现了各负荷运营商在保护数据隐私的前提下对模型进行协同训练，并且有效提升了短期负荷预测模型的预测准确率和泛化能力.

1基于LSTM的短期负荷预测模型

1.1长短期记忆（LSTM）网络

LSTM网络是由循环神经网络改进而来的，解决了循环神经网络存在的长期依赖问题.相比常规循环神经网络，LSTM添加了输入门、遗忘门和输出门[24].LSTM网络基本单元如图1所示.

f_t=σ（W_fh_t-1+W_fx_t+b_f）（1）

式中：W_f、W_i、W_o分别为遗忘门、输入门、输出门的权重矩阵；b_f、b_i、b_o分别为遗忘门、输入门、输出门的输出偏置项；*表示矩阵的Hadamard积.

1.2基于LSTM网络的短期负荷预测模型构建

由于负荷数据数量级较高，与温度、日期等特征数量级差距较大，不利于模型训练.为了消除各类特征之间量纲不同的影响，使模型快速收敛，并且考虑到各负荷运营商之间负荷数据数量级存在较大差异，故利用本文方法对输入数据进行归一化处理，将所有输入数据归一化在［0，1］内，如下式所示：

式中：x^*_t为归一化后的数据；x_t为归一化前的数据；x_max和x_min分别表示该特征数据的最大值和最小值.LSTM网络模型结构如图2所示.

负荷预测效果评价指标采用均方根误差（Root Mean Square Error，RMSE）和平均绝对百分比误差（Mean Absolute Percentage Error，MAPE），指标值越小，表示预测值与真实值之间的误差越小，模型的预测效果越好.指标计算公式分别如式（8）和式（9）所示.

2基于FL的短期负荷预测模型协同训练方法

2.1方法概述

基于聯邦学习的短期负荷预测模型协同训练方法能在保护各负荷运营商数据隐私的同时，利用各个运营商所拥有的负荷数据资源协同训练短期负荷预测模型，有效提高模型的预测准确率及多场景泛化能力.

本文方法整体系统架构如图3所示.其中，本文第1节所构建的负荷预测模型部署在服务器端与各个负荷运营商端，负荷运营商可以是某地区电力公司或某些电力用户的集合.

在结构上，本文方法整体组成包括服务器端、通信网络、本地负荷运营商及其对应的负荷、气象和日期数据.令L={l₁，l₂，…，l_n}表示所有参与协同训练的负荷运营商的集合，每一个l_k（k=1，2，…，n）具有对应的训练数据以及进行本地模型训练、模型推理的能力.图3中，令V表示训练数据（包括负荷数据、气象数据、日期数据）集合，则第k个负荷运营商l_k所拥有的训练数据表示为V_l，k；W表示服务器下发到本地的模型权重参数；令W_k（k=1，2，…，n）表示第k个本地端l_k从本地服务端上传至服务器端的模型权重参数.

整体流程主要包括预测模型下发、负荷运营商本地训练、各运营商模型上传以及模型聚合4个步骤.具体步骤如算法1所示.

1）以LSTM网络的短期负荷预测模型为基础，服务器端初始化各参数，并下发模型到本地端.

2）本地端接收下发的模型，用该模型参数更新自身模型参数，并以自身数据训练模型.

3）将已训练完成的模型上传至服务器端，采用不传输梯度而是直接传输完整权重参数的方法降低数据泄露风险，避免被针对模型参数进行攻击的算法窃取数据.

4）服务器端执行模型聚合，考虑电力负荷预测场景的特点，在模型聚合阶段，根据各参与方数据集质量形成适用于负荷预测场景的模型聚合策略.最终，形成完整的基于联邦学习的短期负荷预测模型协同训练方法.

选取算法1步骤中较为主要的10）～12）在2.2节详细介绍；步骤13）和14）在2.3节详细介绍；步骤16）和17）在2.4节详细介绍.

2.2模型下发与本地训练更新

在服务器端进行模型预训练，得到服务器端模型权重参数W.通过通信网络将W下发至各个参与

训练的联邦参与本地端l_k.各l_k接收服务器下发的W，更新本地模型参数W_k.随后以其所拥有的数据集V_l，k作为本地训练样本集，进行本地训练并更新W_k.

模型训练过程采用Adam（Adaptive Moment Estimation）优化算法.该算法在RMSprop算法的基础上添加了动量项，根据t时刻梯度g_t的一阶矩估计和二阶矩估计来动态调整每个参数的学习率.该算法的

主要优点为：经过偏置校正后，每一次迭代学习率都存在于一个确定的范围，使得参数较为稳定.

基于Adam的模型训练过程描述如下：

1）根据t时刻的梯度g_t分别计算梯度和梯度平方的指数移动平均数m_t和v_t，β₁与β₂分别取0.9、0.999，m₀与v₀均设为0：

4）模型权重参数更新如式（13）所示，式中W_k表示参数更新后的第k个本地模型权重，ΣΔW_k，t表示第k个本地模型总的权重变化量：

W_k=W+ΣΔW_k，t（13）

采用平均绝对误差（Mean Absolute Error，MAE）作为模型的目标损失函数y_MAE.

2.3模型上传

本地模型训练完成后，每个负荷运营商l_k经过通信网络上传模型权重参数W_k至服务器端，但在参数传输过程中存在多种不同的传输方式.

经典的联邦学习方法在训练迭代时传输梯度数据g_t，每位本地参与者首先将当前训练的模型梯度相关系数上传至服务器，服务器通过求取每位参与者最新的梯度相关系数的平均值来更新全局模型；在下一次迭代中，参与者再下载最新的全局模型参数继续训练-但是，此种方法已被指出存在隐私泄露风险-有学者发现在联邦过程中，如果发生梯度参数泄露，则可用算法通过梯度反推出该次迭代对应的训练数据-例如较为典型的Deep Leakage from Gradients（DLG）算法[25]：首先假设虚拟的输入和对应的标签；随后，计算虚拟的梯度，在此基础上优化虚拟梯度与真实梯度之间的距离，通过梯度的匹配使得假设的虚拟数据不断靠近原始数据；最终，获取参与方的真实训练数据.

为了避免由于梯度参数泄露导致反推出对应数据样本的风险，本文采用不传输梯度而是直接传输完整权重参数的方法，在参与方本地模型训练完成后，上传整体模型权重参数W_k，而非单个数据样本训练时产生的梯度-权重参数经过该参与方使用自身全部数据通过Adam算法进行多次迭代训练，根据上述Adam训练过程及DLG算法原理，此时已无法推导出每一条数据样本训练时所对应的梯度计算值，从而无法推导出对应的原始数据样本-因此，在权重参数上传过程中，即使遇到模型参数窃取行为，窃取者也无法推导出该参与方对应的所有训练数据集样本.

同时，为了服务于模型聚合阶段的权值计算过程，在此阶段还需上传各本地负荷运营商l_k所拥有数据V_l，k的时间跨度信息U_k.

2.4模型聚合

當所有本地负荷运营商l_k完成模型上传流程后，服务器端对接收到的全部模型执行聚合.以下介绍本文执行模型聚合步骤时权值w_B，k的计算方法.

现有的联邦学习模型聚合方法并不适应负荷预测场景.例如，在经典联邦学习方法中，某联邦参与方l_k模型聚合的权值w_B，k仅与其参与训练的样本数量大小有关.这种方法没有结合实际的应用场景，未充分考虑各个联邦参与方数据样本的质量.这会导致在聚合时使用了不合理的聚合权重参数，影响最终模型的预测准确率和泛化能力.而在本文方法所针对的短期负荷预测场景中，拥有越多样化、越全面的数据的负荷运营商所训练出的本地负荷预测模型往往有着更优秀的预测准确率与泛化能力，在模型聚合时应该给予更高的聚合权重.

本文结合负荷预测场景的特点，定义各个负荷运营商的贡献度G，进而更新聚合权值w_B，k.贡献度G_k与运营商l_k所拥有的数据样本数量大小以及对应的数据日期跨度U_k均有关；当一个负荷运营商自身数据样本数量越大或其所拥有的相对其他运营商数据的新时刻数据越多，其贡献度G应该越大；该模型对服务器模型的聚合过程也应该有更大的影响，参数聚合时拥有较高的权重.

对每一个存在数据的时刻赋予总量为1的贡献量，对于i时刻，若在该时刻共有Q_i个负荷运营商存在数据样本，则共同平分该时刻的贡献量，每个运营商得到的贡献分量为B_k，i；若负荷运营商l_k在该时刻i没有数据样本，则其贡献分量B_k，i=0.

贡献度确定后，按照各参与方对联邦模型的贡献度G_k更新w_B，k，执行模型聚合，更新模型参数.更新方法如式（17）（18）所示.

式中：W為已更新后模型权重参数；W_k为参与方l_k在经过本地训练后所上传的模型权重参数.

3仿真验证

3.1试验环境

本文采用多个相互独立的计算机模拟参与联邦的各个负荷运营商，进而验证本文所提出方法对预测准确率与泛化能力的提升.采用5台计算机模拟5个本地负荷运营商（地区），各计算机配置均为英特尔至强6248R CPU，RTX 3080 GPU，512 GB内存；同时采用一台个人计算机作为服务器端，配置为Intel i7 CPU，16 GB 内存，Intel UHD Graphics 630集成显卡.上述设备之间可点对点通信.

本文采用在负荷预测中具有代表性的GEF- Com2012比赛数据[26]，作为试验样本数据集.该数据集包含20个地区每1h记录1次的电力负荷数据、对应温度数据以及日期信息，将其整理成可用于本文LSTM模型输入的数据集.深度学习算法采用Python 3.6编程语言编程，负荷预测模型的深度学习框架采用TensorFlow2.

3.2仿真结果

1）为了验证本文方法对模型预测能力的提升，同时排除日期等因素对预测精度的影响，在3.2.1节中将参与协同训练的各地区所拥有数据的时间跨度均设置为同一时间段，样本设为相同数量.

2）为了验证本文方法对模型泛化能力的提升，在3.2.2节中将各参与方的数据时间跨度设置为不同时间段，样本设为不同数量.设置3个算例验证其在3种场景下对模型预测精度和泛化能力的提升.

3.2.1相同时间跨度与数据量的参与方进行联邦

为了体现本文方法对模型预测准确率的提升，选取5个地区作为相互独立的负荷运营商参与联邦过程，分别记为l₁、l₂、l₃、l₄、l₅.数据集选择该5个地区2004年量测数据V_l，1～V_l，5，每1h有1次记录，全年每个V_l，k有8 784个数据样本.

需要说明的是，本算例主要目的是验证本文方法对预测精度的提升，所以应排除各地区数据量及选取日期差异的干扰.因此，本算例采用1月1日至7月27日的数据样本作为模型训练样本集，以7月28日的24个数据样本作为测试集.

依次将5个地区作为目标对象，每一个地区均进行以下工作：首先以地区l_k（k=1、2、3、4、5）自身所拥有的数据集进行模型训练，并将该训练好的模型作为服务器模型，记录此时模型对该日负荷的预测结果；随后，将该服务器模型下发至除l_k外其余4个本地端，各l_k根据自身所拥有的数据集进行本地模型训练；依次进行本地模型更新、本地模型上传、服务器接收模型、服务器模型聚合更新流程；地区l_k得到更新后的服务器模型，并在测试集进行测试.最终，记录5个地区单独模型负荷预测及联邦后预测的结果，并对比实际负荷、单一模型及本文方法的预测结果.各地区负荷预测结果对比分别如图4～图8所示，RMSE和MAPE结果对比分别如表1和表2所示.

从图4～图8可以看出，使用单一负荷预测模型预测的负荷曲线与实际负荷曲线存在着明显差距，但经过本文方法训练的模型所预测的负荷曲线与真实曲线之间的差距明显缩小.由表1和表2可知，在5次测试中，各地区单一模型的预测结果相对该地区实际负荷的误差均较大，地区4的MAPE甚至超过了5%，这表明单独使用单一负荷预测模型并不具备良好的误差控制效果.使用本文所提方法，模型的误差指标RMSE与MAPE都有了明显下降.地区1的误差下降最为明显，相比单一模型，RMSE与MAPE分别减少了32%和43%.由此可见，本文所提方法在保护数据隐私的情况下，丰富了参与到模型训练的数据特征，弥补了单一地区数据集特征不够全面的缺陷，最终验证了经过本文所提方法训练的负荷预测模型具有比单一数据集训练的模型更加优秀的预测准确度和更好的误差控制能力.

3.2.2多场景测试

本文所提方法也适合更多复杂的场景.为了验证经过本文方法训练后的模型在多场景下具有良好的预测准确率和泛化能力，设置如下3个算例：算例1和算例2模拟利用本文方法实现扩充数据集时间跨度的场景；算例3模拟将模型移植到新的地区进行预测的场景.

对仿真所用到的数据集进行预处理，地区1～地区5的数据量及日期特征均不相同.其中地区4由于为新设立的区域，并无历史数据，但具有负荷、气象等数据量测能力.详细设置如表3所示.

算例1以地区2的数据进行训练，得到地区2 负荷预测模型，并用该模型预测地区2的负荷，记录预测结果；再以地区1联合地区2进行协同训练，用训练出的模型预测地区2的负荷，记录此时预测结果.算例1负荷预测结果对比如图9所示，预测误差对比如表4所示.

由图9和表4可知，采用本文所提方法后，在保证地区1数据隐私的同时，训练出的模型降低了地区2因7月数据缺失造成7月份负荷预测准确度下降的影响，预测出的负荷曲线更接近实际数据，其误差也大幅降低，RMSE与MAPE分别降低了21%和28%.这体现出本文方法有效地丰富了地区5模型训练可利用的样本特征，验证了本文方法在数据量不足情况下对模型预测准确率的提升效果.

算例2以地区5的数据进行训练，得到地区5负荷预测模型，并用该模型预测地区5的负荷，记录预测结果；再以地区3联合地区5进行协同训练，用训练出的模型预测地区5的负荷，记录此时预测结果.结果如表5所示，预测负荷曲线图如图10所示.

从表5和图10可以看出，相较地区5仅用自身数据训练的模型，采用本文方法训练后的模型预测曲线与真实曲线之间的差距大幅缩小，对应的误差RMSE和MAPE分别下降了74%和80%.在本算例中，地区5自身所拥有的数据极少，仅用该数据训练出的模型预测能力和泛化能力非常弱.由于本文方法对数据量进行了大幅扩充，且补充了更多不同日期的特征，对預测准确率的提升十分显著，使得误差大幅降低.这也符合深度学习在样本不够全面的情况下，当训练样本增加时模型性能也提升的特点.与此同时，在协同训练过程中有效地保证了地区3、5 各自的数据隐私.综上所述，本算例说明本文方法能有效提升模型的预测能力.

算例3利用地区1、2、3、5的数据协同训练负荷预测模型，将该模型应用于新加入联邦的地区4的负荷预测；先量测地区4预测时刻前24 h时刻的历史负荷数据以及预测时刻的气象、日期数据，作为联合预测模型的输入，进而预测下一时刻的负荷变化，记录下一日预测结果.预测负荷曲线图如图11所示，预测误差对比如表6所示.从图11和表6中可以看出，模型在新地区具有良好的预测准确率，相比单一模型，本文方法预测曲线与真实负荷曲线差距较小，RMSE和MAPE分别降低了19%和23%.这是因为本文方法训练出的短期负荷预测模型学习了多个地区数据的特征，适应能力更强，具有良好的泛化能力.

4结论

本文针对构建负荷预测模型所需数据样本数量与特征不足、模型泛化能力差以及负荷相关数据高度保密无法共享训练的问题，引入联邦学习方法，提出基于联邦学习的短期负荷预测模型协同训练方法，实现各负荷运营商在满足保证数据隐私的前提下协同训练短期负荷预测模型.在GEFCom2012比赛的多个地区负荷数据集上进行了仿真测试，验证了所提方法对模型预测准确率的提升，证明了通过本文方法训练出的短期负荷预测模型在多场景下具有优秀的泛化能力.在本文基础上，未来可进一步研究配电网多主体协同的去中心化分布式训练机制.

参考文献

[1]梁智，孙国强，李虎成，等.基于VMD与PSO优化深度信念网络的短期负荷预测[J].电网技术，2018，42（2）：598-606.

LIAN G Z，SUN G Q，LI H C，et al. Short-term load forecasting based on VMD and PSO optimized deep belief network [J]. Power System Technology，2018，42（2）：598-606. （In Chinese）

[2]陈宏义，李存斌，施立刚.基于聚类分析的短期负荷智能预测方法研究[J].湖南大学学报（自然科学版），2014，41（5）：94-98.

CHEN H Y，LI C B，SHI L G. A new forecasting approach for short-term load intelligence based on cluster method[J]. Journal of Hunan University （Natural Sciences），2014，41（5）：94-98. （In Chinese）

[3]孔祥玉，李闯，郑锋，等.基于经验模态分解与特征相关分析的短期负荷预测方法[J].电力系统自动化，2019，43（5）：46-52.

KONG X Y，LI C，ZHENG F，et al. Short-term load forecasting method based on empirical mode decomposition and feature correlation analysis[J]. Automation of Electric Power Systems，2019，43（5）：46-52.（In Chinese）

[4]彭显刚，郑伟钦，林利祥，等.考虑负荷自适应检测和修复的鲁棒极限学习机短期负荷预测方法[J].中国电机工程学报，2016，36（23）：6409-6417.

PENG X G，ZHENG W Q，LIN L X，et al. Short-term load forecasting method based on outlier robust extreme learning machine considering adaptive load detection and repair[J].Proceedings of the CSEE，2016，36（23）：6409-6417.（In Chinese）

[5]孔祥玉，郑锋，鄂志君，等.基于深度信念网络的短期负荷预测方法[J].电力系统自动化，2018，42（5）：133-139.

KONG X Y，ZHENG F，E Z J，et al. Short-term load forecasting based on deep belief network[J]. Automation of Electric Power Systems，2018，42（5）：133-139.（In Chinese）

[6]彭文，王金睿，尹山青.电力市场中基于Attention-LSTM的短期负荷预测模型[J].电网技术，2019，43（5）：1745-1751.

PENG W，WANG J R，YIN S Q. Short-term load forecasting model based on Attention-LSTM in electricity market[J]. Power System Technology，2019，43（5）：1745-1751.（In Chinese）

[7]苏学能，刘天琪，曹鸿谦，等.基于Hadoop架构的多重分布式BP神经网络的短期负荷预测方法[J].中国电机工程学报，2017，37（17）：4966-4973.

SU X N，LIU T Q，CAO H Q，et al.A multiple distributed BP neural networks approach for short-term load forecasting based on Hadoop framework[J]. Proceedings of the CSEE，2017，37（17）：4966-4973.（In Chinese）

[8]杨龙，吴红斌，丁明，等.新能源电网中考虑特征选择的Bi-LSTM网络短期负荷预测[J].电力系统自动化，2021，45 （3）：166-173.

YANG L，WU H B，DING M，et al. Short-term load forecasting in renewable energy grid based on Bi-directional long short-term memory network considering feature selection[J]. Automation of Electric Power Systems，2021，45（3）：166-173.（In Chinese）

[9]庞昊，高金峰，杜耀恒.基于多神经网络融合的短期负荷预测方法[J].电力自动化设备，2020，40力）：37-43.

PANG H，GAO J F，DU Y H.Short-term load forecasting method based on fusion of multiple neural networks[J]. Electric Power Automation Equipment，2020，40（6）：37-43. （In Chinese）

[10]姚程文，杨苹，刘泽健.基于CNN-GRU混合神经网络的负荷预测方法[J].电网技术，2020，44（9）：3416-3424.

YAO C W，YANG P，LIU Z J.Load forecasting method based on CNN-GRU hybrid neural network[J]. Power System Technology，2020，44（9）：3416-3424.（In Chinese）

[11]陆继翔，张琪培，杨志宏，等.基于CNN-LSTM混合神经网络模型的短期负荷预测方法[J].电力系统自動化，2019，43（8）：131-137.

LU J X，ZHANG Q P，YANG Z H，et al.Short-term load forecasting method based on CNN-LSTM hybrid neural network model[J]. Automation of Electric Power Systems，2019，43（8）：131-137.（In Chinese）

[12]邓带雨，李坚，张真源，等.基于EEMD-GRU-MLR的短期电力负荷预测[J].电网技术，2020，44（2）：593-602.

DENG D Y，LI J，ZHANG Z Y，et al. Short-term electric load forecasting based on EEMD-GRU-MLR[J].Power System Technology，2020，44（2）：593-602.（In Chinese）

[13]王增平，赵兵，纪维佳，等.基于GRU-NN模型的短期负荷预测方法[J].电力系统自动化，2019，43（5）：53-58.

WANG Z P，ZHAO B，JI W J，et al. Short-term load forecasting method based on GRU-NN model [J]. Automation of Electric Power Systems，2019，43（5）：53-58. （In Chinese）

[14]陈振宇，刘金波，李晨，等.基于LSTM与XGBoost组合模型的超短期电力负荷预测[J].电网技术，2020，44（2）：614-620.

CHEN Z Y，LIU J B，LI C，et al. Ultra short-term power load forecasting based on combined LSTM-XGBoost model [J]. Power System Technology，2020，44（2）：614-620. （In Chinese）

[15]孙晓燕，李家钊，曾博，等.基于特征迁移学习的综合能源系统小样本日前电力负荷预测[J].控制理论与应用，2021，38（1）：63-72.

SUN X Y，LI J Z，ZENG B，et al Small-sample day-ahead power load forecasting of integrated energy system based on feature transfer learning [J]. Control Theory & Applications，2021，38（1）：63-72 （In Chinese）

[16]张勇，陶一凡，巩敦卫.迁移学习引导的变源域长短时记忆网络建筑负荷预测[J].控制与决策，2021，36（10）：2328-2338.

ZHANG Y，TAO Y F，GONG D W. Load forecasting of buildings using LSTM based on transfer learning with variable source domain[J] Control and Decision，2021，36（10）：2328-2338 （In Chinese）

[17] GONQALVES C，BESSA R J，PINSON P. Privacy-preserving distributed learning for renewable energy forecasting[J]. IEEE Transactions on Sustainable Energy，2021，12（3）：1777-1787

[18] KONECNY J，MCMAHAN H B，YUF X，et al. Federated learning：strategies for improving communication efficiency [EB/OL]. https：//arxiv.org/pdf/1610.05492.pdf.

[19] YANG Q，LIU Y，CHEN T J，et al. Federated machine learning[J]. ACM Transactions on Intelligent Systems and Technology，2019，10（2）：1-19

[20]贺文晨，郭少勇，邱雪松，等.基于DRL的联邦学习节点选择方法[J].通信学报，2021，42（6）：62-71.

HE W C，GUO S Y，QIU X S，et al. Node selection method in federated learning based on deep reinforcement learning[J]. Journal on Communications，2021，42（6）：62-71 （In Chinese）

[21] MILLS J，HU J，MIN G Y Communication-efficient federated learning for wireless edge intelligence in IoT[J]. IEEE Internet of Things Journal，2020，7（7）：5986-5994

[22] ZHOU C Y，FU A M，YU S，et al Privacy-preserving federated learning in fog computing[J] IEEE Internet of Things Journal，2020，7（11）：10782-10793

[23]鄭楷洪，肖勇，王鑫，等.一个面向电力计量系统的联邦学习框架[J].中国电机工程学报，2020，40（S1）：122-133.

ZHENG K H，XIAO Y，WANG X，et al A federated learning framework for power grid metering system [J]. Proceedings of the CSEE，2020，40（S1）：122-133 （In Chinese）

[24] HOCHREITER S，SCHMIDHUBER J. Long short-term memory[J]. Neural Computation，1997，9（8）：1735-1780

[25] ZHU L G，LIU Z J，HAN S. Deep leakage from gradients[EB/OL]. https：//arxiv.org/pdf/1906.08935.pdf.

[26] HONG T，PINSON P，FAN S Global energy forecasting competition 2012[J]. International Journal of Forecasting，2014，30（2）：357-363