基于LSTM的重要用户电能质量趋势预测分析模型

赵长伟，骈睿珺，杜天硕，葛磊蛟

（1.国网天津市电力公司城东供电分公司，天津 300260；2.天津大学电气自动化与信息工程学院，天津 300072）

随着电网的不断发展以及电网中各类影响电能质量新“污染源”的接入，如何为用户提供安全、可靠的电力供应已经成为近些年来电力科研者研究的主要课题[1]。重要电力用户为保证企业的效益与安全则重点关注供电的电能质量水平[2]，如电压偏差、电压总谐波畸变率、电压的波动与闪变等，因此对电能质量趋势变化进行预测分析，有利于运维人员提前掌握电能质量状况并迅速采取相关措施进行改善，挖掘电力数字化信息系统和各类量测系统积累的大量数据价值[3]，为提高供电质量和提供定制电力等增值服务做好支撑，保证电力系统的安全稳定运行。

目前，对电能质量指标趋势变化预测研究的方法主要有回归分析、时间序列、灰色预测、神经网络等[4]。基于电力物联网提供的信息基础，以智能电表等智能计量设备和相应的信息通讯技术迅速提升，使得海量的用电数据在用户侧产生，这些数据通常包含用电行为与电能质量的内在规律和衍生信息。基于这些电力大数据，相关学者已经开始通过数据挖掘等技术获取其中有价值的信息[5]，探究数据驱动的电能质量趋势变化预测方法。文献[6]通过混沌理论和最小二乘支持向量机的方法构建电能质量稳态指标预测模型，以监测点大数据样本为依据对电能质量的典型指标包括电压偏差、电压谐波总畸变率以及长时闪变进行预测，不同的指标预测精度有所差异，同时效果仅可满足工程需求。文献[7]通过线性回归模型和灰色模型对电能质量相关指标进行预测，并构建基于预测数据的预警机制，将预警划分为4个等级，可以在电能质量指标异常或超标前，发布预警信息。上述研究仅针对电能质量指标的历史数据进行研究，没有利用可以表征电能质量的多维度特征数据，对拐点的预测效果较差。文献[8]提出一种基于长短时记忆网络的稳态电压质量指标预测方法，分析有功功率与电压质量指标的关联性，筛选出用电特征与电能质量变化规律相关程度高的用户，并以此作为电能质量预测的特征输入，具有较好的效果。文献[9]为提高预测精度，综合考虑气象因素、有功负荷及历史电能质量等数据并将其作为输入变量，并通过多种算法对电能质量稳态指标进行预测比较。文献[10]同样以大量的电能质量历史数据、环境因素及负荷数据为依据，利用长短时记忆网络进行预测。由文献[8-10]可知，对电能质量的趋势变化进行预测时可选择的输入特征多种多样，但是其与电能质量变化规律的相关程度有高有低。与预测值相关程度高的特征值之间相互补充可以有效提高预测精度，实现对重要用户电能质量趋势变化的准确预判。

本文以上述研究为出发点，提出一种基于距离相关系数和长短时记忆网络的重要用户电能质量趋势变化预测方法，对收集到的用户多维度用电特征数据利用距离相关系数进行筛选，根据样本特征利用LSTM进行预测。最后，在实例分析中以电能质量的重要指标电压总谐波畸变率、电压偏差、短时闪变为目标值，通过模型得到各个指标的趋势变化结果，并对预测结果进行分析评价。

1 相关理论原理

近年来，机器学习和深度学习取得了迅速的发展，并在许多工程领域得到了广泛的应用[11]。文中模型的输入为多模态时序数据，具有典型的时间特性，利用模型所得到的结果不仅与当前输入有关，而且与过去的输入相关，故采用循环神经网络能够较好地解决问题。但是当时间序列过长时循环神经网络存在梯度爆炸和梯度消失等问题[12]，长短时记忆LSTM[13]（long short-term memory）网络为改进后的循环神经网络，弥补了RNN存在的缺点，当处理长距离的时序信息也可使得循环神经网络能够真正有效地对其利用，是目前最先进的用于序列学习任务的深度学习体系结构之一[14]。

1.1 LSTM神经网络结构

LSTM网络与RNN一样由输入层、隐藏层和输出层组成，同时在其基础上增加了一个状态单元c，并通过遗忘门、输入门、输出门让信息有选择地影响LSTM网络每个时刻的状态，LSTM内部结构如图1所示。LSTM单元在t时刻有3个输入：当前时刻网络的输入值x t；上一时刻LSTM隐含层的输出值h t-1；上一时刻的单元状态c t-1。LSTM单元在t时刻有2个输出：当前时刻隐含层的输出值h t和单元状态c t。

图1 LSTM网络内部结构Fig.1 Internal structure of LSTM network

1）遗忘门

式中：f t是当前时刻控制遗忘信息的比例系数；σ是sigmoid激活函数，作用是将运算后得到的数据光滑地映射到（0，1）区间，恰好对应了“控制门”的开关程度；W f是遗忘门的权重矩阵；b f是遗忘门的偏置项。

式中，权重矩阵W f由两个权重矩阵组成，一个是W fh另一个是W fx，分别对应输入项h t-1和x t。

遗忘门的作用是让LSTM“忘记”之前无用的信息，假设t时刻LSTM的输入时间序列x t=时刻隐含层输出将两者作为输入通过式（1）得到决定遗忘信息比例的系数f t，f t接近于0的维度上的信息会被完全忘记，而f t接近于1的维度上的信息会被完全保留。

2）输入门

式中：i t是当前时刻控制输入信息的比例系数；W i是输入门的权重矩阵，由对应于h t-1和x t的W ih和W ix权重矩阵组成；b i为输入门的偏置项。

式中：为当前时刻候选单元状态；tanh为激活函数，与sigmoid激活函数不同的是tanh激活函数将数据平滑地映射到（-1，1）区间；W c为候选单元状态的权重矩阵，由对应于h t-1和x t的W ch和W cx权重矩阵组成；b c为候选单元状态的偏置项。

LSTM网络需要从当前的输入中补充最新的信息，这个过程通过“输入门”完成。首先，“输入门”通过式（3）得到控制输入信息的比例系数i t决定候选单元状态中哪些信息加入到上一个单元状态c t-1中以生成新的状态c t。其次，通过式（5）将h t-1和x t作为输入得到候选单元状态c͂t。最后，通过式（7）由f t按元素乘以上一次的单元状态c t-1，再用当前候选单元状态c͂t按元素乘以i t，将两者相加得到当前单元状态c t。

3）输出门

式中：o t为当前时刻控制输出信息的比例系数；W o为输出门的权重矩阵，由对应于h t-1和x t的W oh和W ox权重矩阵组成；b o为输出门的偏置项。

LSTM产生当前时刻的输出过程是通过“输出门”完成的。首先通过式（8）得到控制“输出门”开关程度的参数o t，然后通过式（10）将最新的单元状态c t通过激活函数tanh运算后与o t对应参数相乘得到当前时刻的输出h t。

具体到本文，LSTM网络模型的输入x为筛选后的电力用户用电特征数据和电能质量历史监测数据，最终模型输出量即为电能质量指标数据预测值。

1.2 LSTM网络训练

针对LSTM等神经网络模型目前主流的训练方法有BPTT（back propagation through time）和RTRL（real-time recurrent learning）。两者均为基于梯度下降的算法，其中RTRL的迭代方向与前向传播方向一致，计算量较大，而BPTT算法概念清晰且计算高效，在计算时间上较RTRL更有优势，因此本文采用BPTT算法来训练LSTM网络。

LSTM网络的训练主要分为4个步骤。

步骤1将划分好的训练集的数据输入到LSTM中，前向计算每个神经元的输出值，对于LSTM网络来说即为f t、i t、o t、h t、c t5个向量的值，相关表达式已经在1.1节中说明。

步骤2反向计算每个神经元的误差项δ。LSTM的误差项不仅沿时间进行反向传播，而且也向上一层传播。

步骤3根据误差项重新计算各权重矩阵的梯度，同时将偏置项b f、b i、b o、b c各个时刻的梯度相加得到最后的梯度。

步骤4根据梯度与学习率更新对应权值，采用适应性动量估计（Adam）梯度优化算法，其优点为能较好地处理稀疏梯度、噪音样本，同时对目标函数没有平稳要求。

2 电能质量预测模型构建

2.1 模型构建流程

如图2所示，LSTM模型构建与实现分为3个步骤。

图2 预测模型流程Fig.2 Flow chart of prediction model

步骤1对采集到的重要用户用电特征与电能质量监测数据进行数据集划分、标准化等预处理。框图中预处理后的数据分为两部分：第一部分为模型训练时需要输入的特征数据；另一部分为电能质量指标数据，结合模型所得结果完成损失函数的计算。

步骤2通过特征选择确定用于模型训练所需要的输入特征与目标值，并初步确定LSTM网络的相关参数进行训练。框图中全连接层（dense）的输出也分为两部分：第一部分为训练时所得模型结果，其作用是结合实际结果优化模型参数；另一部分为测试时的电能质量指标预测结果，该部分为最终所需要的数据。

步骤3以Adam为优化算法，通过1.2节所述步骤训练优化参数完成模型的建立，并利用测试集数据进行性能检验与模型评估。

2.2 数据预处理

重要用户用电特征之间以及与电能质量之间的量纲不同，同时数量级之间也有差别，比如电压总谐波畸变率为百分数，而功率则达kW甚至MW级，所以需要进行特征缩放。缩放后的多维度特征无量纲且具有相近的尺度，可以使梯度下降算法更快的收敛。处理的方法包括归一化[15]和标准化，而归一化易受最大最小值影响，同时每次新添加值为最值时还需要重新定义，所以本文采用标准化对数据进行预处理。

对重要用户某一用电特征数据进行标准化处理方法如式（10）所示，将其转化为均值为0，标准差为1的数据，即

式中：x′为标准化后的数据；x为某一特征原始数据样本；xˉ为样本均值；σ(x)为样本标准差。

经过模型预测得到的结果再进行反标准化后使其具有物理意义，反标准化公式为

2.3 特征选择

近年来，随着电力大数据的增长和相应监测技术的迅速提升，使得海量的电力数据在用户侧产生[16]，为基于多维度电力数据的电能质量趋势预测分析提供了崭新的思路。针对重要用户的电能质量趋势预测，可选择的特征较多，但是冗余的特征不仅不会给算法带来新的有效的信息，反而造成信息的冗余[17]，降低模型的性能。因此，构建模型时十分有必要采取一种方法对输入特征进行筛选，进而提高电能质量趋势预测的准确度。

利用Pearson相关系数可以作为选择特征的依据[18]，但是局限于线性关系，而电能质量相关指标函数是多变量、强非线性函数，Pearson相关系数无法准确反映目标值与特征向量之间的相关程度，为此Szekely等定义了距离相关系数概念，弥补了Pearson相关系数的不足。故本文采用距离相关系数（distance correlation coefficient）过滤掉低相关系数特征，实现特征降维并以该特征作为LSTM模型的输入，避免特征冗余影响模型性能。假设采集到的样本数据个数为n，定义X样本为电压、电流、有功功率等特征数据，Y样本为电压总谐波畸变率、电压偏差、短时闪变等电能质量指标，两个样本间距离相关系数公式为

式中：R2(X,Y)为X，Y两样本数据的距离相关系数；X i、X j、X k、X l分别为某一输入特征数据集中第i、j、k、l个样本；Yi、Y j、Y k、Yl分别为某一电能质量指标数据集中第i、j、k、l个样本。v2(X,X)、v2(Y,Y)均可通过上述公式求出。

在本文中以电压、电流、有功功率、零序电流、功率因数、无功功率、频率等为原始特征，目标值采用电压偏差、电压总谐波畸变率与短时闪变等电能质量指标，筛选出与电能质量数据相关性强的特征，将其作为预测模型的输入变量相互补充和增强，提升模型对电能质量趋势预测的效果，具体将在下文算例分析中进行描述。

2.4 模型评估

本文采用典型模型评估指标平均绝对误差MAE（mean absolute error）和均方误差MSE（mean squared error）评估LSTM模型预测效果。

式中：y为测试集样本目标值真实值；y̑为LSTM模型输出目标值；m为测试集样本个数。

3 实例分析

3.1 数据说明

本文数据由天津某重要用户监测点每3 s采集一次得到，4月20日—23日3天内采集共计86 937个样本数据。用电数据包括动态用电数据信息与静态用电数据信息，其中静态数据信息有用户基本信息、电表厂家型号等，但由于无法体现电能质量趋势变化，本文不作分析。动态用电数据信息包括监测点电压、电流、有功功率、频率、功率因数等。同时本文采用电压偏差(ΔU)、电压总谐波畸变率THDU（total harmonic distortion of voltage）与短时闪变(P st)等电能质量指标数据为预测目标。原始电压偏差、电压总谐波畸变率、短时间闪变等典型电能质量指标随时间变化数据如图3~图5所示，可以看出有明显的时间周期特性，通过式（10）对采集到的数据进行标准化处理，并将标准化后的数据集以6：2：2的比例划分为训练集、验证集、测试集。其中训练集用来训练模型，然后通过验证集对超参数进行调整，最后对电压偏差、电压总谐波畸变率、短时间闪变进行预测并通过测试集数据进行模型评估，后文将具体讲述利用长短时记忆网络进行预测分析流程。

图3 电压偏差时间序列Fig.3 Time series of voltage deviation

图4 电压总谐波畸变率时间序列Fig.4 Time series of THDU

图5 短时闪变时间序列Fig.5 Time series of short-term flicker

3.2 相关性分析

本实验将对采集到的多维度原始特征数据与电能质量指标数据进行相关性计算，同时对所得距离相关系数进行排序如表1所示。实验分析可知当排名第4的变量加入时模型性能有所下降，所以筛选出排名前3的变量作为模型的输入。

表1 输入变量与电能质量指标距离相关系数Tab.1 Distance correlation coefficient between input variables and power quality indexes

由表1可知，重要用户电压与3个电能质量指标的距离相关系数均较高，说明该用户电压情况与电能质量变化紧密相关，在后续的电能监测中应重点监测该用户电压变化情况，作为电能质量预测的重要依据。

同时另外3个变量与电能质量指标的距离相关系数过低，尤其是功率因数，说明监测点所得到数据具有一定局限性，本文所采用的原始数据输入特征维度较少，后续应考虑监测更多的变量，为重要用户电能质量变化规律预测提供相关程度更高的输入量，提高模型预测的准确度。

3.3 模型参数设置

长短时记忆网络训练在输入时需要确定多个超参数，其中input_size为输入特征维数，本文中为重要用户的电压、有功功率、电流，所以input_size为3。step_time为每个样本包含的时间序列长度也即滑窗的长度。通过验证，合适的滑窗长度既可以增加模型训练速度也可以提高模型的性能，在本文中设置time_step为10。hidden_size为隐含层神经元维度即h的维数，本模型采用h维度分别为16和5的两层LSTM网络。batch_size为一次输入训练网络的样本个数，其值越大训练的速度越快，但是模型的性能有所下降，适当的batch_size不仅提高训练的速度也可使梯度下降方向更加准确，加快结果误差的收敛速度，在本文中设置batch_size为72，损失函数采用MSE迭代次数为16次。训练LSTM网络的过程中可能存在过拟合现象，导致模型在测试集合表现不佳，解决问题的简单方法是指定参数“dropout”提高神经网络的泛化能力，经实验分析可知，本模型采用参数dropout为0.3时预测效果较好，后文将对模型预测结果进行具体分析。

3.4 实验结果与分析

本文基于Tensorflow深度学习框架构建模型分别以电压偏差、电压总谐波畸变率、短时闪变为目标值进行预测，训练过程训练集损失函数与验证集合损失函数如图6所示，由于训练数据已经进行标准化所以损失函数值没有量纲。其中，train_loss为训练集损失函数值，val_loss为验证集损失函数值，可以看出随着每一轮的迭代训练集损失函数和验证集损失函数都不断下降，并趋近于0，说明模型参数设置较为合理。

图6 训练过程的损失函数Fig.6 Loss function during training process

为清晰展示对电能质量趋势变化的预测效果，选取前2 000个电能质量各个指标预测值与真实值进行比对，如图7~图9所示。从图7~图9可以看出，预测值与真实值之间整体趋势几乎相同，拟合效果较好，说明本文所提出方法可以对电能质量趋势变化进行精确预测，有利于运维人员提前掌握电能质量状况并迅速采取相关措施进行改善。

图7 电压偏差预测值与真实值对比Fig.7 Comparison between predicted and real values of voltage deviation

图8 电压总谐波畸变率预测值与真实值对比Fig.8 Comparison between predicted and real values of THDU

图9 短时闪变预测值与真实值对比Fig.9 Comparison between predicted and real values of short-term flicker

上述分析从视觉方面展示了对电能质量指标趋势预测的效果，为展示本文所提出方法在准确度方面的优越性将原始多变量预测与筛选后多变量预测准确度进行比对，以3.3节中提出的模型评估指标MSE和MAE作为评价标准得到表2。

表2 原始多变量输入与筛选变量后模型性能对比Tab.2 Comparison of model performance after raw multi-variable input and filtered variables

通过对比该监测点的电能质量指标误差评价结果，可以看出：

（1）本方法对电压总谐波畸变率、电压偏差、短时闪变等典型指标的趋势变化预测较为精准，但是预测精度各有不同，原因可能在于各个指标预测时模型的最优参数不同及其历史数据变化趋势和受到的影响因素不同；

（2）筛选后多输入变量模型较原始变量输入模型各个指标预测精度均有所提高，说明过滤与电能质量低相关或无关的用户用电数据特征，充分利用对电能质量预测有价值的数据，将相关程度高的变量作为输入，在提高模型预测精度上有一定优势；

（3）本文所用数据样本中的各个输入变量虽然彼此之间可以起到相互补充增强作用，但由于总体上有功功率、电流与电能质量指标的相关性并不高，所以预测精确度提高得并不明显。

4 结语

为分析重要用户用电特性与电能质量关联关系，对电能质量趋势进行预测分析以保证重要用户对电能质量的需求，本文提出了一种基于距离相关系数与长短时间记忆网络的电能质量预测方法，利用距离相关系数过滤低相关特征实现特征降维，并在算例分析中对典型电能质量指标电压偏差、电压总谐波畸变率、短时闪变变化趋势进行预测分析，同时与原始多变量输入预测结果进行比对，证明了本模型的有效性，为各个领域多变量预测提供思路。

本模型不足包括对模型参数研究不够深入，不同的样本数量或者不同的预测目标值所对应的最优参数不同。同时监测点所得到数据具有一定局限性，本文所采用的原始数据输入特征维度较少，筛选后的特征除了电压外其他特征与电能质量指标相关程度不够高。后续研究应考虑监测更多的用电特征，为重要用户电能质量趋势变化预测分析提供依据，提高模型预测的准确度，为重要用户高品质电能质量的供应保障提供重要技术支撑。