基于长短期记忆循环神经网络的变电站监控系统智能故障推理方法

付豪，邹花蕾，张腾飞

（1.国电南京自动化股份有限公司，南京 210032；2.南京邮电大学 自动化学院，南京 210023）

0 引言

作为智能变电站的高级应用之一，智能变电站的故障推理和综合分析对于变电站自动化系统有着重要意义，特别是在“大运行、大检修”背景下，基于调控一体化，主站端的信号监控数量巨大，值班员负担重，在异常时，信息量大、甚至信息爆炸，故障判断困难［1］。智能变电站的故障推理主要是实现变电站运行故障或异常信息的智能分析诊断和预测，使告警智能化。它能够快速定位故障，为各业务人员提供高效、直观的综合性告警信息和辅助决策依据［2］，有效提升解决故障的效率。

对于该应用的研究，在工业界和学界一直在发展和持续进步中。2013 年，国家电网有限公司发布《智能变电站保护动作信息故障分析判据导则》，并逐步将故障推理的应用纳入变电站自动化系统的入网检测，国内各二次厂家也都开发了基于规则的综合故障推理、分析系统，相关方向的研究也越来越多。

文献［3］提出一种基于模糊Petri 网络的智能告警专家系统推理机制，通过对具有关联性的告警信号的模糊推理，得出接近事实的结论。文献［4］提出调控中心、变电站两级分布式智能告警系统。以插件式智能告警分析引擎为核心驱动，采用两级整体分析与决策策略，提高了智能告警的即插即用及可扩展能力。文献［5］提出基于多源数据融合的智能告警方案。该方案根据调度站中心8个应用模块建立与智能告警系统之间的信息共享网络，建立多源数据告警可信度和多源数据有效性的双重机制，利用该机制对告警数据进行压缩和融合。文献［6］采用IEC61850标准对告警信号进行数据建模，建立一种面向对象的知识库模型描述故障元及其联络的内部知识组织，推理机采用1 级、2 级故障推理算法逐步精确、细化地推理事故根源。这些传统的基于固定规则或专家知识库的故障推理，存在很多不足。

首先，人工总结的规则不全面，总结难度大，比如很多故障需要跨装置分析等。其次，在实际应用中，这种传统故障推理程序的配置工作量复杂、繁重、灵活性差，配置可重用性低，导致实用性不佳；同时，目前的推理规则较少，关联性分析不足，在有故障和异常发生时，往往干扰信号多，人工识别困难，且容易遗漏某些相关信息。近年来，随着人工智能技术的兴起，使用统计概率学、机器学习技术的故障推理开始增加。文献［7］提出基于贝叶斯定理的电网告警方案。该方案通过概率统计算法，求出各电网设备在不同告警下告警次数准确率和误报率的先验概率，利用贝叶斯网络对不同告警源的可信度进行后验概率计算，得出不同告警模式下告警的可信度。当然，也有采用神经网络、支持向量机（SVM）等机器学习算法的故障推理模型。这些基于机器学习的故障推理方法一般都是离线训练模型，受训练样本和数据质量的影响较大，而且往往不能有效考虑到输入信号在时间上的时序性。

本文提出一种基于长短期记忆循环神经网络（LSTM-RNN）、自然语言处理技术的变电站智能故障推理方法，并采用在线学习更新模型。该方法在离线训练阶段，基于深度学习的算法，能从海量数据、故障发生时断面保存的大量信号中，由算法智能地选择相关关键特征、关键信号，以及其参数因子，进行故障推理。深度学习模型的网络层数更多，预测更精确，而且LSTM-RNN 可以充分把信号的时序性考虑到推理中，而在线学习根据用户的确认结果和反馈信息，不断更新模型，使该算法在应用中不断优化。另外，由于该方法不依赖规则，可以在部署调试时，减少大量配置工作，提升了工程实用性。

1 故障推理的应用场景

本文提出的变电站智能故障推理方法当前应用于变电站端，在智能变电站站控层的监控系统中，可根据具体情况，部署于站控层的相关服务器上。

在当前的智能变电站中，变电站运行和维护所需一次系统、二次系统、辅助系统、电气运行环境等基础信号和数据（包括测控装置、保护装置、同步相量测量装置、计量、一次设备状态监测、二次设备状态监测和网络状态监测数据等），经过数据采集，送至变电站站控层的监控系统［8］。监控系统对数据进行存储和处理，处理主要是信号的预处理（如伴随信号处理、抖动信号处理）、过滤（如非运行态数据过滤）、分类，还有一些相应的数据清洗处理。然后，有效的信号、数据会作为输入，进入智能故障推理的模型中进行进一步特征处理、特征选择以及推理结果预测，从而得到推理结果。智能告警推理的功能架构如图1所示，图中SOE为事件顺序记录。

图1 智能告警推理的功能架构Fig.1 Function framework of the intelligent alarming and reasoning

智能告警的应用场景非常广泛和具有前景，如电网故障智能诊断（电网故障实时定位和故障处理建议自动推送）、二次系统状态智能诊断（基于二次系统和通信网络状态数据，实现二次系统状态的诊断和预警）、电源系统智能告警（建立电源系统的信号告警与相应的二次设备、一次设备的运行风险的推理逻辑）、电气运行环境监测告警、测量数据异常原因定位、智能辅助控制、通信异常判别、全景化变电站巡检等。

2 整体算法架构介绍

本文提出的智能故障推理算法包括2 个部分。第1部分是模型离线训练阶段，算法训练流程如图2所示。

图2 算法的模型训练流程Fig.2 Model training flow of the algorithm

储存于历史数据库中的历史故障以及故障发生时的相关暂态、稳态、动态的数据与信息，经过公司数据平台相关应用组件的预处理，对原始数据进行初步清洗，然后作为训练数据的输入输出量，传递给智能故障推理算法。

另外，现有的故障规则库中的规则，也可作为用于训练模型的输入输出量的一部分。由图2 可知，输入量为多种中文词组、开关量、模拟量等，算法对输入量采用自然语言处理的方法进行特征化处理，得到对应的高维矩阵或张量。接着，算法采用最小角回归算法（LARS），进行特征选择，获取相关性高的特征值，以时间顺序进行排序，作为LSTM-RNN 算法的输入量，进行模型训练和参数调优，最终得到智能推理模型。

算法的第2 部分在线更新流程如图3 所示。得到的智能推理模型进行上线部署，用于智能变电站内监控系统的故障推理和分析。当有相应的触发信号时，一般为保护启动信号，故障推理算法启动，会得到相应的推理结果，并上送主站端，用户根据推理结果进行相应处理后，向系统反馈故障已确认或者告警有误（无故障）。根据用户的反馈信息，通过前向传播神经网络（BPNN）进行模型更新，使该算法在应用中不断得到优化。

3 推理方法关键技术研究

3.1 算法输入量选择的研究

对于机器学习、深度学习的预测模型来讲，选择合适的样本与输入量至关重要，可以有效地提高模型的稳定性、准确性，以及运算速度和运算效率。

针对智能变电站故障推理业务，样本选取主要是来自于已存储的历史故障，而历史故障作为输出量，即形成一个机器学习中的多标签分类问题。故障对应的输入量主要是来自于测控装置、保护装置、同步相量测量装置、网络报文记录于分析装置、电能量采集终端、一次设备状态监测、辅助应用设备等智能变电站内二次设备在故障发生时的信号数据。选取数据时，按这些数据按照对应的一次设备（可分为主变压器、站用变压器、母线、线路、电容器、低压电抗器等），进行相对均衡的选择。

在选择信号和数据时，主要选择与故障推理关联性强的信号，包括：保护动作、失灵保护动作、差动保护动作、跳闸动作、重合闸动作、过流保护、零序保护、相间距离保护、接地距离保护、永跳保护、开关分合状态、断路器分合闸状态、三相不一致信号、复归信号、通信中断、电压值、电流值、有功功率、无功功率、设备异常信号等。数据的属性选择主要包括：时间、信号名、信号类型、所属装置、所属间隔、原值、当前值、数据质量、变化次数，这些元素可以有效表征故障发生时该信号的状态。输入量的选择如图4所示。

图4 输入量的选择Fig.4 Selection of input signals

每个参与故障推理的输入量信号，由这些元素组成1 个向量。如果是数字的量就不用再处理，如果是汉字的元素，比如信号名、所属间隔等，通过下一节的自然语言处理的特征化方法，对向量进行特征提取，从而得到机器学习模型可以识别的特征量。

3.2 基于自然语言处理的特征处理

数据预处理和特征处理对数据挖掘非常重要，不少机器学习、深度学习算法都对其处理的数据集合有一定要求，如数据完整性好、冗余性小、属性相关性小等。所以，数据预处理和特征化是整个推理方法中的重要一环。为算法其提供干净、准确、简洁的数据，能够有效提升预测的效果和质量，高质量的决策必须依赖高质量的数据［9］。

对于当前的输入量及其属性、信号名称、信号类型、所属装置、所属间隔、数据质量都是中文词语的情况，需要使用自然语言处理技术对其特征化。

第1 步：数据预处理。中文数据预处理的手段主要有去除无意义符号、非中文词、分词、停用词等，根据输入的特点，本文的智能故障推理方法采取如图5所示的步骤进行数据预处理。

图5 数据预处理Fig.5 Data pre-processing

第2 步：对得到的词列表进行特征提取。自然语言处理的常见特征提取方法有关键词打分机制、词语频率、余弦定理、Levenshtein 距离、词频-逆文本 频 率 指 数（TF-IDF）、词 袋 模 型、word2vec、doc2vec、n-gram 等。本文的故障推理方法采用word2vec 方法进行特征提取。词向量，即word2vec，是将一定语料库的词语，通过神经网络训练，得到每个词的向量值，由于考虑了上下文的关系，则词意相近的词语的值会比较靠近，体现出词与词之间的距离、关系，非常符合本文的需求［10］。词向量方法首先需要通过语料库对模型进行训练，然后才能用来标注每个词的向量值，本文采用通用中文语料库进行模型训练（如果有电力专业词汇语料库，得到的向量值会更佳），最后得到每个输入词的向量值。

3.3 LARS

鉴于有效特征值对算法效果和预测准确率的重要性，本文的智能故障推理算法通过LARS 对特征值进行进一步筛选，获取关联性强的特征值。LARS的原理如下。

一个典型的回归模型为

式中：μ̂为当前对y的估计值，y是标签值，具有M个预测变量；X为一个M×N矩阵；N为样本数量；β̂为预求解的回归系数向量。因此可以计算出当前回归预测的相关性为

式中：ĉor为当前回归预测的相关性值；X′为X的转置。那么将存在一个j使得|ĉor，j|最大化。μ̂将通过μ̂m+1=μ̂m+γ̂sign(ĉor，j)Xj的规则更新。γ̂为更新步长，在LARS 中γ̂被从中选择，使得算法在最相关集合中的变量之间进行等角度选择，即“最小角度方向”，直到找到下一个变量。然后，下一个变量关联其有效集，并将它们的系数一起移动，使其相关性保持平衡和降低。这个过程一直持续到模型中的所有变量，并以完全最小二乘拟合结束。

接着，LARS 会进行下一步更新。最后，相关联的变量按相关性级别排序，可以通过该方法轻松获得对推理重要的特征量［11］。

3.4 LSTM-RNN算法

经过LARS 选择的特征量，将作为LSTM-RNN算法的输入。把所有的故障名称记录在1个数据字典中，每个故障名称对应1个数值，作为监督学习中多标签分类问题的输出量。本文的智能故障推理方法在推理结果预测的部分选择LSTM-RNN算法。

LSTM-RNN 算法是传统深度学习算法之一的RNN 的改进版。RNN 是在普通多层神经网络基础上，增加了隐藏层各单元间的横向联系，通过1个权重矩阵，可以将上一个时间序列的神经单元的值传递至当前的神经单元，从而使神经网络具备了记忆功能［12］。但因为网络层次越多时，存在梯度爆炸或者梯度消失，它不能记忆太前或者太后的内容。LSTM-RNN 算法在RNN 的基础上，在隐藏层各神经单元中增加记忆单元，从而使时间序列上的记忆信息可控，比RNN具备更长期的记忆功能［13-15］。

具体地，LSTM-RNN 算法每次在隐藏层各单元间传递时通过几个可控门（遗忘门、输入门、候选门、输出门），可以控制之前信息和当前信息的记忆和遗忘程度，算法的可控门在隐藏单元中的完整逻辑结构如图6所示。

图6 可控门的逻辑结构Fig.6 Logic structure of the controllable gate

图6中遗忘门的作用是决定继承过往多大程度的记忆。遗忘门是通过将前一隐层的输出st-1与当前的输入xt进行线性组合，利用激活函数，将输出值压缩到0～1之间。输出值越接近1，表示记忆体保留的信息越多。反之，越接近0，表示记忆体保留的信息越少，表示为

式中：σ为激活函数，使用sigmoid 函数；WTf为遗忘门权重矩阵；UTf为遗忘门输入层与隐藏层间的权重矩阵；bf为遗忘门的偏置值。

输入门的作用在于，它决定了当前时刻的输入信息xt以什么程度添加至记忆信息流中。它的计算公式和遗忘门几乎一致。如图6 中的it即为输入门的输出量，表示为

式中：σ，WTi，UTi与遗忘门公式中的意义相同；bi为输入门的偏置值。

候选门的作用是调解比例，它控制着以多大比例融合“历史”信息和“当下”信息，负责计算当前输入的单元状态。通过遗忘门、输入门、候选门的组合，如图6所示，即可得到记忆信息ct。

最后，输出门的作用是控制有多少记忆可以用于下一层网络的更新。输出门的计算可表示为

式中：ot为输出门的输出值；σ仍为激活函数，使用sigmoid 函数，sigmoid 函数会把ot规则化为1 个0～1之间的权重值。最后，用激活函数tanh 把记忆值进行变换，将其变换为-1～+1 之间的数，最终得到图6中的输出值st。

本文的智能故障方法，采用1 个64 层的LSTMRNN，以softmax 函数作为输出的激励函数，从而实现了多分类的预测。以历史故障数据按照本节上述流程进行模型训练，即可得到离线的智能故障推理模型。

3.5 模型更新

对于部署上线的推理模型，在实际应用中，每次进行故障推理得到推理结果后，用户可以根据实际情况，在问题处理之后反馈推理结果是否准确有效以及真实故障的类型。而本推理方法可以根据反馈信息进行判断，当反馈信息的真实故障类型与推理结果不一致时，会激活模型的更新，从而采用时序反向传播（BPTT）算法。BPTT 算法是针对循环层的训练算法，它的反向传播包括2个层面：一个是空间层面上的，将误差项向网络的上一层传播；另一个是时间层面上的，沿时间反向传播，即从当前时刻开始，计算每个时刻的误差，从而实现对模型进行更新。因此，随着实际应用的推广，故障推理模型的预测精度会越来越高。

4 试验应用举例

以本文的智能故障推理方法为核心算法开发的智能故障推理程序，利用某公司备份的变电站历史数据库的真实数据信息，做了以下实际应用试验。

试验1：选择训练样本大小不同的试验。试验分别采用4 组数据进行，第1 组选择数据样本500条，第2 组选择数据样本1 000 条，第3 组选择数据样本1 500 条，第4 组选择数据样本2 000 条，都以4∶1 的比例划分训练集和测试集，以平均准确率为标准进行验证，结果见表1。

表1 试验1的准确率Table 1 Accuracy of test one %

从试验结果可以看出，随着样本的增加，模型预测的准确率在不断上升。从而可知，由于本文的故障推理方法在线部署后，可以根据用户的反馈更新模型，所以，随着使用时间的增加，现场反馈的数据越多，即训练样本不断增加，则模型的预测准确率越高。

试验2：验证模型状态的试验。依然选用历史数据库中储存的实际历史故障记录数据来进行验证，选取1 400 条历史记录作为样本。训练结果以程序绘制的学习曲线作为判断模型状态的依据。训练得到的学习曲线如图7 所示。由图7 可知，目前模型的预测率不算特别理想，但模型未出现高偏差，即模型未处于欠拟合状态；同时，训练集准确率和验证集准确率两者在逐渐收敛，且间距不大，即模型也未有明显的过拟合，模型具备泛化能力。

图7 模型的学习曲线Fig.7 Learning curve of the model

试验3：LSTM-RNN 算法与其他机器学习算法的比较试验。此处选择了机器学习算法中常用的SVM、逻辑回归（LR）以及朴素贝叶斯（NB）算法与本文的LSTM-RNN 算法进行比较。试验选择1 600 条数据，训练集和测试集按照3∶1 的比例进行划分。SVM 的参数C设为1，LR 算法的multi_class 采用多分类器，而NB 分类器的模型选择在文本分类中也常用多项式模型Multinomial NB。以平均准确率作为标准，结果见表2。

表2 不同算法的准确率Table 2 Accuracy of different algorithms %

从结果分析可以得出，对时间序列有记忆效果的LSTM-RNN 算法在故障推理的应用场景中确实有更好的预测效果和表现。

5 结束语

在智能技术日益发展的时代，变电站的智能化高级应用正在快速发展，如故障推理能够快速定位故障，为各业务人员提供高效、直观的综合性告警信息和辅助决策依据，很有意义。本文提出了一种基于LSTM-RNN、自然语言处理技术的变电站智能故障推理方法，并采用在线学习更新模型。LSTMRNN 充分把信号的时序性考虑到推理中，而在线学习根据用户的确认结果和反馈信息，可以使该算法在应用中不断优化。另外，跟基于专家知识库或固定规则的推理方法相比，在工程部署中减少了配置工作量。最后通过实际的应用试验，验证了LSTMRNN 与其他机器学习算法在故障推理中的优势，以及随着数据量增加（在线更新的效果）能带来的模型准确率的提升。

根据现有成果，未来可以进行更多进一步的研究，如主动预警技术、电力语料库的建立等，从而有助于特征处理、增强预测效果等。