基于循环神经网络的电力一次设备实体关系抽取模型研究

王 磊，于 洋，麦 立，张传海，王 今

（1.国网安徽省电力有限公司电力调度控制中心，安徽合肥 230022；2.国网合肥供电公司，安徽合肥 230022；3.国网宿州供电公司，安徽 宿州 234000）

随着电网规模持续扩大，电网结构变得日益复杂。由于新设备的不断投产及原有设备的更新换代，电网设备启动调试也愈加频繁，且启动类型众多，例如新变电站启动、新建线路、主变/母线扩建以及流变、压变与保护装置更换等[1-4]。因此，电网一次设备启动方案的编写工作也越来越多。目前，220 kV 及以上输变电一次设备启动方案的编写始终依靠运行人员手工编写的方式。由于方案复杂且条目较多，编写过程中极易产生难以察觉的错误，同时在工作票的批复流程中，反复退回修改也降低了工作效率，因此将一次设备启动过程模型化、规则化及数字化，进而实现该设备启动方案的数字化编制与结构化存储，成为了优化启动与防误的必要措施。

为实现一次设备启动过程的数字化，需基于主网220 kV 及以上电压等级的一次设备模型信息，并结合一次方式启动操作步骤，生成一次设备启动规则库及相关方案模板库。因此，文中对一次设备实体关系的抽取方法进行了研究。在抽取完成后，能够以结构化数据的形式将一次方式启动信息存储到系统中，从而为启动方案编制及输出提供结构化数据支撑。

1 理论基础

1.1 实体识别与关系抽取

实体的全称是命名实体，指的是现实世界中客观存在的单词或短语[5-8]。例如“**变将220 kV 母联2700 开关由冷备用转热备用”操作指令中的“母联2700 开关”即为一个实体。而关系表征则是话语对象间的关联。

实体与关系均为自然语言处理中的关键技术。通过实体识别，可提取操作指令中的电气设备名称信息；而关系抽取能同时处理两个或两个以上的实体，从而获取文本的深层次信息。换言之，实体识别是关系抽取的基础[9-12]。

在自然语言处理中，实体识别被归类为序列标注任务。对于规模为n的样本集，则有：

其中，X为样本，T为标签集合，则样本实例dl,k可表示为：

实体识别任务可抽象为通过样本集D来获得模型f(x)：

而根据关系抽取与实体识别定义间的关系，可将关系抽取问题抽象为与实体识别类似的数学模型。故对于任务集D有：

式中，E1、E2为实体集，R为关系集，S为由多个语句组成的文本集。此时，样本集实例di,m,k,j可以表示为：

关系抽取任务同样能抽象为样本集D上的模型f(e1，e2，s)：

1.2 基于循环神经网络的抽取模型

循环神经网络(Recurrent Neural Network，RNN)是一种基于顺序处理思想的深度学习(Deep Learning，DL)算法[13-16]，其被广泛应用于自然语言处理(Natural Language Processing，NLP)领域。在RNN中，基本的信息处理单元为循环神经元。该网络单元的基本结构，如图1 所示。

图1 循环神经网络单元基本结构

由图1 可以看出，循环神经元由t-1、t、t+1 三个时刻的三层网络构成。记x为单元的输入，S为状态，则有：

式（7）和图1 中，U、W、V均为权重矩阵，f(·)为非线性函数。传统的循环网在处理短时依赖的文本信息时，可基于较短的间隔信息提升处理效率。但在处理长时依赖的信息时，则会出现梯度消失现象。因此文中引入了一种长短时记忆单元，其结构如图2 所示。

图2 长短时记忆单元基本结构

长短时记忆单元C的状态由上一层输入数据ht-1和该层输入数据xt共同决定。

在图2 所示的单元中，引入了输入门、遗忘门与输出门。记W为传递权重，b为偏置项。其中，遗忘门决定了输入单元被遗忘的信息，则状态传递方程ft为：

式中，ft的值在0～1 之间，σ是传递函数。遗忘门的信号传递至输入门后，由输入门决定信息能否被存储在单元中，其状态传递方程it为：

输出门为信号传递的最后一个阶段，状态传递方程ot可表示为：

输出门能决定单元状态ct输入到单元输出值中ht的大小：

结合电力一次设备编制方案的实际使用场景，抽取实体关系时还需考虑上下文的信息。因此，将图2 中的记忆单元组成了如图3 所示的双向长短时记忆网络(Bi-LSTM)。

图3 双向长短时记忆网络结构

图3 中，xi与yi分别为输入、输出序列，si为单元状态控制量，Ai和则为正向及反向单元。该网络在处理信息时，会从正、反两个方向进行抽取。其中，正向传播过程为：

而反向传播过程则为：

式中，→代表正向网络，←代表反向网络。完整的网络输入由正、反两个方向的网络拼接而成：

2 方法实现

2.1 实验设计

为评估算法的性能，设计了实体的识别验证与关系抽取两个实验。

考虑到进行中文关系抽取的验证数据集较为稀缺，文中对基于某供电公司近五年来编制的220 kV变电站启动方案中共421 235 条操作指令进行人工抽取，并逐个标记其中的操作动作、电气模型等数据，从而得到了BIOES 模型信息。该模型的具体释义如表1 所示。

表1 BIOES模型信息释义表

所建立的电力一次设备实体关系数据集如表2所示。

表2 数据集信息

实验过程中，选择准确率P、召回率R及F值来作为模型评价指标。指标的定义方法如下：

式中，correct、wrong 和miss 分别是测试集中正确、错误及未被识别的实体个数。

为了评估算法的性能，文中使用表3 所示的软硬件环境进行仿真。表4 则给出了仿真过程中使用的网络结构与相关训练参数。

表3 算法仿真软硬件环境

表4 RNN网络结构与参数

2.2 算法仿真结果

文中基于表2 的数据集，采用交叉验证的方式进行模型的训练与测试。为了更优地比较模型性能，采用了普通的RNN 网络、基于长短期记忆的RNN 网络和该文算法进行对比。在实体识别实验中，模型的相关计算指标如表5-6 所示。

表5 一次电气模型的实体识别结果

表6 操作指令的实体识别结果

表5-6 分别给出了数据集中两个主要实体“一次电气模型”与“操作指令”的相关计算指标。可以看出，该文算法在进行两种实体识别时，F值分别达到了96.68%和94.15%。对比来看，该文算法对于一次电气模型的整体识别率较高，而对操作指令的识别率略低。以长短期RNN 网络为例，模型在操作指令识别时的F值为85.15%，较识别一次电气模型时下降了7.61%。这是由于一次电气模型的长度、结构化程度较操作指令而言更为固定和规整。对比各算法可以看出，该文算法在对这两种实体关系进行识别时，F值仅下降了2.53%。由此说明，该文算法在进行复杂实体抽取时更具优势，且更适用于文中使用场景。图4 给出了不同算法在进行关系抽取时的对比结果。

由图4 可知，随着迭代过程的进行，该文算法与长短期记忆RNN 的识别效果均在不断改善，而传统RNN 网络的改善效果则并不明显。在进行关系抽取时，文中算法的F值可达到95.21%，效果优于长短期记忆RNN，而传统RNN 网络的效果最差。

3 结束语

文中设计了电力一次设备的实体关系抽取算法。仿真结果表明，该算法充分考虑了电力系统应用场景的复杂性，且与现有方法相比，其在实体识别及关系抽取的精度上均有显著提升。因此所提算法可大幅提升电力一次模型库的构建效率，并提高一次启动方案的编写速率以及一次方式的防误水平等，进而实现一次设备启动过程的模型化、规则化与数字化。