基于数据增强的MRC水利领域命名实体识别模型研究

关键词：水利领域；命名实体识别；数据增强；机器阅读理解

中图分类号：ＴＰ３９１．１；ＴＶ２１ 文献标志码：Ａ ｄｏｉ：１０．３９６９／ ｊ．ｉｓｓｎ．１０００－１３７９．２０２４．０９．０２３

引用格式：朱永明，邢丹艳．基于数据增强的ＭＲＣ 水利领域命名实体识别模型研究［Ｊ］．人民黄河，２０２４，４６（９）：１５６－１６０．

随着我国水利信息技术的发展，水利行业积累了大量数据，然而这些数据没有被有效利用。水利知识涵盖范围广，涉及河流、湖泊、水库等多种管理对象，以及水旱灾害防御、水资源管理、水土保持等多种业务，知识来源有结构、半结构、非结构化数据［１］ 。自然语言处理技术具有强大的语义处理能力，可以将非结构化数据转化为结构化数据，充分发掘数据的价值，实现水利信息资源的高效利用。命名实体识别是信息处理的基础，通过命名实体识别技术可以充分利用文本中的宝贵信息。水利领域命名实体识别是指识别水利文本中具有特定意义的实体，包括河流（ＲＩＶ）、湖泊（ＬＡＫ）、水库（ＲＥＳ）、水电站（ＨＹＤ）、大坝（ＤＡＭ）等。科研人员利用命名实体识别技术识别出重要信息，这些信息可以服务于水利智能问答系统构建［２］ 、水利知识图谱构建［３］ 等。

神经网络具有自动提取特征、能够找到更深层次和更加抽象的特征的优点，因此基于神经网络的命名实体识别在各个领域逐渐得到广泛应用。刘雪梅等［４］ 基于水利工程巡检文本，利用ＢＥＲＴ－ＢｉＬＳＴＭＣＲＦ模型智能识别巡检文本中的风险事件、工程等实体。顾干晖等［５］ 利用ＢＥＲＴ 预训练语言模型对自建水利文本语料进行训练，并引入ＦｒｅｅＬＢ 增强训练模型的泛化能力，最后通过条件随机场（ＣＲＦ）识别水利实体。段浩等［１］ 在２０２１ 年提出了水利综合知识体系的描述方法，使用ＢｉＬＳＴＭ－ＣＲＦ 模型识别非结构化和半结构化实体。伴随着ＣｈａｔＧＰＴ、文心一言、讯飞星火等大模型的出现，学者们陆续把研究重心放到大模型上。清华大学开源了一个具有６２ 亿参数的支持中英双语对话的语言模型ＣｈａｔＧＬＭ － ６Ｂ。百川智能公司基于Ｔｒａｎｓｆｏｒｍｅｒ 结构在大约１．２ 万亿ｔｏｋｅｎｓ 上训练了一个具有７０ 亿参数的大规模预训练语言模型ｂａｉｃｈｕａｎ－７Ｂ。学者们针对各个领域任务微调这些大模型，取得了不错的效果。然而，已有方法在预测精度和适应性上还有提升空间，没有充分利用水利文本中一些潜在特征信息，比如词汇特征信息和实体类型标签特征信息。本文以ＭＲＣ 模型为主架构，结合数据增强技术，提出ＭＲＣ－ＷＬＥ 命名实体识别模型，基于水利文本数据集验证ＭＲＣ－ＷＬＥ 模型的有效性，以期更好地服务于水利智能问答系统、水利知识图谱构建等。

１相关理论介绍

１．１机器阅读理解（ＭＲＣ）

ＭＲＣ 是一种自然语言处理技术，让机器能够理解文本内容并回答问题，针对某一问题在文本中提取答案所在片段，即预测答案所在片段的开始位置和结束位置。

ＭＲＣ 步骤如下：１）将传统的命名实体识别数据集的标注格式转换为三元组格式（ Ｑｕｅｒｙ， Ａｎｓｗｅｒ，Ｃｏｎｔｅｘｔ）。对于每种实体类型都用一个自然语言问题进行描述，将Ｃｏｎｔｅｘｔ（文本）与Ｑｕｅｒｙ（实体类型描述）进行拼接，若有ｍ 种实体类型，则构造ｍ 种实体类型描述，从而生成ｍ 条新文本。２）用预训练模型对生成的文本进行编码。３）通过２ 个全连接层识别每条文本中实体的头和尾，译码匹配采用就近原则，头位置索引找离它最近的尾位置索引，从而构造出一个实体。

１．２长短期记忆网络（ＬＳＴＭ）

ＬＳＴＭ［６－８］ 对循环神经网络（ＲＮＮ）进行了一定改进，主要用来解决长距离依赖问题。ＬＳＴＭ 在ＲＮＮ 的基础上增加了门控机制和一个单元状态（ｃｅｌｌ ｓｔａｔｅ），用来获得长期的序列状态，其结构见图１。

１．３ＢＥＲＴ模型

传统的ｗｏｒｄ２ｖｅｃ 无法处理一词多义问题。ＢＥＲＴ（Ｂｉｄｉｒｅｃｔｉｏｎａｌ Ｅｎｃｏｄｅｒ Ｒｅｐｒｅｓｅｎｔａｔｉｏｎ ｆｒｏｍ Ｔｒａｎｓｆｏｒｍ⁃ｅｒｓ）［９］ 模型采用捕捉语义能力更强的双向编码器Ｔｒａｎｓｆｏｒｍｅｒ 进行训练，可以获得每一层文本双向特征信息，有效解决一词多义问题。Ｔｒａｎｓｆｏｒｍｅｒ 是一种新的序列建模方法，采用ｓｅｌｆ－ａｔｔｅｎｔｉｏｎ 机制替代传统的卷积神经网络（ＣＮＮ）或ＲＮＮ，这种机制能够更好地捕捉序列中的依赖关系。Ｔｒａｎｓｆｏｒｍｅｒ 具有可并行计算、长距离依赖建模等性能，目前被广泛应用于自然语言处理的各个下游任务，并取得较好的效果。

ＢＥＲＴ模型的输入根据下游任务确定，模型结构见图２，其可将中文字符用向量表示。

图２ 中以“［ＣＬＳ］小浪底水库库区［ＳＥＰ］”为例，［ＣＬＳ］用于标记文本的开头，［ＳＥＰ］表示文本结尾，Ｅ表示字符的向量表示，Ｔ 表示Ｔｒａｎｓｆｏｒｍｅｒ。

３ＭＲＣ－ＷＬＥ模型性能测试及评价

３．１测试数据

采用中国水利水电科学研究院在中国工程科技知识中心水利专业知识服务系统开放的水利标注数据测试ＭＲＣ－ＷＬＥ 模型的性能，其中：水利文本数据共４ ９１９条，命名实体类型共１０ 类。１０ 类命名实体概况见表１。水利领域命名实体识别实验中使用随机分层抽样的方式将数据集划分为训练集、验证集、测试集，三者数据量比例为８∶１∶１。

３．２设置训练参数及评价指标

水利领域命名实体识别实验使用的编程语言为Ｐｙｔｈｏｎ，深度学习框架为Ｐｙｔｏｒｃｈ、Ｔｒａｎｓｆｏｒｍｅｒｓ，批数据量为８，训练次数为１０ 次，学习率为２×１０^－５，损失函数采用交叉熵损失函数。评价模型时选用微平均Ｆ１ 值作为主要评价指标，以精准度（Ｐｒｅｃｉｓｉｏｎ） 和召回率（Ｒｅｃａｌｌ）作为辅助评价指标。

３．３模型测试和评价结果

为更好地评价模型的性能，引入ＢＥＲＴ －ＣＲＦ、ＢＥＲＴ － ＣＲＦ － Ｗｏｒｄ、ＢＥＲＴ － ＢｉＬＳＴＭ － ＣＲＦ、ＢＥＲＴ －ＢｉＬＳＴＭ－ ＣＲＦ － Ｗｏｒｄ、ＢＥＲＴ － Ｃａｓｃａｄｅ、ＣｈａｔＧＬＭ － Ｐ －Ｔｕｎｉｎｇ 模型作为对照。模型的评价指标对比见表２，可以看出，ＭＲＣ－ＷＬＥ 模型的评价指标值整体高于其他模型的。

各模型的优缺点如下：ＢＥＲＴ－ＣＲＦ 和ＢＥＲＴ－ＢｉＬ⁃ＳＴＭ－ＣＲＦ 模型不能很好地利用文本信息，识别实体的时候会出现实体断链现象。ＢＥＲＴ－Ｃａｓｃａｄｅ 模型是基于多任务学习方法的命名实体识别模型，其任务是抽取实体和判断实体类型，该模型虽缩减了标签词表规模，但是先抽取实体会出现实体传播错误问题，导致后续判断实体类型错误。ＢＥＲＴ－ＣＲＦ－Ｗｏｒｄ 和ＢＥＲＴＢｉＬＳＴＭ－ＣＲＦ－Ｗｏｒｄ 模型虽然同时对字符和词汇进行编码，有效地利用字符级信息和词汇级信息，但是分词工具不能完全适用于水利领域，因此会造成实体词汇错误传播，进而容易造成识别错误。ＣｈａｔＧＬＭ －Ｐ －Ｔｕｎｉｎｇ 模型是对ＣｈａｔＧＬＭ－６Ｂ 基座大模型进行领域微调，具有强大的对话能力，因此ＣｈａｔＧＬＭ－Ｐ－Ｔｕｎｉｎｇ 模型能根据指令从文本中抽取出完整的实体。ＭＲＣＷＬＥ模型针对每种实体类型都生成一条新文本，在每一条文本中只识别Ｑｕｅｒｙ 对应的实体，并且该模型能够利用实体类型的先验知识，很好地解决实体易混淆问题。此外，ＭＲＣ－ＷＬＥ 模型同时对字符和词汇进行编码，提高了模型识别实体边界的准确率，召回更多的实体。

不同模型识别不同实体的微平均Ｆ１ 值见图５。相较于其他模型，ＭＲＣ－ＷＬＥ 模型识别湖泊、人名、机构、大坝、水利术语、水库实体类型的Ｆ１ 值最高。原因是这些实体内部都有一定的构成规则，比如湖泊类型的实体大部分以湖结尾，ＭＲＣ－ＷＬＥ 模型引入实体类型嵌入，输入一定的指令，能较好地将实体识别出来。此外，所有模型识别ＯＴＨ 的Ｆ１ 值都为０％，这可能与该类型实体数量较少且构成规律比较复杂有关。

为研究词汇特征信息和实体类型标签特征信息对模型的影响，基于数据集对ＭＲＣ－ＷＬＥ 模型进行消融实验，评价指标见表３。与ＭＲＣ－ＷＬＥ 模型相比，去掉词嵌入模块（ － Ｗｏｒｄ）、实体类型标签嵌入模块（－Ｌａｂｌｅ）后微平均Ｆ１ 值都有所降低，去掉词嵌入模块（－Ｗｏｒｄ） 的降幅较大。与ＭＲＣ 模型相比，ＭＲＣＷＬＥ模型的微平均Ｆ１ 值提高了０．８５％。

４结论

本文针对水利领域命名实体识别提出了一种基于数据增强的ＭＲＣ 模型，在编码层引入词汇特征信息和实体类型标签特征信息，通过学习字符与字符、词汇与词汇、词汇与实体类型标签之间的内在相关性，获得文本语义特征信息，提高了水利领域命名实体边界和类型识别的准确性。基于机器阅读理解的方法可以较好地引入知识信息，今后将引入部首、字形、拼音等多粒度语言学特征信息，将多任务学习纳入机器阅读理解框架，以提升模型识别长实体的能力。