基于多语言预训练模型的缅甸语分词研究

张啸岩 张慧 陈宇

摘要：缅甸语属于低资源语言，收集大量缅语文本进行预训练是一项耗时耗力的工作。目前已存在一些在多种语言（包括缅甸语）上预训练的模型，例如bert-base-multilingual-cased和xlm-roberta-base。因此，文章提出了一种新方法，即在多语言（包括缅甸语）预训练模型的基础上，利用缅语文本进行再预训练，以提升模型的分词性能。首先，构建了缅语预训练语料库，并使用它制作了一个仅包含缅甸语的tokenizer。然后，重置了多语言预训练模型的词嵌入层和位置编码层，并在重置后的多语言预训练模型上使用自制的tokenizer加入缅语预训练语料库进行再预训练。最后，在自建的以及公开的分词标注数据集上进行了微调。与未进行再预训练的情况相比，模型在F1值上分别提高了2.23%和1.2%，且自建数据集的提升幅度高出公开数据集的1.34%。

關键词：缅甸语；自然语言处理；自动分词；Roberta；语料库

中图分类号：TP391 文献标识码：A

文章编号：1009-3044（2024）11-0022-07