大语言功能模型在机器翻译任务中的应用情况分析

杨乐雨

【摘  要】 随着时代的迅速发展，各领域的技术水平都在不断提高。大语言模型作为人工智能领域的重点研究对象，因其独特的优势在发展过程中备受关注。大语言模型不仅具备理解生成文本的能力，还能对文本进行深入的分析与推理。未来，大语言模型的发展速度将会不断加快，其应用范围也将进一步拓宽。文章对大语言模型进行了概述，阐述了大语言模型的应用优势和发展现状，并对当前热门的大语言模型的性能进行了对比分析，以期加速大语言模型的发展。

【关键词】 机器翻译；大语言模型；性能分析

随着技术的飞速进步，当前市场上涌现出众多大语言模型，它们各具优势，性能多样。合理应用大语言模型不仅能提升翻译质量，还能提高各项评价指标。然而，从当前使用效果来看，各个模型都存在一些需要优化和完善的地方。为了更加科学合理地评估大语言模型的性能，可以考虑从生成质量、使用性能以及安全合规等多个维度进行深入分析与评估。

一、大语言模型概述

大语言模型（Large Language Model，简称LLM）是一种基于深度学习技术构建的语言理解和生成模型。它最大的特点是通过训练大量文本数据，生成具有正确语义和语法连贯性的文本，具有强大的迁移理解能力。基于注意力机制的序列模型，大语言模型能够全面捕捉文本的上下文，并在各种自然语言处理任务中进行应用，例如目前较为常见的系统、文本翻译以及情感分析等。

大语言模型领域的研究在国内外得到快速发展。2022年11月，ChatGPT问世，以对话模式为主，能够响应各种请求，也能拒绝不合理的请求；2023年2月，谷歌官宣了Bard；同年3月，多模态模型GPT-4推出，该产品具备阅读文字、图像识别以及文本生成功能。国内在大语言模型领域的研究也取得了显著进步。2023年2月，复旦大学推出国内首个对话式大语言模型MOSS；同年3月，清华大学唐杰团队发布基于千亿参数大模型的对话机器人ChatGLM；2023年5月，科大讯飞推出了火认知大模型。这些研究成果有效推进了大语言模型领域的发展。

二、机器翻译的工作原理

机器翻译（Machine Translation，简称MT）是将一种自然语言（源语言）转换为另一种自然语言（目标语言）的技术。其基本工作原理可以分为两个阶段：语言分析阶段和翻译阶段。

语言分析阶段：在这个阶段，输入的源语言文本首先会被解析成更小的语言单位，如词汇、短语和句子。这一步通常涉及词法分析、句法分析和语义分析等任务。语言分析的目标是理解输入文本的结构和意义，为接下来的翻译阶段做好准备。

翻译阶段：在翻译阶段，分析后的语言单位被转换成目标语言的对应单位。这个过程通常包括两个子任务：词汇翻译和句子翻译。词汇翻译是将源语言的词汇映射为目标语言的词汇，这需要一个词汇库（如词典）来辅助进行转换。句子翻译则需要将源语言的句子结构转换为目标语言的句子结构，这可能涉及句子的重排、成分添加或删除等操作。

三、机器翻译的评估指标

机器翻译质量的评价指标很多，常见的有如下几种：

BLEU（Bilingual Evaluation Understudy）指标：BLEU是当前最广泛使用的一种自动评估指标，它通过比较机器翻译结果与参考翻译的相似度来评价翻译质量。BLEU指标的取值范围是0-1，值越接近1，表示翻译质量越好。

NIST（National Institute of Standards and Technology）评价指标：NIST评价指标与BLEU类似，是通过比較机器翻译结果与多个参考翻译的相似度来评价翻译质量。不同的是，NIST 采用了一种加权平均的方法，对不同参考翻译的相似度进行加权计算。

TER（Translation Edit Rate）指标：TER指标是一种基于编辑距离的评估方法，它通过计算机器翻译结果与参考翻译之间的编辑距离来评价翻译质量。编辑距离越小，表示翻译质量越好。

METEOR（Metric for Evaluation of Translation with Explicit ORdering）指标：METEOR指标综合考虑了词汇、句子结构和语义三个方面的因素，通过计算机器翻译结果与参考翻译之间的相似度来评价翻译质量。

J.44（Joshi-44）指标：J.44指标是一种基于统计的方法，它通过计算机器翻译结果与参考翻译之间的统计相似度来评价翻译质量。

以上指标均是专门针对机器翻译任务的评估指标，其中BLEU侧重于词汇和语法方面的评估，而NIST、TER、METEOR和J.44则采用了编辑距离或统计方法来评价翻译质量。

随着技术的不断发展进步，研究者逐步引入了基于预训练语言模型的评估方法，它们综合考虑了词汇、语法和语义等方面的因素，适用于评价各种NLG任务，比较典型的就是BERTScore和GPTScore评估。

BERTScore评估是一种基于预训练BERT模型的评估方法，它通过计算生成文本与参考文本在词向量空间中的相似度来评价翻译质量。BERTScore 综合考虑了词汇、语法和语义三个方面的因素。

GPTScore评估是另一种基于预训练GPT模型的评估方法，它通过计算生成文本与参考文本在GPT模型生成的词向量空间中的相似度来评价翻译质量。与BERTScore类似，GPTScore也综合考虑了词汇、语法和语义等方面的因素。

在实际应用中，可以根据具体任务和需求选择合适的评估指标。对于多种任务和场景的评估，可以考虑使用BERTScore或GPTScore这类综合性的评估指标。而对于专门针对机器翻译任务的评估，可以考虑使用BLEU、NIST、TER、METEOR或J.44等专门针对翻译任务的指标。

四、人工智能在机器翻译中的应用

近年来，随着人工智能技术的发展，机器翻译领域出现了许多新的方法和模型。其中，神经机器翻译（Neural Machine Translation，简称NMT）模型取得了显著的进展。与传统的基于规则和统计的机器翻译方法不同，神经机器翻译采用深度神经网络（如循环神经网络、长短时记忆网络等）作为模型结构，通过端到端的学习实现源语言到目标语言的映射。

在神经机器翻译模型中，输入的源语言文本首先被编码成一个连续的向量表示，然后通过解码器进行解码，生成目标语言的文本。为了提高翻译质量，神经机器翻译模型通常需要大量的训练数据和高质量的平行语料库（包含源语言和目标语言对应文本的数据集）。

在实际应用中，机器翻译系统还需要进行一些额外的优化，如错误处理、译文评估和用户反馈等。这些优化可以帮助提高翻译质量，满足不同场景和应用的需求。总之，机器翻译工作原理可以概括为通过分析输入语言的结构和意义，然后将其转换为目标语言的对应结构。

五、机器翻译任务中大语言模型应用的优势

大语言模型在机器翻译领域具有显著的优势，主要体现在以下几个方面：

更准确的翻译质量：大语言模型具有强大的语言理解能力和丰富的知识储备，能够有效提高机器翻译的准确性和质量。在许多自然语言处理任务中，大语言模型已经取得了显著的进展，如GPT-3等。

变长序列处理能力：大语言模型可以处理变长的序列输入，适用于自然语言这种通常是变长的序列数据，这使大语言模型在机器翻译任务中具有很強的适应性。

编码器－解码器结构：在机器翻译中，大语言模型通常采用编码器－解码器结构。编码器将源语言句子转换为一个向量表示，并将其输入到解码器中，解码器根据向量表示生成目标语言句子，这种结构有助于提高翻译的准确性和流畅度。

多语言处理能力：大语言模型在大规模多语言翻译数据上进行训练，因此具备较强的多语言处理能力，这使机器翻译系统可以同时处理多个不同语言之间的翻译任务，提高了系统的效率和灵活性。

跨语言资源共享：大语言模型可以实现不同语言之间的知识共享，帮助低资源语言的机器翻译系统。这种跨语言资源共享能力有助于解决低资源语言双语数据稀少或缺失的问题。

六、机器翻译任务中大语言模型应用的不足

尽管大语言模型（LLM）在机器翻译领域具有很多优势，但仍然存在一些不足之处，主要包括以下几点：

数据依赖性：大语言模型需要大量的高质量训练数据，但在某些低资源语言中，可能难以获得足够多的有效数据，这可能导致模型在某些特定任务或语言上的性能不佳。

计算资源需求：大语言模型通常需要大量的计算资源进行训练，这对许多个人或小型组织来说可能是一个限制因素。此外，随着模型规模的增长，计算资源需求也会相应增加，可能导致训练过程变得漫长或难以负担。

无法解决歧义问题：由于自然语言中的歧义现象，大语言模型可能会在某些情况下生成不准确或模糊的翻译。尽管模型可以捕捉到一定程度的歧义消除，但仍然无法完全解决这一问题。

语言风格和词汇限制：大语言模型可能受到训练数据中的语言风格和词汇限制的影响。如果模型在训练数据中没有接触过特定的语言风格或词汇，那么在实际应用中可能会出现翻译质量下降的情况。

七、机器翻译任务中大语言模型未来发展建议

伴随大语言模型技术的快速发展，机器翻译领域的发展速度也会不断加快。大语言模型技术的应用能够有效提高机器翻译的质量和准确性，但目前机器翻译领域在发展过程中仍面临着许多挑战，例如多义词、歧义词、语言文化差异等，这些问题都需要进一步进行解决，笔者就这些问题提出如下发展建议：

一是不断强化跨语言迁移学习，在发挥本土语料优势的同时，最大程度减少语言偏向，注重提高模型在非母语语言上的理解能力。二是扩大训练数据范围，充分利用互联网大数据资源，采用教科书、文学以及多领域的数据进行补充训练，通过该种方式进一步对模型知识面进行扩展。三是对敏感错误信息进行精准过滤，需要标注更多真实的例子，开发渐进和语境化的过滤方式。

八、结语

大语言模型技术的发展给机器翻译带来了全新的发展机遇，在未来发展过程中，机器翻译有着更多的可能性。机器翻译会逐渐与人类翻译进行结合，翻译质量在提升的同时，隐私安全及合规性均能得到保证。通过对多种大语言模型的性能进行分析，能够明确不同产品的优劣势，在选用时可以扬长避短，充分发挥产品的优势。

■ 参考文献：■

［1］ 郭利敏，付雅明. 以大语言模型构建智慧图书馆：框架和未来［J/OL］. 图书馆杂志：1-11［2023-10-14］. http：//kns.cnki.net/kcms/detail/31.1108.G2.20231011.1616.006.html.

［2］ 张宏玲，沈立力，韩春磊，等. 大语言模型对图书馆数字人文工作的挑战及应对思考［J/OL］. 图书馆杂志，1-11. http：//kns.cnki.net/kcms/detail/31.1108.G2.20231011.1556.004.html.

［3］ 李源，马新宇，杨国利，等. 面向知识图谱和大语言模型的因果关系推断综述［J/OL］. 计算机科学与探索，1-20. http：//kns.cnki.net/kcms/detail/11.5602.TP.20231011.1107.002.html.

［4］ 严豫，杨笛，尹德春. 融合大语言模型知识的对比提示情感分析方法［J/OL］. 情报杂志，1-9. http：//kns.cnki.net/kcms/detail/ 61.1167.g3.20230803.0748.008.html.

［5］ 王敏. 基于循环神经网络的汉语语言模型效率与性能的优化与实现［D］. 重庆：重庆邮电大学，2017.

［6］ 高俊涛，林煜熙，姚建民. 基于语言模型的机器翻译评价方法及其性能评价方法研究［J］. 中国科技信息，2008（20）：108+111.