朝鲜语自然语言处理问题探究

2021-10-09 07:39:27张诗悦
科教创新与实践 2021年31期
关键词:朝鲜语处理

摘要:朝鲜语作为人类语种中的一员,虽使用人数不多,但却依然为人类文明的传承,作出了重要贡献。基于此情,文章将对朝鲜语自然语言的处理问题进行探究,望所述为朝鲜语自然语言处理的发展,提供些许可参考依据。

关键词:自然语言;朝鲜语;处理

引言

我国早在上世纪就开始对自然语言的处理进行探究,但是主要集中在英语、日语等语种方面,涉及朝鲜语的自然语言处理问题探究相对要少很多,而自然语言又是一种由人蓄意为某些特定目的而创造的语言,故而在翻译方面难度较大,因此,下文将对朝鲜语自然语言处理问题进行探究。

一、朝鲜语自然语言处理的主要内容

1、句法学

句法学是朝鲜语自然语言处理中的重要内容,其主要是对语言中不同成分组成句子的规则和句子结构中各成分之间的相互关系进行探究,长久以来,受各种客观和主观因素影响,其研究进展缓慢,但近几年,关于句法学的研究,却在稳步推进,并取得了一定的成果。

目前,我国在朝鲜语句法学方面,主要分两个方面对复句进行了探究,即复句的自动识别、提取与复句的句法结构、语义结构的相似度计算。其一,在复句的自动识别、提取方面,采用借助一阶谓词逻辑表示法与框架表示法,这种方法需要人工进行编码,工作量十分庞大,且耗时较长,但却为后续的复句识别研究提供了借鉴,其二,是通过借助连接副词对复句进行“解构化”处理,但这种方法有一定的局限性,其主要针对朝鲜语单重复句,而对句子结构复杂的长句和多重复句不太适用,其三,结合朝鲜语复句语法特点和标注特征,归纳了130余类连接语尾使用语境和4类潜在关系标记,构建了详细的复句识别特征集,实验结果表明复句的识别率能达到87%以上,为朝鲜语的复句处理提供了基础资源,存在的不足是数据样本的规模较小,特征集还有待进一步完善,多重复句的识别准确率不高。

2、形态学

形态学是语言学的一个分支,其主要的研究内容是词的内部结构,包括曲折变化、构词法。目前,针对朝鲜语的自然语言处理,我国的起步相对较晚,因此,尚未有什么显著成就,而在这方面研究成果较为突出的当属韩国,如首尔的高丽大学,通过构建词缀词典和制定词缀规则体制来进行形态素分析,构建了韩国语形态分析模型,另外,延世大学、梨花女子大学等,也均开发了形态素分析器,当然,还有一些其他高等学府在其处理方面也取得了一定的成果。

3、语义学

语义学,顾名思义,即探究语言意义的学科。对于不同的语言单位,语义分析的任务各不相同。在词的层次上,语义分析主要是进行词义消歧(WSD),在句子层面上,主要任务是语义角色标注,而在篇章层面上,指代消歧、篇章语义分析则是目前研究的重点。

我国在朝鲜语予以分析方面,主要集中在词汇及句子层面的语义角色标注、语义知识库建立。目前,对朝鲜语可能存在的语义结构进行了全面系统的总结,最终构拟出朝鲜语事件语义结构的层次推演系统,初步建立了现代朝鲜语的语义角色清单,该语义角色清单共包含了35个具体的语义角色,比韩国的“世宗计划”,还要多出21个,这也为朝鲜语语义研究奠定了基础,而在此基础上,又将谓词的句法、语义属性结合,进而建立了“朝鲜语句法语义知识库”,为我国朝鲜语的自然语言处理作出了巨大贡献。

二、朝鲜语自然语言处理的基本方法

从当前的朝鲜语自然语言处理的研究来看,其主要以理性主义和经验主义两种研究方法为主,采取规则和统计相结合的形式。而为了能够提高计算机翻译的准确度,在基于韩国“世宗计划”标注语料库中的20万句语料的基础上,对朝鲜语以连接词尾结尾的特殊短语结构、以冠形词转成词尾结尾的特殊短语以及以一般副词结尾的特殊短语分别进行语言特征分析,确定其左右边界,构建规则库,以迭代方式提取出56216个短语结构,建立了特殊短语库,最后以5000句训练语料为基础,通过中心词对信息提取系统进行召回率和正确率的评价,最终召回率达到了100%,正确率为93.8%。采用規则与统计相结合的方法,对韩国语的定语从句进行了句法特征的分析及自动识别。通过分析动词类AM定语从句,形容词类AM定语从句,系词类AM定语从句的句法结构特征,归纳总结其左右边界和内部构成的共现关系,构建了定语从句识别集,在语料库中进行匹配运算,实现了定语从句的自动识别。通过提取句子的骨架结构,然后与实例库中句子匹配,并运用数学模型计算出两个句子间的结构相似度,最后以1万句单句为实验对象,抽取骨架结构,按上述数学模型对句子进行遍历比较,最终得到相似度计算结果,验证了该方法的可行性,但是正确率只要76%,有进一步提升的空间。

结束语

综上所述,朝鲜语的自然语言处理,虽然已经取得一些成就,但仍然有很多地方需要完善,只有这样,才能更加准确无误的实现不同语言之间的有效互译,消除语言障碍,实现国家、地区及民族之间的沟通,促进两者的共同进步,为人类文明的延续,作出应有的贡献。

参考文献:

[1]毕玉德.朝鲜语特殊短语结构的语言特征分析及自动提取[D].广西科学院学报,2018(34)

[2]江一赫.朝鲜语民俗语言的翻译方法探讨[J].科教导刊(电子版),2021(12)

[3]毕玉德.朝鲜语自然语言处理研究管窥[J].中文信息学报,2011(25)

作者姓名:张诗悦,出生日期:1999.2.17,性别:女,籍贯:辽宁省辽中县,专业:朝鲜语,学校:辽东学院

猜你喜欢
朝鲜语处理
朝鲜语专业实践教学模式改革初探
《古今释林》朝鲜语汉字词征引文献勘误
中国朝鲜语外来词词汇结构和使用考察
影响油田污水处理水质因素分析
视频后期剪辑制作中镜头时长的处理
戏剧之家(2016年19期)2016-10-31 18:38:40
声乐演唱中艺术与情感的深入处理
戏剧之家(2016年19期)2016-10-31 18:04:18
东风4B型内燃机车C6级维修后冷却风扇不动作原因及解决办法
关于朝鲜语“-이-”句式和汉语“是”字句的对比
桥梁软土基础处理应用
如何办好散居地区朝鲜语广播
新闻传播(2016年4期)2016-07-18 10:59:20