深度学习在自然语言处理NLP中的应用研究

叶符明

（贵州商学院 贵州 贵阳 550014）

1 引言

对于自然语言处理技术而言，其先进性的优势十分突出，在人工智能领域当中发挥出了良好的作用。在深度学习概念形成以后，可以将其运用到语言、图像、文本数据信息的处理过程当中。通过在自然语言处理过程当中加以利用，能够使从前的处理方式出现很大的变化，完成辨识命名、意图、句法以及语音等方面的任务，使得相应的计算效率得以提升[1]。鉴于此，如何将深度学习运用到自然语言处理过程当中变得尤为必要，拥有一定的研究意义与实践价值。

2 深度学习与自然语言处理技术的概念阐释

2.1 深度学习的概念及其内涵

对于深度学习而言，属于以机器学习作为基础所提出的全新概念，借助模拟人脑神经网络的方式，开展了相应的探究、分析以及解释等工作，此类学习结构涵盖了多层与隐层。对比浅层学习来说，由于构建的模型结构较深，通常情况下，包含了超过三层的隐层节点，最多为十层，能够进行科学分析十分复杂的函数工作。与此同时，突显出特征学习的优势，鉴于深度学习不需要进行监督，在合理利用非监督预训练算法的过程当中，可以把原有的样本以输入的形式映射到全新的特征空间当中，有助于完成预测和分类的任务。另外，深层学习也拥有良好的有效性，能够借助深层结构解释相关函数，所以，使其得到了有效地运用，发挥出良好的作用。

2.2 自然语言处理技术介绍

自然语言处理技术常见于实验室，通过运用相关统计学、机器学习算法等理论与方式，完成科学处理图片、文本的任务。在深度学习诞生以后，在工业化应用方面的相关条件变得更加完善，从当前的发展情况而言，已经获得了很大的进步，并且被运用到不同的行业领域当中，发挥出良好的功效和作用。实际上，早在2015年时，Word2ve算法便已经诞生，作为全新的构建词向量方式，其主要将深度学习当作重要的基础，属于自然语言处理技术的一种。此类方法包含了两种不同的模型，其一为Skip-gram模型，其二为CBOW模型，前者主要借助输入某个单词的方式，达到对上下文语境有效预测的效果，后者则主要借助输入某个词语上下文语境的方式，达到有效预测词语含义的目的，形成的词向量即为神经网络模型具体的输入向量[2]。所以，从中不难获悉，Word2ve的理解能力较为突出，在运用自然语言处理技术的过程当中，不必采用人工处理干预的方式便能够对文本语境加以深入阐释。并且，对于我国来说，加快了对自然语言处理算法进行探究的速度，使得模拟word2vec词向量计算模型得以诞生，加大了对深度学习的推广和运用力度。

3 基于人工智能下的自然语言处理深度学习方式说明

3.1 合理运用前馈神经网络

针对前馈神经网络而言，也叫做多层感知机模型，可以将此类神经网络模型运用到多任务的环境中，不过因为环境处于动态变化当中，导致其模型的内部结构随之十分复杂，因而，容易增加神经网络的训练难度。面对图形处理技术不断进步的情况，使得前馈神经网络得以诞生，与此同时，也在自然语言处理过程当中发挥出良好的作用。从计算机技术的角度而言，利用前馈神经网络中的反向传播算法，可以使其进行深度学习时，不断优化各个层级间出现的不同错误驱动，以便达到科学改进网络参数的目的。作为前馈神经网络当中的一种类型，卷积神经网络是属于其中重要的模型，能够借助卷积核达到对描述空间加以扩展的效果，使模型自身的深度得以增加，并且，具体进行训练时，无需对相关参数加以改进，进行自然语言处理的过程当中，一般需要把文本中的句子向量变成矩阵，经过卷积以后，获取相应的句向量特征。为此，合理运用前馈神经网络可谓十分关键。

3.2 神经网络词向量分析

对人工智能神经网络自然语言处理技术加以运用的过程中，能够借助神经网络的形式，科学分析文本中那些稀疏性很小、具有大规模的语料，一方面，能够获得十分复杂的上下文关系；另一方面，则能够充分发挥出词编码技术的良好作用，体现出其拥有的分布式特点，即神经网络中的词向量，能够当成分词工作，可谓是十分关键的准备工作。

3.3 递归神经网络说明

对于递归神经网络而言，目前受限于技术方面的发展，造成仅可以单独的形式有效处理一个输入。基于进一步增强神经网络处理系统数据方面能力的目的，有关技术工作者能够借助递归神经网络表达出时间的递归结构，以便进行学习相关数据时，可以得到具体的序列关系，并且有效提升了训练模型方面的记忆力，实现前后输入之间的密切关联。基于递归神经网络下，以构建相应深度学习模型作为目的，一般会运用涵盖三个隐含层的神经网络完成构建模型的任务。假如失去信息时刻之后，则需要结合隐含层中递归，以便产生由输入层至隐含层连接权的相应权值参数矩阵，与此同时，可以对具体的偏置向量、激活函数加以准确计算。参考递归神经网络特点的基础上，能够达到反向传播相关损失函数实例的效果，并且依靠低度降低方式，明确相关网络参数[3]。所以，通过合理运用递归神经网络方法，能够在元模型的学习、机器翻译等过程当中发挥出一定的作用。

4 深度学习在自然语言处理NLP中的具体运用

4.1 运用流程说明

深度学习在自然语言处理中运用的过程当中，需要科学应用梯度下降法，实际的运用流程为：（1）建立相应的模型框架。结合应该进行处理的相关内容，确保所选用神经网络结构的合理性，达到建立相应深度学习模型框架的目的。（2）仔细检查模型。合理运用梯度下降法，完成检查模型的任务，对存在的有关漏洞加以检查和分析，明确其满足相关规定与否。（3）实现模型的初始化效果。在仔细检查之后，科学优化相关模型，以便达到弥补其中的漏洞与缺陷的目的，科学改进有关模型的参数。（4）不断改进相关模型。合理运用正则化方法，针对不符合相关规定的模型参数及时加以改进，以便达到相关拟合规定。

4.2 运用措施分析

4.2.1 做好分词、词性的标注工作

对于分词来说，依据有关规定，达到重新组合来连续字序的效果，同时把其组合为全新的词序列。在标注词性时，则确保词性标注的准确性，比如，此词为形容词、动词等。通过加大对深度学习法的运用力度，能够进行词性的标注、语义角色的标注、命名实体的辨识等工作。

4.2.2 科学分析句法

即合理分析句子的语法、不同语法间存在的关系情况。科学运用深度学习法，能够达到以自动的形式，辨识句子句法单位的目的，梳理不同句法单位间存在的联系，通过科学输入某个已经给定的句子，合理运用语法的特点，完成对短语结构树建立的任务，有效加以处理。

4.2.3 认真学习词义

运用深度学习的过程中，需要重视对词义的学习，发挥出相关无监督学习制度的良好作用。在对深度神经网络模型建立的过程中，应该科学运用此模型，并且参考文本中的上下文情况，科学加以分析，以便获取到最佳的词义表达形式，同时掌握词义隐含的词汇，达到准确解析同名歧义词的目的。假如为多个多义性的词向量，则能够采用对模型优化的方法，使词向量的语义得到丰富，确保表达的准确性。

4.2.4 加强对情感的科学分析

在合理运用深度学习方式分析情感的过程中，需要建立相应的情感分析模型，并且借助深度神经网络的训练部分，有效完成标注相关情感标签句子的任务，同时参考相应的规律和上下文的特点，可以达到预测所标注外句子情感特点的效果，然后进一步深入分析文档级、语句级等方面的情感色彩情况。显然，此项措施可以发挥出高级情感分析的良好功效，通过有效利用深度学习方法，提升了自然语言处理的整体效率。

5 当前呈现出来的不足与未来发展形势

5.1 相关学习模型存在的不足和发展形势

尽管进行自然语言处理的过程当中，运用了先进的深度学习算法模型，比如，循环神经网络和递归神经网络等等，并且获得了明显的成效。不过，现阶段，国内在自然语言处理深度学习方面的研究时间较短，依然呈现出诸多不同方面的不足，诸如深度网络层数、正则化问题等等，所以，在未来的发展前景非常良好，对于网络训练速度应该进一步加快。

5.2 自动学习存在的不足和发展形势

基于深度学习下的无监督学习制度，现阶段被广泛运用到自然语言处理过程当中，同时包含了相关数据说明、特征提取等方面的内容，不过实际应用的过程当中，假如把通过人工选用的显著特点规律和整个训练的过程加以有效结合，却提高了相应的困难程度[4]。所以，应该结合自然语言语义的选取情况，构建相应的深度模型结构，实现知识结合的过程当中，应该将首层当作主要融合的进入点，进而达到增强模型的自主学习能力。

6 结语

综上所述，作为全新的机器学习技术之一，深度学习的重要性与价值是毋庸置疑的。依靠对人脑机制的有效模拟，构建相应的深层神经网络，能够有效阐释与分析相应图像、文本等信息，所以获得了合理运用。从当前的情况来看，进行自然语言处理的过程当中，提高了对深度学习的利用率，不过实际应用的过程当中仍然呈现出很大的不足，有待进一步加以分析与完善。