深度学习及其发展趋势研究综述

王浩滢

（山东科技大学，山东青岛，271021）

0 引言

深度学习是机器学习的一个新领域，是一种以人工神经网络为架构，对数据进行表征学习的算法。深度学习主要在于学习样本数据所存在的内在规律和表示幅度，数种深度学习框架已被成功应用在计算机视觉、语音识别、图像处理等领域并获取了极好的效果。同时，“深度学习”也成为成为类似术语，或者说是神经网络的描述重塑表示方法[1]。

深度学习相对于支持向量机、最大熵值计算方法等"浅层学习"而言是一类深层次的研究方向。深度学习是通过对原始信号进行逐层特征变换，输入和输出结果的不断迭用，将样本数据层层转换到新的特征空间，从而自动地学习得到层次化的特征表示，快速分层处理数据建立模型，更有利于分类或特征的可视化[2]。

深度学习算法打破了传统神经网络对训练层数的限制，采用贪婪无监督逐层训练方法，分开处理层层网络结构，后一层网络沿用前一层的训练结果进行训练。最后每层参数训练完后，在整个网络中利用有监督学习进行参数微调，从而达到提高精度的作用，本文就深度学习发展现状及进行简单概述并对其未来设计进行展望[4]。

1 深度学习的国内外研究

■1.1 深度学习在自然语言处理方面的研究

深度学习是以海量数据输入为基础的多层神经网络，是一种规则的自学习方法。近年来对多层神经网络的处理算法不断优化，结合最新的计算机技术以及先进的CPU处理器等，使它出现了突破性的进展。比如行人的图像中，就包含了色彩、光线、五官等各种信息，而深度学习的关键就是通过多层非线性映射将这些因素成功分离并提取。简单说，就是可以减少参数，同时还不断有海量数据的输入，彻底颠覆了“人造特征”的范式，开启了数据驱动即数据自提取特征的范式，计算机自己发现规则，进行自学习。现在计算机认图的能力已经凌驾于人类之上，尤其在图像和语音等复杂应用方面，深度学习技术有了很大的进展。

再者是谷歌训练机械手抓取的例子，谷歌现在用机器人训练一个深度神经网络，利用程序实现一次抓取，根据摄像头输入和执行命令，预测抓取的结果，使得机器人可以实现手眼协调。所有行为都从学习中自然浮现，而不是依靠传统的系统程序，完全颠覆以往的算法，利用深度学习实现图像深度信息的采集[4]。

市面上已有的可实现实现人的跟踪的无人机，它的方法就在于，可以通过人工的方式进行特征选择，拿简单的颜色特征举例，若单用机械的方式查找，在几个人穿着相同的衣服有着差不多的体态的情况下就很容易跟丢或混淆，此时，若想在这个基础上继续优化算法，将特征进行调整，实属非常困难，而且调整后，还会存在对过去某些环境状态不适用的问题，算法的不停迭代却会影响前面的效果。而利用深度学习，把所有人最显眼的个人信息做出来，只区分好前景和背景。区分之后，背景全部用数学方式进行填充，再以此为基础不断生产大量背景数据，进行自学习，便利了查找过程。

■1.2 深度学习在图像识别方面的研究

图1 利用卷积神经网络建立行人重识别模型

对于图像的处理是深度学习算法最早尝试应用的领域，从一开始的大量数据提取到不断优化算法，现如今的图像处理技术已十分成熟，尤其是2012年在网络的训练中引入了权重衰减的概念，可以以更简便的算法及参数幅度产生更多的数据。现在深度学习网络模型能够理解和识别一般的自然图像，不仅大幅提高了图像识别的精度，同时也避免了需要消耗大量的时间进行人工特征提取等重复性工作，使得运算效率得到了大大的提升[4-5]。

2 深度学习网络

深度神经网络是由多个单层非线性网络叠加而成的可以分为前馈深度网络、反馈深度网络和双向深度网络3类[4]。

■2.1 前馈深度网络

作为最早进行模型建立的人工神经网络之一，前馈深度网络也叫前馈神经网络，其特点在于数据的单方向流动，从输入到达输出单元，且不会构成有向环。典型的前馈神经网络有卷积神经网络和单层卷积神经网络等。

2.1.1 单层卷积神经网络

卷积阶段的输入是由n1个n2×n3大二维特征图构成的三维数组，以xi为，该阶段的输出y也是个三维数组，由m1个m2×m3大特征图构成。在卷积阶段，连接输入特征图xi和特征图yj的记为ijω，核的大小为23k ×k[4]。输出特征图为：

式中：＊为二维离散卷积的运算符，bj为练的偏置函数。

非线性阶段是通过非线性变换的方式过滤有效的卷积阶段得到的特征向量，提高数据处理的精度，两种非线性操作函数如图2所示。

图2 两种非线性操作函数（sin和cos）

下采样阶段，通常采用平均或最大池化的操作。完全去掉下采样，通过在卷积阶段设置卷积核窗口滑动达到降低分辨率的算法也已运用在一些网络模型中[4]。

图3 卷积神经网络训练过程

2.1.2 卷积神经网络

卷积神经网络可以进行大型图像识别,是深度前馈人工神经网络的一种，多次堆叠单层的神经网络结构，后层网络沿用前层网络的数据，其中反向传播法以及有监督的训练方式最为常用，算法流程如图3所示[4]。

在进行图像识别以及解决各类重识别问题中也广泛用到卷积神经网络，卷积网络模型图如图4所示。

图4 利用神经网络进行层次重识别

卷积神经网络采用原始信号输入，减少复杂的特征提取次数同时避免图像重建过程，相较于传统的计算方法有了较大的改进，利用权值共享结构降低了网络模型的复杂度，对特征图进行子抽样，对照图像局部相关系原则有效地减少数据处理量。

■2.2 反馈深度网络

区别于前馈深度网络，反馈深度网络反解输入信号，而不是通过编码信号进行数据处理。典型的反馈深度网络有反卷积网络、层次稀疏编码网络等，通过求解最优输入信号分解问题计算特征，使得特征更精准，更有利于信号的分类或重建。

■2.3 双向深度网络

双向深度网络结构上结合了编码器层和解码器层方式进行叠加，以前馈和反馈深度网络的训练方法为综合，包括单层网络的预训练和逐层反向迭代误差两个部分，每层使用输入信号IL与ω计成信号IL+1传下一层，信号IL+1再同的权值ω计成重构信号映输入层，通过不断缩小IL与IL'间差，再通过反向迭代误差对整个网络结构进行权值微调。典型的双向深度网络有深度玻尔兹曼机、栈式自编码器等。

3 深度学习算法

■3.1 深度置信网络

深度置信网络可以用来进行精细化和网络预训练，由多层无监督的受限玻尔兹曼机和一层有监督的前馈反向传播网络组成，是一种快速学习算法，建立模型中可以分为无监督训练和微调训练两个阶段，第一阶段采用无监督的贪婪逐层训练法，以获得每层的条件概率分布；第二阶段采用带标签的数据筛选算法对网络参数进行微调。深度置信网络结合了无监督学习和有监督学习各自的优点，克服了BP网络因随机初始化权值参数而容易陷人局部最优和训练时间长的缺点，并具有高灵活性，是构建新型深度学习网络的结构基础。为解决深度置信网络面临的挑战，科学家们又提出了卷积深度置信网络证明了深度置信网络适应卷积方式运作，利用邻域像素的空域关系进行卷积操作，更容易得到变换后的高维图像[4]。

■3.2 深度循环网络

深度循环网络是提出的一类专门用来处理序列的循环神经网络，它可以像神经网络那样扩展到更长的序列。它主要由输人层、隐藏层和输出层组成，从而实现了时间记忆的功能。相比传统的网络，它更加符合生物神经元的连接方式，并且已被广泛地应用在自然语言处理等领域，取得了不错的进展[11][20]。

■3.3 随机梯度下降法

随机梯度下降法是用来求解最小二乘法问题的一种迭代法，随机梯度下降法中求解最小化损失函数的算法过程是每次随机取一组样本θj，对应的待拟合函数h(x)，根据梯度下降法，用损失函数J(θ)对θ求，再不断根据学习率更新，得到:

SGD一轮迭代只选用一条随机选取的数据，学习时间非常迅速。在非凸函数上，梯度下降法求得的可能是极值而非最值，因此耗费大量的时间和内存，而随机梯度下降法拥有最终收敛于一个较好的局部极值点的优势，但易出现损失函数波动等问题。

4 未来发展趋势

根据深度学习的特点和现如今取得的进展，深度学习在未来的发展中体现出神经网络呈层数越来越多，结构越来越复杂的趋势。当然网络层数越多，结构越复杂深度学习网络的性能越好，学习效果也越来越好，这表明在未来的发展中深度网络技术将会不断进步。再者深度神经网络节点功能也将不断丰富。节点越来越丰富，不断接近人脑的结构，将更加有利于克服目前神经网络存在的局限性。深度学习可以与强化学习、迁移学习等不同的机器学习技术融合，以解决单项技术面临的一些缺陷。在领域方面，深度学习具有较好迁移学习的性质，使得一个模型训练好后可以拿到另一个问题上做简单的改进就可以继续使用。由于深度学习在计算机视觉和语音识别方优于过传统方法，其中一些好的方法经过改进，也适用于其他领域。例如深度学习在处理海量数据时在并行处理、进行模式识别特征提取、数据预测等方面都有巨大的优势，这与声学研究具有极大的契合性，因此可以在声学处理上运用深度学习解决部分问题[15]。

很多传统方法，还在采用人工视觉计算，用计算机去做局部匹配，再根据视线测出的两个匹配数据的差距，去推算空间的具体位置，这样的判断方法无疑存在很大的误差，而深度学习的出现，使得很多公司辛苦积累的软件算法失去效果，以前提出的“算法为核心竞争力”，正在逐步转变为，“数据为核心竞争力”，这同时也要求技术人员必须进入新的起跑线，研究新技术，尤其是不断研究像深度学习这样具有强大功能以及竞争力的模型方法。

目前我们所能接触到的深度学习算法多体现在语音识别，手势识别、图像识别、自然语言的问题处理等方面，利用编程语言及算法实现识别功能，利用网络上部分开放的资源进行识别功能的体现，像百度、小米等人工智能语音都是我们学习的对象。深度学习在如今的发展中依托先进的计算机技术以及日益进步的处理器等硬件实力的增强不断进行算法的优化与提升，大大解决了以前大量数据冗余的问题，且提出多种模型解决复杂的专业疑难，在我们的生活中多方面以成功进行使用，但在未来基于深度学习中的无标记数据的特征学习、模型规模与训练速度以及其他方法的融合都是值得我们进一步研究的问题。