深度学习技术应用现状分析与发展趋势研究

罗 荣，王 亮，肖玉杰

（海军研究院，北京 100161）

0 引 言

近年来，深度学习（Deep Learning）逐渐成为人工智能领域的研究热点和主流发展方向[1]。深度学习是利用多个处理层组成的计算模型，学习具有多个抽象层次的数据表示的机器学习技术。深度学习代表了机器学习和人工智能研究的主要发展方向，为机器学习和计算机视觉等领域带来了革命性的进步。1986 年，反向传播（Back Propagation）算法奠定了人工神经网络（Artificial Neural Network）中网络连接系数的优化基础[2]。经过近20 年的发展，Hinton 于2006 年设计出深度信念网络并革命性地提出深度学习的概念，从此深度学习几乎成为了人工智能技术的代名词。各种具有独特神经处理单元和复杂层次结构的神经网络不断涌现，如卷积神经网络[3]、循环神经网络（Recurrent Neural Network）[4]、生成对抗网络[5]等，深度学习技术不停提高着各应用领域内人工智能技术性能的极限。本文首先从监督深度学习、非监督深度学习和增强深度学习的经典机器学习分类出发，结合具体领域应用，对近年来提出的有代表性的深度神经网络技术进行综述，分析其发展现状，然后在此基础上总结深度学习技术面临的瓶颈问题与挑战，最后展望深度学习未来发展趋势。

1 深度学习技术的发展现状

与浅层机器学习技术类似，根据网络模型参数确定的方法，深度学习技术可分为监督学习技术、非监督学习技术和增强学习技术三类。其中，监督深度学习技术中网络模型参数是利用带标注的训练数据对网络进行训练而得到的，非监督深度学习技术中网络模型参数的确定则无需带标注的训练数据，增强深度学习技术中网络模型参数是利用特定评分策略对网络输出进行评分后确定的。在三类技术中，根据深度神经网络结构特点和应用领域的不同，又可进行更细致的划分。深度学习技术的典型应用领域包括计算机视觉、自然语言处理和博弈。近年来，相当多有影响力的深度神经网络均是针对特定应用领域进行设计的，描述其技术特点不能脱离其应用领域。

1.1 监督深度学习技术

监督深度学习技术主要包括多层感知器、卷积神经网络和循环神经网络等。多层感知器技术是早期神经网络研究的基础性成果，也是衡量深度神经网络性能的对比参照基础；卷积神经网络包括分类网络、检测网络、分割网络、跟踪网络和轻量化网络；循环神经网络主要包括长时短期记忆（Long Short-Term Memory）网络和门限循环单元（Gated Recurrent Unit）网络。

卷积神经网络中，具有代表性的常用网络包 括LeNet、AlexNet、GoogleNet、VGGNet、ResNet 和CapsNets 等[6]。卷积神经网络主要应用在计算机视觉领域，根据具体用途，可分为检测卷积神经网络、分割卷积神经网络、跟踪卷积神经网络和轻量化卷积神经网络等。检测卷积神经网络的作用是从图像中发现感兴趣的目标，具有代表性的检测卷积神经网络则主要包括RCNN 系列、YOLO 系列、SSD 系列、RFCN 系列、FPN系列、RetinaNet系列、Anchorfree 系列等[7]。分割卷积神经网络的功能是将图像分割为满足特定要求的区域，基于卷积神经网络的分割通常是语义级的。常用的分割卷积神经网络包括FCN、DeepLab 系列分割算法、PSPNet、Mask R-CNN、LinkNet 和PANet 等[8]。跟踪卷积神经网络的功能是在视频等连续拍摄的图像中定位跟踪目标，常用的跟踪卷积神经网络包括HCF、TCNN、MDNet、GOTURN、孪生网络系列算法（SiameseNet、SiameRPN、RASNet、SiameRPN++和SiamDW 等）、ADNet 等[9]。

为了适应移动互联网、物联网等应用环境，深度卷积神经网络需要在各种嵌入式系统上实时运行，轻量化卷积神经网络技术应运而生。常用的轻量化卷积神经网络包括MobileNets 系列网络（MobileNet v1、MobileNet v2）、ShuffleNets系列网络（ShuffleNets v1、ShuffleNets v2）和XceptionNet 等。

一般情况下，卷积神经网络均属于前馈神经网络，信息按神经元在网络中层次由浅至深地进行处理，而层次较浅的神经元参数不会受到层次较深的神经元输出的控制，即网络没有记忆，因此通常不适用于序列学习。循环神经网络引入了深层神经元输出到浅层神经元输入和状态的控制机制，使网络具有记忆功能，更适用于序列学习。由于绝大部分经典自然语言处理任务均属于序列学习的范畴，因此，循环神经网络在自然语言处理领域取得了广泛的应用。经典的循环神经网络主要包括长时短期记忆网络系列（LSTM、Bi-Directional LSTM、Stack LSTM 等）和门限循环单元网络（Gated Recurrent Unit）。

1.2 非监督深度学习技术

非监督深度学习技术主要包括玻尔兹曼机、自编码器和生成对抗网络等。虽然可以使用监督学习的方式训练网络，但受限玻尔兹曼机通常被视为一种早期经典的深度非监督学习技术。自编码器能够通过无监督学习，生成输入数据低维表示，可用于数据的去噪、降维和特征表示等任务。自编码器一般均是采用编码器-译码器结构，实现自监督学习，主要包括VAE、Stacked Denoising AE 和Transforming AE 等技术。生成对抗网络是近年来非监督深度学习技术的研究热点之一，主要包括GAN、CGAN、WGAN、EBGAN、infoGAN、BigGAN 和SimGAN 等。生成对抗网络的主要思想是利用生成模型和分辨模型之间的竞争关系，在网络损失度量中包含利于一个模型而不利于另一模型的部分，训练过程使生成模型输出将输入噪声信号尽可能逼近信息输入，而同时提高分辨模型分类与生成模型信息输出与输入的正确性，从而达到网络整体性能的优化。

1.3 增强深度学习技术

增强深度学习技术主要包括Q 学习和策略梯度学习。Q 学习的核心思想是利用深度神经网络，逼近贝尔曼方程描述的递归约束关系。Q 学习算法一般采用估计、决策和更新的迭代过程，经典的估计方法有蒙特卡洛树搜索算法、动态规划算法等，基本的Q 学习方法有DQN、Double DQN、Prioritized DQN 和DRQN 等。策略梯度学习的基本方法是利用深度神经网络，实现策略的参数化，并通过梯度优化控制参数权重，选择较好的行为实现策略，常用的策略梯度有有限差分策略梯度、蒙特卡洛策略梯度、Actor-Critic 策略梯度等，主要的策略梯度学习方法有REINFORCE、TRPO、DGP、DDGP 等。

2 深度学习技术的瓶颈问题

深度学习技术在计算机视觉、自然语言处理和复杂博弈领域均取得了突破性的研究成果。但随着深度学习理论的进一步深入发展和应用领域的不断拓展，深度学习技术自身存在的一系列瓶颈问题也逐渐显现出来，成为了制约深度学习技术进一步突破的主要问题。深度学习技术的主要瓶颈问题有：

（1）可解释性问题。深度神经网络一般包含多个隐藏层，运算单元的数量十分庞大，网络参数更是数不胜数，对参数的选取和运算单元的输出常常无法解释；新的深度神经网络还引入了各种复杂的网络结构，进一步加剧了可解释性问题的严重性。可解释性问题是深度神经网络深入发展的主要瓶颈问题之一，有理论将网络视为决策树结构，但过于复杂的结构超出了人类容易理解和分析优化的能力范畴。

（2）网络最优化的问题。目前的深度神经网络主要依靠对指定的损失函数执行反向传播算法实现网络参数优化，该算法仅能针对特定的网络结构实现按梯度的优化计算。由于实际学习问题往往没有梯度最优解，算法不能保证网络参数的选择实现了全局最优化。此外，网络结构预先确定，也限制了处理复杂学习问题时的性能；如将网络结构也作为可优化选项，则仅有部分搜索理论提供了参考性结果。深度神经网络的整体优化是限制深度学习技术取得突破的另一主要瓶颈问题。

（3）数据稀缺性问题。目前的监督深度学习技术需要应用领域有大量的标注数据，才能训练网络参数，衡量学习性能；非监督深度学习技术尚处于发展的起步阶段，虽然在诸如风格迁移、目标跟踪、词嵌入等领域有所突破，很多经典的监督机器学习场景任务尚不能使用非监督深度学习技术实现。为克服数据稀缺性问题，深度迁移学习、小样本深度学习技术已经成为了目前的研究热点，但距离根本性解决数据稀缺性问题尚有一段距离。

（4）实现复杂度问题。相对大部分已经取得广泛应用的浅层机器学习技术而言，深度神经网络需要的运算复杂度高、存储量大、运算时间长，虽然在应用中不需要训练网络，但仍难于在各种低成本终端中应用。虽然已有相关轻量化深度神经网络研究技术出现，但距离全面解决深度神经网络的复杂度问题尚有一定的差距。

3 深度学习技术的发展趋势

为解决目前主流监督深度学习技术所需训练数据量大、训练标注难于获取、无法确定深度神经网络结构和参数的问题，元学习、深度迁移学习、小样本深度学习、神经网络构架搜索、图神经网络等逐渐成为了监督深度学习技术发展的新方向。元学习（Meta Learning），也称为“学会学习”（Learning to learn），是一系列深度学习新技术的统称，其主要的目标是利用以往的知识经验指导新任务的学习，使神经网络具有学会学习的能力。元学习的主要技术包括记忆存储（Memory）方法、梯度预测方法、注意力机制、借鉴LSTM 的门控更新方法、面向增强学习的方法、综合监督学习与增强学习的基础模型构建方法、预测损失的方法等。深度迁移学习是迁移学习与深度学习交叉融合的新技术，其基本思想是在目标域数据缺乏标注的情况下，利用源数据域的标注数据训练深度神经网络，并结合源数据域与目标数据域的数据分布的相似性，将在源数据域训练所得的深度神经网络结构进行调整并应用于目标数据域；深度迁移学习也可以在目标数据域存在部分标注的情况，算法的目标是分类性能优于直接在目标数据域进行分类所能获得的分类性能。小样本深度学习（Few Shot Learning）是一系列使用少量数据训练深度神经网络的算法的通称，包括零样本学习（Zero Shot Learning）、单样本学习（One Shot Learning）等均属于小样本学习的范畴，小样本学习经常借鉴元学习、迁移学习、图神经网络等新的学习方法。常用的小样本学习方法包括基于网络参数微调（Finetune）的方法、基于度量的方法、基于孪生网络的方法、匹配网络方法、原型网络（Prototype Network）方法、借鉴图神经网络方法、借鉴元学习的方法、模型无关自适应方法等。神经网络构架搜索（Neural ANAS）是在特定的网络结构和超参数搜索空间中，制定某些搜索策略，并利用评价预估方式，搜索优秀的深度神经网络构架的方法；神经网络的搜索空间一般包括多层、多分枝和重复性子结构，常用的搜索策略则可基于梯度规则、强化学习规则或进化算法规则等进行制定，而评价预估的结果往往利用反馈的方式指导进一步的搜索过程。图神经网络在对图形中节点间的依赖关系进行建模，相关算法在图分析研究领域取得了一系列进展；经典的图神经网络利用图实现领域数据关系建模，并利用已知类别的节点以及图中节点间的关系，推导未知类别节点的类别信息，常用的图神经网络分析方法包括随机游走的方法和聚合表示的方法等。

4 结 语

经过多年发展，人们提出了非常多的深度神经网络，主要包括卷积神经网络、循环神经网络、玻尔兹曼机、自编码器和生成对抗网络等，使深度学习理论进一步深入发展，应用领域不断拓展。随着深度学习技术的不断应用，其面临的问题也逐渐显现出来，这些问题包括可解释性、网络最优化、数据稀缺性以及实现复杂度等。为了解决这些问题，人们又发展出元学习、深度迁移学习、小样本深度学习、神经网络构架搜索、图神经网络等新方法，未来人工智能技术发展必然会在现有研究成果上更进一步。