人工神经网络综述

赵崇文

(河海大学，江苏 南京 211100)

0 引言

很久以来，计算机的计算能力远超人类，如计算机可以在一秒钟内进行数十亿万次加减法运算。然而，在许多判断、分类、未明确定义的问题上，计算机常常不能作为有效的辅助工具，如数据预测，图像分类等。

1) 人工智能的出现

1956年，以麦卡赛、明斯基、罗切斯特和申农等为首的一批有远见卓识的年轻科学家，在探讨了一系列有关机器智慧的问题后，提出了“人工智能”的概念。人工智能的定义有很多，麻省理工学院教授温斯顿定义为：“人工智能就是研究如何使计算机去做过去只有人才能做的智能工作。”人工智能主要包括自然语言处理、智能搜索、推理、规划、机器学习、神经网络等等一系列的方向，是目前计算机科学家们不断追求的目标。

2) 人工神经网络

2016年3月，阿尔法围棋与围棋世界冠军、职业九段棋手李世石进行围棋人机大战，以4比1的总比分获胜。这条新闻顿时引起了轩然大波。AlphaGo采用了很多新技术，其中最重要之一的就是人工神经网络。作为人工智能的一个重要分支，神经网络可以模拟人脑处理一些需要高强度学习和计算的问题，从而更好地实现人工智能。

人工神经网络(ANN)，又称神经网络或者类神经网络，通过模拟信息在人类大脑中的处理方式实现的模拟逻辑算法。每个连接类似于神经元之间的突触，用于神经元之间进行信息传递；神经元和神经元互联组成神经网络，从而得到最终的反馈。

1 关于人工神经网络

1.1 人工神经网络的结构

目前人工神经网络的结构包含输入层、隐藏层、输出层。相关结构如图1。输入层负责接收外部的信息和数据；隐藏层负责对信息进行处理，不断调整神经元之间的连接属性，如权值、反馈等；输出层负责对计算的结果进行输出。其中，权值反映了单元间的连接强度；反馈反映了单元间的正负相关性，在单元间的连接关系中，通过这些信息反应出信息的处理过程。由于对整体结果的未知，在隐藏层的权值和反馈需要不断地调整，最终达到最好的拟合的结果。

图1 神经网络的结构

2 人工神经网络发展历程

心理学家McCulloch和逻辑学家Pitts在1943年提出了一种通过模拟生物学上的神经细胞来进行数学的研究，称为M-P模型。这个模型的提出标志着人工神经网络的诞生。1969年，Minsky等出版了《Perceptron》一书，指出感知器不能处理高阶谓词问题和电子线路交叉困难，神经网络无法对大数量的神经元进行计算，人工神经网络进入了发展的低谷，人工神经网络发展逐渐止步不前。

20世纪80年代，ART网、认知机网络、玻尔兹曼机理论、并行分布处理等新理论不断被提出，解决了Minsky提出的两个问题，人工神经网络进入了发展的新时代。1986年，Hinton等人发展了BP算法，即多层前馈网络。BP算法包括了信号的正向传播与误差的反向传播，这种双向的反馈结构可以使误差信号减小到当时的最低限度。90年代，Vapnik等科学家提出了SVM算法，即支持向量机的概念。2006年，Hinton通过使用预训练的方法缓解了ANN的局部最优解问题。

3 人工神经网络现状

目前，人工神经网络稳步发展，有关应用也广泛地运用到了各个领域。2016年，AlphaGo击败围棋冠军李世石的新闻刷爆了各个新闻媒体，人们对人工神经网络的热情继续上升。今天，人工神经网络已经衍生出了上百种模型，通过模拟其他行业，如热力学、数学、医学等实现数据分析和利用。下面本文将介绍目前使用最多的两类神经网络：递归神经网络和卷积神经网络。

3.1 递归神经网络

递归神经网络具有树状阶层结构，以连接顺序对输入信息递归，带有信息反馈功能。训练算法主要采用长短期记忆法和结构递归神经网络法。在实际运用中，由于递归神经网络有可变的拓扑结构且权重共享，常常被用于包含结构关系的任务中。

3.2 卷积神经网络

卷积神经网络是一类包含卷积计算的具有深度结构的神经网络。这种神经网络模拟生物的视知觉：视知觉细胞从视网膜上接收光信号，但单个细胞不会接收所有信号的信息，只有感受到支配区域内的刺激才能激活，通过多个细胞的叠加从而产生视觉空间。

最近，对神经网络算法的研究也正在如火如荼地进行中。KaimingHe等通过使用残留的学习框架成功训练了ResNet(ResidualNeuralNetwork)。ResNet具有152层，比VGGNet深八倍，而参数量却比VGGNet低，其在ILSVRC2015比赛中获得了第一名，错误率为3.57%。DenseNet等提出了密集卷积网络(DenseNet)，其在ResNet结构的基础上进一步扩展了网络连接。该模型在大多数测试集中，取得了相对于最新技术的显著改进，减少了需要的计算量，实现了更高的性能。

4 人工神经网络应用实例

4.1 人脸识别

人工神经网络是人脸识别常用的方法。人脸识别以信息论为基础，模拟人类大脑的逻辑思维过程对信息进行处理。传统的人脸识别算法如PCA，在精度和特征等方面有一定不足。由于CNN有权值共享、神经元连接的特性，特别适合处理高维数据[1]。

4.2 智慧城市

智慧城市是在创新2.0时代提出的目标，致力于提升资源运用效率，改善市民生活质量。在智慧城市落地的过程中，需要利用人工智能处理大量的问题[2]，如垃圾分类、闯红灯检测、景区人数控制等，而人工神经网络可以通过数据的分析、信息的网络式传播，实现基于图像或视频的数据分析。

4.3 经济学预测

传统的统计学方法因为有数据不变的局限性，难以对未来的变动进行预测。而人工神经网络容易处理不完整的、规律不明显的数据，所以在经济学上使用人工神经网络是对未来价格、风险进行评估和预测[3]的更科学的依据。利用目标人群的人数、收入、地理位置等复杂多变的因素进行建模，从而得到相对稳定的收敛的结果。

4.4 医学领域

传统的医学数据由于需要将所有的临床案例存储，用分类的方法对症下药，所以对数据库的大小要求很高。引入人工神经网络后，可以有效地对案例模型进行分析和分类，提高了数据的组织能力。另外，对于案例中模糊的生物信号可以有效地还原[4]，有助于专家进行诊断。

5 人工神经网络面对的挑战和对策

5.1 建模问题

利用大数据来学习特征，比通过人工规则来构造规则更能刻画数据的内在信息。那么，在推进深度学习的学习理论与计算理论时，能不能提出新的具有强大表示能力的分层模型呢？

Chen等人[5]建立了时变输入输出过程神经元网络和离散过程神经元网络两种网络模型,对其性质进行了分析和证明,推导出了具体的学习算法。通过这种算法，可以有效地进行在时变输入输出过程中神经元网络的系统辨识。

5.2 数据问题

对于从事深度学习技术研发的人来说，首先要解决的是利用并行计算平台来实现海量数据训练的问题。深度学习需要频繁迭代，传统的大数据平台无法适应这一点，而现有的DNN训练技术通常所采用的随机梯度法，不能在多个计算机之间并行。采用CPU进行传统的DNN模型训练，训练时间非常漫长，一般训练声学模型就需要几个月的时间。这样缓慢的训练速度明显不能满足互联网服务应用的需要。

目前，提升模型训练速度，成为许多大公司研发者的主攻方向。比如谷歌公司，搭建起了DistBelief并行计算平台。通过采用异步算法，实现随机梯度下降算法的并行化，从而加快模型训练速度。不过，工程方面尽管取得了一定的进展，但对解决各种服务需求来说，仍然有很长的一段路要走。

5.3 理论问题

深度学习的理论问题主要体现在统计学和计算两个方面。对于任意一个非线性函数，都能找到一个浅层网络和深度网络来表示。深度模型比浅层模型对非线性函数具有更好的表现能力。但深度网络的可表示性并不代表可学习性。由于深度模型都是非凸函数，也就让深度学习在这方面的理论研究变得非常困难。

Xu等人[6]借鉴罚函数的思想,基于拉格朗日乘子理论,提出了一种新型的拉格朗日神经网络模型。该模型针对收敛速度慢的问题,设定固定的罚因子,且在传统拉格朗日函数的基础上增加惩罚项,既可以克服病态问题,又能使网络轨迹收敛加快。该模型能够找到优化问题的解,并且收敛轨迹最终趋于关键点集。

6 人工神经网络未来展望

6.1 人工神经网络与边缘计算的协同发展

在技术的发展中，边缘计算是发展的趋势之一。边缘计算作为物联网的核心[7]，会接收到大量的本地数据。这些本地数据在边缘服务器中需要进行处理。在边缘服务器中搭载人工神经网络系统，可以更快的对数据进行分析，从而更快地输出信号。

6.2 人工神经网络与人工智能芯片的协同发展

芯片架构是一款模拟人脑的神经网络模型的新型芯片编程架构，这一系统可以模拟人脑功能进行感知方式、行为方式和思维方式。ASIC是目前人工智能芯片的一个主要发展方向，但真正的人工智能芯片未来发展的方向是类脑芯片。类脑芯片研究是非常艰难的，IBM、高通、英特尔等公司的芯片策略都是用硬件来模仿人脑的神经突触。

6.3 人工神经网络与其他领域模拟算法的协同发展

将神经网络与其他领域的理论相结合也是当今发展方向之一。如模拟人类对模糊问题的模糊处理方法而提出的混沌神经网络理论，还有与量子学理论结合产生的量子神经网络等。通过对其他领域相关模型的模拟，帮助我们在细化领域里训练神经网络时，有更优的性能和更高的鲁棒性，从而优化神经网络在专业领域内的应用。

7 结束语

人工神经网络自上世纪50年代至今已有数十年的历史。这几十年中，人工神经网络已经发展成为一门理论相对完善、应用逐渐全面的技术。人工神经网络作为智能化时代解决模糊问题的范式，已经为智能化时代提供了很多的应用实例。在未来，随着硬件技术的发展，云服务的碎片化、边缘化，城市的智慧化、信息化，人工神经网络的应用将会越来越多。需要注意的是，如何在一个例子中解决建模问题、数据问题、理论发展问题仍然需要现在的科学家们继续努力。