人工神经网络综述

桂林电子科技大学信息与通信学院 广西 桂林 541004

引言

自计算机产生以来，计算机的计算能力已经远远超过人类的能力。例如，一台计算机可以在一秒钟内完成数十亿次的加减运算，但在许多未定义、未分类的人类高级活动中，计算机并不能发挥有效的辅助作用。于是“人工智能”的概念就出现了，麻省理工学院教授温斯顿曾说过：“人工智能就是研究如何使计算机去做过去只有人才能做的智能工作。”人工智能主要包括自然语言处理、智能搜索、推理、规划、机器学习、神经网络等等一系列的方向，是目前计算机科学家们不断追求的目标，其中神经网络更是重中之重。

人工神经网络(ANN)，又称神经网络或者类神经网络，通过模拟信息在人类大脑中的处理方式实现的模拟逻辑算法。每个连接类似于神经元之间的突触，用于神经元之间进行信息传递；神经元和神经元互联组成神经网络，从而得到最终的反馈。

2016年举世瞩目的围棋之战，阿尔法围棋（AlphaGo）与围棋世界冠军、职业九段棋手李世石进行围棋人机大战，以4比1的总比分获胜。这条新闻顿时引起了轩然大波。AlphaGo采用了很多新技术，其中最重要之一的就是人工神经网络。作为人工智能的一个重要分支，神经网络可以模拟人脑处理一些需要高强度学习和计算的问题，从而更好地实现人工智能。

1 关于人工神经网络

1.1 人工神经网络的构造

1943年著名学者McCulloch和Pitts提出了一种M-P模型，它是模拟人体生物学上的神经细胞的数学研究。这一个模型的出现标志这人工神经网络的诞生。随着BP算法、SVM算法的提出人工神经网络发展迅速。

目前的人工神经网络大致可以分为三个层次[1]，输入层，隐藏层，输出层。接收外部信息与数据的为输入层，隐藏层是负责对信息进行处理，不断调整神经元之间的连接属性，如权值、反馈等；输出层负责对计算的结果进行输出。其中，权值反映了单元间的连接强度;反馈反映了单元间的正负相关性，在单元间的连接关系中，通过这些信息反映出信息的处理过程。由于对整体结果的未知，在隐藏层的权值和反馈需要不断地调整，最终达到最好的拟合的结果。

2 人工神经网络重要模型

2.1 卷积人工神经网络模型

卷积神经网络（Convolutional Neural Networks，CNN）是一种多层神经网络，它是一种含有卷积计算的具有深层结构的神经网络。该网络是由对个单层卷积神经网络组成的可训练的多层网络结构，可把特征提取、下采样和传统的神经网络整合起来，从而形成一个新的网络。与其他神经网络相比，它能够直接使用图像的像素进行模式识别，有效降低了传统识别算法中复杂的特征提取计算过程。与此同时，卷积神经网络对图像的平移、缩放和旋转具有较好的鲁棒性。

2.2 递归人工神经网络模型

递归网络(Recurrent Neural Network，RNN)中由于存在输出变量到输入端的反馈，因而其变量中包含时间延时网络，是真正的动态网络系统[2]。递归网络与静态神经网络比较，递归网络不需要预先假定系统的阶次，为动态系统的辨识与控制开辟了一个极有前途的领域。动态递归神经网络因其固有的反馈结构，一般只需单层的网络就可以较好的表达一个复杂的动态系统，逼近系统的动态过程。

3 人工神经网络实际应用

3.1 机器人导航领域

近年来，由于神经网络的强大的表征能力，尤其是强化学习与深度神经网络的结合使得深度强化学习（Deep Reinforcement Learning，简称为DRL）广泛应用到机器人导航领域。然而DRL基于当前感知做出决策，很难具有泛化性和推理能力，并且很难应用于部分观测环境中，近三年涌现出了各种的记忆神经网络(Memory Neural Networks，简称为MNN)模型，MNN采用外部记忆矩阵实现，将记忆与计算分离开来，采用可微的读写机制访问外部记忆网络，整个系统可微，允许端对端的训练。MNN与DRL结合非常适合解决时序列决策问题，将其用于导航领域是非常有前景的新兴研究领域。Sukhbaatar曾经提出过MemNN，它是一种无写操作的记忆结构，记忆存储是固定的。网络学到的内容是如何从固定记忆池中去访问和读取信息，而不是如何去改写内容。后续国外有人首次将MemNN与DRL相结合并在三维Minecraft环境中实现导航任务。MemNN+DRL结构采用一个递归控制器DRL与外部记忆MemNN进行交互，基于时间上下文实现寻址机制，有效处理了部分观测、长时依赖导航策略以及相似地图的知识迁移问题。MemNN+DRL的导航工作机理如下：将机器人最近遇到的M步观察经过编码写入到MemNN中，相当于M步的情节记忆，采用强化学习算法端对端训练参数，最终获得导航能力。

3.2 人脸识别

人工神经网络是人脸识别常用的方法。人脸识别以信息论为基础，模拟人类大脑的逻辑思维过程对信息进行处理。传统的人脸识别算法如PCA，在精度和特征等方面有一定不足。由于CNN有权值共享、神经元连接的特性，特别适合处理高维数据。

3.3 天然地震预测

人工神经网络在处理大量无明显关联的数据集时有着自我学习、自我适应的特点，因此，人工神经网络可以在天然地震预测中充当不可或缺的角色。在天然地震预测中利用BP神经网络算法的基本原理[3]“梯度下降法”和反馈传播，通过不断地调整权值使网络的总误差缩小到目标误差范围内。对数据进行归一化处理，将数据输入到网络，让网络进行训练，将地震数据作为测试样本输入网络，经过反归一化的处理，成功得到目标输出，最后得到预测数据。

3.4 高速通信网智能控制

神经网络具有很强的自适应学习能力，它可以从实际测量或网络运行过程的实例中学习，硬件设备可以进行大规模的并行运算，计算速度非常快，而且神经网络能使学习结果从普遍到前所未有的情况。因为在学习拥塞控制的动态环境中所做的观察可能是不完整的、延迟的或只是部分可用的。分布式处理的特性使控制系统具有高可靠性或容错性。另外，利用神经网络可以方便地设计出一种能够自动适应网络新情况的算法。这是利用神经网络作为工具来测量交通量。将流量划分为统计特性相似、服务质量要求相近的几个类别，以预测某一监测时段内ATM网络的未来特征。神经网络具有学习输入输出真值之间非线性变换的能力。神经网络自适应学习（并建立模型）非线性多元函数的能力可用于信号非线性预测。ATM业务控制器使用神经网络进行呼叫级控制，如连接接纳控制（CAC），信元级控制（如流量测量）、业务管理和网络接入点的拥塞控制，用于网络级控制。

3.5 土面区压测量

在基于神经网络的土密实度检测[4]一文中，学者李细荣明确提出了人工神经网络在基于神经网络的土壤压实度检测中的可行性。采用土的激光图像提取数个特征参数如土的吸收系数、散射系数、激光图像的纹理特征参量，从中提取主要成分因子以此作为输入特征，在运用BP神经网络预测密实度。相较于传统的环刀法，运用神经网络进行检测土密实度测量可以进行无损测量，且相较于环刀法的随机检测不能代表整层土壤密实度，神经网络检测可以全面检测，不存在漏检等问题。

3.6 旋转变形验证码识别

验证码是用来区分人类和计算机，防止恶意程序攻击的。验证码的识别研究既可以发现验证码存在的缺陷，为验证码生成程序提供改进意见，又能促进人工智能技术的发展。字符型验证码是目前使用较多的一种验证码，为了防止被机器识别，一般都要加入一些旋转变形等处理。而卷积神经网络就可以实现一种用于识别具有旋转和变形特点的字符型验证码，它分别采用小类和大类字符集的方法训练神经网络，再使用不同的学习速率和样本数量进行训练。在使用大类神经网络，选择适当的学习参数，并且增大样本数量的情况下，可以有效提高识别率。

4 人工神经网络发展现状

4.1 发展现状

人工神经网络快速发展，它与现代各门科学与技术紧密结合，相互合作，且在工作时具有高速度和潜在的超高速，具有容错、容差能力，适合求解难于找到好的求解规则的问题（例如模式识别）。人工神经网络同样存在缺点，它难于精确地分析各项性能指标，很难运用于追求正确答案的计算[5]。就BP算法为例，BP网络能通过学习带正确答案的实例集自动求解合理的规则，并且具有一定的推广能力，学习有被“固化”的潜在可能，但它难以解决应用问题的实际规模和网络规模之间的矛盾。

目前，人工神经网络正在稳步发展，其应用已经在各个领域普及，2016年阿尔法围棋击败李世石大师的消息，席卷了新闻媒体，如今，人工神经网络通过模拟热力学、数学、医学等其他行业，已经衍生出上百种模型，以获得数据分析和开发。

近年来，神经网络算法的研究正在如火如荼地进行。Kaiminghe[1]等人利用残差学习框架成功地训练了RESNET（残差神经网络）。RESNET有152层，比VGGNET深8倍，但其参数低于GGNET。它以3.57%的错误率在ILSVRC2015的比赛中获得第一名。DenseNet等人提出了密集卷积网络（DenseNet），在RESNET结构的基础上进一步扩展了网络连接。与最新技术相比，该模型在大多数测试集上取得了显著的改进，减少了所需的计算量，获得了更高的性能。

4.2 未来发展趋势

人工神经网络与边缘计算的协同发展，在技术的发展中，边缘计算是发展的趋势之一。边缘计算作为物联网的核心，会接收到大量的本地数据。这些本地数据在边缘服务器中需要进行处理。将神经网络系统安装在外围服务器上，从而能够更快速地分析数据，从而能够更快地输出信号。

人工神经网络与人工智能芯片的协同发展，芯片结构是模特神经网络模型的新芯片编程框架，可模拟人脑的感觉、行为和思维。ASIC目前是芯片开发的主要方向之一。但真正的人工智能芯片未来发展的方向是类脑芯片。类脑芯片研究是非常艰难的，IBM、高通、英特尔等公司的芯片策略都是用硬件来模仿人脑的神经突触。

人造神经网络与其他领域的模拟算法的协同发展，以及将神经网络与其他领域的结合，也是目前的方向之一。如模拟人类对模糊问题的模糊处理方法而提出的混沌神经网络理论，还有与量子学理论结合产生的量子神经网络等。通过对其他领域相关模型的模拟，帮助我们在细化领域里训练神经网络时，有更优的性能和更高的鲁棒性，从而优化神经网络在专业领域内的应用。

5 结束语

人工神经网络，从提出到现在已经经过了数十年的长久发展在一定方面已经逐渐趋于完善，慢慢地形成一门完善且全面的技术，为时代发展提供了有力的帮助。在未来，随着硬件技术的发展，云服务的碎片化、边缘化，城市的智慧化、信息化，人工神经网络的应用将会越来越多，应用的范围也会变得越来越广泛，人工神经网络在时代的发展将会扮演一个不可或缺的角色。