智能源于人、拓于工
——人工智能发展的一点思考

2019-01-03 08:33蒋昌俊王俊丽
中国工程科学 2018年6期
关键词:计算机科学人脑神经网络

蒋昌俊,王俊丽

(同济大学嵌入式系统与服务计算教育部重点实验室,上海 201804)

一、前言

人工智能(AI)是与计算机和控制学科密切相关的一个研究领域,20世纪70年代以来被称为世界三大尖端技术之一(空间技术、能源技术、AI),也被认为是21世纪三大尖端技术(基因工程、纳米科学、AI)之一。随着信息技术的不断发展与向生产生活、经济社会发展各方面的渗透,特别是在互联网、大数据和云计算等新一代信息技术的飞速发展基础上,AI以模拟人脑中信息存储和处理机制等智能行为,使机器具有一定程度上的智能水平。目前AI领域的研究已经取得重要进展,特别是由于擅长发现高维数据中的复杂结构,深度学习正被应用于科学、商业和政府等领域,对信息科学领域的发展起到了很重要的推动作用。

本文将从两个维度深入剖析和解读AI发展过程,第一个维度是横向视角,从来自于神经科学、人脑智能等智能启发的源头追溯,探讨了AI各个分支重要的发展历程,综合分析AI的发展和演进过程;第二个维度是纵向视角,从与AI密切相关的几个学科,包括计算机科学、控制科学、人脑智能、类脑智能等一些相关的科学的发展,通过它们在不同历史时期与AI之间的相互作用,分析这些学科或领域之间的交融与历史演进,更清晰地对AI的本质进行认知。

二、智能的定义与历史演进

(一)智能的定义

在心理学领域,将智能定义为智力和能力的总称。其中,“智”指进行认识活动的某些心理特点,“能”则指进行实际活动的某些心理特点[1]。下面将从与智能密切相关的人脑智能、AI、类脑智能三个方面探讨智能的定义。

人脑是由一千多亿个高度互联的神经元组成的复杂生物网络,是人类分析、联想、记忆和逻辑推理等能力的来源。人脑智能正是反应人类大脑具有的感知世界、理解世界和管理世界的智慧和能力,其研究主要围绕人类智能活动的规律,揭示大脑信息表征、转换机理和学习规则,以期建立大脑信息处理过程的智能计算模型。伴随着神经解剖学的发展,人脑信息处理的奥秘也正在被逐步揭示。在此基础上,AI是模拟人类大脑信息处理、记忆、逻辑推理等智能行为的基本理论、方法和技术,通过应用计算机的软硬件技术,构造具有一定智能的人工系统,让计算机去完成以往需要人的智力才能胜任的工作。而类脑计算则渴求通过模仿人类神经系统的工作原理,开发出快速、可靠、低耗的运算技术。借助神经科学、脑科学与认知科学的研究成果,建立智能计算模型,使机器掌握人类的认知规律,是“类脑智能”的研究目标。

(二)智能的历史演进

1950年,“AI之父”——英国人图灵(A. M.Turing)的一篇里程碑式论文《机器能思考吗?》为人类带来了一个新学科——AI [2]。在1956年夏季的“达特茅斯会议”中,以麦卡锡(J. R. McCarthy)、明斯基(M. Minsky)、罗切斯特(N. Rochester)和香农(C. Shannon)等为首的一批有远见卓识的年轻科学家,共同研究和探讨用机器模拟智能的一系列问题,首次提出了AI这一术语,标志着AI的正式诞生。

AI作为一门新兴的科学技术,其发展演进过程与信息科学领域的演进过程密切相关,特别是计算机科学、控制科学这两大学科。在AI的发展中,不同学科背景的学者对AI做出了各自的理解,提出了不同的观点。为此,本文将首先综合分析计算机科学、AI、控制科学发展过程中的主要演变环节和相互作用,如图1所示。

首先在计算机科学发展过程中,从基础理论来说,形成了一套坚实的计算机科学理论。20世纪30年代,可计算理论取得突破性进展,当时提出四个重要的计算模型:λ演算、图灵机、哥德尔递归函数、Post系统。在理论意义上,这些模型之间在能力上是等价的,其中以图灵机更接近常人计算,成为计算机的计算理论基础。在此基础上,20世纪50年代乔姆斯基(N. Chomsky)建立了形式语言的理论体系[3],从语言、文法到机器模型,给出了计算机科学的能级空间的层次划分,对计算机科学有着深刻的影响,特别是对程序设计语言和编译方法等有重要的作用。同时,20世纪60年代的计算复杂性和20世纪70年代的程序验证理论都为整个计算机科学的发展奠定了坚实的理论基础。另一方面是计算机技术的发展。20世纪50年代冯·诺依曼提出计算机体系结构,以程序存储为基础,程序指令和数据公用一个存储空间。1945年,第一代计算机ENIAC诞生。1964年IBM宣布推出的一款计算机系统IBM360,在业界引起了轰动。到20世纪80年代,IBM一直在PC领域保持领先优势。当时讨论的是单个电脑的计算组成、原理和相应的机器,即单机系统。在这个范畴内,无论是理论还是技术都比较完备。后来,随着时间的推进,20世纪90年代出现的互联网,不同于单机系统的确定和完备,是一个非确定、开放共享、动态的系统。近些年,出现了物联网、云计算、大数据等新一代信息技术,以及现在的云平台。可以看出,计算机系统经历了从单机时代进化到能够共享资源的专用局域网系统,然后发展到资源可整合、共享的互联网时代,逐步演进到目前资源动态分配、服务高度发达共享的网络信息服务时代。

图1 计算机科学、AI、控制科学的演进过程

基于这样的计算机科学理论与系统的发展,AI发展最早可以追溯到20世纪50年代以符号主义为代表的逻辑推理和定理证明研究。之后,20世纪60年代其模拟人类专家的行为,概括成经验性的规则形成规则系统,推演应用领域知识的生成。专家系统在医疗诊断、化学逻辑关系推演等方面发挥了很好的作用。但因为人工制定的规则一旦抽取出来就是固定的,不便于系统的成长和拓展,而且规则是确定的,专家系统难以处理一些新的问题,后来又出现了数据库和知识库,建立了知识单元支持规则的推演;语义网络,将概念与概念间的关系组织起来形成网络,后来又结合大数据出现了知识图谱。可以看出这一层面是模拟和学习人的逻辑思维推演过程,这也正是受到底层计算机科学理论和系统结构的影响而发展起来的。

AI的另外一条主线是以连接主义为代表,模拟发生在人类神经系统中的认知过程。20世纪50年代提出的感知机是最早的模拟神经元细胞和突触机制的计算模型。之后模拟人的神经系统,建立了多层感知机等人工神经网络,一直到现在的深度学习都是沿着这层发展起来的。

与此同时,在AI发展过程中另外一个重要学派行为主义认为智能是系统与环境的交互行为。因此,形成了强化学习、进化计算等智能方法,可以看作是控制学科对AI的启发。控制科学的发展经历了三个重要时期:20世纪40至50年代:经典控制理论(PID控制、反馈控制),这一时期是单变量专一事务的控制,而且是试错性的;20世纪60至70年代:现代控制理论(最优控制、模糊控制、自适应控制),在线性系统的状态空间表示基础上建立状态方程,卡尔曼滤波最具代表性。20世纪80年代以后:先进控制理论(鲁棒控制、智能控制、集成控制)具有代表性的有离散事件动态系统和混杂系统。此外,20世纪50年代开始的机器人也比较有代表性,后来出现了服务机器人,特别是最近的自主智能系统,如无人机、无人驾驶等。

以上从三条主线纵观了智能的情况和背景,另一方面,换个角度,从计算机科学和类脑智能的发展角度来看AI,如图2所示。

AI从20世纪50年代开始经历了三次浪潮。第一次浪潮是从1956年开始,其核心是符号主义,用机器证明的办法去证明和推理一些知识,建立了逻辑定理证明、专家系统、知识库等。但专家的经验规则是有限的、确定的,难以进行知识的更新。所以在这个阶段,人们原来期望的借助AI可以解决很多问题,实际上没有得到解决,AI走向低潮。第二次浪潮是20世纪80年代,受到算法复杂性理论、硬件支撑系统、数据库管理系统等方面的推动,以神经网络为代表的连接主义再次受到学者们的广泛关注,提出了多层感知机、反向传播(BP)网络等,成功解决复杂的非线性分类和回归问题,再次引起了AI的热潮。但当时机器的计算能力还是很有限,缺乏强力计算设备,同时缺少类似于人类社会这样开放式的学习环境,无法提供神经网络训练所需的大量数据样本,导致20世纪90年代神经网络再次走向低潮,AI研究者将目光转向统计学习。20世纪90年代互联网兴起,互联网是一个不确定的、不断成长的系统,包括云计算和大数据的出现,提供了一套更加有效地对数据获取、处理的机制和平台。这样一来,再次刺激了神经网络的复苏,出现了以深度学习为代表的第三次浪潮。2006年,辛顿(G. Hinton)提出神经网络深度学习算法,使得至少具有7层的神经网络的训练成为可能[4],由于能够比较好地模拟人脑神经元多层深度传递的过程,在解决一些复杂问题时有着突破性的表现。与此同时,类脑智能研究也逐步引起学术界和工业界的关注,其核心是受脑启发构建神经拟态架构和处理器,包括IBM TrueNorth等硬件方面模拟人的神经元芯片和深度学习芯片,如Google TPU、中国科学院的寒武纪系列等。

图2 计算机科学、AI、类脑智能的演进过程

三、智能的驱动与发展关系

神经科学、脑科学与认知科学所揭示的有关脑结构与功能机制为构建智能计算模型提供了重要的启发。本节将在上述发展脉络分析的基础上,从智能的起源开始追溯,分别从智能驱动的专题版块进行阐述,包括:逻辑模型及系统、神经元及网络模型、视觉神经分层机制、脉冲神经网络模型、学习与记忆机制、语言模型、进化与强化,综合分析AI的发展和演进过程,设计了智能版块“五线谱”,其中5条线分别为5个不同的领域,7种不同颜色分别表示7个智能专题,如图3所示。以下将从7个基本智能领域探讨AI的重要发展历程。

(一)逻辑模型及系统

人类神经系统具有逻辑思维的潜力,可以通过学习和训练,逐渐形成具体的逻辑思考能力。以人的逻辑思维和推演过程为智能驱动,经历了20世纪50至70年代初的逻辑推理与定理证明、之后发展到20世纪80年代出现大量的专家库和知识库、到1998年出现语义网、2012年谷歌提出知识图谱等。可以看出,在这一层面AI领域通过模拟和学习人类的逻辑推理能力,经历了逻辑推理与定理证明、专家库、知识库、语义网、知识图谱等一些重要的历程。

(二)神经元及网络模型

人的大脑通过神经元传输信息,数量巨大的神经元构成了神经网络。以神经元及网络模型[5]为智能驱动,20世纪50年代出现模仿人类神经元模型的感知机[6~8];之后发展了模拟人脑信息传递与处理过程的多层感知机[9]、Hop field网络[10]、波尔兹曼机[11],这些模型在当时都引起了较大轰动;在此基础上,发展了可以通过学习获得所需要的信息处理能力的BP算法[12],用于训练多层神经网络,以解决复杂学习问题。可以看出,在这一层面AI领域基于模仿生物大脑的结构和功能构建信息处理系统,发展了感知机、多层感知机、Hopifeld网络、BP算法等一系列重要的人工神经网络理论与方法。

图3 智能版块“五线谱”

(三)神经分层机制

以神经分层机制[13]为智能驱动,探索新型的神经网络架构,具有代表性的成果有:1989年提出的模拟人脑可视皮层信息分层处理机制的卷积神经网络[14]、2012年在百万量级的ImageNet数据集合上夺冠的受限波尔兹曼机[15]、2017年提出一种新型神经网络架构——胶囊网络等,在计算和智能模拟能力上取得重要突破。在深度学习算法芯片方面,有代表性的包括寒武纪系列芯片[16]和谷歌的张量处理器(TPU)。可以看出,在这一层面AI领域基于人脑在脑区尺度进行层次化信息处理的机制,发展了卷积神经网络、受限玻尔兹曼机、胶囊网络等一系列重要的深度学习模型和架构。

(四)脉冲神经网络模型

以脉冲神经网络模型为智能驱动,基于人脑神经元之间突触的信号传递机制与突触可塑性法则,探索新型的脉冲神经网络模型[17,18]和神经拟态架构,代表性成果有IBM TrueNorth [19]计算机架构,在并行计算中实现更高效的通信;忆阻器[20]作为一种特殊的电子元器件,具有与神经系统突触十分相似的传输特性[21],同时具有布尔逻辑运算的功能[22],已被应用于脉冲神经网络中构建多记忆突触结构[23]。可以看出,在这一层面AI领域基于更高级的生物神经传递机制的模拟,发展了脉冲神经网络和以IBM TrueNorth、忆阻器为代表的一系列神经拟态架构。

(五)学习与记忆机制

1997年提出的长短时程记忆网络(LSTMs)是模拟人脑神经系统短期记忆与长期记忆机制,以学习与记忆机制为智能驱动,探索新型的神经网络模型[24]。另一方面,神经科学家发现大脑神经系统中存在着神经元位置细胞和网格细胞,参与大脑记忆活动。受此启发,2018年提出的基于网格细胞的定位模拟系统[25] 能自动生成与大脑细胞活动非常相似的网格模式,并帮助小鼠自动找到捷径。可以看出,在这一层面AI领域基于模拟人类大脑通过学习来获取和存储知识的能力,取得了LSTMs和网格细胞定位系统等重要的成果。

(六)语言模型

以语言模型为智能驱动,探索机器的语义信息加工编码机制[26],发展了语义Web和知识图谱,将概念和实体组成具有层次的网络系统;另一方面,在大脑神经系统视觉字母识别[27]的基础上,探索基于神经网络的统计语言模型,发展了神经网络语言模型(NNLM)[28]、词嵌入[29]、基于深度神经网络的字母识别计算模型[30]等,广泛应用于各种自然语言处理问题。可以看出,在这一层面AI领域基于模拟人类大脑对语言的学习和组织能力,分别发展了语义Web、知识图谱和NNLM、词嵌入等重要成果。

(七)进化与强化

以进化与强化为智能驱动,基于模拟生物进化过程中“优胜劣汰”的自然选择机制和遗传信息的传递规律等,发展了一系列的遗传算法、进化策略、蚁群算法等进化方法,通过自然演化寻求最优解;另一方面,受控制理论[31]发展的影响,形成了动态规划和马尔科夫决策过程等最优控制方法,之后发展了Q学习、状态-动作-奖励-状态-动作(SARSA)算法、深度强化学习网络(DQN)等强化学习方法[32],通过与环境进行交互获得的奖赏以指导行为。可以看出,一方面借鉴生物进化和遗传学理论,发展了遗传算法、进化策略、蚁群算法等进化方法;另一方面,基于模拟人类与外界环境交互式学习过程,发展了动态规划、Q学习、SARSA算法、DQN等一系列重要的强化学习方法。

四、人工智能的现状与趋势

(一)人工智能的现状

AI受到各国政府的高度重视。2016年10月,美国白宫发布报告《国家人工智能研究和发展战略计划》,提出了美国优先发展AI的七大战略方向:投资研发战略、人机交互战略、社会影响战略、安全战略、开放战略、标准战略、人力资源战略,将AI上升到国家战略层面。2017年7月,我国国务院印发《新一代人工智能发展规划》,提出了面向2030年我国新一代AI发展的指导思想、战略目标、重点任务和保障措施,部署构筑我国AI发展的先发优势,加快建设创新型国家和世界科技强国。2017年2月,中国工程院院刊《信息与电子工程前沿(英文)》出版了“AI 2.0”专题,对“AI 2.0”中所涉及的大数据智能、群体智能、跨媒体智能、混合增强智能和自主智能等进行了深度阐述[33~39]。

图4 AI发展的特点

(二)人工智能的发展趋势

首先是对AI发展特点的认知,如图4所示。传统的AI注重从感知到认知的过程,实现从逻辑到计算的不断提升。当前的AI由弱到强的智能,是从闭环到开环、从确定到不确定的系统。未来的AI将是从理性到感性,从有限到无限,从专门到综合。这样的过程更具有挑战性,所以AI发展之路还很漫长,现在只是始于足下,深入探索传统AI,并为向当前AI和未来AI迈进奠定基础。

目前,AI的基础理论和技术已取得了一系列重要的研究成果。未来计算机科学、AI、类脑智能、人脑智能的研究还有许多亟待解决的问题与挑战。

1. 互联网的计算理论

当前互联网基础设施的不断完善和提升,应用创新和商业模式创新层出不穷,在智能交通、互联网金融、智慧医疗等领域已经取得了一些初步应用成果。但是互联网计算理论的研究有待加强。早期的单机系统具有坚实的理论基础,但互联网是一个开放的不确定系统,以智能应用为垂直场景,在确定有效前提或边界的条件下,建立互联网的计算理论将具有挑战性。

2. AI的演算和计算的融合

尽管深度神经网络在语音识别和图像识别等任务中显示出很大的成功,现有的深度学习结构还远远不及生物神经网络结构复杂,目前的神经网络模型大都侧重于数据的计算层面,而事实上一个高级的智能机器应该具有环境感知与逻辑推理的能力。将AI的演算和计算进行融合,反映人脑的交互迭代过程,这样的交互和融合将是下一步的主要研究方向。

3. 类脑智能的模型和机理

在构建类脑认知模型中,目前脉冲神经网络的神经元以电脉冲的形式对信息进行编码,更接近真实神经元对信息的编码方式,能够很好地编码时间信息。但由于脉冲训练缺乏高效的学习方法而且需要耗费大量算力,在性能上与深度网络等模型还存在一定差距。未来,两类模型仍需要不断从脑科学中吸取营养并不断融合,发展性能更好、效能更高的新一代神经网络模型。

4. AI对神经科学的推动作用

正如上文所述,目前AI得以在许多方面达到人类水平,与来自神经科学的启发是密不可分的。心理学家和神经科学家发现与揭示的关于大脑智力的相关机制,激发了AI研究人员的兴趣,并提供了初步线索。另一方面,通过AI领域定量地形式化研究,对神经科学智能行为研究的必要性和充分性提供洞察,例如,依据机器学习的重要进展提出假说:人类大脑可能是由一系列互相影响的成本函数支撑的混杂优化系统[40],将为神经科学的实证研究提供新的线索。因此,未来神经科学与AI之间将有更好的合作并带来良性循环。

5. 反馈计算的算法设计与控制系统的能级

计算机科学基础的理论有:可计算性理论、计算复杂性理论和算法等,定义了机器不能算和能算、计算的时(空)开销层次、算法的设计优化,建立了计算能行和度量开销的计算理论。还有形式语言自动机理论,定义了有限自动机、上下文无关自动机、上下文有关自动机、图灵机四个能级,建立了机器、语言和文法的能级等价及层次关系,对计算机科学有着深刻的影响,特别是对程序设计语言的设计和编译方法等方面具有重要的作用。而控制科学的优势是反馈机制,在迭代过程中不断修正迭代梯度等,快速接近目标。但在做控制器设计时缺少相应的能级理论,反过来,在计算机的迭代计算过程中,从起点到终点,给定迭代梯度,没有中间过程的反馈修正。因此,计算机科学和控制科学之间不断地互相借鉴,创造出更智能、更有效的理论方法,值得下一步探索研究。

五、结语

本文围绕AI的发展和主要研究进展,深入探讨了与AI密切相关的计算机科学、控制科学、类脑智能、人脑智能等学科之间的交融与历史演进;结合脑神经科学对AI的潜在启发,从逻辑模型及系统、神经元网络及模型、视觉神经分层机制等角度阐述AI的历史演进;最后,分析了AI的发展现状,并指出其特点和未来发展趋势。可以说,以神经科学、脑科学与认知科学所揭示的有关脑结构与功能机制的研究成果为构建智能计算模型提供了重要的启发,为智能之源;而以计算和控制的数学物理等形式化、模型化开展分析与优化,为智能之工,概括起来即为AI。

猜你喜欢
计算机科学人脑神经网络
基于递归模糊神经网络的风电平滑控制策略
人脑拥有独特的纹路
吉林省一流转业建设点
——通化师范学院计算机科学与技术专业简介
让人脑洞大开的绘画方式
神经网络抑制无线通信干扰探究
探讨计算机科学与技术跨越式发展
新英镑
基于神经网络的中小学生情感分析
让人脑洞大开的建筑
浅谈计算机科学与技术的现代化运用