浅谈自然辩证法视角下人工神经网络发展历程

窦嘉铭

摘 要：阐述了人工神经网络理论发展的历史脉络，利用马克思主义哲学的基本原理和自然辩证法的观点分析了人工神经网络的发展历程，为人工神经网络理论发展提供思路。

关键词： 神经网络; 自然辩证法; 人工智能; 发展历程; 系统论

中图分类号： TP183        文献标识码：A

文章编号：1009-3044（2021）01-0202-03

Abstract：Expounds the related theoretical technology and development course of artificial neural network. Analyzes the artificial neural network theory by using the basic principles of Marxist philosophy and the dialectics of nature to provide ideas for the future development of artificial neural network theory.

Key words：artificial neural network; dialectics of nature; artificial intelligence; development course; system theory

人工神经网络（ANN，Artificial Neural Network）是在现代生物学的基础上，受生物的大脑启发，基于对生物大脑的结构和功能的模仿，采用数学方法对其进行研究而构成的一种信息处理系统[1]。人工神经网络的发展与演化是所有从事智能控制领域研究的学者们关心的一个重要问题。因此，本文阐述了人工神经网络理论的发展历程，探讨了其与自然辩证法的相互关联，为学科的未来发展提供参考。

1 人工神经网络的发展历程

人工神经网络理论的发展历程是十分艰辛的，也经历过各种各样的机会与困难，出现过各种各样的错误与局限，可以分解为三次高潮时期和两次低谷时期。

1.1人工神经网络启蒙阶段、第一次高潮期（1890年～1969年）

1890年，美国心理学家和哲学家William.James发表了专著《心理学原理》，这本书中探讨了有关人脑的结构和功能的话题。1943年，数学家Walter.Pitts和心理学家Warren. McCulloch一同提出了描述人脑神经细胞动作的数学模型，即M-P模型（是历史上第一个人工神经网络模型）。该数学模型，建立了人工神经网络“大厦”的“地基”，开创了神经科学理论研究的时代，标志着神经网络研究诞生。1949年，加拿大心理学家Donald Olding Hebb实现了对生物大脑神经细胞之间相互影响的数学描述，从心理学的角度提出了赫布律（一种学习法则）。20世纪50年代，人们开始把人工神经网络作为人工智能的网络系统来研究。1957年，Frank Rosenblatt提出了一种“感知器”（perceptron）模型，是世界上首个具有自组织自学习能力的数学模型，掀起了人工神经网络的第一次热潮。

1.2 1969年～1982年：第一次低潮期

1969年，人工智能领域顶级专家Marvin Minsky和 Seymour Papert[2]在《感知器》一书中强烈地批判了感知器模型，认为神经网絡没有科学价值。主要表现为：首先，神经网络只能用于线性问题的求解，不能解决非线性的问题;其次，当时的计算机计算能力低下而无法支持神经网络模型所需的计算量。

因此受当时神经网络理论研究水平的限制以及冯·诺伊曼式计算机发展的冲击等因素的影响。在从20世纪60年代后期的若干年里，对人工神经网络的研究一直处于低潮时期，神经网络的研究陷入低谷。在如此艰难的情况下，仍然有少量研究人员在继续从事人工神经网络的研究，提出新的模型和理论。这为人工神经网络研究的新发展奠定了理论基础。比如Teuvo Kohonen在1972年提出了著名的自组织映射神经网络（SOM）模型。

1.3 1982年～1986年：第二次高潮期

1982年，美国物理学家Hopfield他将物理中的动力学内容引入神经网络，提出了Hopfield神经网络模型，该模型通过引入能量函数，实现了问题优化求解。1986年7月，Hinton和 David Rumelhart[3]合作在《自然》发表论文，系统地提出了应用反向传播算法，大幅减少了运算量。同时，通过在神经网络里增加一个隐含层（hidden layer），解决了感知器无法解决的异或门难题，这就是著名的BP神经网络模型。BP神经网络模型是现代神经网络中作为预测应用最为广泛的人工神经网络模型。认知科学的“联结主义” 在20世纪80年代诞生，认为正是大脑神经元的变化形成了人类的一切认知活动。这一认知提升了人工神经网络的广度和深度。在计算能力方面，冯·诺伊曼式计算机的发展也遇到瓶颈（未能使神经网络模拟视觉听觉），迫使研究人员寻求新的途径，这也带动了研究人员对人工神经网络理论新的研究热潮。

1.4 1986年～20世纪初：第二次低潮期

然而好景不长，20世纪90年代中期，Vapnik等人发明了SVM（Support Vector Machines，支持向量机）。SVM一经发明，就在若干个方面都体现出了比人工神经网络的优势。比如，SVM不需要调整运算的参数，并且获得的是全局最优解，效率也比神经网络要高不少，因此，逐渐取代神经网络成为主流的运算模型。此外，人工神经网络的衰落，还有一个重要原因就是，随着神经网络的层数增加，最终的输出结果对于初始几层的参数影响微乎其微，整个网络的训练过程无法保证收敛[4]。 即通过人工神经网络求得的方程的解不一定是最优的解，有可能陷入了某个范围内的最优解，而不是整个空间的最优解。在此之后，人工智能界只有少数学者在坚持研究神经网络。

1.5 2006年—至今：第三次高潮期

然而，2000年以后，伴随着其他学科的发展，尤其是计算机学科、脑神经学科、大数据学科的发展，使得人工神经网络的技术瓶颈最终被打破：

1） 计算机硬件的发展：计算机GPU硬件的快速更新，使得人工神经网络的运算速度逐渐加快，计算时间逐渐减少，为神经网络的实现提供了硬件上的支撑。

2） 生物医学领域脑神经科学的发展：脑神经科学表明，人类的DNA并不提供各种用途的算法，而只提供基本的普适的学习机制[5]。人的思维功能主要是依赖于后天的学习，因此一个人后天努力的程度才决定了他的思想和能力。

3） 互联网技术和大数据技术飞跃式发展：通过互联网，使得充足的数据被收集起来，并通过人工神经网络进行处理。此外數据挖掘、数据清洗等数据科学也为人工神经网络提供了数据保障。

因此，在各个学科的共同推动下，2006年，Hinton等人[5]在《科学（Science）》及其相关的期刊上发表论文，第一次提出了“深度信念网络”这一概念。这种神经网络与传统神经网络使用不同的训练方式，区别在pre-training（预训练）的过程。通过增加预训练，可以使神经网络中的权值找到一个接近最优解的值，之后再使用“微调”的方法来优化整个网络的训练过程。通过“预训练和微调”两种技术的运用，使得神经网络的训练时间大幅度减少。Hinton等人给这种神经网络学习的方法起了一个新名——“深度学习”。

多学科的交叉发展，又一次掀起了使得神经网络研究的高潮，迄今为止，研究者已经提出了五十多种有效的人工神经网络模型，广泛应用于模式识别与图像处理、控制与优化、金融预测与管理等领域[6]。自此，以深度学习为代表的人工神经网展进入新一轮的发展浪潮。

2 辩证法与人工神经网络的发展

辩证法是随着科学技术的进步将不断丰富和发展的，而科学技术的发展也遵循着辩证法的规律。人工神经网络理论的发展历程也必然闪耀着辩证法的光辉。

2.1 人工神经网络的发展过程遵循了马克思主义认识论

马克思主义认为，人类认识问题的方法不外乎感性认识和理性认识，即从实践到认识，又从认识到实践，遵循着“实践—认识—再实践—再认识”的认识规律。人类对人工神经网络和生物神经网络的认识过程也是对辩证唯物主义认识论的充分说明。

人工神经网络技术的产生，正是源于各学科科学家长期的实践和探索，而人们对神经网络技术的认识，又随着人类实践的深入而发展。各个领域科学家通过大量的实践活动（比如对人脑的研究），产生了初级的人工神经网络。但发展的过程中，难免会出现错误。就如在神经网络发展第一阶段的高潮时期，人们对于Frank Rosenblatt发明的感知器网络存在过高的估计，导致该网络在当时存在一定的局限性。不过随着人们对初级的人工神经网络技术不足之处的认识深入，产生出了新的、速度更快、范围更广的神经网络（Frank Rosenblatt后来提出了新的BP神经网络）。这一过程体现了辩证的思维方式，从实体的认知发展到系统的认知。

人类认识神经网络这一过程，是人们对生物神经网络到人工神经网络的过程，是对生物神经网络的认识不断深化的过程，反映了人类对于生物大脑的认识加深。在人类发展的历史上，像神经网络这种借鉴生物系统特别是人类生理系统的控制方法，正是使用系统的、数学的方法，从人类外部模拟人类本身的智能行为，为描述人的心理活动、思维活动和身体结构提供了新的途径，并将有助于人类对自身的认识提高到一个新阶段，这一过程也体现了认识与实践、感性认识与理性认识、相对真理与绝对真理等多方面的对立统一关系，说明了主体对客体的反映是一个在实践的基础上不断深化、充满矛盾的辩证发展过程[7]。

人工神经网络理论的研究与其他大多数科学研究一样，都是以问题为导向的，只有理论和现实存在各种各样的新问题，才能迫使研究人员不断进行实践，不断研究，推动该学科的不断进步，这也体现着马克思主义理论与实践的辩证统一的认识论。

2.2 人工神经网络的发展过程离不开多学科融合的研究方法

科学技术内部的交叉融合是科学技术发展的重要推力。如果说19世纪的科学是以学科不断分化为主要特征，那么20世纪以来各学科体系在继续分化的同时也在向高度综合化[8]、整体化、社会化以及相互渗透、融合的方向发展。人工神经网络技术的发展当然也不是孤立的，它始终与其他学科的发展和密切相关。正如本文的第一部分所写，神经网络第三次高潮时期，正是因为其他学科，如计算机科学、脑神经科学、认知科学的不断发展，才使得人工神经网络理论走出第二次低谷，才有了现在的人工智能的高潮时期，这也正反映了辩证法联系与发展的思想。

神经网络技术涉及的学科范围之广，十分罕见，它涉及：数学、脑神经科学、控制科学、计算机科学、心理学、哲学、信息科学、数据科学、认知科学、生物学、物理学、逻辑学、语言学、微电子学等等。人工神经网络技术正是在多个学科的基础上发展起来，相反，随着神经网络自身研究的深入也必然会带动其他学科实现跨越。因此，本文认为，人工神经网络理论在与其他学科相互渗透、交叉、综合中实现发展，正是反映了当今时代新工科技术的一大特点。

以人工神经网络与哲学的关系为例：当人工神经网络的研究者构建人工神经网络系统需要知识来源时，自然会倾向于从科学哲学这样已经相对成熟的学科中寻求有用的概念、理论和方法[9];反过来，人工神经网络形成和发展的规律及方法论，进而形成的新概念、新方法，反过来又为科学哲学工作者所利用和借鉴，并给科学哲学研究带来新的机遇。

2.3 人工神经网络的发展过程体现了辩证法否定之否定规律

否定之否定规律是辩证法三大规律之一，最早是由德国古典哲学家黑格尔在《逻辑学》一书中提出来的，恩格斯将它总结和提炼出来，它揭示了事物发展的方向和道路。

回顾人工神经网络技术的发展历程，是符合否定之否定规律的。即使，在现阶段人工神经网络的研究正如火如荼地开展，但在人工神经网络历史上，或存在低潮期，或存在高潮期，也会出现这样的或那样的问题（比如经历过计算机计算能力不足、脑神经理论发展不足等），甚至会出现停滞不前甚至谬误。然而人工神经网络的发展经历过低潮期之后，并不一成不变，并不是回到原点，而是螺旋式上升、曲折式前进，也是一种由内部矛盾所引起的自我否定，再通过自我否定实现内部矛盾的转化，最终解决矛盾的过程。

对于人工神经网络理论，本文认为，应该回顾人工神经网络研究的历史，并对其进行科学的解读。要用正确的科学的、系统的研究方法，应对不断出现的新问题，不断发现错误，改正错误，不断完善人工神经网络理论。

2.4 人工神经网络理论体现了数学方法及其精准认识事物的作用

恩格斯指出，“数学是辩证的辅助手段和表达方式”[10]。数学模型就是对于一个对象为了特定目的，根据事物特有的内在规律，做出一些必要的简化条件，得到的数学结构，而这种数学结构可以是数学公式、计算机算法、表格等等多种表现形式。

人工神经网络技术的发展离不开数学。人工神经网络的计算是一种低精度的并行计算，是一种非线性计算方式，这种计算方式正是传统的计算机无法实现的。人工神经网络正是以工程技术的手段，利用数学模型来模拟生物大脑神经系统的结构和功能，比如学习、分类等功能。神经网络系统一个高度复杂的非线性动力学系统，其不但具有一般非线性系统的共性，更重要的是它还具有自己的特点[11]，比如高维性、神经元之间的广泛互连性以及自适应性或自组织性等。

2.5 人工神经网络技术的发展体现了系统论和系统科学方法

系统思维是把事物当作系统来进行处理的一种思维方法。一些概念如系统、反馈、控制、输入输出等等从自然界中概括出来。人工神经网络理论作为控制理论的重要组成部分，其本身涉及的系统越来越复杂，出现了进化、自组织、自学习等等新概念，这些概念对人工神经网络这一复杂系统更深刻的描述。当代新工程技术的发展离不开系统论的指导，而人工神经网络技术，作为当代新工程技术的典型代表，必然也与系统论和系统科学方法联系紧密。

人工神经网络等工程技术系统是人工与自然结合的复合系统，是一种复杂的系统，也是一种非线性系统，是人工智能这一复杂巨系统的子系统。神经网络与多学科的互联互通，正反映了辩证法联系的思想，也是神经网络这一复杂的系统工程的体现。

系统化的研究，是对人工神经网络理论研究的一个重要的方法，甚至在整个人工智能学术体系中都举足轻重，一般包括系统分析和系统融合。这种研究方法要求我们要从全局和整体考虑问题，不可只见树木、不见森林;注意事物之间的复杂关系，不可孤立地看待问题[7]。正如在对人工神经网络理论的研究中，不仅要对神经网络中每一个神经元、突触、信号等局部细节进行研究，还要对神经元整体的连接方式、结构、功能等等宏观理论进行研究，不可满足于就事论事。还要对神经网络产生、演化、发展过程进行研究，对其未来发展进行预测。当然，从系统论的角度看，人工神经网络理论也有一定缺陷，比如，在模拟人脑的过程中忽视了人是一个整体，而大脑只是人这个整体中的一个部分[12]。近年来的脑科学研究也表明，大腦皮层的神经系统与身体其他部分也进行着交互的作用。因此，在文献[12]提出了人类智能的首个层次应该是个人单一系统，即智能是由人整个身体所呈现的结果。从这个方面来说，人工神经网络作为人工智能的子系统，也确实有很多不完善的地方，也需要优化和改进。

3 结论

本文首先介绍了当下火热的人工神经网络理论及其发展历程，其次利用马克思主义的基本原理和自然辩证法的内容分析了该理论蕴含的哲学思想，为人工智能在哲学领域的发展提供参考。人工神经网络理论具有高度的复杂性，这就要求广大科研人员在未来的人工神经网络探索过程中，要充分理解自然辩证法的理论并加以实践。要树立系统思维，充分理解联系的观点，把握人工神经网络学科及其相关学科的发展动向，准确分析神经网络发展的内在逻辑，抓住其主要矛盾与矛盾的主要方面，以系统思维认识和实践人工神经网络的相关理论，更好的实现社会主义科学技术的大发展、大繁荣。

参考文献：

[1] 马锐.人工神经网络原理[M].北京：机械工业出版社，2010.

[2] MINSKY M， PAPERT S. Perceptrons： an introduction to computational geometry[M].Cambridge： The MIT Press， 1969.

[3] Rumelhart D E，Hinton G E，Williams R J.Learning representations by back-propagating errors[J].Nature，1986，323（6088）：533-536.

[4] 顾险峰.人工智能的历史回顾和发展现状[J].自然杂志，2016，38（3）：157-166.

[5] Hinton G E，Osindero S，Teh Y W.A fast learning algorithm for deep belief nets[J].Neural Computation，2006，18（7）：1527-1554.

[6] 陈庆霞.人工智能研究纲领的基本问题和发展趋势[D].南京：南京航空航天大学，2009.

[7] 王逢鑫.人民日报大家手笔：当代学术研究三法[EB/OL]. http：//opinion.people.com.cn/n1/2016/0111/c1003-28037329.html

[8] 陈慧萍，何坤金.人工神经网络发展的若干哲学思考[J].河海大学常州分校学报，2003（1）：38-42.

[9] 李雨欣.人工神经网络技术研究的哲学思考[D].武汉：武汉科技大学，2007.

[10]  韦建桦.马克思恩格斯文集第九卷（反杜林论 自然辩证法） [M]. 北京：人民出版社，2009.

[11] 巫影，陈定方，唐小兵，等.神经网络综述[J].科技进步与对策，2002，19（6）：133-134.

[12] 陈俊波，高杨帆.系统论视角下的人工智能与人类智能[J].自然辩证法研究，2019，35（9）：99-104.

【通联编辑：唐一东】