M-P模型的背景探究

李源浩

摘  要： M-P模型是人类历史上第一个神经元模型，源自1943年麦卡洛克和皮茨所发表的研究论文。这篇论文主要的基础是当时的神经元生理知识、数理逻辑分析方法以及图灵等人的研究成果。上述论文及相关内容构成了M-P模型的背景，通过对其进行梳理和分析，可了解麦卡洛克和皮茨的研究思路，认识M-P模型的历史地位、作用以及更多技术细节。

关键词： M-P模型; 神经元; 神经网络

中图分类号：TP18          文献标识码：A     文章编号：1006-8228（2022）02-08-04

Study on the background of M-P model

Li Yuanhao

（School of Computer & Communication Engineering， University of Science and Technology Beijing， Beijing 100084， China）

Abstract： M-P model is the first neuron model originated from the research paper of the nervous activity made by McCulloch and Pitts in 1943. The basis of the research paper is mainly the physiological knowledge of neurons， analysis method of mathematical logic and the research results of Turing et al. at that time， which constitutes the background of M-P model. By analyzing the research paper and the background， the ideas and methods used by McCulloch and Pitts in the research can be captured to realize the historical role， influence and more technical details of M-P model.

Key words： M-P model; neuron; neural network

0 引言

M-P模型，又称为麦卡洛克-皮茨模型，是1943年美国科学家麦卡洛克（McCulloch）和皮茨（Pitts）首先提出的一种人工神经元模型。

图1的M-P模型中，x（i=1，2，…，n）表示来自与当前神经元相连的其他神经元传递的输入信号，w代表从神经元j到神经元[i]的连接强度或权值，θ为神经元的激活阈值或偏置，称作激活函数或转移函数。神经元的输出y可以表示如下：

麦卡洛克和皮茨根据神经元传递中的“0，1律”和神经传递中信号不但有不同的强度，而且有兴奋和抑制两种情况，将神经元看成是一个有n个输入和一个输出的元件，该模型从逻辑功能元件的角度来描述神经元，为神经网络的理论研究开辟了道路。

作为人类首个神经元模型，M-P模型具有特殊的历史地位，但由于时间久远，其背景容易被人们忽视。M-P模型的背景探究，就是对麦卡洛克和皮茨发表于1943年的论文进行梳理和分析。

1 论述

1943年，麦卡洛克和皮茨在《数理生物学通报》（Bulletin of Mathematical Biology）刊物上，发表了一篇名为《神经活动中所蕴含思想的逻辑演算》（A logical calculus of the ideas immanent in nervous activity）的論文[1]，首次提出了M-P模型。

1.1 论文的相关背景

《神经活动中所蕴含思想的逻辑演算》（以下简称《神经》）引用的文献只有以下三份。

⑴ 卡纳普（Carnap）的《语言的逻辑句法》（The Logical Syntax of Language）。

⑵ 希尔伯特（Hilbert）和阿克曼（Ackermann）的《数理辑逻基础》（Gtundz ge der Theoretischen Logik）。

⑶ 罗素（Russell）和怀特海的（Whitehead）的《数学原理》（Principa Mathematica）。

《神经》发表的时期，正是数理逻辑发展日臻成熟的时期，涌现出了一大批像罗素、怀特海这样的代表人物。他们的著作和思想，广泛而深刻地影响着同时代的科学家。利用数理逻辑在不同的领域开展研究，在当时屡见不鲜，一些科学家更是取得了开创性的成果。1937年，香农完成了他的硕士论文《继电器和开关电路的符号分析》[2]。香农在论文中提出，任何电路都可以用一组表达式表示，表达式的演算方法类似于符号逻辑中命题演算。1936年，图灵完成了他的硕士论文《论可计算数及其在判定性问题上的应用》[3]，在理论上构造出了图灵机，证明了图灵机可以完成人类在计算时所能做到的一切工作。任何可以计算的，图灵机都可以计算。图灵还设想了可以模仿其他任何图灵机的通用图灵机。上述研究成果自然也影响着麦卡洛克和皮茨，并构成了《神经》的研究基础。

1.2 论文的内容

《神经》共计17页，分为摘要、正文和文献三个部分。

摘要部分，麦卡洛克和皮茨直接写道，由于神经活动具有“全”或“无”的特性，神经系统的事件及内部关系可以用命题逻辑来处理。“全”或“无”是指神经元兴奋或抑制这两种状态。神经元的状态也能与逻辑中的真、假对应。更进一步，基于神经元相互联结组成的神经网络，就可以用数理逻辑来表示和演算。其文内容分为四个部分。第一部分是引言，麦卡洛克和皮茨介绍了关于神经元的基本认识、前期工作和遇到的问题。

1875年意大利科学家高尔基（Golgi）采用染色体方法对单个神经细胞标识，标志着神经生理学的诞生。1889年西班牙科学家卡哈尔（Cajal）从形态上和结构上对神经细胞或生物神经元进行了详细的研究，创立了神经元学说。自那之后，关于神经元的生物学特性和相关的电学性质逐渐被人们所认识。但是在二十世纪四十年代，人们对神经元的认识还只是停留在动物实验的基础上。虽然发现了神经元存在兴奋和抑制的不同电位差，但对神经元的内在机理并不完全掌握。在《神精》正文的引言部分中，麦卡洛克和皮茨坦言某些认识并没有得到科学证实，还有某些认识只是猜想和假设，例如下文提到的“绝对抑制”。

M-P模型被诟病的最大问题就是神经元的输入权重不能够变化，也就是不具备学习能力。在M-P模型之后出现的其他具有里程碑意义的神经网络模型是权重可以变化的，也就是能够学习。缺乏学习能力一直是M-P模型给予人的印象。然而事实上，麦卡洛克和皮茨在论文中阐述了神经元的学习功能。麦卡洛克和皮茨认为神经元的学习，主要依靠神经元阈值的调整和联结的改变。换句话说，在麦卡洛克和皮茨看来，M-P模型的神经元是可以学习的，只是不基于变化的权重，而是基于变化的阈值和联结。

“绝对抑制”则是另一个后来被证明错误的观点。绝对抑制是指抑制突触的活动，在任何时间都可以绝对抑制神经元的兴奋。换句话说，就是对神经元的兴奋拥有“一票否决权”。现在的M-P模型中，已经完全看不到绝对抑制的影子了。如果把绝对抑制写进今天的M-P模型，那么它的数学表达式⑵应该被改写成：

这是《神经》论文关于神经元的描述，与现在M-P模型最显著的区别。需要注意的是，在接下来有关《神经》论文的介绍中，会经常出现绝对抑制。

在《神经》引言部分的结尾处，麦卡洛克和皮茨谈到了神经网络的复杂性给研究工作带来的困难。由神经元相互联结构成的网状神经系统中，通常会有许多的联结回路，这导致了脉冲传导的循环，使问题变得复杂。麦卡洛克和皮茨把复杂的神经网络分成无回路和有回路的神经网络，并在正文的第二部分和第三部分作分别研究。正文第二部分的研究开始前，麦卡洛克和皮茨首先给出了以下假定。

⑴ 神经元的活动是一个“全或无”的过程。

⑵ 只有一定数量的兴奋突触刺激才可使神经元兴奋。

⑶ 神经系统中的延迟只考虑突触延迟。

⑷ 任何抑制突触的活动都会绝对地避免神经元兴奋。

⑸ 神经网络的结构不会随着时间而改变。

在这些假设的基础上，麦卡洛克和皮茨定义了各种逻辑符号与神经活动的对应关系以及一种时态命题表达式，并对一些符号的使用做了必要说明。

麦卡洛克和皮茨首先推导出了第1个定理—任何网络都可以表示为下面的时态命题表达式。

N（z）表示神经元在z时的活动，这种活动要么是1，对应兴奋;要么是0，对应抑制。等价符号后面，可以拆分成两个部分。前一部分表示抑制突触的活动，注意“否”的逻辑符号使用的是“～”。后一部分表示兴奋突触的活动，其中[ki]是指合计超过阈值的兴奋突触数量。这两个部分实际上就是公式⑶中y=1时的两个条件判断，既兴奋输入的累加超过阈值且抑制性输入为0。当然，这是指N（z）等于1时，如果是其他情况，则其为0。反之亦然，每个时态命题表达式也可以用神经网络表示，这就是第二个定理。在定理1、2之上，麦卡洛克和皮茨又研究了一些较特殊的情况，例如相对抑制与绝对抑制是否等价、联结的改变等，并由此演算推导出了另外五个定理。

注意图2（c）中，第一、二個神经元与第三个神经元分别只有一个联结点。由前述假定中所列第二条可知，单独一个联结是不能使第三个神经元兴奋的，需要第一和第二个神经元同时输出状态是1。

这些特定联结的神经元通过进一步的组合，又可以构成更复杂的、实现更多功能的神经网络，相应的逻辑表达式也可以演算得到。论文中举了这样一个例子：如果一个冷的物体，在一段时间内贴在皮肤表面，随后又被移开，皮肤会感觉到热;但如果冷的物体过久地贴在皮肤表面，那么即使移开后，皮肤也不会有热的感觉了。现在假设有二个感知器，分别用于感知热和冷，并用N和N代表。另外二个神经元的活动N和N分别对应了对热和冷的神经感觉。对应上例的神经元联结关系如图3所示。

第三部分分析了“有回路的神经网络”。通过递归函数和更复杂的逻辑演算，同样证明了“有回路的神经网络”也能够与相应的逻辑表达式对应。麦卡洛克和皮茨还特别指出了，如果给神经网络装配上纸带或是扫描设备的话，它可以像图灵机一样工作。图灵机能够计算的数，神经网络也可以计算。麦卡洛克和皮茨认为他们的研究从心理学的角度，再次证明了图灵等人的学说。

第四部分是结论，麦卡洛克和皮茨基于对神经网络的研究，尝试去解释人类认知方面存在的缺陷以及各种精神疾病可能的原因。麦卡洛克和皮茨还讨论了研究成果对相关学科的影响，认为论文中的神经网络学说对心理学、神经生物学、神经医学等都起到了推动作用。

麦卡洛克和皮茨指出，适当的神经联结和神经元阈值，使大脑内神经元的活动成为被感知的外部世界一切初始命题的有限的逻辑组合。

2 结论

通过M-P模型的背景探究，可以得出下面的结论和启示。

麦卡洛克和皮茨的研究思路是，依据神经元“全”或“无”的特点，将其等同于电路中的逻辑元件，并构建出能够用数理逻辑表达和演算的神经网络，并在此基础上，解释和模拟人类的神经活动。

麦卡洛克和皮茨利用了当时已经被证明是功能强大的并广泛应用于各个研究领域的数理逻辑这一工具，借鉴了图灵等人在信息技术领域的研究成果，并创造性地将它们应用到神经生理学的研究中。

麦卡洛克和皮茨的研究工作，开启了神经网络研究的先河，为之后的神经网络模型发展打下了基础。他们的研究工作，也引发了那个时代的公众对神经科学的热情，影响了许多不同领域的科学家，为后续的人工智能发展创造了环境。论文中涉及到的研究方法和思路，对后来的计算神经科学、信息论、有限状态机等都起到了推动作用。

《神经》论文涉及了多个学科的研究领域，也体现出了跨学科交流与融合的重要性。正如前苏联科学家阿利特舒列尔（Altschuller），在1946年通过大量研究分析后得出的结论：解决本领域技术难题的最有效的原理与方法，往往来自于其他领域的科学知识[4]。麦卡洛克和皮茨借鉴、吸收了那个时代前沿的学术成果，应用到神经生物学领域中，最终促成了创新性的突破。神经科学家麦卡洛克和数学家皮茨之间的合作也再次证明了学术合作的重要性。

通过对M-P模型的背景探究，也了解到了更多M-P模型的细节，如学习能力、相对抑制、神经联结等，从而使对M-P模型的认识更加深刻、更加全面。M-P模型最大的特点是简单，但这种简单也是相对的，正如下一代神经网络模型——感知机的提出者罗森布拉特（Rosenblatt）所说：麦卡洛克和皮茨留下的最重要的思想是，神经元是简单的，然而，适当联结并嵌入神经系统后却能获得强大的计算能力[5]。

M-P模型自1943年提出之后，至今已经出现了几百种不同的神经元模型[6]，而影响最大的仍然是M-P模型。这也说明M-P模型较准确地反应了神經元的本质特征。

参考文献（References）：

[1] Warren S. McCulloch， Walter Pitts. A logical calculus of the

ideas immanent in nervous activity[J].Bulletin of Mathematical Biology，1990.52：99-115

[2] Claude Shannon， A Symbolic Analysis of Relay and

Switching Circuits[J]. Transactions of the American Institute of Electrical Engineers，57（1938）

[3] A. M. Turing. On Computable Numbers， With an

Application to the Entscheidungsproblem[J].Proceedings of the London Mathematical Society， Volume s2-42， Issue 1，1937：230-265

[4] 周苏，张丽娜，陈敏玲.创新思维与TRIZ创新方法（第二版）[M].

清华大学出版社，2018.7

[5] 阮晓钢.神经计算科学-在细胞的水平上模拟脑功能[M].

国防工业出版社，2006：233

[6] 王万良.人工智能通识教程[M].清华大学出版社，2020