教育心理学研究对人工智能神经网络设计的启示——以学习方式分类学(ICAP)研究为例

熊 媛，王铭军，盛群力

(1.天津大学 教育学院，天津 300350；2.浙江商业职业技术学院 国际交流学院，浙江 杭州 310053；3.丽水学院 工学院，浙江 丽水 323000；4.浙江大学 教育学院，浙江 杭州 310028)

教育心理学研究的主要目的是了解人是如何学习的，人工智能神经网络研究的核心在于探究机器是如何学习的。人工智能神经网络的目标是使机器具有类似人(甚至超越人)的学习与思考能力。由此可见，对人的教育与对“机器”的教育存在很多共性，事实上，对“机器”的教育模拟了许多对人的教育方法和过程。教育心理学经过一个多世纪的发展，有诸多成熟的方法和理论。因此，将教育心理学的理论和方法从理论上、宏观甚至微观上用于指导人工智能神经网络的设计或可成为值得探索的方向。

在教育心理学领域，美国教育心理学著名学者——亚利桑那州立大学教授季清华(Michelene T.H.Chi)提出了一种创新性学习方式分类学，从可操作性角度对认知参与活动提出了明确界定，并依据学习者的外显活动、参与程度等，将不同的知识变化过程和学习结果，分成四种学习方式：交互方式(Interactive)、建构方式(Constructive)、主动方式(Active)与被动方式(Passive)。有关研究表明，这些方式对学习活动的有效程度依次递减，参与度越高，学习能力越强[1]。

人工智能神经网络依据生物神经网络的学习规则和计算结构进行设计[2]，其发展主要基于神经科学研究成果。在学习科学领域，著名教育心理学家梅耶(Richard E. Mayer)在其论文中阐述了教育神经科学的研究历程，认为随着认知神经科学研究的进展，连接教育和神经科学的教育神经科学研究将呈现爆发式增长[3]。由此可见，教育神经科学与人工智能神经网络关系密切，均源于认知神经科学。当前，随着人脑科学的发展尤其是对神经科学研究的深入，以及各种高端算法的出现，通过模拟人脑神经元的信息处理和存储原理，人工智能神经网络已推进至高达数千层的深层神经网络，并由此显著提高了计算机的智能水平。目前，人工智能神经网络的结构主要是根据实验和经验来设计，尚无具体理论可遵循。

一、四种学习方式与人工智能神经网络设计元素

图1为季清华提出的“ICAP学习方式分类学”综合性框架。该框架包括四个部分：一是四种方式分类，二是知识变化过程与结果，三是认知结果，四是ICAP猜想。该框架定义与假设了四种学习方式，即：被动学习、主动学习、建构学习和交互学习。知识变化是认知、学习过程中的一系列知识内化过程，并包括四个阶段的变化，即：储存、整合、推断和共推。其中，储存阶段只是保存知识，产生“记忆”；整合阶段是知识的“选择”“激活”与“提取”，产生“应用”；推断阶段是对知识进行“推理”和“判断”，产生“迁移”；共推阶段是对知识进行“综合”“协同”“推断”以及“选择”“激活”“提取”与“储存”，产生“共创”。由于认知结果是因一系列知识变化过程所产生和获取的最终知识模式或者知识积淀，因此，可以猜想得出：在同样知识变化过程的条件下，学习方式的效率由低至高的排列为：P(被动学习)＜A(主动学习)＜C(建构学习)＜I(交互学习)。

图1 学习方式分类ICAP框架[4]

(一)被动学习与前向算法

被动学习在教育心理学上主要是指对相关信息予以关注等心理活动。人工神经网络的前向算法，是从第一层向后面的层逐层更新网络参数，信息从前向后传递，没有封闭的环路，这类运算类似于被动学习。因为在前向计算过程中，各网络层仅仅是被动接受前面传递过来的网络参数，并未对有关参数进行学习更新。

(二)主动学习与反馈神经网络

主动学习在教育心理学上表示主动参与信息学习和接收的过程，在心理活动和外显活动上都与被动学习不同。与前向算法不同，人工智能神经网络中的反馈神经网络是对输入信号进行处理后产生输出信号，再根据输出信号与实际信号之间的偏差对网络中各个参数进行更新计算。这样的过程类似于主动学习过程，因此反馈神经网络可理解为主动学习。

(三)建构学习与深度学习网络

建构学习在教育心理学上指学习现有材料过程中实现了超越和产生新知识。建构学习有较为复杂的心理活动和外显活动，如对照或比较、问题的引发、假设的形成、证明的提供以及利用文字或图示方式对知识做出解释和说明等。建构学习中蕴含着主动学习。如果说主动学习是利用划线方式对知识点进行了强调，那么建构学习则是对该划线部分进行解释和说明。建构学习要求具有超越了原始学习材料本身的独立见解，因此，这样的学习方式具有明显的“建构”特点。在无监督条件下的人工智能深度学习网络中，网络的输入层将原始数据导入到网络中，紧随其后的网络第一隐含层将对原始数据进行初步的学习而获取该原始数据最细微的特征，其后每一隐含层都会在前一层基础上，抽象提取更高抽象级别的数据特征，即通过学习获取新知识，因此，这样的学习方式类似于建构性学习。

(四)交互学习与残差/循环神经网络

交互学习指两个及两个以上的学习个体相互协同，开展交互学习，是在不同的学习者之间展开激活思想，启发思路和补充不足等建构性学习活动。具体方式包括：学习各方共同讲解知识、开展论辩、综合探讨结果并产生新的结论等。由于交互不仅仅在于对话本身，更重要的是通过交互可能产生新的认识、知识和思想。因此，交互学习过程同时具有主动学习和建构性学习特征。交互学习四种建构类型分别为：自我建构(整合学习各方的见解)、指导建构(与专家互动交流)、序列建构和协同建构(学习各方依次或者协同发表意见)。四种方式分别具有不同的特征，其中：自我建构强调“趋近”与“接受”，指导建构关注“选择”与“操控”，序列建构注重“生成”或“产生”，协同建构提倡“协同”与“创新”。不同的建构类型意味着不同的学习活动方式，并最终导致不同的学习效果。

人工智能深度学习网络中包含很多交互学习元素，如深度残差(ResNet)模块、循环神经网络(RNN)等。图2所示为深度残差模块，其输入为x，输出为H(x)，该模块不是学习一个完整的输出H(x)，而是学习输出和输入的差别H(x)-x，即残差，而残差是交互学习的结果，属于自我建构。

图2 深度残差模块

下页图3所示为循环神经网络逻辑图，等号左侧为简化图，等号右侧为展开图，是一系列串联的网络。其中，A是节点，X为输入，h为输出，该网络的输入X0的运算结果h0会影响到X1的运算结果h1，以此类推，Xt-1的运算结果ht-1会影响到对ht的运算。因此，循环神经网络类似于学习各方的交互学习，可归属于序列建构和协同建构。

图3 循环神经网络(RNN)逻辑

(五)知识变化与人工智能神经网络的计算过程

事实上，人工智能神经网络设计中蕴含着丰富的教育心理学思想，人工智能神经网络的计算过程本质上就是数据的储存、整合、推断和共推过程。首先，人工智能神经网络要解决数据(知识)存储问题；其次，人工智能神经网络需要通过对原始储存数据进行提取、选择和激活，挖掘原始数据的隐含特征，并基于上一层的处理结果不断进行提取、选择和激活，实现对数据(知识)的抽象、推理、整合；然后，如果对比认知结果与实际结果不满足认知预期，人工智能神经网络将重复上述学习、认知过程，直到得到预期结果，并形成一个基于该网络的参数学习集合或者网络模式(人工智能神经网络训练结束)；最后，基于认知训练的结果(将网络的结构与相关参数保存，即“记忆”)，人工智能神经网络就可对其它未学习过的数据(知识)进行有效推理和判断(“应用”处理)，也可对类似数据(知识)进行有效推理和判断(“迁移”处理)。而基于不同人工智能神经网络对不同数据(知识)的学习(认知)结果，就可以认知和推断更复杂的数据或知识(“共创”)，比如：击败人类顶尖围棋高手的阿尔法狗(AlphaGo)就综合运用了策略网络、价值网络以及深度学习网络等。

二、四种学习方式与人工智能神经网络的对应关系

学习方式分类学猜想认为：方式或类别不同的学习活动，其知识变化或者学习过程与此学习活动对应的外显行为一致。如图4所示，在同样的知识变化过程之中，学习方式差异将导致不同的学习效果，学习水平按照被动、主动、建构到交互的方向逐步提高。其中，被动学习和主动学习属于浅层学习，而建构学习和交互学习属于深度学习。同时，被动学习表示接受，主动学习表示操控，建构学习表示生成，而交互学习表示协作。

图4 四种学习方式及其演进[5]

实际上，人工智能神经网络的进化过程与学习方式分类学的“进化”过程类似，都是由低级到高级、简单到复杂、浅层到深层、低准确率到高准确率以及低效到高效的逐步演化过程。最初的浅层学习神经网络仅有一层或数层，现在的深度神经网络已经达到数百甚至上千层，在部分领域的计算准确率已经达到甚至超过人类的认知水平。

(一)四种学习方式与人工智能神经网络之比较

图5左图的自编码器是一种无监督的特征学习网络，它利用反向传播算法，让目标输出值等于输入值，是一种被动学习与主动学习相结合的网络。图5右图的卷积神经网络(CNN)主要是通过局部感受野、权值共享以及时间或空间亚采样等方法来最大程度地降低网络参数数量，在一定程度上实现尺度、位移和形不变等特性，能在无监督情况下有效提取数据中的隐含特征，并能够高效准确描述目标对象，是一种具有建构学习特征的网络结构。

图5 自编码器(左图)[6]和卷积神经网络(右图)[7]

Google Inception Net是谷歌公司开发的深度学习网络模型，其最大特点是有效控制了计算量和参数量，具备非常强的分类性能。它由许多嵌入(Inception)子网络模块组成，类似于教育心理学中独立学习的各个主体(学习各方)，通过不同的嵌入子网络模块(下页图6所示为三种不同的嵌入子网络模块)学习和分析数据(知识)，再汇总分析子网络结果数据，形成新的建构性学习结果，即相当于ICAP中的交互学习。图7所示为改进的残差模块图，其通过在残差自我建构模块中引入嵌入模块，实现了不同类型模块的融合，即通过融合不同教育心理学元素提升学习效能。

图6 三种不同的嵌入(Inception)子网络模块[8-10]

图7 改进的残差模块[11]

(二)四种学习方式与人工智能神经网络设计的元素对应关系

根据ICAP四种分类方式和人工智能神经网络模型相对应的特征，建立如表1所示的对应关系。其中，人工智能神经网络前向计算算法和全连接模块主要是被动学习数据(知识)，具有被动学习特征；人工智能神经网络的反向传播算法、损失函数和防止过拟合的随机网络节点失效(Dropout)等模块主要是对被动学习的数 据做出修正等运算，具有主动学习特征；人工智能神经网络的卷积、池化和激活等模块则能发现和转化数据中的隐含特征和知识，具有建构学习特征；人工智能神经网络的嵌入(Inception)、残差(Residual)、减量(Reduction)、批量正则化(Batch Normalization)和网中网(Network-in-Network)等模块同时具有建构性和交互性，具有交互学习特征。其中，建构学习和交互学习包含的人工智能神经网络构成元素明显较多，这说明建构学习和交互学习相对复杂且具有创造性。

表1 四种学习方式与人工智能神经网络元素对应

鉴于表1中的人工智能神经网络构成元素较多，无法逐一详述，这里仅简单描述损失函数和批量正则化模块。损失函数的作用是计算实际值与网络模型输出预测值之间的损失，是学习正确性和有效性的重要依据，类似于ICAP的主动学习；批量正则化模块原理是同时对小批量的数据(知识)进行归一化处理，是一个典型的交互学习元素。本文对当下最流行和先进的几种人工智能神经网络模块使用情况做了统计，如表2所示。数据表明，表中右侧网络模型较左侧更先进，分类准确率更高，从左到右的网络模型所使用的交互学习元素逐步增多，网络模型性能逐步增强。其中，网络模型GoogLeNet，Inception-v2，Inception-v4和Inception-ResNet-v2使用的交互学习元素Inception模块数量分别为9个、10个、14个和20个。其中，Inception-v4还运用了2个交互学习元素减量模块，Inception-ResNet-v2运用了2个交互学习元素减量模块和20个残差模块。

表2 人工智能神经网络模块(构成元素)使用统计

(三)知识变化与人工智能神经网络设计

人工智能神经网络设计中包含一系列数据(知识)变化过程，图8所示为单层卷积神经网络模型。图中左侧第1部分为输入数据层，经过“卷积”处理后得到第2部分，再通过“激活”函数作非线性变换后得到第3部分，最后是“池化”下采样处理得到第4部分输出特征。此网络的设计中包含了知识变化过程，第1部分为知识“储存”，第2部分为知识“选择”，第3部分为知识“激活”，第4部分为知识“推断”。更复杂的人工智能神经网络是在单层网络基础上，引入了更多人工智能处理元素。

图8 单层卷积神经网络的3个阶段[16]

图9所示为微观层面分析的知识变化过程。首先是初始化所有网络层中的权值参数，这是一个被动学习过程(“记忆”)；接着，运用前向传播算法(被动学习)将网络中各层的权值更新(“应用”)，实现数据信号(知识)通过网络前向传播。当传播到最后一层输出层时，将输出数据(知识)与实际目标数据(知识)进行比对，计算判断误差。如果误差收敛到预期值，则说明本轮学习达到预期目标，可停止学习，反之则继续下一轮学习(“迁移”)。在开始下轮学习之前，先利用反向传播算法(主动学习)，从输出层逐层向后更新网络权值，直至更新完所有层的权值。之后，开始下一轮的学习(“共创”)。

图9 神经网络学习训练过程[17]

人工智能神经网络中的“迁移”学习是将A领域的数据(知识)学习产生的网络模型和参数集，应用到相关的B领域中，对B领域的数据(知识)进行认知，这种学习方式非常适合于领域中可学习的知识比较少的情况。图10所示为神经网络迁移学习模型示意图。其中源任务(A领域数据)中供网络学习的数据(知识)较丰富，目标任务(B领域数据)中供网络学习的数据(知识)很少。可以将在源任务中学习到的网络模型和参数集，“迁移”应用到对目标任务的认知当中。

图10 神经网络学习中的迁移学习[18]

三、人工智能神经网络设计与分析

(一)从基本教学设计到人工智能神经网络设计

1.依据ICAP分类的基本教学设计

利用听讲、总结和解释的基本教学设计来进行人工智能神经网络设计方法探索，图11所示为依据ICAP分类的基本教学设计，依据学习方式分类学，基本教学设计是：听讲(教师授课，学生听课)——被动学习、总结(学生总结学习内容)——主动学习和解释(学生利用所学知识，理解并解释新的知识)——建构学习。

图11 依据ICAP分类的基本教学设计

2.人工智能神经网络逻辑图设计

利用表1中的元素，基于ICAP分类的教学设计过程，设计了人工智能神经网络逻辑框图，如图12所示。首先利用被动学习元素(前向计算算法和全连接模块)达到听讲效果，实现人工智能神经网络参数初步学习设定；然后，在总结部分利用主动学习元素(损失函数和反向传播算法)对网络参数进行学习和修正；最后，在解释部分利用建构学习元素(激活模块)对已有知识进行建构学习。实际上，听讲、总结及解释是同时并行运算的，在获得最优确认的网络模型及各参数值后，就可利用该人工智能神经网络对新的数据(知识)进行认知和推断了。总之，在该网络中，教育心理学设计与人工智能神经网络设计之间的关系是：听讲对应学习，总结对应训练，解释对应预测。

图12 基于基本教学设计的人工智能神经网络设计逻辑框图

3.简单人工智能神经网络设计

根据图12的逻辑框图设计了一个简单人工智能神经网络(BP神经网络)，BP神经网络的概念于上世纪80年代在Nature的论文上被首次提出，此后得到了广泛地应用。下页图13所示为简单的含一层隐含层的BP神经网络。a(1)层是输入层，包含3个神经元；a(2)层是隐含层，包含2个神经元；z层是输出层，包含2个神经元。W(1)是a(1)层神经元的参数，W(2)是a(2)层神经元的参数。以下从听讲、总结和解释三个方面来详细阐述设计过程。

图13 简单的BP神经网络

(1)听讲部分设计(被动学习对应全连接模块和前向计算算法)。利用全连接模块将图13中各神经元连接起来建立模型网络拓扑图。全连接模块是将邻居层的神经元全部互联起来，不进行任何连接上的变化，如果在其上进行运算，只是简单地将数据信息向邻居层的每一个神经元进行传播。就像学习者坐在教室里听课，但是心不在焉，根本学不到任何知识。符合ICAP中的被动学习的特征。然后，在图13中加入前向计算算法，该算法是将数据从输入神经元经简单地运算后逐层向前传播(从左至右)，直至输出神经元。相当于此时学习者集中注意力，但是仅仅是接收信息而已，无所用心，或者最好的结果是学到一些表层的东西。因此，还是被动学习。

(2)总结部分设计(主动学习对应反向传播算法和损失函数)。继续在图13中加入反向传播算法，它是将输出结果(yp)与实际结果(y)进行某种算法比较后(比较运算一般利用损失函数loss=(yp-y)2计算损失，该函数对数据进行了加工处理，属于主动学习元素)，再利用梯度下降等算法从输出神经元向输入神经元反方向(从右至左)对每一个神经元的W权值参数进行更新。由于权值的更新是基于损失函数的运算结果，而损失函数是基于实际结果来运算的，因此，每次权值更新，网络模型就从现实中学到一点东西而且记录下来，这个过程不断重复进行，直到达到一定的满意度为止。相当于此时学习者积极参与了学习活动，并对学习材料进行了操控，属于主动学习。

(3)解释部分设计(建构学习对应激活模块)。主动学习效果并不理想，因为加工的数据可能变化很大(如：输出数据在100左右和1左右，计算损失结果就相差很大，前者loss = (101-100)2= 1，而后者loss = (1.1-1)2= 0.01，两者相差100倍)，不能形成统一标准，小数据容易被大数据淹没而被忽略。所以，再加入激活模块，该模块对数据进行非线性变换(如：通过某种函数将所有数据都映射到-1至1的之间)，从而使学习结果发生了变化，生成了新的知识，这可以视作为建构学习。

而关于图13神经元数量的确定可根据数据的复杂度来灵活设定，实际应用还要依据计算机的计算能力等因素进行调整。正如学习者学习简单的知识只需调动少部分脑细胞(神经元)，而学习复杂的知识则要调动更多的脑细胞来思考分析。

本节依据ICAP分类的基本教学设计，利用ICAP对应的人工智能神经网络构成元素设计了人工智能神经网络逻辑框图，然后利用该逻辑框图设计了一个图13所示的简单BP神经网络模型，这表明ICAP与人工智能神经网络在元素构成上具有可对比性。

(二)文献中的实验数据分析

季清华对ICAP分类方式进行了实验研究，其结果如图14所示[19]。实验的设计是分别采用被动方式(P)、主动方式(A)、建构方式(C)和交互方式(I)来学习一篇材料科学的短文，通过分析学习效果并比较测试前、后数据，可以得出结论：四种学习方式的学习成绩以8%-10%的比例逐步增加，学习效果增长明显。

图14 ICAP参与方式的实验研究[20]

为直观说明问题，我们对文献中谷歌提出的人工智能神经网络模型[21-24]的部分实验数据整合后进行可视化展示，下页图15和图16的横坐标表示不同人工智能神经网络模型，模型的复杂程度从左到右逐步增加(部分模型复杂度可参看表2)，纵坐标表示分类的误差率。两图表明，随着人工智能神经网络中的教育心理学习元素逐步增多，网络学习水平不断提升，分类精度逐步提高。

通过对比季清华ICAP参与方式的实验研究和所引用的谷歌文献中人工智能神经网络模型的复杂程度可以发现，二者在学习效果上具有相同的变化趋势。虽然二者研究采用的数据不同，但是结果相近。这从实验数据的角度表明人的学习(ICAP)与机器的学习(人工智能神经网络)具有一定的相似性，可以将两者的学习建立某种对应参照关系。

图15 top-5误差数据图(top-5表示正确值在概率排前5的数据内)

图16 top-1误差数据图 (top-1表示正确值为最大概率对应的数据)

四、结论与展望

本文类比了ICAP四种学习方式与人工智能神经网络设计方法；在此基础上，对人工智能神经网络设计元素按照四种学习方式进行了分类；以基本教学设计为例，结合多种人工智能神经网络元素，设计了对应的人工智能神经网络设计逻辑框图，并基于逻辑框图设计了简单的人工智能神经网络；对比分析了季清华ICAP不同学习方式与人工智能神经网络模型不同复杂程度对学习效果和分类误差的影响。结果表明：

(一)ICAP的四种学习方式与人工智能神经网络的进化相吻合，ICAP基本框架的内容在人工智能神经网络中均可找到对应的元素。

(二)人工智能神经网络可借鉴ICAP的四种学习方式来进行算法和模块的分类拆分，并且可以推广应用到人工智能神经网络设计中。

(三)依据ICAP分类的基本教学设计案例，设计了对应的人工智能神经网络逻辑，并利用该逻辑设计了一个简单的人工智能神经网络，表明了ICAP与人工智能神经网络在元素构成上具有可对比性。

(四)依据ICAP进行学习效果的实验研究与利用不同复杂程度人工智能神经网络进行学习效果的实验研究对比发现，二者的学习效果随复杂度变化的趋势是一致的。从实验数据的角度表明了人的学习(ICAP)与机器的学习(人工智能神经网络)具有一定的相似性，可以将二者的学习建立某种对应关系。

本研究旨在为人工智能神经网络设计提供新思路，今后的研究可以引入深层学习、超越碎片化学习[25]等更多的教育学原理和方法，进一步印证基于教育心理学进行人工智能神经网络设计的可行性。