多媒体学习的通道研究

王晓丹　刘世清

[摘要]当前对于多媒体学习的认识存在多种假说，其中“通道说”是多媒体学习领域一种非常重要的观点。文章通过对多媒体学习研究历史的分析，在众多相关理论研究的基础上，提出了“知觉、语义、动觉”多媒体学习三通道假说，并对其基本观点进行了详细分析，旨在为多媒体学习中三类学习行为的整合提供理论依据。

[关键词]多媒体学习；认知加工；三通道假说

[中图分类号]G40-057 [文献标识码]A [论文编号]1009-8097（2012）10-0072-05

一、多媒体学习三通道的背景

多媒体学习理论的发展为现代教育注入了新的活力，已成为现代教育不可或缺的一部分。当前对多媒体学习的认识，主要包括以下三种：

1.媒介技术层面

媒介技术层面的多媒体学习又可以被称为“多媒介学习”，是在学习活动中运用多种传播媒介呈现教学信息，运用多种媒介组合的方式进行学习，例如黑板、电影、幻灯、印刷媒体等。这种认识方式在多媒体技术引入到教育领域的最初阶段占据着主要地位。

2.呈现方式层面

呈现方式层面的多媒体学习又可以被称为是“多表征学习”，是在学习活动中运用两种或两种以上的表征来呈现材料，这里的表征指的是文字、图片、音频、视频和虚拟现实等外部表征。呈现方式层面对多媒体学习的认识较为直观且具有较强的操作性和测量性，因此这种观点得到广泛的认可。

3.感觉通道层面

Mayer在双编码理论基础之上提出了“多通道学习”的概念，将多媒体学习看成学习者使用两种或两种以上的感觉系统进行学习，这种感觉系统称之为通道。在《多媒体学习》一书中，Mayer将通道划分为视觉通道和听觉通道，强调的是学习者接受外界材料时所用到的如眼睛和耳朵这样的感觉接收器。感觉通道层面的研究借助于信息加工认知心理学的相关理论，开创了对学习者内部多媒体学习认知加工方式研究的先河。

上述对多媒体学习的三种不同认识，从不同层面促进了多媒体学习理论和实践的发展（见表1），对多媒体感觉通道层面的认识，已经开始关注多媒体学习的内部认知过程，将焦点转向了对多媒体学习本质的研究，这是多媒体学习研究领域的一大突破。为人们研究多媒体学习开辟了新的道路，然而受其理论基础的制约，感觉通道的观点存在某些局限，这些局限客观上限制了多媒体学习的进一步发展，在此背景下对“通道”的内涵进行新的界定已势在必行。

二、多媒体学习三通道划分的理论依据

多媒体学习的三通道观点是在编码理论基础上提出的，认知神经科学也为多媒体学习的通道划分提供了证据支持。

1.编码理论研究——三通道划分的理论基础

编码理论是通道研究的基础，不同通道将采用小同的编码方式。当前编码理论主要有以下几种假说。

（1）Paivio的双重编码理论

Paivio的双编码理论认为，人类拥有两个认知编码系统，即言语系统和表象系统。这两个系统在功能和结构上均不相同，相互独立但又相互联系。言语系统采用序列加工的形式对言语符号进行加工；表象系统以同步的方式加工非言语信息。双重编码理论中存在三种加工类型：表征的、参照性的和联想性的。

（2）Anderson命题符号编码理论

命题代码理论主张不论言语信息还是非言语信息的存储都不依赖于其表层形式，而是以抽象的命题形式进行编码的。“命题既不是句子，也不是由单词组成的。相反，他是一个较为抽象的，由单词所指的概念组成的实体。”某概念的意象或言语描述来自于同一个抽象系统，是从命题表征中重新构造的。

上述两种编码理论都是基于认知的编码理论，认为知觉和认知是两个相互分离的串行系统，知觉系统负责从环境中提取信息并传递给认知系统，认知系统负责对信息进行编码，强调知觉系统中未经认知系统编码的信息不能够直接进入个体的知识体系中。基于认知的编码理论则主张信息在加工系统中的重构，如命题编码认为任何信息都需要经过抽象的命题加工，而双编码则认为无论是言语信息还是非言语信息都要经过表征性加工、参照性加工或联想性加工，无论是哪一种编码方式都需要对信息进行或多或少的语义性加工。双编码和命题编码实际上关注的都是高级认知学习活动，对于较为复杂和抽象的学习具有很强的解释性。然而随着研究的深入，人们逐渐发现了一些基于认知的编码理论无法解释的知觉编码现象。在此背景下，一种新的知觉编码理论应运而生。

（3）Barsalou的知觉符号编码理论

Barsalou于20世纪末提出了知觉符号理论，知觉符号理论具有六个核心特征：知觉符号是感觉运动系统的神经表征；知觉符号是图解式的；知觉符号是多模式的；知觉符号进一步组成仿真器；知觉符号系统中有多个框架；知觉符号跟言语符号密切相关。从知觉符号理论的核心特征中可以看出，Barsalou关注的编码不仅仅包括感知觉，还包括运动知觉，这-两种编码产生的知觉符号都是神经表征，而不是传统编码上的认知表征。

综上所述，编码方式呈现出百家争鸣、百花齐放的局面，各种编码都有其理论和实验支持，极大地促进了对学习者内部心理活动的研究。对上述编码理论进行分析，可以看出当前存在的编码形式大致可划分为三种：知觉性、亚符号性和符号性。知觉性编码形式保留了信息原始的知觉特征，包括视觉编码、听觉编码、触觉编码等感知觉编码，也包括运动知觉编码；符号性编码形式则对信息进行完全的抽象加工，仅保留语义信息；亚符号性的编码形式则是介于知觉性编码和符号性编码之间，忽略部分细节的知觉信息，仅对部分特征信息进行语义编码。由于符号性编码和亚符号性编码都是对信息进行语义加工，因此可以统称其为语义性编码形式。

编码理论的研究促进了多媒体学习模型与通道研究的发展，Mayer所提出的多媒体学习双通道就是在双重编码理论的基础上提出的。在编码理论的不断发展过程中，很多研究者致力于寻找这些编码理论的契合点，试图运用混合编码的观点解释学习者内部心理活动。编码理论的发展和丰富，为多媒体学习的通道研究指明了方向。

2.认知神经科学理论研究——三通道划分的证据支持

认知神经科学是由众多学科整合起来的一门交叉边缘学科，因而与许多学科都有着密不可分的联系。近几年来EEG、MEG和fMRI等技术极大地促进了认知神经科学的研究，其研究成果为解释人类复杂的认知活动奠定了基础。在多媒体学习领域，认知神经科学从不同的侧面对通道划分提供证据支持。

（1）大脑皮质的功能定位

认知神经学专家通过对脑损伤病人的研究，揭示了大脑皮质具有以下功能。脑皮质主要包括四部分：一是初级感觉区，包括视觉区、听觉区和体觉区，负责感知觉活动：二是初级运动区，位于额叶中央沟正前方，是控制身体运动的区域；三是语言运用区，主要位于大脑的左半球，由较广的脑区组成；四是联合区：不接受任何感觉系统的直接输入，与感觉、运动程度无直接关系，但与皮层下中枢有联系，而且更多的是在大脑皮层各中枢间起联合与综合的作用。

由此可见，大脑皮质的不同区域负责不同的活动，如负责感知觉的初级感觉区和感觉联合区，负责动作的初级运动区和运动联合区，以及负责高级认知活动的语言运用区和前额联合区。对大脑皮质的功能定位在一定程度上说明了感知觉加工、运动加工和语义加工各有其物理基础。

（2）长时工作记忆的多重表征与其神经机制

Tulving于1972年对长时记忆进行划分，并于1995年进行补充，将记忆系统区分为五大类：程序记忆系统、知觉表征系统、语义记忆系统、初级记忆系统和情节记忆系统。1985年，Graf和Schacter根据记忆过程中意识参与的程度，将记忆分为内隐记忆和外显记忆。Anderson于1980年将记忆分为陈述性记忆和程序性记忆。Squaire于1987年结合认知神经科学的新进展对陈述性记忆和非陈述性记忆进行区分，揭示了两类记忆的功能和存储部位。2002年Gazzaniga等人在Squaire研究的基础之上，进一步归纳总结出参与各种记忆类型的神经系统。长时记忆中的表征形式与编码是对应的，因此长时记忆的多重表征间接说明学习者对外部信息加工时采用了多种编码方式，其加工的信息不仅仅局限于语义信息，还包括了动作技能和知觉信息等。在多重表征系统中，动作技能有其特殊性，即其神经基础不仅仅局限于大脑，骨骼肌、反射通路也是动作信息加工的神经结构。

（3）知觉学习

知觉学习（perceptual learning）是一个新兴领域，是当前认知神经科学研究的热点之一。Gibson于1963提出，“凡是由于训练或经验某种刺激而引起的对于这种刺激的长期而稳定的知觉改变都可以认为是知觉学习”。1991年Karni和Sagi提出，知觉学习表现为神经器质上的可塑性。在之后的研究中发现，知觉学习既可能发生在刺激特征编码较特异的信息加工初级阶段，也可能发生在信息加工的高级阶段。

认知神经科学对多媒体学习多通道的划分提供了重要的证据支持，从上述研究结果可以看出，人脑可以对知觉、语义和动作三种类型的信息进行处理，这三种信息在不同的脑区中进行编码，参与其存储的神经系统亦有所不同。

三、多媒体学习三通道的界定

本研究认为，对多媒体学习通道的划分应该依据不同的信息加工系统，而不是感觉系统。本文的第二部分通过对编码理论进行分析，总结出了两种信息加工形式——知觉性加工和语义性加工，两种加工形式对应着两种不同的加工系统。将知觉加工系统从语义加工系统中划分出来，得到了认知神经科学中知觉学习理论的支持。知觉学习理论发现知觉学习既可能发生在刺激特征编码较特异的信息加工初级阶段，也可能发生在信息加工的高级阶段，那么知觉加工系统和语义加工系统应该是一种并行结构而不是串行结构。

所以，本研究认为存在着三种不同的信息加工系统，分别是知觉加工系统、语义加工系统和动觉加工系统。多重记忆表征理论为三种信息加工系统的划分提供了证据支持，长时记忆中存在着不同类型的记忆，这些记忆的形成依赖于不同的信息加工系统。大脑皮质功能区的划分进一步为三种信息加工系统奠定了生理基础。

基于上述分析，对三种不同信息加工系统的划分，形成了三种不同的多媒体学习加工通道，即知觉加工通道（Perceptual processing channel）、语义加工通道（Semantic processing channel）和动觉加工通道（Kinesthetic processing channel）。下面将对多媒体学习三通道的内涵进行详细分析与阐述。

四、多媒体学习三通道的内涵及其相互关系

1.知觉加工通道（Perceptual processing channd）

原有多媒体学习理论认为认知系统中的知觉加工与语义加工是序列结构，知觉加工是对外界环境信息的选择，其输出是语义加工的输入，知觉信息必须进入语义加工系统中进行编码后才可以被存储。Barsalou的知觉符号编码理论和认知神经科学的研究成果则否认这种观点，提出知觉加工并不是语义加工的早期阶段，而是一种独立的加工系统，其输出的信息可以直接进入到长时记忆中进行存储，因而知觉加工和语义加工是一种并列的结构。

知觉通道的加工内容为外部环境中的感觉刺激，采用激活、联接的方式进行编码，编码后的信息以知觉模型的形式在长时记忆中表征。对客观事物的个别属性的认识是感觉，对同一事物的各种感觉的结合，就形成了这一事物的知觉。对知觉加工通道的研究需要以感觉为基础。按照刺激性质的不同，可以将感觉分为视觉、听觉、触觉、味觉、嗅觉等。视觉、听觉、触觉的刺激属于物理刺激，味觉和嗅觉的刺激属于化学刺激。当前多媒体学习领域的技术可以很容易的实现物理刺激的模拟，但对化学刺激的呈现则较困难，因此对知觉通道的研究主要集中于视觉通道、听觉通道和触觉通道。

外界的不同感觉刺激是以并列的形式进入加工系统的，例如视觉信息通过眼睛进入视觉通道，听觉信息通过耳朵进入听觉通道，触觉信息则是通过皮肤进入触觉通道，视觉通道、听觉通道和触觉通道的刺激信号以并行的方式传输到大脑皮层的初级感觉区激活相应的细胞，在感觉联合区的作用下，三通道的感觉信息相互激活和联接，经过多次的重复则会形成稳定的神经结构，进而在头脑中形成对某一事物完整的知觉模型。由于知觉通道采用激活和联接的形式，知觉模型的形成是感觉刺激多次重复后形成的稳定的神经器质的改变，因而对意识参与的依赖性较低，只需要较少的认知负荷。

从学习类型方面看，知觉加工通道对于初级认知学习是十分重要的，它可以让学习者不需要过多的注意和加工，较为容易地产生知觉模型，进而为高级认知学习奠定基础。从学习者方面看，知觉加工通道对于低认知能力的学习者意义较大，即知觉通道这种不需要过多的意识参与的信息加工系统似乎更有优越性。虽然知觉加工通道对学习的意义较大，然而当前的多媒体学习模型往往忽略了对知觉加工通道的研究，更加关注于高级学习活动的语义加工通道。本研究在相关理论的基础上将知觉加工通道与语义加工通道相区分，希望能引起人们对多媒体学习中知觉通道研究的关注。

2.语义加工通道（Semantic processing channd）

在认知心理学的影响下，对语义加工通道的研究一直是多媒体学习关注的焦点。语义是指对于那些用来描述现实世界的符号的解释，其本身是不存在的，而是人为规定的。因此，它体现的是一种人所特有的高级认知活动的抽象学习。语义加工通道加工的内容为有意义的符号信息，这些信息不是来源于感觉器官的输入，而是来源于知觉通道和动觉通道。当外界信息进入知觉通道和动觉通道时，有意义的符号被识别出来进入到语义加工通道中，按照一定规则被解释，经过命题编码和类比编码的形式，最终形成命题和意象进行存储。从神经机制的角度分析，当外界刺激经过传输激活大脑皮层感觉区域和运动区域后，有意义的信息会进一步激活语言运用区和前额联合区，进而形成高级认知活动。

在语义通道中存在两种编码方式：命题编码和意象编码。命题指不依赖于符号和图像，以抽象的形式来表征事物的内在意义的一种深层心理表征。例如对句子而言，不保留音、形等特征，对图像而言，不保留具体的知觉形式，命题只表征其内在意义。意象是对表象的概括和总结。例如对桌子而言，意象并不保留其具体特征，只表征其大致的轮廓，这种轮廓是在对桌子这一类事物总结和概括的基础之上得出的。命题和意象的共同点在于二者都是对外部信息的重构，都需要意识的控制，因此会产生较多的认知负荷。二者的区别在于命题是完全抽象的，而意象则保留了一定的形象性。当信息在语义通道中传输时，其编码方式是由信息的特点、内容决定的。空间结构性强的语义信息会优先采用类比编码的形式形成意象，而时间逻辑性强的则会优先采用命题编码的形式形成命题。

3.动觉加工通道（Kinesthetic processing channel）

动觉是对身体各部位的位置和运动状况的感觉，也就是肌肉、骨骼和关节的感觉。动觉通道主要用于加工动作信息，同知觉加工通道和语义加工通道一样，该通道的加工也是以大脑为神经基础。但除此之外，脊髓、小脑和外周神经对该通道的学习也发挥着重要作用。

动觉通道主要是针对动作技能，动作技能指通过练习巩固下来的、自动化的动作活动方式，如写字、骑车、游泳等，是一种程序性知识的学习。对动作技能的学习需要经过两个过程：认识和操作。在认识过程中，学习者必须借助于知觉通道和语义通道的加工作用，知觉通道对输入感觉信息的加工，首先使学习者对动作技能产生一个初步的感性的认识，语义通道的加工可以使学习者从思维的角度掌握动作的技巧，使感性认识进一步深化和精确，在此基础上学习者会对动作技能产生一个较为完整的认识。在第二阶段的操作过程中，学习者只需要在认识的指导下，完成各种动作，当完成正确的动作时，在运动器官、小脑和大脑皮质运动区会形成稳定的神经结构，进而使动作自动化。但是，从认识到动作自动化的过渡并不是一个简单容易的过程，例如学习骑自行车。虽然学习者已经清楚骑车的步骤，但实际操作中还会遇到各种问题。随着科技的发展，多媒体技术为动作技能的学习注入了新的活力，当学习者进行动作技能类知识的学习时，将动觉信息编码成动觉模型，在此过程中运动器官上会留有动觉信息的记忆，进而使学习者产生一种最为直接的动作经验，帮助实现自动化，有效地促进动作技能的学习。综上所述，多媒体学习认知模型三通道加工信息类型、编码方式和编码后的表征形式可用表2表示。

4.三通道的相互关系

从上述分析中可以看出知觉通道、语义通道和动觉通道是三个相互独立的并行加工系统，但三通道之间并不是相互割裂的，而是一个有机整体。知觉通道为整个多媒体学习提供学习内容的特征信息和有关学习环境的背景信息，对学习内容产生感性的认识；语义通道是在知觉通道的基础上进一步升华总结，使感性认识升华成理性认识；动觉通道赋予这种认识过程主观能动性。三个通道在构成一个整体时相互依存，如语义通道意象的形成就是在知觉通道知觉表象形成的基础之上抽象概括而得的；动觉通道加工简单的动作只需要重复的操作练习，但对复杂的动作技能的学习则需要在自动化过程之前借助于知觉通道和语义通道的作用而完成。

多媒体学习三通道假设对Mayer通道理论的改进之处在于，将通道的划分标准由原来的感觉获取转向信息处理。在三通道假设中，笔者将类比和命题两种编码从原来的视觉通道和听觉通道中提取出来，合并成语义通道，用于加工抽象的语义符号。而在语义通道的基础之上增加了知觉通道和动觉通道，用于处理知觉信息和动作信息。这种新的划分方式是在整合多种编码理论的基础之上提出的，并在一定程度上得到了认知神经科学的证据支持，强调了多媒体学习的多元性，扩大了多媒体学习的研究范围，进一步拓展了多媒体学习过程中知觉特性、动觉特性和时间特性的研究。三通道假设的提出，旨在引起人们对知觉学习和动作学习的重视，为三类学习行为的整合提供理论依据。

基金项目：本文是2011年度教育部人文社会科学研究规划基金项目“三通道多媒体学习过程信息获取的眼动脑电特征与认知传播模型”（编号：11YJA880058）的阶段性研究成果。

作者简介：王晓丹，宁波大学教师教育学院，硕士，研究方向：多媒体学习。

收稿日期：2012年5月18日

编辑：李婷