面向智能时代的跨媒体学习方式、理论与资源环境*——基于国际多媒体学习研究的启示

邓国民 阎 婷

（1.贵阳学院 教育科学学院，贵州贵阳 550005；2.四川职业技术学院 文化传播系，四川遂宁 629000）

“人是如何学习的”，是一个历久弥新的问题。人类最初的学习，更多是一种行为技能的模仿与传承，后来开始转向内在的信息加工处理和认知过程。随着对人的认知结构和记忆结构理解的逐渐深入，尤其是工作记忆模型的提出，使我们认识到，人的信息处理过程是经由视觉和听觉双通道进行的。即通过多媒体手段，同时提供视觉和听觉信息，将有助于实现信息处理双通道的有效利用。梅耶（Mayer R.E.）等人提出的多媒体学习理论，巧妙地实现了认知学习理论与教学媒体技术之间的有机整合，成为当时教育技术学重要的基础性理论之一。

但早期的认知理论属于离身认知，而最新的研究证据正越来越支持具身认知。多媒体技术也开始向跨媒体技术发展，跨媒体信息的呈现方式越来越多样化，不再局限于视觉和听觉信息，而是进一步扩展至情境感知和体感交互等层面，为更好地支持学习的具身认知过程提供了条件。工作记忆中情境缓冲区的发现，更是为学习内容的跨媒体表征和呈现，以及具身认知过程，提供了记忆结构方面的支持。传统的基于离身认知的多媒体学习理论，已经难以适应跨媒体技术、工作记忆及认知理论的最新发展。因此，在智能时代背景下，需要综合考虑跨媒体教学信息呈现的特点以及认知理论的最新研究成果； 需要对多媒体学习理论进一步发展，在原有视听觉双通道的基础上，引入第三条通道——跨媒体信息处理的情境认知通道，并提出跨媒体学习理论框架。这将有助于实现对基于具身认知的跨媒体学习的支持，指导跨媒体学习资源及环境的构建。

一、国际多媒体学习研究的进展

（一）国际多媒体学习的重要研究主题及维度

我们使用CiteSpace 软件，对从Web of Science核心数据库检索到的640 条多媒体学习研究文献数据，进行知识图谱及内容分析，以揭示该研究领域的起源、 发展脉络及未来趋势。一般来说，主题词（Term）和关键词（Keyword）是文献研究内容的高度概括。本研究对国际多媒体学习研究文献数据，进行了主题词和关键词共现分析，绘制出国际多媒体学习研究热点的知识图谱，如图1所示，其中，圆形结点表示关键词，方形结点表示主题词。

如图1显示，国际多媒体学习研究主要涉及六个维度：（1）认知理论（A）维度；（2）多媒体学习（B）维度；（3）教学设计（C）维度；（4）资源环境（D）维度；（5）学习绩效（E）维度；（6）研究方法（F）维度。从整体上来看，1998年至2017年，国际多媒体学习研究涵盖了理论（认知理论、多媒体学习）、研究方法和教学实践应用（教学设计、资源环境和学习绩效）的整体结构。在此基础上，我们提出了多媒体学习研究文献分析框架，如图2所示，并揭示出各构成部分之间的关系。

图1 国际多媒体学习研究热点知识图谱

图2 多媒体学习研究文献分析框架

（二）多媒体学习各维度的研究进展

1.认知理论（A）维度的分析

认知理论，尤其是工作记忆和认知负荷理论，是多媒体学习最为重要的理论基础。该维度重点关注多媒体学习的认知理论基础，主要研究主题包括工作记忆、认知负荷理论、动机和通道等。Baddeley A.提出了工作记忆模型，如图3所示，认为人的工作记忆容量是有限的，可以分为三部分：（1）中央执行系统：协调来自其从属系统的信息；（2）视空间面板：负责创建和维持视觉图像；（3）语音回路：存储和操作基于语音的材料[1]。

Paas F.等指出，人类的工作记忆缺乏一个符合逻辑的处理新信息的中央处理单元，因而，在处理新信息时会面临严重的不足。而以前存储在长时记忆中熟悉的组织化的信息，能够作为中央处理单元，而解决工作记忆容量有限的局限。因此，在处理新的信息时，教学需要弥补中央执行单元的缺失，这一因素也决定了多媒体教学的原则[2]。

图3 工作记忆模型

Sweller J.对工作记忆的能力进行了探讨，认为工作记忆的容量是有限的，提供了“2-4”个信息元素，这和Miller 提出的“7±2”个元素不一致。因为他还考虑到当学习者投入学习过程时正在利用认知能力，从而影响了工作记忆中处理项目的认知能力的数量，因此，需要帮助学习者减轻认知负荷，认知负荷理论因而成为多媒体学习的重要理论基础之一[3]。Sweller J.等系统介绍了认知负荷理论的基础、 人类认知结构、认知负荷效应等内容，这成为学习科学和梅耶多媒体学习的重要理论基础，为信息化环境下的教学系统设计、教学设计和学习体验，提供了重要的理论依据[4]。

2.多媒体学习（B）维度的分析

多媒体学习理论模型与原则，是梅耶等人在基于人类认知结构及特点的基础上提出来的，主要研究主题有多媒体学习、 分散注意、 通道效应和模型等。梅耶和他的同事，对多媒体学习进行了10 多年的实证研究与总结，其理论基础主要立足于认知心理学和信息处理认知模型。他们总结出七项多媒体学习原则，分别为“多媒体原则、空间邻近原则、时间邻近原则、连贯性原则、通道原则、冗余原则和个体差异原则”。这些理论和原则，对于设计多媒体学习环境具有重要的启示意义，成为我们进行技术增强学习环境设计和教学实践应用的理论依据和指导原则[5-8]。

梅耶等人基于双通道假设、容量有限假设、主动加工假设等，提出了多媒体学习的认知理论（如图4），并在此基础上，考查了学习者的预期认知处理能力超过他的可用认知能力时的认知负荷情况；然后，在五种超认知负荷的情境下，提出了九种基于理论的减少认知负荷的建议，并对这些建议的效果进行了检验。他们的分析结果表明，认知负荷是多媒体教学设计中需要考虑的一个核心因素[9]。

图4 多媒体学习认知理论模型

Schnotz W.考虑到学习者可以使用多种感觉通道，提出了一个结合文本和图片理解的综合模型。该模型包括阅读理解、听力理解、视觉图片理解和声音理解。模型的认知结构包括感觉登记、工作记忆和长时记忆，它在认知水平层面包括语言通道和图形通道，知觉水平具有多个感觉通道。他对可用这一模型解释的研究成果进行了追踪，这对教学设计具有较实用的指导意义[10]。

3.教学设计（C）维度的分析

多媒体学习理论和认知负荷理论，对教学设计产生了重要的影响，并在此基础上形成了一系列教学设计原则，主要研究主题包括学生、教学、教学设计、多媒体教学、知识、表征和多重表征等。

Van Merrienboer J.J.G.等讨论了与当前教学设计观点有关的认知负荷理论研究的最近发展，认为现实的任务应该是复杂学习的动力。首先，这些任务的复杂性或内在认知负荷往往很高，因此，需要新的方法来管理认知负荷；其次，复杂学习是一个长期的过程，需要考虑学习者的动机状态和专业发展水平；第三，需要更先进的专业知识和认知负荷的测量方法，以便教学可以灵活地适应个别学习者的需求[11]。该研究为教学设计提供了更坚实的认知基础。

Kalyuga S.等对多媒体教学中的冗余屏幕文本是否会干扰学习进行了研究。他们认为，从认知负荷理论来看，如果需要同时处理冗余材料，比如，书面文字和口头文字，会超出人工作记忆的负荷；同时，通过相关实验研究也证明了这一点，这一发现对多媒体教学设计，具有重要的启示[12]。

Sweller J.对使用认知原理进行教学设计的研究，进行了详细的介绍，具体包括与教学设计相关的认知架构、认知负荷、学习解决问题和多媒体材料组织等方面的内容，强调在学习者认知结构和特点的基础上，进行教学设计和教学资源呈现，以达到降低学生认知负荷和提高学习效果的作用[13]。

4.资源环境（D）维度的分析

在梳理多媒体学习理论和实验研究的基础上，我们总结发现了一些重要的学习资源与学习环境设计原则，以支持学习者对其认知资源进行充分利用；同时，降低冗余资源信息的负面影响和不同通道之间的相互干扰。具体研究主题包括多媒体、环境、学习环境、学习材料、动画、文字和信息等。

梅耶系统全面地介绍了多媒体学习的基础理论和基本原则，对设计多媒体学习环境和教学资源具有较为重要的实用价值，他认为，根据人类思维工作原理设计的多媒体信息，更能促进意义学习。不仅如此，梅耶在双通道理论、通道容量有限和主动学习需要协调认知过程等认知科学学习理论的基础上，提出了多媒体学习认知理论，认为多媒体学习的认知过程包括：（1）从呈现的文本或叙述中选择相关语词；（2）从呈现的图形中选择相关图像；（3）将选择的单词组织成连贯的语言表示；（4）将选择的图像组织成连贯的图形表示；（5）将图像或语言表达与先前的知识整合起来[14]。在多媒体教学信息设计中，需要考虑这些过程。

梅耶等还通过实验研究证实了冗余效应与多媒体学习的双通道理论是一致的，即添加屏幕文本、不相关的叙述、视频等材料，都会影响学生的理解。因为，这些视频和叙述引发激活了不适当的先验知识作为课程的组织模式[15]。Moreno R.等也通过实验研究发现，给学习者提供背景音乐和声音等与学习主题无关的声音信息，会干扰学习效果，再次验证了多媒体学习的认知理论，即听觉辅助可能使学习者的听觉工作记忆超负荷[16]。

5.学习绩效（E）维度的分析

多媒体学习理论与原则是否真正有助于学习内容的记忆、转换和提取，以及知识的建构与理解？ 大量的学者在实验中对其效果进行了检验，具体包括回忆、转换测试、理解、学习结果和学习绩效等研究主题。

Tabbers H.K.等对课堂环境下多媒体教学的通道效应和线索效应的普遍性进行了测试，通过实验研究发现，向图片添加视觉线索可以导致更高的保持得分，而用口语文本代替视觉文本会导致保持和转移得分更低。因此，他们的研究只是发现了微弱的暗示效应，甚至是一种反射的通道效应，说明二者都不能容易地在非实验环境下得到推广。Tabbers H.K.等将这一结果解释为之前的研究使用的是系统步调的教学，而在他们的研究中学习是由学习者自定步调的[17]。

Schmidt-Weigand F.等考察了学习者在多媒体学习中的观看行为和学习结果，以探讨通道和空间接近效应中的分散注意过程。他们发现，接收口语文本的学习者，比接收书面文本的学习者，在学习内容的保持和转移方面表现得更好，这再一次证明了多媒体学习的通道效应。研究发现，提供文本显示会使学习主要由文本引导，而学习成功更多与学习者观看动画的时间相关。因此，对动画的处理是解释通道和空间接近效应的关键因素[18]。

Schwan S.等通过实验研究，测试了交互式视频和非交互式视频对学习者认知负荷的影响，发现交互式视频允许用户根据个人的认知技能和需求调整学习内容和形式，从而更好地分配注意力和认知资源，以实现更好的学习[19]。

Moreno R.等通过实验研究证明了两个多媒体学习的认知原则：通道原则和接近原则。即，观看视觉材料时，听觉语言输入的学习效果要好于视觉语言输入，视觉和语言材料在物理上比较接近的情况下，学习效果较好[20]。

6.研究方法（F）维度的分析

实验研究方法是多媒体学习原则和效果检验的重要方法。Schmidt-Weigand F.等[21]，Tabbers H.K.等[22]和梅耶等[23]，均使用实验研究方法，对多媒体学习的双通道理论假设、注意力分配、通道效应、线索效应等理论原则，进行了实证检验。Ginns P.对通道效应研究进行了元分析，认为跨通道提供信息的方式有益于教学，但这种通道效应必须考虑开发视听教学材料的成本[24]。眼动追踪技术，也是多媒体学习研究领域经常使用的方法，包括通过眼动测量推论进行选择、 组织和整合等认知过程。多媒体学习原则、多媒体内容、个体差异、元认知和情绪是影响眼动测量的潜在因素，大量相关研究结果，支持眼动跟踪测量推断的认知过程和学习表现之间的关联，这从某种意义上，也证明了眼动测量方法的有效性[25]。

综上所述，最近20年来国际多媒体学习的研究重点主要围绕在理论基础、 原则和教学实践应用效果等方面。工作记忆、双通道和认知负荷等理论，成为多媒体学习领域重要的理论基础，这些方面的研究成果，为后来多媒体学习的理论建构、原则演绎和实证检验奠定了基础。例如，梅耶及其同事和一大批心理学家应用心理学的最新理论研究成果，包括工作记忆、信息处理和认知负荷理论等，他们研究和探讨了多媒体教学中的信息冗余、认知负荷、处理通道对学习效果的影响。经过10 多年的理论与实验研究，他们提出了多媒体学习的认知理论与模型，并通过多媒体教学实验进行了验证。这些研究成果后来集中收录在梅耶主编的《多媒体学习》和《剑桥多媒体学习手册》两本著作中，总结和归纳出了一系列多媒体学习的基本原则。

多媒体学习理论是学习心理学最新的理论研究成果和研究方法在多媒体教学环境下的有效应用和实证检验。一方面，它为工作记忆、双通道理论和认知负荷等理论，提供了丰富的实证依据；另一方面，也为这些理论在多媒体学习环境及资源设计、多媒体教学设计和实施策略方面的有效应用，提供了桥梁，能够更好地促进学习心理学在技术支持学习环境下的有效应用。

二、智能时代认知理论、媒体技术与学习方式的变迁

在上世纪80-90年代，工作记忆、信息加工和认知负荷等理论大兴其道，而且多媒体技术在教育中的广泛应用，给多媒体学习理论的形成和发展提供了理论基础和技术环境。然而，近10年来，无论是认知理论还是多媒体技术环境，均有了重要的转变。在理论层面，目前正在经历从以“离身认知”为特征的第一代经典认知科学，向以“具身认知”为特征的第二代认知科学研究新范式发展；在技术环境层面，虚拟现实、增强现实、情境感知、泛在计算和移动通信技术的飞速发展，也使得媒体技术从多媒体时代进入“富媒体”和“跨媒体”时代。理论的发展和技术的进步，给多媒体学习理论在当前教育信息化2.0 时代背景下的应用，提出了新的挑战；同时，也提供了前所未有的机遇。

（一）从离身认知转向具身认知

传统认知科学具有明显的二元论特点，认为行动和感知、身体和心理之间是一分为二的，故被称为离身认知[26]。Lakoff G.和Johnson M.对两代认知科学进行了区分，分别将它们定义为离身思维和具身思维。第一代认知科学，将认知过程视为独立于身体及其活动的，而第二代认知科学的核心，是身心之间、思想与行动之间、 理性图式与感觉运动图式之间的密切联系[27]。

Gallese V.通过对大量最新的认知科学研究成果进行综述，指出越来越多的实验证据开始拒绝离身认知科学的诸多论点。首先，神经科学的研究表明，视觉图式和运动图式等典型的人类认知活动，远非单独的象征或命题性质，而是依赖于感觉运动区域的激活。其次，镜像神经元的发现，揭示了“动作观察也是一种模拟”，这种自动模拟过程也构成了一个理解水平，无需任何理论或符号表示。第三，新的脑成像技术解开了人类模仿的神经基础，发现传统被认为是“纯粹的”感觉区域，和模仿存在关系，即动作模仿激活了其感觉后果。第四，在观察和模仿情绪期间均能产生类似的激活模式，也可以解释为一种神经镜像匹配机制的活动，构成另一种类型的具身模拟。总之，具身模拟可以创建真实或虚拟世界的模型，它们是我们与世界建立意义关系的唯一方式，因为这些世界从未被客观地给出，总是通过模拟模型重建[28]。

因此，具身认知成为一种新的认知科学范式，认为心灵不是一组逻辑/抽象功能，而是一种根植于身体经验，并与身体动作和其他人互动相互联系的生物系统，它承认认知过程根植于神经解剖学基础，并将心灵描述为大脑的新兴属性。具身认知不同于离身认知，认为人类认知不是一个抽象的心理过程，而是与身体行为和感觉运动经验之间存在内在联系，这具有两层含义：（1）认知取决于具有各种感觉运动能力的身体所带来的经验种类；（2）个体感觉运动经验能力本身，嵌入在更具包容性的生物、心理和文化背景中。感觉和运动过程、感知和行为，在生活认知中从根本上是不可分割的[29]。

综上所述，第一代经典认知科学主要关注人的内心世界，而不重视认知与行动、感知和运动之间的关系以及身体与世界之间的交互。实际上，不仅是简单的感知表征，甚至一些高阶认知过程，比如，概念形成和语言等抽象活动，也是离不开运动程序的，这是第一代认知科学的局限性，并导致了多媒体学习理论的局限性： 在人类内在认知结构及信息加工处理特征的基础上，强调需要借助多媒体技术，为学习者同时呈现视觉和听觉信息，实现对信息处理双通道的有效利用，并且避免通道之间的干扰和超认知负荷；但这一理念没有考虑到人的行动、运动、环境以及人与环境之间的关系对学习过程的影响，因而在一定程度上会影响多媒体学习理论和原则的教学应用效果。当然，这也受到了当时客观环境的限制，多媒体技术主要实现了对学习内容的视觉和听觉信息的表征，而无法实现信息表征与手势、交互式数字媒体和一般身体活动之间的关联，这一问题在跨媒体时代有望得到解决。

（二）从多媒体转向跨媒体

当前，媒体科学领域也正在经历从多媒体向跨媒体发展的重要转向。目前，学界并没有一个统一的关于跨媒体的界定，最常用的概念为跨媒体（Crossmedia）和跨媒体叙事（Transmedia Storytelling）。跨媒体是指协同使用多种媒体的系统平台，通过不同的语言（口头的、标志性的）和媒体（电影、漫画、电视和视频游戏等）向大众传播信息内容[30]。跨媒体叙事由Jenkins H.提出，它代表了一个过程，其中，叙事的整体元素被系统地分散到多个传递渠道中，以便创建统一和协调的娱乐体验。跨媒体叙事使用多个媒体平台来扩展故事或故事世界，并允许观众与叙事或叙事世界互动，同时提供最佳的沉浸式体验，以扩散数字和物体、真实和生活之间的界限[31]。它适合创建一个无法在单一作品甚至单一媒介中实现的更大的故事或故事世界，而且跨媒体内容是与平台和媒体无关的，因为它可以通过许多可能的全媒体平台讲述，当然它必须具体化并适应每种媒体的特性[32]。跨媒体叙事可以使用多种不同类型的媒体，除了书籍、漫画、电影和电视节目等传统媒体，还可以使用叙事游戏、博客、网站或社交媒体等新媒体[33]。

总之，跨媒体在媒体信息来源、传输过程、存储过程和交互过程等方面，均呈现出以往多媒体不具备的一些特征。

首先，多媒体主要通过视觉和听觉两个通道表征信息内容，常用的媒体类别有音频、视频和音视频等；而跨媒体是多感知的、混合的和大体量的，其媒体类别包括音视频、社会媒体、虚拟现实和增强现实等多种类型，其信息是由用户生成、创作、位置感知和动作感知等不同来源的信息混合而成的。而且，跨媒体在量上表现为类别丰富、数量巨大，可以满足不同用户大量的媒体资源需求。

其次，多媒体信息内容的传递是单向的，用户一般是被动地接收信息； 跨媒体通过虚拟现实和增强现实、社会网络、大数据和人工智能等技术，实现对信息内容的编码、传播与处理，使其具有高度的自适应性和智能化特征，而且用户能够主动参与信息的创作、生成与交互。

第三，多媒体存储过程是集中式的、静态的；跨媒体的存储过程是分布式的，而且能够持续地记录和更新，模仿人的眼、耳及大脑功能，不断感知新的信息并实现智能化处理，实现跨媒体数据信息的不断生成与进化。这也给跨媒体的数据组织结构提出了更高的要求，比如，提供多模态数据的集成、寻求语义概念的多媒体表征，并提供丰富的链接，以实现跨模式多媒体信息的检索[34]。

第四，跨媒体的交互方式是非常多样化的，比如适应性显示、移动交互、体感交互和情境感知，而不仅仅局限于通过眼睛和耳朵获得视觉和听觉信息。这有助于使交互更加自然、含蓄、开放和协作，体现着具身认知“身心一致”的要求。

（三）从多媒体学习向跨媒体学习的变迁

跨媒体更具互动性、动态性、增强性和灵活性，它与学习之间的联合具有巨大的教育价值和潜力，能够极大地扩展学习的机会、提升学习的体验。多媒体主要通过视觉和听觉两个通道传达信息，分别对应于人的信息处理的双通道，但无法提供情境、动作、生理和人与环境之间的交互等信息，而且还会受时间和地域的限制，因此，它和第一代以信息处理为核心的离身认知理论是匹配的。而跨媒体能够通过沉浸式、互联式和动作感知等方式，为学习者提供跨来源类别、跨平台和跨通道的媒体信息符号，从而更好地支持学习者主动参与、自我表达和体感运动，实现对媒体信息的加工、处理和交互。基于跨媒体的学习使学习者可以在任何时间和地点，获得适应性的学习服务，所以，它与第二代具身认知科学是相匹配的，为基于具身认知的学习环境的设计、开发和应用研究，提供了条件。

三、智能时代跨媒体学习理论框架与环境的构建

梅耶的多媒体学习研究，建立在第一代离身认知科学理论和多媒体技术基础上，在当时的历史条件下，有其科学合理性。而在当今智能时代的背景下，认知理论已经从离身认知开始转向具身认知，多媒体环境也开始转向跨媒体环境，这给多媒体学习理论提出了挑战。同时，也给新的跨媒体学习理论建构、资源环境的设计以及教学实践应用，提供了新的可能性。

（一）跨媒体学习理论框架

多媒体学习认知理论，主要建立在双重编码、工作记忆和认知负荷等认知理论的基础上，工作记忆模型和认知负荷理论，在近年来均有了较大的发展。Baddeley A.的工作记忆模型是多媒体学习理论最为关键的理论基础，该模型也在不断地发展，并引入了情境缓冲区作为它的第四个元素，如图5所示[35-36]。

其中，情境缓冲区是情节性的临时存储，它能够通过参与不同组件的多维编码进行交互，保持多维事件或区块；可以结合视觉和听觉信息，以及气味和味道，并且可以与来自感知和长时记忆的信息进行交互。情境缓冲区被假设具有约四个有限存储单元，并且可以通过有意识的识别来访问，它可能为具身认知的情境性，以及认知过程中身体与心灵、思想与行动、感知与运动之间的互动和整合，提供记忆机制。

图5 多成分工作记忆模型

因此，随着工作记忆、具身认知和关联主义等理论的发展，我们发现：（1）人的信息处理可能不是双通道的，而是三通道甚至多通道的；（2）认知过程不是离身的，而是一个情境性的具身认知过程；（3）知识并非独立存在于个体的长时记忆中，而是相互联通而形成连接性知识。为此，我们在工作记忆、关联主义、具身学习和情境体验等理论基础上，参考具身认知和跨媒体的最新研究成果，初步提出了跨媒体学习认知理论框架，如图6所示。

图6 跨媒体学习认知理论框架

首先，跨媒体能够从不同的平台和通道获取不同的媒体信息，实现不同媒体之间信息的传播与互动，具有更强的表现力和关联性，而且能够与学习者之间进行交互和信息交流。跨媒体除了能够向学习者呈现语词、情境、画面和索引信息等不同信息符号外，而且能够通过虚拟现实、增强现实和体感交互等技术手段，更好地表现教学情境，加强学习过程中学习者与学习环境之间的相互作用，促进内在认知与外在环境、生理和心理的耦合，实现对具身学习过程的支持[37]。

其次，工作记忆模型中最新发现的情境缓冲区，为跨媒体的情境感知和动作感知等信息的处理提供了记忆理论的依据，为跨媒体学习认知理论提供了第三条信息处理通道：情境具身认知通道。该通道与其他两条通道之间也存在着大量的信息交流，并与长时记忆中的情景记忆相对应。

第三，关联主义认为，网络时代的知识，越来越趋向于“软知识”和“连接性知识”。一方面，知识发展变化的速度越来越快，不断被修正和替换； 另一方面，知识越来越开放和多样，知识间的交互性和连接性越来越强，知识的索引和联通比知识本身的内容更为重要[38]。多媒体学习主要关注个体长时记忆中的知识信息，而跨媒体学习需要实现知识之间的联通性、索引性和社会性，将不同个体的长时记忆连接起来，形成集体性的连接性知识。这种连接性知识不但可以对学习者个体认知过程、 动机和情绪等进行自我/社会调节，还能够通过学习者的主动参与、投入，进行媒体内容的创作与更新，贡献自己的知识信息，从而实现身心之间、思想与行动之间、理性与感觉之间的统一，使整个认知过程形成一个回路，而不是一个线性的单向过程，体现着具身学习的特点。

第四，通过对学习者的感觉记忆和长时记忆的分析，提取学习者的知识基础、学习风格和学习行为等特征，作为实现跨媒体信息自适应表征与呈现的依据，能够降低学习者从大量不同来源的媒体信息中进行选择的认知负荷。

（二）跨媒体学习环境的构建

多媒体学习主要考虑了文本和图形两种媒体呈现方式，因此，多媒体学习环境也主要致力于这两种媒体类型的学习资源的存储和传递。这些资源往往是静态的、孤立的，在学习过程中并不会发生改变，也不会和其他资源类型产生关联，学习者只能被动地接收和学习它所传达的信息，而无法参与信息的创作与生成，因此，很难满足学习者个性化的学习兴趣与需求。跨媒体学习环境要求学习资源的来源与种类非常丰富，实现跨平台和跨通道之间的检索、提取与混合，而且能够与学习者通过多种方式进行交互，并实现相关信息资源的丰富与完善。这也意味着需要探索跨媒体学习资源的数据标准、 组织结构和多模态数据的集成方式，建立跨媒体学习资源与学习者特征、能力和知识发展之间的语义关联，使其能够与当前智能学习系统中的学习者模型、 知识领域模型和自适应引擎兼容，以实现其数据的动态更新和丰富、智能化检索和自适应推荐、呈现与导航，最大程度地满足学习者个性化学习的需求。

在智能时代，我们需要重视智能化跨媒体学习环境的构建，使其具有更强的交互性、智能性和情境感知性。为此，我们提出了智能化跨媒体学习环境的构建框架，如图7所示。

图7 智能化跨媒体学习环境框架

从图7中，我们可以看到，智能化跨媒体学习环境包括由学习者知识联通而成的连接性知识、跨媒体内容提供、系统交互模块、跨媒体学习者模型、领域知识模型和跨媒体学习自适应引擎等六大功能模块。

首先，跨媒体学习环境提供更丰富的人与跨媒体内容的交互功能，使学习者能够通过不同的终端和感知设备，与学习内容及环境进行交互，强调学习过程中的身心统一、 生理与心理的统一以及思想与行动之间的统一，以实现其对学习者具身认知过程的支持。这将要求跨媒体学习环境，需引入情境感知、体感交互、移动通信和泛在计算等技术[39]。

其次，跨媒体学习环境强调学习的认知过程是一个循环的过程。学习者不是被动地接受，而是需要全身心地主动参与和投入跨媒体的创建与更新过程，利用社交网络媒体有效调用集体智慧，促进复杂学习任务的协同解决，在交流与协作过程中形成连接性知识。

第三，跨媒体学习环境需要引入深度学习、神经计算和高阶语义知识等人工智能的研究成果，实现跨媒体信息的语义表征，以更好地支持学习的具身认知和深度认知过程，更有效地利用学习者工作记忆的情境缓冲区。

第四，在信息存储方面，需要引入大数据架构和学习分析技术，实现对用户感知、交互和学习行为数据的动态更新和记录，为跨媒体学习环境的自适应支持，提供数据与分析基础。

最后，跨媒体学习环境下的媒体信息极度丰富，这也提高了学习者找到匹配的媒体资源的难度。因此，需要采用智能化自适应学习系统架构，根据学习者的媒体素养、知识结构、认知风格和行为特征，智能化推荐合适的跨媒体学习资源，提供合适的资源呈现方式、导航和交互方式，以实现对个性化学习的支持。

四、实施路径及建议

多媒体学习认知理论将工作记忆、认知负荷和双重编码等理论融入到多媒体学习中，支持学习者更充分地利用其认知资源和信息处理通道，这对多媒体教学设计和教学实施均具有重要的理论和实践意义。

近年来，其理论和技术层面都有了较大的发展，首先，在工作记忆中发现了情境缓冲区，而且认知科学也有向具身认知转向的趋势，使传统的信息加工双通道理论面临挑战；其次，多媒体技术也开始转向跨媒体，使教学媒体具有更强的表现力、智能性和交互性。教育部《教育信息化2.0 行动计划》提出要“建成‘互联网+教育’大平台，推动从教育专用资源向教育大资源转变”，这给学习资源、信息处理和交互功能等方面均提出了新的要求。因此，在智能时代背景下，多媒体学习认知理论需要继续发展。基于此，我们初步提出了跨媒体学习认知理论的构想，并讨论了跨媒体学习环境的构建，这对智能时代的跨媒体教学与应用，具有一定的指导意义。

第一，跨媒体学习认知理论框架目前仍只是一种理论构想，还需要在大量的教学实践和实验研究的基础上，进行检验、发展和完善；并在此基础上总结、 归纳和推论得出一些具有教学实用价值的跨媒体教学原则，从而为未来的教育实践和学习资源环境的开发，提出一些理论指导原则。比如，新引入的情境具身认知通道和原有双通道之间是否也存在通道原则和冗余原则？ 跨媒体叙事要求身心一致的具身认知过程，对学习者对媒体资源信息的选择、组织与整合将产生何种影响？ 集体智慧形成的连接性知识能否缓解个体长时记忆知识和工作记忆容量有限的不足？ 对于这些问题，我们还需要通过大量的教学实验进行检验，并在实践中发展跨媒体教学设计方法。在实现三通道有效利用的同时，避免不同通道间的冗余与干扰效应，以促进学习者跨媒体学习的效果。

第二，学习资源的呈现不能只局限于视觉和听觉材料，需要更加强调跨媒体学习资源的多通道化、数字化、标准化和智能化。推动虚拟现实和增强现实学习资源与环境的开发，使用跨媒体叙事等方法，增强教学信息资源的丰富性、 立体性、 交互性和情境性，让学习者能够身心一致地投入学习过程，并主动参与对学习内容的创作和生成，以达到对学习者多种感觉通道的有效利用。信息处理过程需要考虑情境感知通道的有效利用，更多地引入情境感知、身体感知等交互手段，以促进学习的具身认知过程。

第三，跨媒体学习提供了更多的学习资源类型，并调用了学习者更多的认知资源和信息处理通道；同时，也可能提高学习者的认知负荷，增加查找和获取适合自己的资源的难度。因此，跨媒体学习环境的构建，需要引入教育大数据和智能技术，完善教育数据的采集、存储和处理的技术体系架构，使其能够更好地感知、诊断和分析学习者的跨媒体素养、知识结构、认知风格和行为特征，为学习者提供智能化、个性化的跨媒体学习支持服务，向其精准推荐合适的跨媒体学习材料，降低其查找相关资源的难度及信息处理过程中的认知负荷。