数字化环境下多媒体学习认知负荷实证研究综述

□ 虞天芸，黄新辉，王志军

数字化、信息化已成为人类生产生活的主导方式，教育数字化转型成为教育改革实践的主要方向，受到社会各界的广泛关注。[1]随着我国教育数字化转型的深入推进，信息技术在教育领域的应用从融合走向创新发展，数字化学习环境与资源呈现出日益复杂、多场景交融的趋势。[2]多媒体学习是这些场景中的基本学习形态。由于学习者的认知容量有限[3]，为了保证认知资源得到有效利用，提高学习效率和效果，对这些场景中认知负荷的研究成为国际社会日益关心的话题，并开展了大量实证研究。为系统把握国内外多媒体学习认知负荷的研究现状与发展趋势，推动数字化学习与认知规律研究的进一步深化，本研究采用系统性文献综述法，对多媒体学习认知负荷实证研究展开分析与比较。

一、研究过程与方法

1.文献获取

本文选取Web of Science、Scopus和EBSCO三大数据库，以“multimedia”和“cognitive load”为检索词，对 2015年1月至2022年6月的英文期刊文献展开检索。初步去重后获得文献861篇。同时，选择中国知网、万方数据知识服务平台和维普中文期刊服务平台三大数据库，以“多媒体”和“认知负荷”为检索词，对同一时间跨度的期刊文献进行检索。由于所获文献较少，于是将检索范围扩大到硕博学位论文，初步去重后获得中文文献369篇。随后按照全文可获取、主题相关、实证研究、测量认知负荷4个标准进一步筛选文献，获得文献309篇(中文109篇，英文200篇)。根据第一作者国籍归属和研究实施地区进行划分，最终确定国内研究者的文献161篇，国外148篇。

文献检索过程中发现，国内外年度发文量整体呈上升趋势，国内增长幅度较大。文献来源期刊多样，所属学科以教育技术学和心理学为主，发文量较多的期刊有Computers&Education(n=16)、JournalofComputerAssistedLearning(n=16)、FrontiersinPsychology(n=11)、EducationalTechnologyResearch&Development(n=10)。此外，计算机科学与技术、医学等学科对该领域也有所关注。研究呈现出较强的地域和团队聚集性，国内研究多源自华中师范大学和天津师范大学研究团队。国际上，德国和美国是该领域研究成果的重要产出国，主要研究团队来自德国萨尔大学、德国开姆尼茨工业大学、美国加利福尼亚大学圣塔芭芭拉分校等。

2.分析维度的确立

为了系统、准确地抽取出文献中的重要数据，本研究参考系统性文献综述法的“文献基本信息数据抽取单”和“九维文献内涵数据抽取单”[4]，建立了如表1所示的比较与分析框架。

表1 文献比较与分析框架

二、数据分析与比较发现

1.研究基本信息

(1)学习环境。国内外研究关注的多媒体学习环境以基于多种计算机软件环境的教学课件(国内37.9%，国外32.4%)和教学视频(国内39.8%，国外23.0%)为主。分析发现，传统多媒体课件的设计如何影响学习者的认知负荷仍是相关研究的关注重点，具体包括电子文档、电子教材、幻灯片等。随着融媒体制作技术的发展，视频类学习资源在教育领域的应用日益广泛，录屏式、动画式、画中画式等多种形式的教学视频成为多媒体学习认知负荷研究的另一个主要方向。同时，增强现实、虚拟现实、模拟仿真、体感游戏等新型技术支持下复杂融合化的学习环境逐渐成为多媒体学习认知负荷研究的重要议题。

多项研究将学习环境类型作为自变量，探究不同学习环境对认知负荷和学习效果的影响。相比于传统的学习环境，新型多媒体学习环境一定条件下能够降低认知负荷并提高学习绩效。例如，Henssen等研究发现相比传统的学习环境，大学生利用增强现实移动应用学习神经解剖学知识能够降低认知负荷。[5]Makransky等研究得出了不同的结论，发现学习者在虚拟现实技术支持的生物实验室中获得了更高的学习沉浸感，但导致了更高的认知负荷。[6]Parong等通过研究证实沉浸化虚拟现实学习环境能够激发学习者的高唤醒情绪，但产生更高水平的认知负荷。[7]

(2)研究对象。大学生群体(国内70.8%，国外75.0%)是多媒体学习认知负荷的主要研究对象。究其原因，该领域研究力量集中于高校研究团队，因此大学生资源容易获取，且开展研究较为方便。小学、中学等其他学段国内外研究均有所涉及，但相对较少。除在校学生外，国外部分研究还关注到了学龄前儿童，以及在职员工、运动员等多元背景的学习者，并通过网络公开招募的方式拓宽研究对象获取渠道。个别研究以年龄或年级作为自变量，同时选择小学、中学、大学或老年大学等多学段学习者，探究多媒体学习环境中个体差异对认知负荷的影响。例如，吴向文通过实验探究了学习者交互控制、学习内容呈现方式，以及反馈设计对于小学生、中学生和大学生3个年龄段学习者多媒体学习效果和认知负荷的影响。[8]

(3)研究材料。多媒体学习认知负荷实证研究涉及的学习材料所属学科较为丰富，其中气象学、生物学、医学、物理学等数理生学科是该领域研究重点关注的学科。部分研究基于经典学习材料，根据具体的研究问题进行二次设计与开发，以验证研究假设或相关多媒体学习原则。例如，气象学《闪电的形成过程与原理》学习材料多源自梅耶的经典实验材料。[9]文史哲学科多媒体学习材料的设计和研究相对较少，但逐渐受到关注，例如，Parong等人探究了沉浸式虚拟现实技术对历史学习结果和认知负荷的影响[10]，Wang等人探究了古诗词动画中的情绪设计对学习者古诗词鉴赏和认知负荷的影响[11]。除学科知识外，研究中的学习内容还涉及形状感知、科普性知识、体育训练、STEM课程、基于多媒体技术的探究式学习、企业培训等。此外，国内对数字媒体软件、办公软件等计算机操作类知识关注较多。究其原因，国内相关研究者主要来自教育技术学领域，对此类知识比较熟悉，选择这类内容能够在一定程度上降低材料设计制作及研究实施的难度。

(4)研究主题。多媒体学习材料设计与多媒体学习环境类型是相关研究一直以来关注的重点。国内外研究探究了信息呈现方式、提示、动画教学代理、教师形象、标题字幕、音频配音等多种要素设计对认知负荷的影响。认知负荷理论作为教与学领域最具代表性的理论框架[12]，比较不同多媒体学习环境中学习者的认知负荷是验证该学习环境有效性的重要方式。此外，部分研究关注多媒体学习过程中融入不同的教学或学习策略对学习效果的影响，例如学习反馈、练习测试、自我解释等。

从时间分布上来看，个体差异、情绪设计和认知负荷测量是多媒体学习认知负荷实证研究的新方向。不同学习者在相同的多媒体学习环境中的学习效果和认知负荷水平是否有差异是基本出发点，对个体差异的研究突显了个性化学习趋势，多项研究基于认知负荷理论探究了学习者的先验知识、工作记忆容量、学习风格、文化背景等因素对多媒体学习效果的影响。例如，Arslan-Ari研究发现教学动画中的线索设计对学习结果的影响与学习者的先验知识水平有关，但对认知负荷的影响与先验知识水平无关；[13]李文静等研究发现加入学习者偏好的教学代理能够降低学习者的认知负荷，促进学习。[14]情绪设计旨在通过一系列设计影响学习者的学习情绪以提高学习能力[15]，是多媒体学习环境设计的重要环节。情绪设计相关研究可分为外部情绪诱导和学习材料内部情绪设计两大类。相关研究主要采用了视频素材诱导、主动回忆诱导等外部情绪诱导方法；学习材料内部情绪设计包括对界面灰度、元素拟人化、旁白语音语调、教学代理表情和手势等元素的设计。例如，龚少英等研究发现，拟人化和彩色相结合的内部情绪设计能够诱发学习者的积极情绪，彩色设计能够降低学习者对于学习材料的感知难度。[16]认知负荷的测量作为学术界公认的难点，新型测量工具的开发以及不同测量方法间信效度的比较在国际上得到关注，Mwambe等人在自适应教育超媒体学习环节中验证了内源性眨眼率、瞳孔大小等眼动指标对测量认知负荷水平的有效性；[17]Longo等人对NASA任务负荷指数(NASA-TLX)、心理努力评价量表(RSME)和Workload Profile(WP)量表三种自我报告式测量工具的效度和敏感性进行了比较分析，研究发现这三种工具均具有较高的效度，WP量表具有更高的敏感性。[18]

2.研究内容

(1)认知负荷维度。认知负荷分为内在、外在和相关认知负荷三类，总认知负荷是三类相加之和，总认知负荷若超出工作记忆的容量，就会对有效学习产生影响。[19]因此需要通过有效的教学设计来协调三种认知负荷，使学习者在学习过程中产生的认知负荷维持在能够促进学习的状态。[20]大部分研究对多媒体学习中学习者的总认知负荷水平进行了测量(国内81.4%，国外64.9%)；少部分研究具体关注内在、外在和相关三类认知负荷，探究多媒体学习过程中不同类型认知负荷的变化机制，仅有4.2%的研究同时对总认知负荷水平和不同类型的认知负荷进行测量和分析。该结果与认知负荷测量工具的选择有关，同时也表明实证研究与理论基础之间的联系还有待进一步深入。

(2)多媒体学习原则。多媒体学习理论提供了具有实践指导意义的多媒体教学设计原则，如何设计多媒体信息的组合和呈现方式，以促进学习者的理解与认知是相关研究的主要方向之一。有效教学设计需要尽可能减少学习者的外在认知加工、管理必要认知加工和促进生成认知加工。梅耶及其团队基于多年的实证研究提出了实现上述三种认知加工调节方式的14条原则。其中，多媒体原则是最核心且最重要的原则，即相比于仅呈现文本的学习材料，人们使用图文结合学习材料的学习效果更好。减少外在认知加工的原则包括一致性、信号、冗余、空间接近和时间接近原则；管理必要认知加工的原则包括分段、前训和通道原则；促进生成认知加工的原则包括人性化、原音呈现、形象在屏、具身和生成性活动原则。[21]李文昊基于梅耶的研究对多媒体教学设计原则做了进一步补充，新增了指导发现、工作例子、自解释、生成性绘画、反馈、多重表征、学习者控制、动画、合作、专业知识反转、工作记忆容量个体差异共11条高级原则。[22]

分析发现，多项研究遵循多媒体学习原则进行学习材料的设计与开发，或通过实证研究验证在教学情境中不同学习环境下多媒体学习原则的适用性。对于上述三类原则，国内外研究对减少外在认知加工的原则关注度较高，如信号原则和冗余原则，国外研究对一致性原则和时间空间接近原则有更深入的讨论；对管理必要认知加工的原则，研究较多的是通道原则和分段原则；对促进生成认知加工的原则，国外研究关注个性化原则较多，国内研究则对形象在屏、具身原则等与教师元素设计相关原则讨论较多。此外，多项研究对上文提到的自解释、生成性绘画、反馈、多重表征、学习者控制、动画、专业知识反转、工作记忆容量个体差异等高级原则在不同多媒体学习环境中进行了检验。花边效应也是相关研究的关注重点。一定程度上可以说明上述原则和效应是多媒体学习材料设计研究的热点。

3.研究设计

(1)实验或准实验场景。当前多媒体学习认知负荷实证研究多采用定量研究方法(国内93.8%，国外93.2%)，并以实验研究法为主，仅有4项研究采用定性定量结合的混合式研究设计。从实验场景来看，大多数研究采用随机抽样真实验设计，具体实验设计方案被试间实验设计应用最为广泛，包括单因素和双因素被试间实验设计，而被试内和混合实验设计则较少。从实验程序来看，大部分研究采用多组前后测实验设计，国内1项研究采用轮组先后处理设计。此外，少部分研究采用准实验设计，具体实验设计方案以非对等对照组前后测设计为主，个别研究采用单组时间序列设计。

(2)变量与因子。国内外研究中的变量主要包括材料类型、个体差异、教学策略和学习策略。材料类型(国内92.5%，国外87.8%)是多媒体学习认知负荷实证研究中涉及最多的变量，具体指多媒体学习材料中各元素的设计和呈现方式，其中信息呈现方式、媒体类型、提示设计、情绪设计、教师形象设计、字幕设计、花边信息呈现、反馈设计、学习者控制等变量是相关研究关注的重点。个体差异包括学习者的先验知识、学习风格、工作记忆容量、年龄、社会文化背景等变量。此外，部分研究以教学和学习策略作为变量，探究不同任务类型、任务难度、学习者自解释等对认知负荷和学习效果的影响。

认知负荷和学习结果是相关研究最主要的因子，其次是学习体验及其他因子。由于采用不同的测量方法，研究中认知负荷的子变量有所不同。上文提到大部分研究关注于学习者总认知负荷的变化，因而将内在、外在和相关三类认知负荷作为因子的研究较少。部分采用主观测量法的研究，多将感知难度和心理努力作为认知负荷的评价指标。国外研究采用的客观测量法较为多样，因此部分研究将眼动、心电活动、脑电活动、皮电反应等生理指标作为认知负荷的客观测量指标。学习结果方面，大部分研究将学习成绩作为因子，或根据学习目标的分类，学习结果具体从迁移、保持、记忆、再认、理解、回忆、匹配、辨认等多个子项目中体现出来，其中保持和迁移成绩是国内外研究中涉及较多的学习结果子变量。学习体验方面，国内更重视这一因子的研究，满意度、学业情绪、内部动机和学习兴趣是国内外研究者关注较多的变量，部分研究还关注社会存在感、专注度、成就感、学习态度、焦虑感、具身感、学习投入、自我效能感、感知有用性等因子。其他因子包括完成任务时间、交互行为、教学效率等也得到了关注。

(3)数据测量方法与工具。当前多媒体学习认知负荷实证研究中认知负荷主观测量法(国内94.4%，国外88.5%)应用广泛，客观测量法相对应用较少，个别研究采用主客观混合式的测量方法。分析发现，虽然客观方法能够得到更有效可靠的研究结果，但主观测量法依然是国内外大多数研究者首选的认知负荷测量法，其原因在于主观测量法使用历史久远，且具有操作方便、器材简单、数据易分析、对学习过程干扰小等优势。[23]10-12

主观测量法以量表和问卷为主要的测量工具，研究中多种量表得到应用，其中Paas编制的经典认知负荷自我评定量表(国内48.4%，国外31.4%)使用最为广泛，该量表包括感知任务难度和心理努力等2个维度，采用李克特9点评级测量学习者的认知负荷。[24]国内部分研究者在Paas自评量表的基础上，依据不同的研究目标设置不同的评级点数，例如5点、7点、8点、10点量表等。其次是由Paas和Van Merriёnboer编制的认知负荷量表、Leppink等编制的主观量表、Klepsch等编制的主观量表、NASA-TLX量表、WP量表等。其中Leppink和Klepsch等编制的主观量表针对内在、外在和相关三种认知负荷编制了不同的题项，支持对三种认知负荷进行分别测量。

随着测量技术研究和实践的发展，客观测量法获得了研究者的关注。如表2所示，国内研究主要采用了双任务范式、眼动测量、心率测量和脑电测量等4种客观测量法。其中，双任务范式和脑电测量属于直接测量法，眼动和心率测量属于间接的生理测量法。从年份分布来看，发表于2015年的2项研究采用双任务范式，而眼动、心率和脑电测量法在国内研究中应用的时间较晚。

表2 国内研究客观认知负荷测量方法

如表3所示，国外采用客观方法的研究数量略多于国内，眼动测量应用最多，其次脑电测量、双任务范式和皮肤电测试也被多次采用。此外，个别研究采用了心率测量和fNIRS(功能性近红外光谱技术)脑功能成像和心电测量法。其中，脑电测量、双任务范式和fNIRS脑功能成像属于直接测量法，眼动、心电、心率和皮肤电活动属于间接的生理测量法。从时间分布来看，双任务范式和fNIRS在国外研究中应用较早，近期研究更关注眼动、脑电、皮肤电、心率和心电等客观测量法。

表3 国外研究客观认知负荷测量方法

(4)数据统计与分析方法。由于大部分研究采用量化研究设计，多种统计学数据分析方法得到了应用，包括描述性统计、推断性统计分析和基于结构方程模型的中介效应分析等。其中，推断性统计分析应用最为广泛，结合不同的研究目标和研究设计,各研究选择了方差分析、相关分析和回归分析等统计方法进行数据分析。此外，部分混合式研究设计采用了内容分析、视频交互行为分析、滞后序列分析等方法；部分采集生理指标的研究除了使用统计学方法进行数据分析，还采用了如脑电频谱分析、眼动聚类分析等对应的数据分析方法。

三、研究共性分析

从上述分析可以看出，随着技术的发展，国内外对多媒体学习认知负荷的总体关注度在逐年提升，相关研究都获得了长足的发展，研究呈现出以下共性特征。

1.新型多媒体技术环境得到关注，研究视阈更宽并呈现新的方向

学习环境以多媒体课件、视频等传统多媒体学习环境为主，增强现实、虚拟现实、模拟仿真、体感游戏等新型技术支持下的多媒体学习环境成为新的研究趋势。多媒体学习认知负荷研究对象以大学生为主，国内研究主体为在校学生且学段跨度广，国外研究对象类型更多元。学习材料方面，数理生学科内容知识为主要研究材料，语言、历史等文史哲学科逐渐受到研究者的关注，国内尤其注重数字媒体软件、办公软件等操作类知识。研究主题多样，多媒体设计和多媒体学习环境类型为领域内一直以来的共同关注点，个体差异、情绪设计和认知负荷测量成为研究新方向。

2.以认知负荷测量为基础，在多种环境中验证多媒体学习原则

认知负荷的研究维度方面，国内外大部分研究对多媒体学习环境中学习者的总认知负荷水平进行了测量和分析，少有研究单独测量内在、外在和相关三类认知负荷的变化和相互作用机制。多媒体教学原则是多媒体学习认知负荷相关研究重要的成果，具有实践指导作用。多项研究遵循多媒体学习原则进行学习材料的设计与开发，并对不同原则在交互式课件、视频、增强现实、虚拟现实、模拟仿真、教育游戏等多种学习环境中的效度加以验证。研究关注较多的原则主要有提示原则、通道原则、冗余原则、时间接近原则、空间接近原则、一致性原则、人性化原则、分段呈现原则等，以及自解释、生成性绘画、反馈、多重表征、学习者控制、动画、专业知识反转、工作记忆容量个体差异等高级原则。

3.定量真实验依然是主流，变量因子和测量分析方法多元

研究以定量真实验设计为主，部分采用准实验和非实验设计。研究涉及的变量因子类型丰富，覆盖面广，变量以材料类型、个体差异、教学策略和学习策略为主，其中材料类型的关注度最高。因子以认知负荷、学习结果和学习体验为主，且国内对学习体验因子的研究较为深入。主观测量法是国内外研究采用最为广泛的认知负荷测量方法，测量工具以主观量表和问卷为主且选择多样，其中Paas于1992年编制的认知负荷自我评定量表的应用最为广泛。眼动、脑电测量、皮肤电活动等客观或主客观结合的测量方法逐渐得到应用。数据统计与分析方法呈现多种统计学分析方法并重，文本视频分析、生理指标分析等分析技术补充的趋势。

四、未来研究展望

通过国内外多媒体学习认知负荷实证研究的比较分析，对国内未来多媒体学习认知负荷实证研究的进一步发展做出以下展望。

1.关注新型多媒体技术环境，创新认知负荷研究的理论与实践

教育数字化转型背景下，技术与教育实现了初步融合，互联网、人工智能、大数据、虚拟现实、增强现实等技术赋能教育，使得学习方式和学习环境发生了巨大的变革，亟须探究符合时代背景、面向新型学习环境的教学理论的创新，以应对新型技术支持的学习环境设计。[25]分析发现，现有研究将多媒体学习原则应用于创新型学习材料和学习环境的开发，或在增强现实、虚拟现实、模拟仿真等新型学习环境中加以检验，而少有研究基于某一特定学习环境的特点提出相应的原则，缺乏对新环境新原则的探索。当前多媒体学习认知负荷相关研究一定程度上受限于双重通道假设，已有原则多基于视觉和听觉通道提出，而复杂、融合、沉浸式的新型学习环境中的认知负荷存在更特殊的新规律，将调动学习者的更多通道，例如味觉、嗅觉、触觉、情境感知等通道都将在学习过程中接收大量的信息。如何在实践中进一步调控学习者的认知负荷需要更丰富的多媒体学习原则加以指导。因而，研究者应当突破传统的思维和思路局限，实现理论上的不断创新与突破。

2.结合新兴技术开发测量工具，主客观结合拓展与优化测量方法

依据认知负荷理论，教师和学习材料设计开发者需要清楚地了解学习者如何处理学习材料，这些学习材料给学习者带来了多少认知负荷，以及是否有效促进了学习者的认知过程。因此，认知负荷的测量一直以来都是研究者关注的重点。由于认知负荷具有主观性、内隐性和变化性三大特征[23]25，如何科学测量认知负荷也是学术界公认的难点。随着认知负荷理论研究的深入及测量科学、测量技术的发展进步，一方面研究者不断尝试和探索新的测量方法与工具，另一方面对不同测量方法的效度和适用性进行比较。主观测量法已较为成熟，不同测量工具特色各异。近年来眼动追踪、EEG、fMRI等客观认知负荷测量方法逐渐受到研究者的关注，相关研究也在不断深入推进，但客观测量方法大都只能进行整体认知负荷的测量，较难对内在、外在和相关三种认知负荷进行分别测量。无论是主观法还是客观法都有其优势和不足，为了保证研究的信度和效度，在分别探究更科学的主观或客观测量方法的同时，未来可加强如何更好地结合主客观测量方法的研究，从而优化其在实证研究中的应用。

3.拓展学科范围与研究群体，促进学科发展和结论的适应性

目前研究最为广泛的是数理生学科，未来研究可以多选用文史哲学科作为学习材料内容的来源，以拓展学科范围。同时，国内研究者多来自教育技术学领域，教育技术研究者应当与其他学科进行深度结合，促进更多学科教学实践的发展，为学与教过程中存在的真问题提供具有科学性的理论指引和解决方案。研究对象方面，有必要拓展研究群体的学段范围和类型，以提升结论的适应性。不仅需要关注中学生、大学生等青少年群体，还要加强学前、小学等少儿群体的相关研究。此外，除接受正规教育的在校学生外，可将在职学习者作为研究对象，探索多媒体在企业培训及绩效提升中的作用。随着终身教育、终身学习等理念的广泛渗透与传播，老年教育的理论研究及实践探索逐渐得到全球学者的关注。[26]多媒体学习及相关理论可以为老年教育的研究提供新的视角，例如邓毅以老年大学的学习者为研究对象，开展了装饰图片和知识背景对老年人学习效果的研究[27]，未来可以对老年群体开展更深入的探究。

4.加强结论在实践中的检验与应用，结合真实情境开展更多元的研究

教育是一门强调应用性和实践性的学科，理论研究需要在实践中寻找定位价值。[28]当前实验研究范式是多媒体学习认知负荷研究的主要范式，而具有小样本、特定语境、低维度变量等特征的实验研究难以保证得出结果的外部有效性，也难以避免被试偏差及情境效应。[29]未来研究需要加强研究结论在实践中的检验与应用，提高结论的适用性。从可控的实验室环境走向真实的教育教学情境，走进学校课堂。研究团队需要与一线教师开展深度合作，打破研究设计者不参与教育实验过程，参与教育实验的教师不参与实验设计过程的现象。走进基于新型多媒体技术的创新型教育实践，走进突破时空限制的线上线下混合的学习空间，结合真实的教育教学情境开展深度的质性研究和混合研究，开展更加丰富多元的多媒体学习认知负荷实证研究。