增强现实教育应用研究中的多模态学习分析

刘 潇，王志军，薛 彬

（1.天津师范大学教育学部，天津 300387；2.沧州交通学院计算机与信息技术学院，河北沧州 061100）

0 引言

在“增强现实（Augmented Reality，AR）+教育”的大背景下，“如何实现AR 学习的适应性设计”逐渐得到研究者的重视，解决这一问题的前提在于理解AR环境下学习发生的内在机理。以“测量、收集、分析和使用学生数据”为特征的多模态学习分析不仅有助于弄清和解释学习的复杂性，还可用于预测和指导更有效地学习［1］。基于此，本研究着力探讨AR 教育应用研究中多模态学习分析应用现状并针对性地提出改进措施，以期通过优化学习分析的手段帮助研究者更好地揭示AR学习的本质。

1 多模态学习分析的研究基础

1.1 多模态学习分析的基本概念

多模态学习分析（Multimodal Learning Analytics，MMLA）是指通过捕获、融合和分析多种来源的数据，如自然交流过程中的讲话、凝视、手势、眼动、面部表情、皮肤电、脑电图、心率等，以实现对学习行为、认知、信念、动机与情绪等多方面的客观理解和深刻洞察［2］，其所涵盖的内容不仅包括数据获取，还应包含数据整合。

1.2 多模态学习分析中的数据整合

数据整合是多模态学习分析的核心和难点。穆肃等［3］在分析了相关研究后，将多模态学习分析中的数据整合特点归纳为数据多模态、指标多维度和方法多样性。

（1）数据多模态。数据多模态体现了大数据时代数据类型的多元化。多模态数据采集构成了多模态学习分析的核心和关键，也为学习指标的分析奠定了基础。从目前的研究看，多模态数据有不同的分类方法。本研究考虑到测试题是常用的评价依据，将多模态学习分析中的数据来源进行了归纳，见表1。

表1 多模态学习分析中的数据来源

（2）指标多维度。指标多维度体现了学习过程的复杂性。通过对不同学习状态的建模，可精准刻画学习者的学习特征，并在更深层次上探究和解释学习者的学习规律。从目前的研究来看，多模态学习分析需包括行为、注意、认知、情感等诸多种类的评价指标。尹睿等［4］将这些评价指标归纳为知识状态、认知状态、情感状态、交互状态和综合状态，见表2。

表2 多模态学习分析中的评价指标

（3）方法多样性。方法多样性体现了分析技术的灵活性。利用不同方法对数据进行整合，能尽可能提高测量的准确性和信息的全面性，使得研究结论更具指导意义。就数据与指标之间的对应关系而言，从目前的研究来看，数据整合方式主要包括4 种类别：一对一、多对一、一对多、多对多和三角互证，见表3。

表3 多模态学习分析中的数据整合方式

2 “AR+多模态学习分析”的研究设计

2.1 “AR+多模态学习分析”的研究对象

本研究旨在对“AR 教育应用研究中的多模态学习分析应用现状及改进措施”进行系统描述和解释，重点探讨在相关研究中的数据整合是否做到以及如何更好地做到“数据多模态”“指标多维度”和“方法多样性”的三大基本要求，如图1 所示。

图1 AR教育应用研究中数据整合情况分析框架

问题1AR 教育应用研究中的多模态学习分析是否做到了“数据多模态”？

问题2AR 教育应用研究中的多模态学习分析是否做到了“指标多维度”？

问题3AR 教育应用研究中的多模态学习分析是否做到了“方法多样性”？

问题4未来在AR教育应用研究中的多模态学习分析应如何达到理想状态？

2.2 “AR+多模态学习分析”的研究方法

本研究采用系统性文献综述法进行。系统性文献综述法（Systematic Review Methodology）是人们借助互联网，利用不同的数据库和多种检索与分析技术，全面而准确地掌握某一专题研究进展的标准化文献研究方法［5］。它克服了传统文献综述法主观性强和存在难以避免的偏见等问题，在国际上较为普适和流行。

2.3 “AR+多模态学习分析”的样本选取

（1）数据检索。为广泛搜集文献，本研究按照表4 所示的检索方式，共得到408 篇文献。

表4 文献检索方式及结果

（2）确定纳入和排除条件。为确保样本文献纳入的准确性和文献分析结果的可靠性，本研究制定如表5 所示的文献纳入/排除标准。

表5 文献纳入/排除标准

（3）文献筛选和分析。结合表5 所示的文献纳入/排除标准，本研究共从408 篇文献中筛选得出93篇符合要求的文献，具体分布情况如表6 所示。

表6 选用文献分布情况

（4）纳入文献分析框架设计。根据表1～3所归纳的内容，本文构建了如表7所示的文献分析框架。两名评判员需独立逐篇分析文献，在满足条件的单元格内标记“√”。结果显示，评判员完全同意的类目数为88、相互同意度约为0.95、编码信度约为0.97 和信度大于0.90的标准，可直接采用主评判员的评判标准。

表7 文献分析框架

3 “AR +多模态学习分析”的统计结果与问题解决方案

3.1 AR 教育应用研究中的多模态学习分析数据来源

表7 中“数据来源”维度的编码结果如图2 所示。

图2 “数据来源”维度的编码结果

图2 显示，在AR教育应用研究中，多模态学习分析的数据主要来自文本测量（91%）、物理空间（6%）和生理体征（3%），数字空间数据和环境空间数据在研究中尚未涉及。

（1）文本测量数据。包含测试题、调查问卷、调查量表和访谈工具等在内的文本测量数据获取较为便捷，是传统的评价依据，也是占比最高的数据来源。

“测试题”可用于衡量AR 学习效果，常应用于前测及后测阶段。研究中的测试题一般可分为两类：一类由研究者自主拟制，如Binhomran 等［6］自主设计了“前测-后测-延时测试”试卷；另一类为经典题目复用，如Baba 等［7］借用了2012 年开发的“21 世纪技能量规”（21CSS）。

“调查问卷”和“调查量表”在研究中被广泛用于考查学习者的行为与态度，均由学习者自主填答完成。研究中运用最多的问卷与量表包括：Keller基于ARCS动机模型所编制的“教学材料动机量表”（IMMS）［8］和Davis基于“技术接受模型”（TAM）编制的“AR态度量表”（ARRQ）［9］等。

“访谈工具”具有较好的灵活性和适用性。为获得更深入的有关学习者AR 学习的主观信息，研究者普遍采用“半结构化访谈”形式，既了解学习者对AR学习的看法，也适当提出一些探索性问题。

（2）物理空间数据。“视频录像”通常通过摄像头录制和屏幕录制两种方式获得，在研究中常被用于观测学习者在AR 学习过程中的行为表现，具体包括积极性的变化、行动和互动方式、学习中遇到的困难等。

（3）生理体征数据。“眼动”和“心率”在AR 教育应用研究中运用较少。眼动，主要通过Tobii Pro Glasses、SIM Glass 等眼动追踪设备获取平均瞳孔直径［10］、眨眼率、凝视次数、凝视时间和总注视时间［11］等指标数据；心率，不同于对认知过程的考查，叶强等［12］利用Polar Team Pro团队心率仪评估了学习者在AR体育训练过程中的运动负荷。

3.2 AR 教育应用研究中的多模态学习分析评价指标

表7 中“评价指标”维度的编码结果如图3 所示。

图3 “评价指标”维度的编码结果

图3 显示，在AR教育应用研究中，多模态学习分析的评价指标主要包括知识状态（33%）、认知状态（10%）、情感状态（29%）、交互状态（5%）和综合状态（23%），大致做到了指标多维度。

（1）知识状态。“学习成绩”占比较高，被较多的AR教育应用研究采用。学习成绩，按测试发生时间节点，一般包括前测成绩、即时后测成绩、延时后测成绩和补救测试成绩；按测试题目性质，也可分为保持测试成绩和迁移测试成绩。

（2）认知状态。“思维”涉及批判性思维、视觉思维和空间思维等方面内容。批判性思维一般可从决策支持的技能、推断技能和澄清技能等进行综合评价；视觉思维通常从视觉形状识别、视觉关系感知和第三维度感知等维度进行评测［13］；空间思维通常涉及空间旋转可视化能力等。但现阶段关于AR学习中思维评价的研究相对较少。

“认知负荷”可体现工作记忆对信息进行存储和加工的总量，一般包括由学习材料本身复杂性所引发的内在认知负荷、由教学程序设计不当而引发的外在认知负荷以及处理内在认知负荷所需要的关联认知负荷。

（3）情感状态。“态度”中暗含兴趣和情感，较常被用于考查，态度一般包括两类：一类是学习者对于学科知识的态度，如对科学的探究兴趣、敏感度、责任感等［14］；另一类是学习者对于AR 技术的态度，如感知有用性、感知易用性、技术复杂性、使用满意度、使用焦虑感［15］和行为意向等。

（4）交互状态。“行为表现”通常通过观察来发现。例如，Yildirim［16］观察了七年级学生在课堂上使用AR卡片的动作，并将观察结果作为推断学习者是否具有科学学习兴趣和动力的重要参考。

（5）综合状态。“学习动机”可反映学习者维持个体学习活动的内在心理力量，常通过基于ARCS 动机模型的IMMS工具、学习动机策略问卷（MSLQ）等来测量。

“综合技能”主要用于评价学习者的21 世纪技能，如“创造力与创新”“批判性思维和问题解决”“协作与交流”“预测技能”和“沟通技能”等。

3.3 AR教育应用研究中的多模态学习分析数据整合方式

表7 中“数据整合方式”维度的编码结果如图4所示。

图4 “数据整合方式”维度的编码结果

图4 显示，在AR教育应用研究中，多模态学习分析的数据整合方式主要包括一对一（78%）、多对一（10%）、一对多（10%）和多对多（2%），“三角互证”维度未得到关注。

（1）一对一。“一对一”的数据整合方式在研究中占比最高。数据来源和评价指标一般都具有特定的匹配关系，如“测试题→学习成绩”和“态度量表→态度”等。

（2）多对一。“多对一”的数据整合方式在研究中部分涉及，出现多个数据来源用于评价单个指标的情况，对研究数据做相互间的必要补充。如眼动指标中的“兴趣区”可辅助情绪问卷判断学习者学习时的情感状态，“平均瞳孔直径”和“眨眼率”则可辅助认知负荷量表判断学习者学习时的认知状态。

（3）一对多。“一对多”的数据整合方式在研究中部分涉及，出现一个数据来源用于评价多个指标的情况，主要集中于调查问卷的使用上。基于调查问卷题目设计的灵活性，很多研究者尝试将多领域问题汇集在一张问卷中，通过一次填答得到较为完整的数据。

（4）多对多。“多对多”的数据整合方式在AR教育应用研究中偶有涉及，但占比较低。例如，Cook［17］综合运用访谈工具和调查问卷来考查来自学习者的态度和动机等多方面的信息。

3.4 AR 教育应用研究中的多模态学习分析改进方向

3.4.1 数据来源“在线化”

学习者在AR学习过程中形成的差异性对于解读学习结果具有关键作用。传统的“文本测量工具”依然占据绝对优势地位。文本数据通常是在学习者完成学习任务后取得，与学习者实时的认知加工并不同步，具有“离线”的特点。如果仅通过文本测量工具来获取所需数据，可能会缺失一些重要的、客观的信息。未来的AR 教育应用研究应加强“在线”评测工具的使用，具体包括：

（1）关注生理表征数据的采集和分析。以SIM Glass为代表的穿戴式眼动仪能实现对瞳孔直径、注视时间和眨眼率等常用眼动指标的实时观测，并以学习者视角记录AR学习的全过程。后续研究应继续深入挖掘各类眼动指标的评价潜力，同时积极辅之以脑电、心电和皮肤电等生理表征数据来实现对AR学习过程的全面考查。

（2）关注空间类数据的采集和分析。学习者在AR学习过程中会与物理、数字和环境空间产生信息与能量的双向交流。后续研究应关注来自上述空间的数据与AR学习过程的内在关联，强化不同模态数据之间的信息互补机制，有效实现AR 学习生态全貌的有机分解。

3.4.2 评价指标“高阶化”

AR学习情境可帮助学习者调动已有经验，并借助手势、肢体动作等消解与降低知识、概念的抽象层次，促进其高阶思维的发展。研究者多关注AR 技术对学习效果的影响以及学习者对AR 技术的情感态度，也愈发倾向于从多个维度综合评价学习者的学习表现。现阶段研究者对于“认知状态”和“交互状态”的关注度仍然较低，不利于从发展思维能力的层面对学习者做出科学评价。未来的研究应当做到：

（1）加强高阶思维能力考查。检测学习者是否达到学习目标，不能仅仅考量知识技能的掌握程度，还需判断学习者是否形成相应的思维体系。目前的研究对于有益学习的高阶思维关注较少，应加强考查力度。

（2）加强行为表现考查。学习者在AR学习中的行为表现是影响学习绩效和思维能力的重要因素。研究者常用的视频录像是观测学习者行为表现的重要数据来源，但只能对其外显学习过程做客观记录，还需借用科学的编码体系对视频录像中的行为进行深入分析。

3.4.3 整合方法“关联化”

AR学习中的数据来源与评价指标之间存在若干错综复杂的非线性关联，给数据整合方式的选择带来挑战，“一对一”成为主流，“三角互证”则未涉及。这种仅用一种数据评价一个指标的方式容易造成结论片面，缺乏科学性。未来的研究应当做到：

（1）加大“多对多”数据整合方式的比重。将数据来源由单一的“文本测量工具”扩大到多源数据相结合，使得研究结论能由多源数据共同验证，最大程度克服主观倾向；充分利用采集工具的特性，尽可能用来源数据评价多个指标，减少资源浪费。

（2）尝试“三角互证”在研究中的应用。三角互证能控制研究中存在的系统变异、外生变异和误差变异，形成证据链以提升研究效度［18］。无论是质性还是量化研究，都应做到：广泛收集多源数据、采用不同分析方法、允许多研究者参与、实现多种方法“取长补短”。

4 结语

AR教育应用研究正处于初级阶段，关于AR环境下学习发生的内在机理，尚未有绝对权威的解释。学习分析的作用在于打开AR“学习黑箱”，利用评价结果反推学习者内部认知加工机制、学习规律以及内外部相互作用的学习原理，揭秘学习本质，变“学习黑箱”为“学习白箱”［19］，充分发挥AR技术的教育潜力，推动AR技术在教育领域的大规模普及。

本研究发现，在当前的AR教育应用研究中，多模态学习分析的应用偏于简单，不利于其“解密”功能的发挥。未来的研究应当努力做到数据来源在线化、评价指标高阶化和整合方法关联化。