多模态学习分析：概述、应用案例及眷注

李爱霞 张胡 顾小清

1. 鲁东大学教师教育学院 2. 山东省烟台第三中学 3.华东师范大学教育信息技术学系

一、 引言

数字化时代，依据数据对教育结果进行多维分析是实现精准教学的重要手段。从“十三五”开始我国提出数字化教育发展议题，2022年1月，国务院印发《“十四五”数字经济发展规划》，提出深入推进智慧教育。2022年教育部全国教育工作会议多次提出实施教育数字化战略行动，推动实现教育数字化转型。学校教育应以数据驱动教育改革发展，改变过去以总结性的测试、作品集或项目衡量教育成果的形式，改为注重学习过程评价方法。学校数字化转型的核心是教育的主阵地——课堂。需要从教学内容、学习资源、教学过程等方面进行数据采集、分析和应用，探索基于各种生态的课堂教学过程数字化。既可以借助于传统纸质课本和练习本，也可以借助于电子教材阅读器等数字设备，还可以应用智能化教学工具，让课堂教学过程的数据可用好用，真正实现服务学生新型能力的培养。

早在1937年，心理学家海因茨·沃纳（Heinz Werner）就提出教育评价应该更加关注学习过程，而不仅仅是学习成就。但是“如何、怎样以及用什么技术”是困扰当前一线数字化教学分析实践的核心问题。随着教育研究方法、多模态传感技术和数据挖掘工具的发展，一种收集和分析教育过程数据的多模态学习分析（Multimodal Learning Analytics，简称MMLA）范式逐渐被应用。但当前多模态数据的分析与应用类产品还不成熟，基于传统要素的教学数字化还存在瓶颈和障碍。并且，高质量的传感器设备的成本通常是较高的，且需要教师具备专业领域知识才能理解和使用。相比之下，录制视频或音频等不太复杂的形式其成本和开销较小，但它们提供的信息质量有限。故探索适合一线教育的低成本、高效率的多模态技术实践工具与路径成为亟须解决的问题。基于此，本研究对“如何、怎样以及用什么技术”分析教育数据的问题进行探究，以期为一线的多模态数据分析实践提供指导。

二、 多模态学习分析述评

（一） 多模态学习分析概述

信息化时代，多模态数据流和复杂的人工智能建模技术越来越多地被部署在学习分析研究中，以帮助研究者更好地理解、建模和支持教学过程［1］。这一领域的研究在过去几年中不断发展，通常被称为多模态学习分析。研究人员长期以来一直依赖方便收集的单峰数据（通常来自数字学习环境的日志文件）作为他们主要的定量信息。本研究将MMLA定义为“一套可用于收集多种高频数据（视频、日志、音频、手势、生物传感器数据等），可同步编码数据，并在现实的、生态的、社会的、混合媒体的学习环境中检查学习效果的技术”。分析这个定义，可以观察到MMLA的三个主要的操作过程：（1）利用多种来源的学习轨迹数据（多模态数据）；（2）对这些轨迹数据进行处理和整合（多模态分析和融合）；（3）研究真实学习环境下的人类行为（学习行为检测和学习构造估计）。

MMLA研究常用的数据采集工具为高频传感器，例如眼动仪和运动传感器，它们能够捕获丰富的生理和行为数据。Schneider等人已经确定了超过23种可用于学习领域的传感器设备［2］。可以收集的数据类型包括身体运动、眼睛注视方向、面部表情和心率等。如今各种传感技术越来越先进，可以提供更精细的学生和教师的交互细节及信息处理细节。最近，越来越多的研究人员开始研究MMLA范式，对学习和教学过程起到信息支撑作用。研究表明，多模态数据和人工智能技术的结合可以显著提高学习和教学模型的性能。

（二） 多模态数据分析功能隐喻

数字化时代，全方位的教育数据刻画给研究者了解教育现况、洞悉教育问题、探索教育方向提供了有力证据，主要着力点包括学习分析、教学分析以及工具支持。

首先，多模态数据分析揭秘学习发生的本质。MMLA帮助教师和学生获得对各种学习过程的新见解。例如，参与课堂活动的学生的身体姿态数据已被用于预测学习成果；研究发现语音的语言、文本和韵律特征有助于确定学生的专业水平［3］；学生情感状态的数据与他们在标准化考试中的表现相关。

其次，多模态数据分析赋能教学设计。从教学的角度来看，教育工作者可以利用多模态数据分析结果来调整和优化他们的教学实践，最大限度地提高学习成果。多模态数据还可用于提供个性化和可操作的反馈，例如，眼动追踪数据可用于改进交互式辅导系统。Schneider等人使用多模态传感器向教育工作者和从业者教授 MMLA概念［2］。他们发现，与传统的数据分析相比，多模态数据分析能使教师创建更具吸引力、相关性和实践性的学习活动。

最后，MMLA工具助力课堂教学。Yan等人使用Pozyx传感器来跟踪教师在实验室的位置［4］。这些数据有助于他们进行教学反思。Saquib等人使用Sensei系统跟踪儿童在教室中的位置［5］。研究发现，Sensei系统可以增强教师的观察力，帮助他们为学生规划个性化的课程，并识别出受到较少关注的孩子。传感器收集的数据可供教师使用，是迈向大规模课堂分析的第一步。

三、 多模态学习分析案例

多模态学习分析在教育中的应用与价值愈发引起一线教育工作者的关注。然而，由于教育经费投入的限制，选择与配置什么样的多模态分析工具，如何运用多模态教学工具成为了现实问题。基于此，下面以哈佛教育研究生院学习、创新和技术实验室的一组研究人员合作开发的一个多模态数据收集网站EZ-MMLA为例，谈谈多模态数据分析的工具选择及操作流程。多模态数据分析的架构一般包括：数据指标映射、数据采集、数据分析。多模态数据分析包括三个阶段：映射阶段、执行阶段、反馈阶段。

1. 映射阶段：从学习构念到多模态数据跟踪

数据指标映射是实现学习行为到数据维度匹配的过程，是采用多模态数据分析的第一步。由于实验心理学和教育研究的一些根源，多模态学习分析采用学习构念解释所进行的测量、分析和干预背后的原因。学习构念可以定义为与学生的行为、态度、学习过程和经验有关的概念或想法。根据定义，一个构念不是直接可观察或可测量的，而是通过学习者与学习环境互动时发生的行为表现出来的。可以使用这些行为来估计构念的价值、等级或强度。例如，智力是教育中常用的构念，为了能够估计个人的智力，将学生置于需要使用其复杂认知能力的情境中（例如一组复杂的问题、谜题或智商测试），并使用答题时间和答题次数限制来估计他们有多聪明。因此，运用多模态数据表征学习的前提是完成构念与教学及学习行为之间的映射。

EZ-MMLA是一个通过实时捕获或输入视频和音频来收集多模态数据的网站。它是向公众免费开放的，可以被所有教育从业者和研究人员用来收集多模态的学生数据。该网站收集的数据主要有：身体姿势、手势动作、眼动追踪、情绪，生理状态以及较低级别的计算机视觉算法（颜色跟踪等）。以情绪表征为例，EZ-MMLA主要运用图像识别技术，从生气（angry）、厌烦（disgusted）、害怕（fearful）、开心（happy）、中立（neutral）、悲伤（sad）、惊讶（surprised）几个情绪指标进行学生状态刻画（图1）。

图1 情绪的行为表征结果

2. 执行阶段：从多模态数据跟踪到学习构念

执行阶段的第一步是能够多视角记录包含映射阶段识别到的行为数据轨迹的所有相关信号，这是多模态数据分析落地的关键步骤。该阶段的主要任务是数据采集工具、采集情境的部署。目前，常用的采集工具一般有学习管理系统以及外部传感器两种。学习管理系统一般采用数据埋点的方式收集数据。比如，在学习管理系统的相关代码部分中添加日志语句，以采集更多的学生行为数据。另一种方式是采用外部传感器采集数据，在需要捕获非计算机介导的动作行为时（例如教师的课堂行为），则需要使用不同类型的传感器。这些传感器可以像网络摄像头一样简单，也可以像磁共振成像 （MRI）的机器一样复杂。此外，多模态教学分析系统通常需要使用多个传感器，每个传感器专门用于采集不同类型的数据。例如，用于视频数据采集的网络摄像头、用于音频数据采集的麦克风、用于学习者笔记数据采集的数字笔。正确设置传感器和记录设备是一个复杂的问题，因此研究人员和从业者都应该了解这些硬件的可用性、局限性和可扩展性，以创建有效的多模态教学分析系统。

EZ-MMLA工具包使用了OpenCVPython实现的Viola-Jones对象检测框架。该框架涉及四个不同的阶段：（1）选择Haar特征；（2）塑造整体形象；（3） 进行Adaboost培训；（4）创建弱分类器级联。综合的算法架构，使得情绪识别的数据采集与分析功能得以整合，简化了技术设备的复杂性。工具包基于现有的数据提前完成系统训练，因此能够非常快速地从给定的视频输入识别人脸。一旦受试者的面部被检测到，该工具包就会识别面部地标，如眼睛、眉毛、嘴唇和鼻子，从而获得面部映射。在视觉上，面部地标在图中由被试者面部特征周围的蓝色轮廓表示（图2）。系统根据从人脸映射中检测到的特征，运用机器学习（CNN）中预训练的人脸模型重新缩放——这可以理解为微调预训练的人脸模型，使其与受试者的实际面部结构相匹配。最后，将这些匹配好的帧通过预先训练好的分类模型，根据大量标记数据对面部表现出来的情绪进行分类。系统在大量的人脸上进行训练，以估计特征和情绪的规范分布，但是不同的模型架构和训练数据可能会导致对相同的视频输入产生不同的分类结果。因此，EZ-MMLA工具包显示给定视频帧中的人脸具有的最大概率的情绪。

图2 情感识别监测图

3. 反馈阶段：可视化的教学反馈

多模态数据分析的目标是为教学的参与者提供反思机会和可操作的反馈，因此，必须构建分析工具挖掘捕获多模态数据，并使分析结果可视化呈现。为了使这种可视化结果起到反馈效果，必须考虑可视化结果需要呈现什么信息、何时呈现以及如何呈现。例如，在教学活动完成后让教师知道学生有何种困惑，不如在教学活动期间让教师知道何时进行何种干预更有效，甚至考虑到在哪些情况下教师需要进行干预策略设计。

EZ-MMLA工具包提供的情绪检测结果反馈方式主要有两种：折线图和数据表。用户首先确保网络摄像头已启用，然后将鼠标悬停在情感状态模式上并选择“情绪检测”选项，页面加载后，该功能将自动检测侦测对象的面部并尝试推断其情绪。出于隐私保护，人脸图像数据一般不会被存储（用于数据分析的最后一帧除外），但是每个试验的概率数据将被存储。最后，用户回到“可视化结果”页面，可以从可视化图表中看到模型预测的各种情绪及其概率。

四、 多模态学习分析的眷注

无处不在的学习行为追踪技术为研究者更精准地了解学习提供了有利的手段。同时，也提出了重要的技术以及伦理问题。

（一） 顶层设计，提升数据质量

要使任何基于数据的分析工具有用，使其结论值得信赖且兼顾公平，原始数据及其指标必须准确无误、不偏不倚，不存在糟糕的假设，同时采用的计算方法也必须适当且稳健。这些要求看似简单，但经常没有得到严格遵守。

（二） 人文关怀，重视教育伦理

智能化时代，为了使用机器学习的方法“寻找学习规律”，总有人工智能系统在大量收集学生学习数据，其目的是训练软件识别哪些学生感到困惑不解或枯燥乏味，在此基础上提高学生的学习水平，使他们更加投入课堂。尽管当前研究中位置跟踪传感器收集的各种位置数据不包含细粒度的可识别个人数据，但使用基于视频拍摄的方法或使用可穿戴设备（如麦克风、随身相机和移动眼动仪）收集的数据，可能会凸显“有意监视”导致的隐私问题。虽然，实验中的多模态数据收集是在所有参与者同意的情况下进行的，但是在智能设备普及的今天，数据采集程序已经成了自动的、无所不在的程序。因此，如何规范使用数据采集程序是一个需要特别注意的问题

另外，在真实教室中处理教师和学习者的位置轨迹时，还需要考虑其他伦理问题和现实挑战。人们有时潜意识里会将这种数据采集称为“边缘型心理健康评估”，可能会助长将学生看作需要治疗的潜在病人的风气。我们需要将目光移向对数据的解读，以及从这些数据的分析中获得见解。虽然自动化可以将人类从解释过程中移除，但仍然倡导教师在多模态数据的解释和判断中发挥主要作用，以保证解释的客观性。

（三） 素养提升，关注教师社会角色存在感

在接下来的二十年里，教师将面临越来越大的压力，在人工智能技术越来越成熟的情况下，他们必须证明自己的存在价值。人工智能技术的进步已经引发了各界对教学自动化、学习者驱动的学习和“教师证明”等多方面的关注。虽然这些技术的使用仍然需要课堂辅导员和技术人员的协助，但训练有素的专家教师的角色正受到越来越大的挑战。越来越多的人意识到：“我们真的不需要以前那样的教师了。”总之，人工智能将改变教师的角色，它将接管大多数基于知识的教学和评估，以便教师可以专注于教育的社会性方面。因此，教师应该注重自身数据素养的提升，使得技术成为教学所用的工具，以帮助教学的组织者、指导者发挥技术赋能教育的作用。

五、 总结与展望

多模态学习分析赋能研究者对教师教学状态、学生学习状态以及学习环境等的全面了解，精心的多模态数据采集设计是保障多模态学习分析结果准确的关键。

但是，像空间活动轨迹、面部表情等数据只是整个课堂场景的一部分，并不能表征教育场景的完整画面。与许多教学工具一样，多模态学习分析最好被视为教学的帮手，教师需要融合多视角的学习数据分析结果，与其他证据共同权衡复杂学习的发生。