多模态学习分析研究现状与启示——基于学习分析与知识国际会议的调研

高 明 王小霞

（1.北京师范大学 教育学部，北京 100875；2.上饶师范学院 教育信息化研究中心，江西 上饶 334001）

一、引言

学习分析通过对学习者及其学习情境数据的测量、收集、分析与报告，在理解和优化学习及学习情境，提升教与学的效果方面发挥着重要作用（顾小清，张进良，蔡慧英，2012）。学习分析概念自提出以来，便引起了世界各国研究者的广泛关注，掀起了开展学习分析研究的热潮（李祎，2016）。在数据来源上，当前学习分析研究以学习管理系统（LMS）、智能教学平台（ITSs）或大规模在线开放课程（MOOCs）等自动记录的、以学习者日志数据为代表的外显行为数据居多。然而，学习的过程通常是复杂多变的，学习的发生不仅仅体现在外显行为上，也包含着学习者内部心理与生理的一系列变化（顾小清 等，2012）。此外，随着互联网为代表的信息技术的飞速发展，学习发生的环境也变得更加多元和复杂，学习发生的场所已不再局限于单一的线下或线上环境，而呈现出线上线下学习空间交叉融合的趋势。凭借单一模态或单一情境数据的分析难以呈现更为立体、精准的学习者画像，亟需开展多模态学习分析研究。

多模态学习分析（MultiModal Learning Analytics,MMLA），即基于人的多重感知模式，采用多种方式追踪学习者的学习过程（潘青青，杨现民，陈世超，2019），获取与分析学习者不同层面的数据，以更精准、更全面地洞悉复杂的开放学习环境中学习者的学习过程（Blikstein & Worsley, 2016）。近年来，以智能硬件为核心的物联网技术的发展与成熟，为多模态数据的获取提供了新的契机（刘三，李卿，孙建文，刘智，2016）。无论是发生在传统课堂上，还是游离于在线课程外的学习者的学习行为数据；无论是以文本、图像、音视频、点击流等为代表的外显行为数据，还是以眼动、面部表情、脑电信号等为代表的内隐特征数据的采集与量化均变为可能。当前，国内教育技术领域已有学者就眼动（张琪，武法提，2016）、皮肤电（韩颖，董玉琦，毕景刚，2018）、脑电（杨晓哲，任友群，2019）等多模态生理数据的表征进行了总结与梳理（杨海茹，刘清堂，吴林静，邓伟，周姝言，2019），并对相关应用场景进行了展望。然而，多模态数据虽然为我们认识与理解学习者的学习过程提供了新的契机，但在多模态学习分析研究实际的开展中也存在着数据收集（Data Collection）、数据存储（Data Storing）、数据注释（Data Annotation）、数据处理（Data Processing）以及数据开采（Data Exploitation）等诸多挑战（Mitri,Schneider, Specht, & Drachsler, 2018）。本研究以在学习分析研究领域具有风向标作用的学习分析与知识国际会议（International Conference on Learning Analytics and Knowledge, LAK）于2017年至2021年期间多模态学习分析子主题收录的论文为研究对象，从研究主题、研究情境、多模态数据的采集与分析三方面进行梳理，分析当前国际多模态学习分析研究的发展现状以及最新动态，以期为国内多模态学习分析研究的开展提供参考借鉴。

二、研究方法与过程

（一）文献来源与选择

2017年LAK会议开始征集多模态学习分析研究论文，并为多模态学习分析设立了相应的子主题（见表1）。本研究在文献的筛选上，以2017年为起始时间，以LAK会议多模态学习分析子主题收录的长、短篇论文为研究对象，对多模态学习分析研究的现状进行梳理与分析。

表1 近五年LAK会议的多模态学习分析子主题信息

受2020年COVID-19疫情的影响，2021年会议召开时大会主办方并未对具体的子主题进行划分，因而未能直接从多模态学习分析子主题中获取2021年的文献。为此，本研究首先以“multi*”“modality”等为关键词，对会议论文集进行全文检索查找相关文献。随后，经阅读文献的标题、摘要以及关键词对文献进行筛选后，获得了2021年多模态学习分析研究的文献2篇。最终，本研究共获取近五年来LAK会议收录的与多模态学习分析相关的文献16篇，不同年份收录的文献数量情况如图1所示。

图1 近五年LAK会议多模态学习分析主题文献分布情况

（二）研究方法

本研究首先通过量化关键词的方法，对2017年至2021年LAK会议多模态学习分析研究主题文献进行可视化，实现对已有研究的初步了解。随后，精读文献，并基于内容分析法对当前研究关注的主题、研究开展的情境以及多数据的采集与分析方法进行梳理总结。

三、研究发现

本研究首先基于所收集的2017年至2021年的LAK会议多模态学习分析研究文献提供的关键词，绘制了关键词词云图（见下页图2）。通过词云图可以发现，当前学者们已从多个维度、不同层面开展了多模态学习分析的研究。例如：关键词sensing、wearables、app、toolkit、eye-tracking等呈现了多模态数据采集的途径或方式；关键词gesture、posture、visions、gaze positioning等呈现了数据的模态信息；关键词reading, engineering、debugging、oral、tutoring、science等呈现了当前研究所关注的学科科目信息；关键词Internet、environment、face-to-face、classroom、virtual、online、physical、indoor等描述了学习发生的环境或场所；collaboration、solving、groupwork、embodiment等关键词则是对学习方式的描述等等。在此基础上，本研究通过精读文献，基于内容分析法，从研究主题、研究情境、多模态数据的采集与分析三方面对已有研究进行了梳理与总结。

图2 多模态学习分析研究关键词词云图

（一）研究主题

基于对文献的研读，我们将当前研究关注的主题划分为基于多模态数据的学习过程理解、基于多模态数据的学习评价、基于多模态数据的学习支持与反馈以及多模态学习分析研究基础问题的探讨。

1. 基于多模态数据的学习过程理解

作为学习分析研究领域的子领域，基于学习者的外显行为、心理（如情绪变化）或生理（如脑电信号波动的强度）等不同模态数据理解学习者的学习过程仍是当前多模态学习分析研究的一个重要范畴。Mils等（2017）通过开展实验采集学习者在智能导师系统中学习的脑电数据（Electroencephalography，EEG），探究了不同教学阶段、不同难度的学习材料对学生认知负荷的影响。研究发现，学习过程中学习者的脑电数据能够较好地反映学习者的认知负荷。类似地，Larmuseau、Vanneste、Desmet和Depaepe（2019）通过手环采集了复杂问题解决过程中学习者的皮肤电反应数据（Galvanic Skin Response，GSR）、皮肤温度（Skin Temperature，ST）、与系统交互的行为数据等，对学习者的认知负荷进行了测量。Watanabe、Ozeki和 Kohama（2018）从课堂教学的动态图像中提取了教师和学生的面部特征数据，并利用多层神经网络对教师的板书书写和解释行为与学生的记笔记和听课行为之间的交互作用展开了建模。Chen（2021）通过应用程序采集了家庭环境下一对一数学问题解决辅导（One-on-one Math Problem Solving Coaching）过程中的父母与孩子的语音数据以及孩子的身体移动（Body Movement）、面部表情（Facial Expression）数据，对父母给予孩子帮助的决策过程进行了建模与分析。

具身认知理论认为，认知、思维、记忆、学习、情感和态度等是身体作用于环境的活动塑造出来的，挑战了身心二元论所秉持的学习不需要身体参与的观点，强调了身体活动在认知过程中的作用（叶浩生，2015）。基于这一认识，在当前的研究中，学者们也开始通过多模态数据来探讨在技术支持的情境交互中，身体参与是如何促进学习、帮助学习者进行理解的。例如：Andrade（2017）通过采集具身交互学习环境中学生的双手移动（Hands Movement）数据以及眼睛注视（Gaze）数据，对身体移动如何帮助学生实现反馈循环概念的理解开展了分析，研究发现学生双手移动序列与其概念理解和学习获得水平密切相关。类似地，Ou、Andrade、Alberto、Helden和Bakker（2020）从视频录像中提取了学生的双手移动数据、眼动数据以及声音数据，探究了学生通过身体参与理解与认识比例概念的过程。Martinez-Maldonado等（2017）通过学习者的空间位置、声音等不同模态数据分析了不同小组学生在护理模拟训练过程中的学习模式。

2. 基于多模态数据的学习评价

基于多模态数据的学习评价，发挥了信息技术在提高评价的科学性、专业性和客观性方面的优势，开始由传统的以纸笔考试为主的基于结果的评价走向贯穿学习活动始终的伴随式评价。Klebanove等（2020）通过口语阅读应用程序采集了学生阅读过程中的语音数据，并在对原始语音数据处理的基础上对学生口语阅读流利度开展了过程性的评价。研究发现，基于过程性语音数据对学生口语阅读流利度提升的测评结果与同类型权威测试提供的结果具有较高的一致性。Sharma、Papamitsiou、Olsen和Giannakos（2020）通过开展实验采集了自适应测评过程中学习者的学习日志、自我评价、眼动、脑电、心率、体温、血压等多种模态的数据，并联合这些多模态数据对学习者的努力情况进行了评估。Worsley（2018）从视频录像中提取了学习者学习过程中的手势移动数据，并在对学习者学习活动编码的基础上，对学生的学习参与以及学习收获展开了分析与测评。

3. 基于多模态数据的学习支持与反馈

学习过程中的支持与反馈被视为是鼓励学习者积极探索与激发学习动力的重要助推器（Zhang, Gao,Holmes, Mavrikis, & Ma, 2021）。当前基于多模态数据开展的相关研究主要致力于为支持与反馈工具提供的时机、形式以及频率提供支撑证据，从而验证支持与反馈工具的有效性。Mangaroska、Sharma、Giannakos、Trætteberg和Dillenbourg（2018）通过采集问题解决过程中学习者的眼动数据和日志数据，分析了练习视图（Exercise View）工具是如何支持学习者的问题解决过程的。研究发现，练习视图工具在学习中发挥着引起注意与增强反思的作用，且研究通过对比分析发现，利用了练习视图工具的学生比那些没利用练习视图工具的学生取得了更好的表现。Ochoa等（2018）开发了一个在演讲训练过程中自动采集与分析学生身体姿势、眼部注视以及声音大小等多种模态数据的系统，并验证了该系统在学生口头演讲技能训练中提供反馈的有效性。

4. 多模态学习分析研究基础问题的探讨

多模态数据虽然为我们认识与理解学习者的学习过程提供了新的契机，然而在目前的研究中也存在着数据收集、数据存储、数据注释、数据处理以及数据开采等诸多挑战（Mitri et al., 2018）。在开展多模态学习分析的实证研究之外，也有研究从更为宏观的角度对多模态学习分析研究所面临的一些基础问题展开了探索。鉴于当前的多模态学习分析研究大多更关注通过更丰富的数据指标（如眼动、脑电、心率等）来刻画学习者的行为，并对行为展开建模，而较少关注不同学习发生场景的连接以及真实（非实验）学习场景数据收集的问题，Martinez-Maldonado、Echeverria、Santos、Pereira和Yacef（2018）基于分布式认知理论（Distributed Cognition Theory）与多模态的视角提出了一个将学习分析融入物理学习空间的理论视角，并通过三个案例从学习环境（Learning Setting）、物联网传感器（IoT）、情境分析（Learning Scenario）三方面进行了简要介绍。与此相类似，针对当前学习情境多样化的问题，Mangaroska、Vesin和Giannakos（2019）设计了一个集数据层、业务层、应用层和展示层为一体的架构来整合和利用多平台数据为学生的个性化学习并自适应学习提供帮助，并通过一门课程的实践对其效果进行了验证。针对现有多模态学习分析的解决方案大都是基于特定的学习任务和传感器提出，缺乏普适性的问题，Mitri、Schneider、Klemke、Specht和Drachsler（2019）对多模态学习分析在数据注释、数据处理与利用方面面临的问题进行了探讨，并介绍了一款用以支持研究人员进行多模态数据注释、采集以及处理的可视化检测工具。该工具可支持研究人员使用视频记录的方式对多模态数据进行三角定位、对多模态数据进行分割与注释并可下载带注释的数据集开展分析。多模态学习分析虽然为我们认识与理解学习过程中学习者的认知、行为和情感等提供了精细化的方式，但当前多模态数据，尤其是学习者的脑电、眼动等生理层数据的采集大多依赖于特定的感知设备。这些设备的价格一般比较高昂，超出了一般研究者的承受范围。为解决多模态数据获取的这一难题，哈佛大学的学习、创新与技术实验室（Learning, Innovation and Technology Lab）开发了一款能够运行在任何浏览器上的多模态数据采集的工具包（Hassan, Leong, & Schneider, 2021）。

（二）研究情境

为了解多模态学习分析研究开展的情境，本研究选择从参与对象、参与时间、学科类别以及学习场所（见下页表2）四个方面对其中的实证研究展开了分析。

表2 研究情境及数据模态

1. 参与对象

在参与对象涉及的学段方面，8篇文章明确指出研究对象为大学生，1篇文章指出研究对象为高中生，还有4篇文章指出研究对象为小学生。由此可见，多模态学习分析研究者在高等教育领域开展的研究与实践居多。在参与对象的数量方面，30人及以下的小样本研究有6项，30人以上100人以下的研究有7项，尚未涉及100人以上的研究。总体而言，研究所招募参与者的规模不是很大，这可能是因为，即使参与的学生人数较少，但由于涉及到了多种不同模态的数据，在总体的数据量上仍为可观。另外，也有可能是因为处理与分析不同模态数据存在较大难度，因而在当前研究中所用的样本数量普遍较小。

2. 参与时间

在参与时间方面，分析发现单次参与时间较短的为35分钟，单次参与时间较长为3个小时（医疗模拟训练）。大多数研究选择以一次课堂学习或实验为时间长度进行研究，仅有极少数的研究采集了一段较长时间内的数据，例如：Mangaroska、Vesin和Giannakos（2019）采集学生在同一课程学习期间（两个半月）分别在不同平台上学习的数据进行分析，Klebanov等（2020）采集了学生19周的口语阅读语音数据。究其原因，与平台或系统后台自动记录的结构化的日志数据不同，一方面脑电、皮肤电等生理层数据需要基于特定设备进行采集，而且长时间持续采集的难度较大；另一方面，生理层数据采集的时间间隔单位通常更短，在相同时间长度内采集的数据量通常更大，导致分析的难度也更大。

3. 学科领域

在对研究所涉及学科领域的识别与划分上，文献有明确指出的直接摘录；文献未明确指出的，则基于学习材料或内容进行学科领域的划分。基于上述原则，我们发现当前基于数学学科和计算机科学学科开展的研究各占3项，基于生物和工程学科开展的研究各占2项，基于医学、地理以及语言学科开展的研究各占1项。由此我们可以发现，当前研究涉及的学科基本涵盖科学、技术、工程和数学（STEM）学科范畴。换言之，当前多模态学习分析领域的研究致力于对学生在科学、技术、工程和数学（STEM）学科的学习过程提供更为全面的分析与理解，以为学生创新精神与实践能力的培养提供反馈与支持。

4. 学习场所

与传统学习分析领域重视线上学习过程不同，多模态学习分析研究同时也关注那些更为普遍、更为广泛的场所内学习发生的过程（汪维富，毛美娟，2021）。例如：当前多模态学习分析研究关注的学习场所既有线上学习环境，也有实验室内的学习，还有真实课堂、家庭环境下的学习。但是，当前研究在学习场所的选择上通常与其所要获取的数据的模态有关。例如：涉及脑电、皮肤电等生理层数据采集的研究大多是在实验室内开展，而涉及手势移动数据、学习者位置移动等行为层数据采集的研究，由于可通过视音频设备进行采集，这些研究则大多是在常规教学或学习环境进行的，如课堂、家庭中。

（三）多模态数据的采集与分析

1. 多模态数据的类型及采集方式

多模态数据即包含两种或两种以上的不同模态的数据，但关于模态一词，当前存在着多种不同的表述，如“符号系统说” “交互方式说”等。根据对模态定义的不同理解，学者们对多模态数据的划分也存在着不同。Blikstein 和 Worsley（2016）将多模态学习分析总结为文本分析、话语分析、笔迹分析等九大类。陈凯泉、张春雪、吴玥玥与刘璐（2019）在对Blikstein 和Worsley（2016）研究的基础上，将多模态数据划分为外显数据、心理数据、生理数据以及基础数据四类。钟薇、李若晨、马晓玲与吴永和（2018）基于数据所携带特性，将其划分为生理层数据、心理层数据、行为层数据以及基本信息数据四类。牟智佳（2020）基于多模态学习分析的空间结构，将多模态数据的来源划分为学习体征数据、人机交互数据、学习资源数据和学习情境数据四类；穆肃、崔萌与黄晓地（2021）将现有多模态学习分析实证研究中的多模态数据总结为数字空间数据、物理空间数据、生理体征数据、心理测量数据以及环境场景数据五类。

无论学习场景如何变化，多模态学习分析始终是以学习者为中心。鉴于此，本研究在对当前研究所采集的多模态数据类型分析的基础上，参照了钟薇等（2018）提出的多模态数据分类，即依据数据所携带的信息属性，将多模态数据分为生理层数据、心理层数据、行为层数据以及基本信息数据四大类，并对研究所采集的数据进行了梳理（见上页表2）。

在对生理层数据的采集上，当前大部分研究主要是借助特定的设备，如眼动仪、脑电头盔、手环等（见图3）实现数据的采集。另外，也有研究基于一些软件（如OpenFace），从视频中提取学习者的眼动类生理层数据（Andrade，2017）。对行为层数据，如手势移动、身体位置或姿势等数据的采集则大多应用有关算法从视频中提取。行为层数据中的学习日志数据则基本通过在平台或系统中埋点实现自动采集。对心理层数据，如学习者情绪的采集上，当前基本是从学习者的语音或视频数据中进行提取。针对多模态数据的采集，哈佛大学的学习、创新与技术实验室基于网络摄像头和机器学习算法开发出一个包含有采集生理层以及心理层多种模态数据采集的工具包，该工具包可以在任何浏览器上运行，且不需要特殊的硬件或编程经验，大大地降低了多模态数据采集的难度，为研究者开展多模态学习分析研究提供了便利。当前该工具包支持采集的数据模态如图4所示，更多详细信息参见该实验室网址①。

图3 常见生理层数据（眼动、脑电波、体温/心率）采集设备②

图4 多模态数据采集工具包（Hassan et al., 2021）

2. 多模态数据的分析

多模态学习分析发挥作用的关键，不仅仅是通过一种新的模态的数据来重新认识学习者的学习，更重要的是通过多种模态数据的整合分析实现对学习者学习过程的全面透析。从现有研究来看，借助多种不同模态数据从不同侧面来探究某一问题或分析某一现象的研究居多，如通过脑电数据来认识学习者的认知负荷（Mills et al. , 2017），将多种模态数据彼此进行关联，综合分析某一问题的研究较少。此外，我们通过对目前已开展的有关多模态数据关联与整合分析的研究进行分析发现，其关联与整合方式大致可分为两类。一是在一种数据模态分析的基础上再结合另一模态数据进行分析。例如：在生物学科反馈循环概念的学习中，Andrade（2017）通过让学习者上下移动双手来观察与探究计算机界面中捕食者（狐狸）和被捕食者（兔子）数量变化的情况。在该研究中，他们首先基于不同时刻学习者的图像数据，创建了双手移动的向量表示；接着，基于同一时刻双手移动的向量表示，应用隐马尔可夫方法确定了双手运动的五种潜在状态；随后，基于整个学习过程中学习者的双手移动状态变化挖掘到了五种不同的双手移动序列模式（见表3），例如：Cluster 1以状态a（左手静止，右手上移）和状态d（左手下移，右手上移）为主，Cluster 5则由状态e（左右手均静止）主导；最后比较了不同双手移动序列模式下学习者之间在注视模式上的差异（见图5）。研究发现那些表现不佳的学生（Cluster 1和Cluster 2）在屏幕上凝视的范围往往比较有限，相反那些表现较好的学生（Cluster 4和Cluster 5）似乎有着更广泛的关注范围。另外那些经常停顿的学生（Cluster 3和Cluster 5）也比其他学生有着更广泛的凝视范围。两种模态数据的结合，能够帮助我们较好地理解学生的学习模式。例如：Cluster 4所体现出来的大范围的凝视可能表明学生能够更好地识别来自模拟的信息，以便有效地将其映射到他们的移动上；Cluster 5中更为平滑的凝视模式揭示了模拟过程中非常频繁的停顿，这可能表明了该群体将视觉和动作信息整合在一起所付出的努力，群体最后的成绩也验证了这一模式取得了良好的学习效果。

图5 双手运动数据与眼动数据的整合分析案例（Andrade, 2017）

表3 不同群体双手运动状态的典型特征（Andrade, 2017）

第二类对多模态数据进行关联与整合的方式是将多种模态的数据同时纳入分析，用以识别特定的模式。图6是Martinez-Maldinado等（2017）提供的小组护理模拟学习中一个整合学习者位置数据与学习者之间彼此交流的声音数据的案例。图中虚线边框标注的方形区域是通过Kinect深度传感器（Kinect Depth Sensor）所捕获的学习小组在学习过程中的位置信息，扇形阴影区域是通过麦克风列阵（Microphone Array）的6个通道捕获的学习成员之间交流的声音数据（区域及持续时间）。通过整合音频数据和位置移动数据，我们就可以将Group A（左）和Group B（右）进行对比分析。图6显示，Group A成员之间的对话大部分发生在远离人体模型的时候（如左图12分、13分10秒和6分40秒的扇形区域），而Group B成员之间的对话则主要发生在人体模型的两侧（如右图17分50秒和14分45秒的扇形区域）。

图6 学习者位置数据与声音数据的整合分析案例（Martinez-Maldonado et al., 2017）

四、总结与启示

多模态学习分析研究的开展为全面、准确地了解学习者及其学习环境提供了可能。虽然当前多模态学习分析研究发展的时间相对较短，相关实证研究在研究样本数量、研究持续开展时间以及不同模态数据的融合分析等方面还存在着一些不足，但不可否认这些实践仍为我们开展多模态学习分析研究提供了诸多启示。

（一）基于学习终端及智慧学习环境的多模态数据采集

在四大类多模态数据中（生理层数据、心理层数据、行为层数据以及基本信息数据），基本信息数据的大规模采集较为容易，可通过学习者自行报告或填写解决；行为层、心理层数据次之，如可通过学习平台后台进行自动采集或从学习者评论等文本数据提取情感数据等；生理层数据的采集一般需要通过特定的设备进行采集，如脑电头盔、眼动仪等等。已有研究与实践表明，随着教育信息化的开展与深入应用，借助学习终端及智慧学习环境可在一定程度上通过无侵入式的方式采集所需要的不同模态的数据，满足研究对多模态数据的需求。部分行为层数据或情感等心理层数据可通过学习系统或平台实现自动采集，如点击流数据、文本数据等。另外，我们也可借助相关技术或工具从智慧学习环境的音视频设备收集的材料中提取粗力度的心理层、生理层数据。例如：Andrade（2017）利用OpenFace软件实现了从视频数据中提取学生的眼睛注视数据，并实现了对学生注视模式的分析。孙波、刘永娜、陈玖冰、罗继鸿与张迪（2015）基于学习过程中的学习者面部图像数据实现了对学习者情感的识别。在Hassan等（2021）开发的多模态数据采集工具包中也嵌入了基于语音以及图像的情感检测模块。

（二）融合智能技术开展多模态数据的特征提取与整合分析

多模态数据特征的提取与组合是实现多模态数据整合的关键。以往，我们更倾向于基于已有经验进行不同来源数据特征的提取与整合，或者先假设再进行验证。总体而言，这些都属于自上而下的多模态数据整合策略。然而，由于人的局限性以及多模态数据特征的丰富性，这种策略存在的弊端也日益凸显。智能技术的发展，尤其是计算机领域深度学习技术的发展则为我们自下而上地对多模态数据特征提取与整合的实现提供了可能。类似于运用深度学习技术从图像中识别猫并提取猫的特征，我们可借鉴Worsley（2014）提出的三级数据整合方法（不同模态数据特征的简单组合、基于时间关联的多模态数据组合、基于时间关联和数据语义的组合），将采到的多模态数据“喂”给机器，再利用深度学习技术提取与整合不同模态数据的特征。另外，我们也可在深度学习技术所提取与组合特征的基础上，反思不同模态数据形成的组合特征所呈现的语义信息，以进一步指导后续研究数据的采集与处理工作。

（三）加强多模态学习分析研究的跨学科交叉合作

跨学科交叉合作是科学创新的源泉，也是应对人类共同挑战、促进社会发展的必然之举（刘仲林，赵晓春，2005；郝凤霞，张春美，2001）。在通过多模态数据理解与评价人类真实的学习中，更需要不同学科之间的交叉合作。虽然（多模态）学习分析领域本身是一个跨学科领域，集合了教育学、心理学、统计学、计算机科学等不同学科领域的研究者，但是加强不同学科领域之间的交叉合作，弥补单一学科所暴露出的不足，才是理解与评价人类真实学习、破解教育领域科学问题的关键。加强跨学科交叉合作的重要性体现在多模态数据的采集、分析等诸多方面。例如：在探究某一教学设计对学习的促进作用时，我们在借助传感设备采集多模态数据，尤其是脑活动数据时，就需要深入了解不同脑区在知识表征、视觉注意、数字或文字加工上的差别，这就需要我们加强教育学与心理学或脑科学研究者之间的合作，以实现数据采集时对脑区的精准覆盖以及在数据分析时合理解释学习发生的机理。又如，虽然当前已有研究探索了如何借助一些常规设备采集粗粒度的生理层面或心理层面的数据，但是在提取这些模态的数据时，如基于视频的眼动数据提取，则需要我们具备一定的技术知识。另外，在真实学习过程中采集的数据通常具有较大的噪声，在数据的降噪以及不同模态数据的整合方面（例如：不同模态数据的对齐），也需要我们加强与计算机学科等其他学科的合作。

（四）关注多模态数据采集与应用的伦理与隐私保护问题

伦理与隐私问题一直也是学习分析研究中讨论的焦点（陈伯栋，黄天慧，2017）。技术发展的目的理应是让人类生活变得更加美好，而不应是为“恶”赋能，比如不应沦为“大数据杀熟”的重要帮手。同样，多模态数据的采集与分析理应是为学习与教学赋能。在以智能硬件为核心的物联网技术以及便携、无侵入式传感设备的应用下，多模态数据的采集与存储变得更加便捷高效。与单一模态数据相比，立体、精准的多模态数据同时也有可能会带来更加复杂的伦理与隐私问题，建立数据采集与应用的理论与隐私保护制度，确保多模态数据得到合理的应用尤为必要。鉴于此，未来在开展多模态学习分析研究时，首先在多模态数据采集的过程中应保障学生的知情权，告知学生数据的用途，在取得学生同意的情况下进行数据的采集与分析工作；其次，在数据应用时，应关注数据的透明化、匿名化，充分降低数据泄漏可能给学生带来的负面影响；第三，在隐私保护方面，应积极探索隐私保护的工具与方法，以识别隐私等级并提供相应的解决方案（Ferguson, Hoel, Scheffel, & Drachsler,2016）；最后，在多模态学习分析研究开展中应建立相关利益者责任制度，明确不同利益者需遵守的角色责任（王楠，苟江凤，2019）。

注释

① 实验室网址：https://lit.gse.harvard.edu/ez-mmla-toolkit。

② 图片均来源于互联网：

图（a）眼动仪：http://www.xc-digital.com/text/?p=762；

图（b）脑电头盔：http://www.quasarusa.com/products_dsi.htm；

图（c）腕带：https://www.empatica.com/en-int/research/e4/）。