学习中多模态大数据应用的思考*

徐凤婷 曹卫真

（广州大学 教育学院，广东 广州 510006）

一、引言

近年来，大数据、人工智能、脑科学、认知科学等技术融入教育教学中，产生了海量的教育数据，推动学习科学研究聚焦到学习个体的认知、行为、情感等方面。教育数据来源不再局限于传统的经验与观察的单一模态，逐步发展为多模态大数据。基于多模态大数据融合，考量学习者的行为、生理变化、情绪状态和认知心理，已然成为教育技术领域的研究课题。多模态大数据如何更好地服务于教育教学，是当前研究者们重点关注的问题。学习是一个较为复杂的过程，包括学习行为、学习内容、学习结果、学习反馈、学习体验等。学习过程的复杂性分析对于学习科学领域的研究而言，是一项重大的挑战。以多模态为分析视角，进而洞察学习者学习数据，能够为教育工作者提供理解和区分不同层次学习过程的分析视角与新的研究思路。挖掘学习过程中的复杂性，试图寻找学习要素的相关作用以及学习发展规律是多模态大数据赋能于教育教学的着力点。文章主要阐述多模态大数据内涵、特征及在学习中的应用等内容，力求推进多模态大数据在教育教学过程中的理论与实践进程。

二、学习中的多模态大数据及其特征

（一）学习中的多模态大数据

学习者在学习过程中所展现的数据通常是多模态的，同一状态可通过不同方式收集到多种形态的数据。文本、图像、视频、平台日志、生物传感数据等是真实教育环境中常见的模态[1]。现有研究表明，在多数学习情境下，单模态数据往往难以全面和客观地解释学习过程的特征与规律。多模态的分析效果比单模态更为理想，能够更具体地展现与揭示学习过程的真实状态，但具体需要分析哪些形态的数据则根据具体的教学场景进行分析与筛选。通过同步处理学习者在学习过程中不同模态的数据，例如生理数据、心理数据、行为数据等，突破传统的以单模态数据而难以进行整体的逻辑关联等问题，对学习环境中的相关数据进行挖掘，把握学习规律，使学习的结果更为全面与客观，进而揭示学习者的认知加工过程。多模态大数据能够临摹学习者更为精准、全面、真实、客观的学习路径，突破以往的仅依靠观察与经验判断的单一模态数据局限，利用数据进行多维度、多形态地描绘学习者学习过程画像，刻画学习者学习细节，揭示学习者的学习机理与状态，帮助其了解自身的认知过程与心理状态。多模态大数据指向复杂的教与学过程，能够揭示数据与指标之间的复杂关系[2]。只有正确地了解多模态大数据背后所蕴含的深层次内涵，才能准确地把握学生的学习情况，客观地提供给学习者有效的反馈。

（二）学习中多模态大数据的特征

大数据之“大”，并非在于其表象所呈现的“大容量”，而是在于分析数据的全面性与潜在的“大价值”[3]。大数据为多模态的选择提供了可能，借助于多模态可以提高教学效率，提供多通道话语意义的表达方式[4]。多模态大数据是指采用两种以上方式对学习过程中的同一对象数据或状态数据进行采集和获取的数据集。多模态大数据作为大数据的一个子集，具有大数据的一般特征。一般认为，大数据具有大容量（Volume）、强时效（Velocity）、多样化（Variety）、高价值（Value）、可视化呈现（Visualization）的“5V”特性[5]。随着学习技术与环境的创新，学习场景的多样化使得教育数据变得更为复杂，海量的教育数据成为管理与决策的基础，加之数据采集技术的迭代更新，多模态大数据凸显出互补性、复杂性和多源性的特征。多模态大数据具有很强的互补性，即任一模态的数据均可以提供关于某一现象或过程的部分解释，而从其他模态数据中则无法获取这些信息[6]。多模态大数据的复杂性体现在现有的数据库软件工具难以处理这些数据，其复杂程度如同一张数据网络，每一数据个体都可能呈现出不同的类型，加大了研究人员的数据分析难度。多模态大数据的多源性特征主要表现在不同模态的划分原则不一致。从人的特征主体进行划分，人的嗅觉、视觉、听觉、触觉等构成不同模态；从媒介表征形式进行划分，分为音频、视频、文本、图像等不同模态；从数据采集机制进行划分，将多模态与多类传感器进行互通，每类传感设备采集的数据被视为一种模态，如表情、手势、皮肤电、心率、脑电图等。每一种数据源和数据呈现形式不同，共同构成多模态大数据集。对多模态大数据进行整合分析能够全面收集与分析关于学习者学习过程中的多方面信息，以便更为系统地做出判断。

三、学习中多模态大数据的应用

（一）支持多模态学习投入研究

学习投入是个体学习过程中能力、认知深度、思维灵活性和情感体验的综合表征，是学习者理解学习本质并沉浸其中的体现[7]，用来衡量学习者在学习过程中为实现学习目标而不断努力的程度。主要是包含了学习行为投入、学习认知投入以及学习情感投入三大维度[8]。以多模态大数据作为多模态学习投入的分析基础，需要在有效理论模型建构的基础上对学习状态进行解析。部分研究通过线上方式采集即时性的数据，以选择性抽样等方式来获取特定时间点的学习投入状态。然而，这将容易忽视学习者投入的连续特征信息，且难以收集到认知与情感方面的实时数据，一定程度上影响了对于整个学习过程的学习投入状态的分析结果。需要注意的是，学习者学习过程的复杂性导致行为、认知和情感等方面数据会随着学习者所处的学习环境而不断发生变化。因此，为了保证学习过程数据的完整性，须收集到连续性数据，即对于同一阶段或同一事件内的数据进行收集，以有效分析出学习者随学习情境或时间的变化趋势、学习投入子维度之间的关系及相互影响因素[9]。

当前融合多模态大数据的优势以支持多模态学习投入的发展，成为教育研究者探索的问题。对于多模态学习投入的研究与关注的目的是收集学习者在不同学习情境、学习活动以及学习体验等过程数据，对其学习投入状态进行判断，进一步探索如何提高学习者的学习绩效问题，以促进个体的发展。借助于多模态大数据的基本融合、特征层的融合和决策层的融合，学习投入可以从生物数据（微秒）、认知数据（秒）、理性思维数据（秒到分）、社会交往数据（小时到月）等方面进行分析，学习投入水平的综合表征为多模态学习投入建模提供了理论支持[10]。多模态学习投入以多模态投入数据为分析基础，进一步把握学习者在不同学习情境中的学习投入情况。

（二）融合多模态学习分析研究

学习分析伴随着MOOCs 的发展而逐渐进入教育领域。在教育大数据与人工智能等技术推动下，学习分析得到快速发展。学习分析是通过测量、收集、分析与报告学生及其学习环境的数据，以理解和优化学习及其产生的环境[11]。学习分析的主要对象是学生的学习，旨在通过挖掘与分析学生学习过程数据，理解学习者是如何学习的，发现潜在的问题，从技术、教学与社会等角度为学生提供适应性的学习服务，从而优化学生的学习路径，提升学习绩效。多模态大数据扩展了学习分析的研究范畴，突破以往的单一数据难以实现整体分析的局限，加快了挖掘教育数据背后的学习规律进程。多模态学习分析是横跨多模态交互、机器学习、学习科学等领域所形成的新方向，它利用多模态数据分析复杂环境下的学习行为，以优化学习体验[12]。

在国内外研究中，普遍认为教育数据挖掘是学习分析中的一大类，教育数据挖掘是利用特定的算法，通过学生与计算机网络的交互和融合，自动分析各种原始数据，找出学习活动与学习结果之间的相关性，并自动预测学生的学习情况的一种方法或技术[13]。学习分析中的数据挖掘，需要将多模态大数据融入到具体的教育情境中进行分析与解读。在智慧学习环境下，从知识结构、能力结构、情感态度、学伴关系以及学习行为五方面提炼出学习者在学习过程中产生的数据变量，进一步提高数据采集、预处理、清理、分析和挖掘的效率和科学性，实现了知识能力的评估、学习问题的诊断、学习危机的预警和学习行为的预测[14]。此外，一些研究者也基于学习分析技术对学生的行为数据进行监控，构建学习行为干预模型或系统，并将其应用于学习实践中，为学生提供学习干预或预警[15]，推动教育管理动态化，从事后干预转向事前预防。教育大数据视角下学习分析应用的共同点是对教育过程中的数据进行分析，对学习进行分析、预测和干预，精准识别学习者的状态，以建模的方式对学习者特征进行描述，并对数据进行收集、分析与预测，形成良性循环。然而，至今为止，受数据采集技术、研究方法等方面的限制，不少研究者对于能否捕捉与采集到完整的多模态大数据，以开展精准的学习分析，从本质上理解人是如何学习的等问题还有待深入探讨。

（三）促进自我学习的调节

自我调节学习是学习者自主驱动学习、自主选择学习内容、自主调整学习策略、自主规划学习时间、自主构建学习环境、自主评价学习进度的动态学习过程[16]。其作为一种学习策略，要求学习者须具备一定的认知、元认知和资源管理策略，以对学习者的学习进行计划、监控及反思[17]，这对于利用多模态大数据的采集类型提供一定参考，从学习个体的认知、行为数据、动机以及态度中反映学习者的自我调节策略。学习是一个自我调节和动态发展的过程，是从外部反馈过渡到内部反馈的过程。借助于学习分析技术对学习者学习过程数据的分析与结果反馈，充分关注了每一位学习者的个体特征与发展，动态跟踪学习进度，并给学习者提供了一个观察与反思自我学习路径的机会。

在传统教学中，因无法及时采集到每一学习者个体的知识结构、学习能力、学习进度、学习兴趣以及学习困难等层面的动态数据，教师主要是借助于主观的经验、观察以及学习者群体的平均水平来设计教学方案和开展教学活动，在一定程度上难以避免存在偏差，从而忽视学习个体的特点与差异。多模态大数据提供了多角度、全方位、精准化的视角来获取真实的学习情境数据，涵盖了生理、心理、行为、情感等多种类型数据，进一步映射学习者的学习情况。充分利用学习者的多模态大数据，基于认知、行为及学习策略等方面的特点，通过个性化反馈或干预可以达到优化自我调节学习的目的。未来的研究中，应着眼于如何利用现有数据预测学习者后续的自我调节学习特征，或者利用实时数据获取学习者即时的学习状态，并在此基础上提出适合学习者后续发展的学习策略，以帮助学习者最大限度地完成学习任务，培养自身的自我调节学习能力[18]。

（四）推动学习绩效分析与测评

传统的学习绩效评价往往因难以收集或只收集到碎片化的评价数据而忽略了数据在绩效测评过程中的应用，且因缺乏有效可靠的数据而过度依赖于主观经验的判断与评价，进而导致学习绩效结果的科学性不足。基于大数据的学习绩效分析与评价，不再仅依赖于单一评价对象与单一的评价指标，而应尽可能将多模态大数据与具体教学情境相结合，满足不同类型学习者的个性化需求，充分认识教育大数据在学习绩效分析与评估中的应用价值，明确将数据作为学习者学习绩效与成长状态的重要指标。学习者是教育教学活动开展的主体，教师在这一过程中作为主导者角色，从某种程度上看，为达到学习目标，学习者必将有一定的学习参与与学习投入，这也意味着学习的参与投入指标是学习绩效分析与测评的重要部分，提高学生的学习投入与参与度，将能帮助其学习绩效的提升。此外，学习成绩数据作为学习者学习过程中的重要部分，具有一定的综合性与客观性，也是学习绩效测评不可忽视的要素。

数据本身并非最重要，而应重点关注数据背后蕴含的问题以及可能的解决方案。此外，还须根据具体的情境来制定学习绩效的评估指标，将多模态大数据与评估指标进行对应，切实发挥数据的价值。作为教育工作者（包括管理者与教师等群体），应该要做多模态大数据的“数据脱盲者”[19]，不断提高数据素养，需要知道如何通过数据作为根据来刻画学生的学习路径与进步程度，需要明确如何通过分析数据的概率预测，明白这一数据结果对学生而言意味着什么，如何引导与启发学生以某一具体方式进行有效的改进。对学习绩效进行分析与评估的目的是利用多模态大数据为学习者提供学习反馈服务，促进学习者优化学习进程，以实现“提质增效”。

四、多模态大数据的现实挑战

（一）技术挑战

当前，多模态大数据融入于教育面临多方面的技术挑战，一是数据捕捉、采集、处理与分析技术的挑战，受限于当前软硬件水平的发展以及学习过程数据的复杂性，离智能化、精准化、系统化地操纵数据目标还存在较大差距；二是数据冗余的问题，对于同一现象数据，多种采集方式的数据是否指向同一模态，是否过度收集多模态数据而影响结果的判断等问题需要研究人员加以重视；三是目前大量数据库还未实现互联互通，大量与学习相关的数据，如学生基本信息、教师信息、资源数据、学习过程数据等分布在不同的系统中，增加了研究者的分析难度，分析结果的精准性受到一定影响；且由于多模态大数据具有复杂性和多样性，当数据量很大时，研究者难以进行系统的分析。

（二）伦理挑战

各类终端设备逐步接入网络，为收集即时性、动态化的数据提供了可能，但这一过程也自然而然引发了伦理与道德问题。在获取学习者学习过程的多模态大数据时，必然涉及到学习者的个人隐私数据，对这些数据进行分析是否需要经过学习者本人的同意；在开展研究之前是否拥有数据的使用权；对于获取的数据是否进行匿名化后再进行分析；是否无节制地采集与使用数据；数据分析结果是否反馈给教育工作者以及学习者本人；分析结果不理想的学生是否会被贴标签进行区别对待；数据存储是否安全等问题需要重视。此外，并非关于学习者的所有数据都与学习活动有关，如何在促进教与学最大化程度下，减少大数据所带来的伦理问题影响，这是研究者们正在面临的且须不断思考与解决的问题。

五、结语

多模态大数据为教育技术研究者提供了新的研究着力点，以更全面、客观的视角去洞察不同学习情境下的学习过程。然而，多模态大数据的复杂性以及各模态数据与学习过程状态之间对应关系的解析是当前基于多模态大数据探寻学习规律面临的问题，研究者如何处理海量的数据与学习状态两者的关系，建立映射关系尤为关键。要突破这一问题还须借助于理论的支持，依据教育相关理论进行识别与挖掘学习者的学习过程数据，以促进对教与学质量水平的评估与改善。