多模态数据下的学习投入特征画像研究

吴彦文，邵风华，葛 迪，韩 园，熊栩捷，陈美依，杜昱铭

（1.华中师范大学 国家数字化学习工程技术研究中心；2.华中师范大学 物理科学与技术学院，湖北 武汉 430079；3.武汉朱雀闻天科技有限公司，湖北 武汉 430000）

0 引言

围绕学习个体展开精准化教学诊断是提高教学质量的关键［1］。其中，评估学习投入是精准化教学诊断的重要内容之一［2-3］。学习投入是指个体表现出的充沛精力、灵活性、热情及心理韧性［4］，是学习过程的重要特征变量［5］。当前，大量研究仍围绕传统方法的组合或迭代探索学习投入测量指标，基于多模态数据表征学习投入状态的研究较少［6］。多模态数据融合能利用数据间的信息互补机制［7-8］，从多维时空尺度实现精准刻画学习投入［9-10］。因此，如何利用数据间的三角互证关系精准刻画学习投入状态是现阶段亟需解决的问题。

本文助力教师精准评测学生学习状态，拟建立基于多模态数据的学习投入测评框架，联合文本模态与视觉模态数据输出多维度学习投入特征值的分类结果，最终将实现学习投入画像的可视化效果，为教学诊断提供新视角。同时，为了验证模型的有效性，将依托华中师范大学“小雅”平台采集学习数据并开展教学实践。

1 学习投入相关研究

学习投入作为学习评估重要的观测指标［11］，涵盖了行为、认知、情感等因素［12］。张治等［13］构建学习行为投入测量指标，发现行为投入与学业成绩间存在显著关系。当学习行为从个体行为转向涵盖协作与讨论活动的社会性行为，学习投入研究也面临着从“个体—外显特征”向“群体—内隐特征”转型。在早期研究中，马志强等［14］发现社会性学习行为和情感投入、认知投入存在显著相关性。随后，研究发现多模态数据分析能实现学习行为与各类投入间的量化测评。王小根等［15］基于多模态数据探索了情感投入与协作学习间的内在规律，实现了学习者的情感状态识别。田浩等［16］基于多模态表征框架量化得到协作认知投入数值。

从多维学习投入分析出发，吴军其等［17］从行为、认知和情感维度构建协作学习投入度分析模型，发现每一模态数据均具有与学习投入度呈相关关系的特征变量。然而，不同学习者在各维度的投入并不均衡，基于各维度的学习投入分析将更细致地表征学习者。李新等［18］将行为投入、认知投入和社会投入纳入协同学习投入表征模型，发现各维度间的学习投入存在一定的内生关系。以上研究表明，学习投入测评对评估学习者学习状态具有积极作用，当前研究主要聚焦于多模态数据下行为投入、认知投入、情感投入和社交投入，但在学习行为模式、多维投入层次和教学实践探索等整体结构性方面仍存在研究空间。

综上所述，本文将综合分析不同学习活动产生的数据，基于多模态数据的学习投入表征模型从学习者的不同投入维度特征划分学习群体，辅助开展后续教学活动。相较于以往研究而言，本文采用多特征融合的学习投入模型预测学生不同维度的投入特征，并在协作学习模式上采取分组策略研究，以期在教学实践应用方面有所突破。

2 多模态数据下的学习投入表征模型

本文从多维时空信息源出发，利用多模态数据互相辅助、监督不同模态的语义信息，得到多维投入的高低特征。同时，将融合后的特征向量作为学习者的隐向量，实现学习投入特征分类，以提高教学诊断的细度。

2.1 多模态数据采集与预处理

本文以信息技术与物理课程整合课程为例，依托“小雅”平台智能采集多模态数据，从参与行为、社会网络、认知、情感4 个维度构建学习者的学习投入特征画像，具体数据流程框架如图1所示。

图1 中s1为教学资源的获取与利用，s2为信息化教学工具的运用，s3为移动教学模式下的教学设计，s4为小组协同模式下的教学设计，s5为基于社会化软件的教学实践，s6为信息化环境下的教学评价。在每次课程中，s1-s6过程均包括多个具体的学习活动，且交织形成多模态学习行为数据。例如，信息化教学环境下的教学评价的知识点课程教学过程中，学习活动包括观看发布的视频、提交自评和互评作业、在讨论区参与发帖等。通过采集与后期分析处理多模态数据，能最大限度客观全面地还原学生学习过程。

Fig.1 Data flow framework of multi-learning engagement feature portrait图1 多维学习投入特征画像的数据流程框架

本文采取Scrapy+Selenium 数据爬取方案，从“小雅”平台上获取静态、动态页面数据，解析得到目标元素。其中，文本资源主要包括协作学习文本、教学设计文本、在线平台日志、调查问卷、自评互评文本；视频资源包括教学实践视频和协作学习视频。爬取数据后，通过数据清洗提高数据质量，主要步骤为：①去除重复数据、噪音数据和脏数据；②补全填充缺失数据；③依据资源ID 合并资源属性。

由于教学设计文本的语义表达相对专业、视频语音信息的语义表达更通俗，借助视觉数据补充能更准确地对齐多模态数据并表征视频内容。为此，针对视频数据的预处理主要包括以下3 点：①根据教学设计文本，将视频分割为语义相对完整的片段；②从视频片段中抽取最能表征该片段特点的关键帧；③处理分割后的视频片段，形成一段字幕文本。经过数据爬取、清洗和预处理过程，将存储具有语义结构的数据，作为学习投入特征提取的基点。

2.2 多特征融合的学习投入模型

多特征融合的学习投入模型主要由基于Transformer［19］的文本特征提取器、基于FasterR-CNN［20］的图像特征提取器和多模态融合组件3 个部分构成。具体的，本文使用词级预训练Transformer 提取文本语义特征生成隐层特征向量；采用FasterRCNN 检测视频中与信息化教学行为相关的目标；通过多模态融合组件得到学习者特征向量并实现分类预测。模型整体架构如图2所示。

Fig.2 Multi feature fusion learning engagement model architecture图2 多特征融合的学习投入模型架构

2.2.1 Transformer文本特征提取器

由于学习文本数据为短文本，本文采用Transformer 提取特征。例如给定一个教学设计文本序列X={ω1，ω2，…，ωi}，其中ωi为输入序列的词语，i∈[1，n]，具体建模方法为：

模型输入ωi经过嵌入层We处理后，转换为低维稠密的特征向量，向量维度为dmodel。采用与Transformer 原文一致的位置编码，将初始化词的嵌入ei和位置嵌入pi相加，通过Multi-head attention 挖掘文本信息hi。为充分挖掘文本数据到多维学习投入特征，本文对学习文本编码的训练目标是最小化网络损失函数：①输入文本信息hi，经过平均池化后预测学习投入标签类目；②将输入文本信息的15%采用随机遮蔽处理，使用Mask 标记替代，通过预测缺失提高语义表征能力。

2.2.2 FasterRCNN图像特征提取器

物理教学实践视频由任意大小P×Q的图像拼接而成，将关键帧图像缩放到固定大小M×N后输入特征提取网络，经过POI Pooling 得到候选区域特征图，使用全连接层映射到固定维度。

其中，Fv为全连接层，vj为FasterR-CNN 的卷积特征，为固定维度后的特征。

2.2.3 Attention多模态融合

将文本特征hi与图像特征rj进行融合，并挖掘多模态间的关联。计算学习文本中对应词与图像中对应区域间的相关度Si，j。

其中，为hi的转置。

由于学习活动中的文本与关键帧图像存在内在关系，因此对齐文本语义信息与关键帧图像的视觉信息。

其中，为词的视觉信息表示为关键帧图像的语义信息表示。

为保证不同量纲数值相乘的有效性，相同运算文本模态与视频模态中的单个分量，采用Softmax 对注意力得分进行归一化处理。

随后，采用同一个投影层对拼接后的矩阵进行投影映射。

2.2.4 分类标签输出

经过参数矩阵Fe得到学习者特征向量Uf，最大池化大小为1 ×dmodel，步长为1。将Uf作为隐藏向量经过全连接层Ff，得到模型预测的学习投入类别。

3 实践结果与分析

本文选取华中师范大学物理科学与技术学院近3 年390 名师范生，整合信息技术与物理课程48 752 条有效数据进行学习投入画像研究。

3.1 在教学诊断评估中的应用

学习投入画像能辅助教师监测、了解学生学习态度和行为分布状况，有利于教师实施教学干预，促进学生学业成就。为便于教师教学诊断应用，本文实现了学习投入特征的可视化呈现。同时，根据分类标签将学习者划分为高投入团结型、高投入散漫型、中投入普通型、低投入团结型和低投入散漫型5 类。限于篇幅，本文仅以A 学习者为例展示学习投入画像，如图3所示。

Fig.3 Learning engagement portrait of student A图3 A学习者的学习投入画像

由图3 可见，高投入团结型群体占比12.3%，该群体善于在协作中提出问题，具备较强的思辩能力，教师可让其担任小组协作的主导者；高投入散漫型群体占比21.5%，该群体在协作学习中往往被动接受信息，但个体学习行为突出，教师可引导其认识协作的意义，促使学生投入协作共建；中投入普通型群体占比43.9%，该群体个性不突出，教师应加强关注该类学生，激发其学习兴趣，促使学生向高投入团结型转化；低投入团结型群体占比9.2%，该群体有时存在学习困难，但积极参与协作，教师可实施目标分层与作业分层，提高学生自我效能感；低投入散漫型群体占比13.1%，该群体的行为参与度与学习需求度均有所欠缺，教师应适时采取直接教学干预和督学检查措施。

综上，基于学习投入画像的诊断评估方法可帮助教师快速、精准地了解学生学习投入状况，促进教师分类分层教学，为协作分组提供决策依据，具有一定的现实意义。

3.2 在协作分组策略中的应用

学习者的学习投入特征是从多模态数据中抽象出的个人特质。基于组间同质、组内异质的分组策略开展协同学习，能有效开展合作学习。为此，本文要求学生以5 人为单位完成一份教学设计，每组角色包括提问者、回答者、争论者、协调者和反思者。实验选取40 名学生组成对照组和实验组各4 个。其中，对照组采取随机分组方式；实验组提问者选取高投入团结型学生，其余4 名成员分别来自其他4 个类型。为了保证基于投入特征的协作分组有效性，实验结束后分析8 个小组的学习效果（见图4），然后对两组学生开展满意度评价调查，如表1所示。

Fig.4 Learning situation analysis of differentiation team图4 差异化小组学情统计

Table 1 Student satisfaction evaluation form in grouping strategy表1 学生分组满意度评价表

由图4、表1 可见，不同分组策略将影响协作学习效果。实验组中，高投入团结型学生作为提问者充分发挥了学生主体作用；高投入散漫型和低投入团结型学生形成优势互补，促进了学生投入风格的“相互强化”；中投入普通型和低投入散漫型学生的角色责任落实明确，参与积极性显著提高。因此，教师基于学习投入特征进行协作分组，采用互补方式划分小组将有利于学生培养责任感，角色分工更明确，整体向协作精神更强的趋势转换。

4 结语

由于多模态学习数据极大丰富了学习投入的特征表示，本文提出基于多模态数据的学习投入特征模型。随后根据学习投入画像进行诊断评估，以期为教师实施个性化教学与协作分组策略提供参考，提升了学生投入水平和协作精神。

随着信息化教学与学科知识的深度融合，下一阶段将主要关注基于学习投入的认知图谱助力教师“以学定教”。从学习投入特征中挖掘学习目标达成情况、学习偏好和认知水平等属性。对于未达成的学习目标，利用认知图谱归因分析能有效辅助教师进行教学诊断，提升协作分组活动的效率。