多模态数据赋能教师课堂教学画像研究

张毅，乔雪

（江西科技师范大学，江西 南昌 330038）

0 引 言

2021年1月，教育部制定了《普通高等学校本科教育教学审核评估实施方案（2021—2025年）》，为引导高校遵循教育规律，聚焦本科教育教学质量，提出“综合运用互联网、大数据、人工智能等现代信息技术手段，深度挖掘常态监测数据，提高工作实效”。教学工作是学校所有工作的核心，学校要想很好地实现培养目标，培养出合格的人才，就必须把教学工作放在首位，围绕教学目标安排其他工作。教学质量是指教学水平的高低和教学效果的优劣，或者说是在一定时间内和一定条件下，学生发展变化达到某一标准的程度。学校要想提高教学质量，就要抓好教学工作，充分计划、严格落实教学过程中的每一个环节。

然而，传统的课堂教学过程中存在着非客观记录，学生的学习过程无法获得如实记录和精准评价，导致课堂教学评价效果低下。“用户画像”技术能够有效描述目标用户的显著特征，有助于指导和优化决策的制定和实施过程。因此，本文利用课堂教学过程中产生的多模态数据，将课堂教学过程数字化，为建立课堂教学精准画像提供数据支撑，为精准教学服务提供参考借鉴。

1 基本理论研究

1.1 多模态数据

Nigay 和Coutaz 认为，“多”的意思是“不止一个”，而术语“模态”则是指用于传递或获取信息的通信类型或通信渠道；钟薇等将多模态数据分为生理层数据、心理层数据、行为层数据和基本信息数据四类。综上所述，笔者认为多模态数据是指具有不同数据结构特征和形式的表意符号和信息，包括从视觉、听觉、触觉、嗅觉等不同感知通道接收到的信息以及各种数据类型（甚至来自不同数据库）的组合。

学习是多模态的，因而利用单模态数据来描述教师研修的全部肖像是充满困难的。多模态数据可以全面、准确、真实地构建教师画像，克服单一视图无法观察全貌的局限性。通过智能系统、穿戴设备等途径获取多模态教学数据，使教育研究者能够准确找出课堂教学问题，总结课堂教学经验，使课堂教学方法更加科学有效。因此，相较于传统课堂记录的数据，本研究利用多模态数据多视角、全方位地构建课堂教学画像，提供更为科学直观的教学诊断。

1.2 教学画像

交互设计之父Alan Cooper 率先提出用户画像（Persona）的概念，他认为用户画像是基于大量真实数据构建出来的虚拟用户模型。用户画像在电子商务领域的成功运用，使得画像技术延伸到“学习者画像”“学生画像”“教师画像”等不同领域。

在学习者画像领域，肖君等提出学习者画像是用户画像在教育领域的应用；王莎等认为学习者画像是对学习者教育信息的抽象概括。在教师画像领域，胡小勇等提出通过数据挖掘技术，收集与教师教研紧密相关的数据来构建表征教师特征、需求、偏好和行为的画像模型；陈尧利用OP 算法和基于词典的情感值匹配技术对学生评教文本数据进行处理构建教师画像；方丹丹等基于特征工程理论为教师打标签，进行教师画像特征选择。在教学画像领域，乔雪在人工智能的背景下，提出利用数据驱动的方法构建课堂教学画像的设想；陈小恩等利用学校网络课程数据对教师教学特征进行刻画，还原教师教学的全部信息。

综上，当前的学者运用用户画像技术在教育领域的相关研究主要集中在学习者画像和教师画像，而在教学画像领域的研究还不够深入。

2 教学画像模型的构建

画像模型的构建需要遵循相应的流程。肖君等提出了基于xAPI 的在线学习者画像来构建框架，将构建流程分为四个阶段：画像目标、数据收集、画像建模、画像应用与评价；胡小勇等提出的精准教研视域下的教师画像的逻辑实现框架，分为数据采集、数据预处理、画像模型构建、标签体系建立、画像质量评估和画像精准应用六个阶段。本文在前人研究的基础上，基于多模态数据提出了“画像目标、数据收集、数据预处理、画像模型确立、标签的形成、画像应用与评价”六个阶段，如图1所示。

图1 教学画像模型的构建流程

2.1 画像目标

画像目标能够指导整个画像构建流程的有序进行。本文将教学画像分为师生基本属性、教学内容属性、教学行为属性和教学心理属性四个维度。通过对教学画像的维度划分，可以明确教学画像的构建目标。

2.2 数据收集

师生基本属性数据可以分别从教师信息管理系统和学生信息管理系统中获取，包括性别、年龄、年级、学科等结构化数据；教学内容属性数据包括学科类别数据和课堂记录数据，学科类别数据可以从教务处的排课系统中获取，课堂记录数据包括教学过程中教师的PPT 内容、板书、学生的课堂笔记等文本数据，这类数据可以从教学平台中获取；教学行为属性数据包括师生教学互动的音频、视频数据以及师生的面部表情和眼动数据，可以利用电脑端的摄像头和眼动仪来收集教学行为数据；教学心理属性数据包括教学过程中师生的情感、认知、注意等心理活动，这类生理数据可以由脑波仪等生理仪器实时监测得到。

2.3 数据预处理

由于收集到的多模态数据来自于不同的数据库，获取方式也不一样，导致数据存在格式上的不统一、数值缺失和不规范等问题，因此在构建画像模型之前有必要对数据进行预处理。本文尝试运用五种数据预处理方式（包括数据清洗、离群点处理、缺失值处理、不一致数据处理、数据集成），最终得到干净的数据便于后续的数据分析。

数据清洗包括不完整数据的清洗、错误数据的清洗和重复数据的清洗。由于Hadoop 处理大数据的效率很高，本文采用Hadoop 的分布式数据清洗方法，先将数据存储在HDFS，然后再将数据转存至Hive 数据仓库，按照指定格式处理数据。在数据挖掘领域，离群点检测算法是一种重要的异常检测算法，基于E-PAC 的算法可以消除多模态数据中存在的冗余数据。可以采取由回归模型和判别模型计算出来的值来代替缺失值。在实际的数据获取过程中，可能会存在一些数据不一致的情况，这时需要对不一致的数据进行清理。对不同来源的数据进行统一存储时，可能会出现数据冲突问题。本文基于轻量级的集成局部图结构LGS（local graph structure）和认知特征提取框架，在对脑电信号等生理数据的识别上具有更好的集成效果。

2.4 画像模型确立

画像模型的确立需要对所收集的多模态数据进行分析，从多个维度对画像进行划分，为标签体系的形成和画像评价奠定基础。可以借助师生基本属性数据来了解师生的基本特征，此为教学特征画像；教学内容属性数据和教学行为属性数据，表征教师的授课能力和学生的学习能力，此为教学能力画像；教学心理属性数据展现了师生的情感、认知和态度，此为教学体验画像。本文提出的教学画像模型如图2所示。

图2 教学画像模型

2.5 标签的形成

教学画像模型确立之后，针对该模型中的三个画像构建相应的标签体系，如图3所示。教学特征标签包括基本信息和教学信息，此为静态标签。通过师生的基本特征，教师可以对不同性别、年龄、教育阶段的学生进行个性化教学，学生可以根据自己的喜好选择授课教师；教学能力标签包括课堂交互和测验成绩，此为动态标签。交互数据和测试成绩可以体现教师的教学能力和学生的学习能力，使师生为进一步提高各自的能力水平而进行总结和反思；教学体验标签包括师生之间相互的满意度和兴趣，此为动态标签。心理数据的实时监测可以用来了解每一时刻师生的满意程度和兴趣，教师可以有针对性地对教学内容和教学风格进行改进，从而促进学生的全面发展。

图3 教学画像标签体系

2.6 画像应用与评价

依据教学画像模型的确立以及标签体系的形成，本文提出了面向学生个人画像和教师画像的应用需求，如图4所示。

图4 教学画像应用

面向学生的个人画像能够帮助学生进行自我监测，及时调整自己的学习行为，提高学习效果。学生在实际的课堂中，依据其个人的标签，找到自己的不足，针对自己的薄弱环节进行有针对性的练习，提高自己的学习成绩。面向教师的画像需要根据学生画像进行监测，及时了解学生的学习情况，适时调整自己的教学策略。教师可以针对各个学生不同的学习情况，有针对性地提供个性化的教学服务。

教学画像在实际的应用过程中也会出现一些疏漏，而画像的评价对画像的精准应用有很大的帮助。画像评价在整个画像构建流程中发挥着重要作用，画像评价这一环节使整个画像构建流程形成一个闭环，让画像能够得以不断的更新和优化，对画像的每一个环节都具有促进作用。

3 结 论

多模态数据能够全方位、多维度、多视角地描述整个教学过程，不仅能够帮助教师和学生了解自己的心理和状态，也有助于师生在教学过程中相互磨合、友好协作。基于多模态数据的教学画像为提高教学工作实效提供一种新的解决方案，然而针对教学画像如何与实践更好地结合还需要做进一步的研究，这也将是后续研究工作的重要方向。