多模态数据支持的课堂教学行为分析模型与实践框架

张乐乐 顾小清

（华东师范大学 教育学部教育信息技术学系，上海 200062）

一、引言

21世纪是“课堂革命”的世纪，世界各国的课堂正静悄悄地发生变化（佐藤学，2014）。课堂是教育教学的主战场、人才培养的主阵地，人工智能技术打破了传统课堂标准化、同质化束缚，加速了课堂教学与管理的创新变革。经济合作与发展组织发布的《2021OECD数字教育展望》，将智能技术对课堂教学的改变作为重点关注领域。随着课堂智能系统、眼动仪、脑电仪、可穿戴设备等智能设备的发展，以及自然语言处理、计算机视觉和语音识别、生理信息识别等智能技术的成熟（王一岩等，2021），课堂教学研究将突破以外显学习行为识别为代表的浅层感知技术瓶颈（刘三女牙等，2021），实现对学习情境中师生状态、意图的深层感知。我国《新一代人工智能发展规划》指出，要鼓励人工智能与神经科学、认知科学等基础学科开展跨学科探索，加强引领人工智能算法、模型发展的基础理论研究（国务院，2017）。当前，人工智能机器学习算法、卷积神经网络算法在教育领域应用较为广泛，课堂教学数据的深度挖掘与分析，为处理课堂教学行为的复杂性、可解释性提供了技术支持。

国内外已有大量有关课堂教学行为分析研究，常用的课堂教学行为分析方法—学生和教师课堂行为分析法（S-T课堂分析法）、弗兰德斯互动分析体系（FIAS）采用人工编码、计时的方式采集数据，一定程度推动了传统课堂教学质量的提升。然而，人工采样存在样本量小、费时费力、容易出错、有较强的主观色彩等不足，不利于发现真实的教学问题和教学规律。进入智能时代，多模态课堂教学行为分析为解决这些问题提供了机遇，技术赋予机器更强的判断和决策能力，可对无法精准获取或难以察觉的课堂教与学数据进行智能采集和分析，深入探究学习背后的信号或潜在机理。那么，如何利用智能技术伴随式地采集课堂教学行为数据，应采集哪些数据表征学习者的学习状态，这成为智慧课堂教学行为分析的难点，也是教育研究关注的焦点。本研究以人工智能技术为依托，从多模态教学行为分析的视角出发，对多主体课堂教学行为分析的构成要素进行归类，设计基于多模态的课堂教学行为分析模型，构建课堂教学行为分析实践框架，以期为多模态数据支持的课堂教学实践提供理论支撑，推进课堂教学智能化发展。

二、文献综述

课堂教学行为分析一直以来都是课堂教学研究的重点，技术发展使得课堂教学行为不再局限于肉眼可见的外显行为，更多关注生理、心理等内隐数据，以及时发现教学问题，揭示教育规律。国内外多模态课堂教学行为分析研究主要关注多模态行为数据的采集分析方法、多模态课堂情绪感知与行为分析和多模态课堂教学活动编排。

（一）多模态行为数据的采集分析方法

1. 基于视频的课堂多模态数据采集

基于视频的课堂数据采集是目前课堂教学行为分析较常用的数据采集方法，即通过视频采集和提取学习者面部表情、头部运动、身体姿势等特征，计算识别学习者的相关行为。例如，于等（Yu et al.，2017）利用微软体感系统记录学生的课堂学习视频图像，通过人脸识别和姿态识别检测学生的典型课堂行为（如坐、举手、站立、睡觉和耳语）；武乔维奇等（Vujovic et al.，2019）运用动态捕捉系统获取面对面协作学习场景中学习者的凝视方向和反应速度、学习者之间的距离和运动等行为数据；斯坦等（Tan et al.，2020）利用360度视频技术录制课堂活动的多模态数据，如师生对话、移动、眼神、手势、演示实物、使用设备等，为教师精准教学提供数据支持。

2. 基于语音的课堂多模态数据采集

基于语音的课堂数据采集主要利用语音识别技术采集线上线下学习者和教师的语音数据，实现对他们情绪感知、协作交流等状态的深度挖掘与分析。例如，岑等（Cen et al.，2016）开发了面向在线学习的实时语音情感识别系统，通过语音活动检测、语音分割、信号预处理、特征提取、情绪分类和情绪频率的统计分析，实时监测在线学习环境中学习者的情绪状态；里克尔梅等（Riquelme et al.，2019）使用应答器采集学生的语音数据，分析小组协作的持续性和激励性；陈雅淑（2021）通过对课堂语音文件的降噪、特征提取，判断学生上课的情绪状态：兴奋、平静、低落；宋志海（2018）设计了课堂教学行为识别系统，采用深度学习的语言文本分类技术，自动识别课堂语言行为（如教师的讲授、指令、鼓励、提问）。

3. 基于文本的课堂多模态数据采集

基于文本的课堂数据采集主要通过识别学习者在线交互文本、评论文本等内容，掌握学习者的情绪感知状态、认知水平。例如，冯翔等（2019）基于长短期记忆算法构建学业情绪自动预测模型，将学习者学习过程中产生的反馈文本进行分类，识别与分析学习者的情绪感知状态；田等（Tian et al.，2014）基于在线学习交互文本识别学习者的情绪，构建了基于交互文本的情绪识别研究与应用框架。国内不少中小学校还使用点阵笔、高扫仪、高拍仪等智能设备，智能化采集与分析学生的课前、课中、课后作业，通过识别学生的书写笔迹与表达的文本内容，了解学习者的作业态度、作业情绪（如烦躁、喜悦等）。

4. 基于感知设备的课堂多模态数据采集

已有研究表明，利用可穿戴设备（如智能眼镜）和植入设备（如脑接口）自动采集、编码与处理师生情绪和表情数据，可实现对情感和神经脑网络的识别（炕留一等，2022），表征学习者的学习情绪或学习状态、预测教师的某些教学活动。例如，杰美特（Jamet，2014）通过眼动线索观察学习者的课堂注意力分布，定位学习者感兴趣的教学内容或多媒体呈现形式，比较学习者使用不同教学媒体的行为差异，以科学、直观的数据表征学习者的学习偏好。普里托等（Prieto et al.，2016）利用头戴式便携眼动仪、脑波仪、智能手机，自动采集教师的眼动、脑波、三维加速度、视频录像和语音等数据，使用机器学习算法预测教师发布的任务等教学活动。

（二）多模态课堂情绪感知与行为分析

多模态课堂情绪感知与行为分析主要借助深度学习、机器学习等算法分析师生的动作姿势、生理、心理等数据，全面科学地反映学生的学习状态、教师的教学行为和教学风格，对优化教师的教学设计、提高课堂教学质量具有重要意义。

1. 学习者情绪感知分析

情绪是学习者重要的内隐学习特征。已有研究认为，学习者情绪感知分析就是利用相关算法提取学习者的生理、心理、行为等数据特征，并结合分析技术进行推测。例如，孙波等（2015）采用基于张量分解的算法识别学生的图像表情，将学生情感状态分为专注、自信、高兴、困惑、惊讶、疲劳和厌烦七种。屈梁浩（2019）通过检测学习者的睁眼、闭眼和打哈欠行为判断学生的疲劳程度，并利用卷积神经网络模型（AlexNet）把实验者的学习状态分为疲劳和不疲劳两种。还有研究者借助自动识别技术、机器学习算法等提取、分析学习者的课堂学习参与度和学习兴趣等。例如，怀特希尔等（Whitehill et al.，2014）开发了自动化课堂学习参与度识别器，采用机器学习的方法自动采集学习者的面部表情，推断学习者的学习参与度。韩丽等（2017）构建了基于人脸检测与表情分析的课堂教学评价系统，建立了认知行为与学生头部姿态、面部表情之间的特征关系，分析学生的课堂参与度和活跃度。陈靓影等（2018）通过识别与融合学习者头部姿态、面部表情、课堂互动等多模态信息，从认知注意力、学习情感与思维活跃度三个维度理解学生的学习兴趣。

2. 课堂教学行为分析

随着自然语言处理、语音识别、生理信息识别等技术的发展，多模态师生课堂教学行为数据不仅能够反映学习者的认知发展、高阶思维、学习习惯、学习持续力等特征（顾小清等，2021），还能真实反映教师教学情况。国内诸多研究者利用智能算法、自动标注等方式识别、提取师生课堂教与学的行为特征，以反映课堂的真实状态。例如，付等（Fu et al.，2019）使用人体姿态识别算法提取人体骨骼、面部和手指的关键点，通过基于卷积神经网络的分类器识别学习者听课、疲劳、举手、侧身和读写五种课堂学习行为。任等（Ren et al.，2002）利用隐马尔可夫模型，根据脸、胳臂、手、躯干三维运动特征识别教师从讲台上拿物件、放回物件、指向学生、指向屏幕、与学生交流、解释、喝水七种动作。卢国庆等（2021）采用人工智能引擎自动标注课堂教学行为，发现教师的读写、讲授、巡视行为较多，师生互动、生生互动较少。还有研究者从空间学角度，利用机器学习算法分析教师与学习者、学习小组的位置和距离对学习者学习状态的影响。马丁内斯·马尔多纳多等（Martinez-Maldonado et al.，2020）利用定位传感器捕获教师的定位数据，论证课堂中师生之间的距离对学习者认知、情绪的影响。

（三）多模态课堂教学活动编排

少有研究关注多模态数据支持的课堂教学活动编排。已有研究认为智能活动编排主要是将课堂教学行为分析产生的数据输入不同的活动，帮助教师关注学习者，理解课程，有效管理课堂教学。狄隆伯格（Dillenbourg，2015）利用眼球跟踪、视频、音频和加速器提取学习者特征，建构简单又有教学意义的编排图，支持教师教学反思。拉卡等（Raca et al.，2013）利用“教室地图”定位学习者的实时数据，并采用计算机视觉方法，通过学生的姿势和其他行为线索评估学生的注意力，增强教师活动编排的准确性。可见，基于多模态数据探究学习者背后的行为规律、行为习惯等，可辅助教师进行课堂教学管理，提高教学活动的效果。

综上所述，多模态数据支持的课堂教学行为分析为学习者、教师、研究者提供了全方位、多角度的课堂教学实践与分析方法，为智慧课堂的发展提供了新思路。然而，当前人工智能技术还处于弱人工智能阶段，受数据采集设备、教师技术应用能力和数据分析能力等限制，多模态数据支持的课堂教学实践尚未实现常态化、规模化应用。如何将智能感知设备引入课堂，基于视频、语音、文本等方式采集数据，深入挖掘和分析师生的情绪和行为特征，改变课堂教学模式，尚需探究。这也是未来课堂教学实践的关注点。

三、多模态数据支持的课堂教学行为分析模型

随着人工智能、5G、虚拟现实、增强现实等技术的快速发展，新的教学形态不断涌现，使得意义表征和信息交流更加多模态化（田阳等，2019）。本研究围绕数据驱动的课堂教学行为构成要素，设计了涉及多主体、多空间、多环节的多模态课堂教学行为分析模型。

（一）要素筛选：数据驱动的课堂教学行为分析

明确数据驱动的课堂教学行为构成要素是构建多模态数据支持的课堂教学行为分析模型的基础。本研究以“课堂教学行为”为关键词，通过检索中国知网收录的2015年以来CSSCI来源期刊发表的相关文献发现，课堂教学行为要素主要针对教师和学生两大主体。已有研究围绕教师和学生在学、教、管、评等活动进行行为分析，不同教学情境中教学主体的教学行为构成要素呈现多样化特点。参考穆肃等（2015）对课堂教学中师生行为的分类，本研究的教师教学行为包括讲授、演示、师生互动、操作设备、课堂监管，学生学习行为包括听讲、提问、讨论、练习、使用媒体（见表一）。

表一 课堂教学行为要素分类、描述与数据类型

（二）设计原则：基于多模态数据驱动的课堂教学生态解析

多模态课堂教学行为分析模型旨在对课堂教学活动的主体、教学情境、教学环节等进行数据化表征，揭示课堂教学规律或课堂教学的内在发生机制。其一，结合人、机、物三元融合的发展趋势，加强对智慧课堂“人”（学生和教师）、“机”（智能设备）、“物”（教学内容和教学资源）三要素的关注（王一岩等，2021），明确教学主体的活动任务，探究教育主体、教育客体之间的交互机制；其二，强化分析课堂物理空间、信息空间和心理空间对教学行为的影响机理，探究不同情境对教学主体行为的影响，及时跟踪教学主体的教与学状态，促进教师深入理解教学过程和教学结果，及时改进教学策略；其三，基于课堂教学生态视角，将教学行为的相关因素进行归类，建立各要素之间相辅相成的关系，构建立体、多维的分析模型，实现课堂教学行为的精准分析与评价；其四，以教学活动情境为基础，根据课堂教学行为主体与教学情境的交互，构建师生认知发展、行为动作、情绪感知与教学内容、教学设备等的联系，实现“多主体、多空间、多环节”的相互促进与融通。

（三）模型建构：多模态数据支持的课堂教学行为分析模型

智慧课堂是由多要素构成且各要素之间相互联系、相互作用的复杂系统—“师—机—生”等多主体在“物理—信息—心理”等多空间（刘三女牙等，2021），围绕“教师的教—学生的学—师生互动”等环节，开展多模式的教育教学活动。本研究参考孙众等（2021）提出的人工智能支持课堂教学分析框架，结合课堂师生行为要素，构建“多主体、多空间、多环节”的多模态数据支持的课堂教学行为分析模型（见图1）。

图1 多模态数据支持的课堂教学行为分析模型

1. 教学主体

人工智能技术的引入改变了传统课堂的教与学关系，智能技术逐渐作为“中介”参与课堂教学和学习交互的各个层面（许亚锋等，2020）。传统的“师生”二元关系逐渐被“人—机—物”多元互动的新型关系所取代，一定程度上增加了课堂教学的复杂性与科学性。“人—机—物”多主体协同是多模态课堂教学行为分析的核心要素，贯穿课堂教学的全过程。

1）人：教师和学生

人主要指教师和学生。教师是课堂教学活动的组织者、指导者，其课堂教学行为数据主要包括话语、神态、动作姿势、操作设备、与学习者交互等。学生是课堂教学的主体，是知识的获得者、创造者，其课堂教学行为数据主要包括外显行为和内隐行为。外显行为表现为表情、话语、身体动作、人机交互、与线下教师的交互问答等，内隐行为表现为心率、血压、脑电波等。

2）机：人机交互设备

人机交互设备为教学活动的开展提供了智能工具支持，实现了教学主体在学习场景中交互行为的数据化表征。目前，教学常用的人机交互设备包括智能终端、智慧黑板、点阵笔、智能导学系统和学习平台等。教师利用设备或智能教育产品开展教学时，会产生人与设备的交互行为数据，如设备使用次数、使用时长等。同样，学习者借助智能教育产品使用个性化学习资源推送、智能诊断等服务，也会产生与设备交互的行为数据，如登录时长、登录频率等。可见，智能设备在教学主体中扮演着重要角色，是支持师生行为发生的基础。

3）物：教学内容或工具

教学内容作为课堂教学的关键因素，其内容的形式、类型决定了教师教学活动的设计、教学方法的使用或教学媒体的选择。众所周知，课堂教学内容主要涉及教学章节、知识点、教学重难点及作业测试等。教师要将教学内容清晰、完整地呈现给学习者，需借助黑板、交互式电子白板、智能终端等工具。教师展示教学内容或学习者学习教学内容时会产生系列的教与学行为数据，如学习内容浏览时长、点击次数、资源类型的选择等，这些数据可以反映学习者的学习偏好、学习风格等特征，为教师的教提供数据支持。

2. 课堂环境

智慧环境的创设是课堂教学有效开展的前提和基础，以虚拟现实、生理感知等为代表的智能技术为课堂人机交互、教学决策提供了精准的服务与支持。技术赋能的智慧课堂从“以学生为本”的视角出发，突破固有的物理环境、信息环境限制，更关注学生认知发展的心理向度，强调课堂教学对学习主体心理因素的影响。本研究将课堂环境分为物理空间、信息空间和心理空间三部分，通过数据分析教学主体在三个空间中的行为表现，不断提升行为分析的深度与智能化水平。

1）物理空间

物理空间作为多空间融合的基础，其主要场所是传统的教室。精准分析物理空间的教学行为数据，主要涉及学生的座位、教室的空间结构、教师的移动距离等。学习者的座位与教师授课距离的远近，影响学习者的学习状态和学习效果。学习者近距离与教师面对面接触，可快速通过教师的板书、语速、表情神态等明确教学内容的重难点，及时有效地互动，碰撞激发思维的火花。只有有效的师生互动，才能提高课堂教学效果，对学生理解和掌握所学知识乃至建构完整、系统的知识体系产生重要影响。

2）信息空间

信息空间作为物理空间的升级形式，指利用智能教学设备开展教与学活动，促进师生在信息空间的互动，包括学习者与学习资源的交互、教师与智能设备的交互和师生之间的互动交流。其中，学习者与设备和学习资源的交互，主要表现为学习者利用设备拍照上传、文本输入、指尖点击等行为，智能系统根据行为数据智能诊断、评估学习者的学习意图、学习偏好和学习风格等，个性化推荐适切的学习资源。师生之间的交互主要表现为教师利用智能终端对学生的测试结果或疑难问题给予针对性反馈和指导，了解班级学生知识点的掌握状况，学生也能及时发现自身存在的问题并查漏补缺。

3）心理空间

心理空间作为物理空间和信息空间的补充，重点关注学习者的心理、认知、情感状态，强调“人”的发展。本研究认为心理空间就是利用智能感知设备识别和采集物理空间、信息空间中“人—机—物”之间互动对话、神态表情、肢体动作等数据，剖析学习者内在的学习机理、情绪感知状态，是物理空间和信息空间中课堂教学行为分析的“升华”。心理空间对学习者情感状态的全面、立体刻画，有助于揭示学习者深层次的情感发生机制，以提供完善的学习情感支持服务。

3. 教学环节

多模态数据支持的课堂教学行为分析，为教师主动适应新技术、积极有效开展教学提供了可能。智慧课堂构建了数据驱动的“教师教学—学生学习—师生互动”多环节融会贯通的教学新范式，打破了传统教学模块化的“枷锁”，实现了教与学方式的重塑。

1）教师教学

智能环境下的教师教学包括教学情境的创设、教学活动的设计和教学内容的讲授等。教师借助智能系统（如教学平台、智能软件等）、教学工具（如黑板、教具、电子白板等）创设真实的学习情境，选择合适的教学内容或教学资源，开展相应的教学活动（如项目式学习、线上线下混合式教学等），培养学生的能力（如协作实践能力、问题解决能力等）。

2）学生学习

课堂教学的学生学习行为主要包括回答教师问题、认真听讲、思考、做测试题及与同伴讨论交流。通过智能感知设备抓取学习者的面部表情、眼神、姿势动作等特征和回答问题的语音拾取，教师可以了解学习者能否根据讲授内容及时、主动地思考，能否在讨论交流中发挥优势。同时，智能应用系统中测试题目的作答数据，可用于表征学习者的学习风格和知识点的掌握状况，为优化教师的教学策略提供建议。

3）师生交互

师生交互是课堂教学的必要环节，是调动课堂氛围、激发学习者学习积极性的“调节剂”。物理空间、信息空间中学习者的学习表现（回答问题情况、讨论交流情况）、学习状态（面部表情、眼神）等多维数据，可帮助教师及时掌握班级学生的整体认知水平与认知风格。同时，互动过程中，教师也能够根据学习者的表现，主动了解自身在教学风格、教学交互设计、教学活动组织等方面存在的问题，以此改进教学设计，提升教学效果。

四、多模态数据支持的教学行为分析实践框架

不少研究者探讨了多模态支持的学习分析过程，提出了相关的模型范式以规范其操作流程。尚卡尔等（Shankar et al.，2019）利用数据价值链（data value chain，DVC）概念得出多模态学习数据过程模型，包括数据发现、数据融合和数据利用；牟智佳（2020）认为多模态学习分析包括数据收集、数据存储、数据标注、数据处理和数据开采；汪维富（2021）认为多模态学习分析包括数据发现、数据融合、数据利用等“三大步七小步”处理流程。综上来看，多模态学习分析流程一般包括数据采集、数据分析、数据融合和数据应用。为了清晰地描述课堂教学行为的分析过程，本研究以多模态学习过程数据为指导，以课堂教学行为分析模型为核心，在数据驱动的教学环境下，从课堂教学、数据采集、智能分析和应用服务四方面构建了多模态数据支持的课堂教学行为分析实践框架（见图2），以期为具体的课堂教学实践提供支持。

图2 多模态数据支持的课堂教学行为分析实践框架

（一）课堂教学层：基于教学行为分类的情境要素设计

以学生为中心的课堂教学不仅需要教师创设合适的教学情境，选择适切的教学内容、教学设备以满足多样化的教学活动需求，还需根据学习者的学习状态及时调整教学计划，增强师生、生生之间的互动交流。依据教学行为的要素分类，本研究的教学情境要素包括教学主体、教学内容、教学资源、教学环境、教学交互等：1）教学内容。依据课程标准和教学目标的要求，教师结合生活实际选择教学内容，正确把握知识难度，并以适宜的形式呈现，实现育人目标。2）教学设备。作为辅助课堂教学的工具，其在教师演示、讲授等教学行为中发挥了重要作用。例如，教师通过一边讲授教学内容一边演示虚拟智能设备（如AR、VR），营造轻松逼真的学习场景，提高学生课堂活动的参与度。3）教学活动。这是课堂师生关系存在的重要纽带，是一切教学行为发生的基础，即通过借助合适的教学工具和教学资源，设计符合课程要求的教学活动，在活动过程中渗透教学内容、教学方法、教学媒体等要素，从而实现“多主体、多空间、多任务”之间行为的交互分解，帮助学习者掌握知识的同时，促进学生核心素养（如小组协作交流能力、实践探究能力等）的培养，最大程度地满足学习者的学习需要。

（二）数据采集层：基于多模态数据的课堂教学行为表征

多模态课堂教学行为分析是对教师行为、学生行为、师生情感、师生交互等方面的综合表征，需要大量内隐外显的、多维数据指标才能将其全面、立体地呈现。随着智能技术的广泛应用，数据采集方式转变为智能化、伴随式，本研究基于多维课堂教学行为要素的分类，利用智能传感器、视频、音频、智能设备等方式对教学过程各要素开展“多主体、多环境、多环节”的全方位数据采集。1）学习者和教师层面：利用摄像头、眼动仪、智能手环、智能学习设备等采集学习者、教师的外显行为和内隐信息数据（如师生情绪感知数据、行为数据等）。2）信息空间：利用知识图谱技术标记学习内容，跟踪记录学习者的学习过程数据，如人机交互数据，随堂测试数据等，实现个性化资源的精准推送。3）师生互动：通过麦克风、拾音器、摄像头获取学习者与教师或与同伴之间交流的语音数据（如教师讲授、提示、指导等语音，学习者的回答、交流等语音）、动作姿势数据等。利用人工智能技术实现师生行为、话语、表情等多维数据的挖掘与分析，并将结果以可视化的方式呈现，这在一定程度上弥补了传统数据采集分析的弊端，提高了课堂教学行为分析的全面性与真实性。

（三）智能分析层：基于多模态数据的教育问题研究

智能分析主要通过关联多模态数据支持的课堂教学情境特征与师生特征，使教学活动的主体与教学情境匹配，构建基于多模态的师生模型，探究教学内容、资源、设备、环境等要素对学习者和教师的认知结构、情绪发展和自我反思的影响，实现对课堂教学行为的深度剖析。

1. 基于多模态的师生、教学情境数据的特征挖掘

本研究利用多模态数据融合分析方法，将采集的多维数据进行融合，从中提取与学习者特征、教师教学特征相关的关键指标，加以精准刻画。1）学习者特征挖掘指通过多模态数据融合的方法，融合分析学习者的行为数据、话语数据、文本数据、生理数据等，形成学习者在“认知、行为、情感、交互”方面的可计算的外在表征模式，深层次地探究影响学习者认知发展、情绪感知的内在机理。2）教师特征挖掘指利用多模态数据融合的方法融合分析教师的行为数据、语言数据、生理数据，实现对教师教学风格、教学行为的精准刻画。3）情境要素精准监测指利用多模态数据融合的方法对“人—机—物”多主体、“物理空间—信息空间—心理空间”多空间和多任务进行精准分析，提取教学内容、教学资源、教学设备、教学交互和多维环境等方面的关键特征，实现对课堂教学情境的精准刻画。

2. 基于课堂教学情境的师生建模

基于课堂教学情境要素的师生建模的关键是探讨教学情境的创设对学习者、教师在认知、情感等的影响，分析教学情境要素与学习者模型、教师模型之间的映射关系，探究教学情境（如教学内容的设计、教室空间的结构、学生座位的分布、人机的交互、教师的位置、师生距离等）对学习者学习兴趣、学习状态、学习风格等的影响，以此建构更加完善的学习者模型，为个性化学习服务提供支持。同时，探究教学内容、师生交互、物理空间等要素对教师教学行为、教学效果的影响，挖掘教师的教学风格、教学模式、教学活动设计等对学习者学习动机、认知发展等的影响，完善教师模型。

（四）应用服务层：基于多模态数据的智能教学服务

多模态课堂教学行为分析的应用服务阶段主要探讨课堂教学的分析数据如何真正应用到教、学、管等环节中，实现课堂教学数据价值的最优化。

1. 基于多模态课堂教学行为数据的个性化学习服务

多模态课堂教学行为分析研究通过采集和分析学习者多模态数据，可实现对其认知、行为、情绪等的精准评价，促进学习者与教育情境要素之间的联结贯通，明确学习发生的机制，从而调整教学情境的相关要素，改变学习路径，为学习者提供“定制化”学习支持。

2. 基于多模态课堂教学行为数据的高效教学服务

通过采集分析学习者学习全过程、伴随式数据，教师可充分掌握学生的学习特征、认知水平，进而调整教学策略，改变教学模式，提高课堂教学效果。同时，多模态课堂教学行为数据还包含基于计算结果自动生成的课堂记录和教师成长曲线，可及时跟踪教师教学能力变化（刘清堂等，2019），为教师的自我反思、提升专业教学水平提供依据。

3. 基于多模态课堂教学行为数据的课堂管理服务

由智能设备采集“多空间、多主体、多环节”中的课堂教学行为数据，建立统一的课堂活动编排模型，一定程度上能够满足数据驱动的精准教学活动的结构化需求，推进课堂教学的高效管理。同时，数据驱动的多元认知追踪与归因分析技术，可对学习者认知、思维、能力、情感等进行全方位测评，帮助教师精准把握学生的学情和学习状态，给予针对性的“施教”，提高课堂教学管理服务的质量。

总之，人工智能技术给课堂教学带来了新的理念、新的评价方式，包括以数据化的形式呈现那些难以表征、视觉难以观察到的现象，可推动教师的教学决策和课堂管理走向科学、有效。本研究以多模态课堂教学行为分析的研究现状为基础，明确了基于多模态课堂教学行为分析的关键要素与设计原则，设计了课堂教学行为分析的模型，提出了课堂教学行为分析的实践框架，为后续课堂教学行为分析的实践研究提供理论依据和参考。