基于深度学习的课堂教学行为评价方法

陆燕

摘要：課堂是教学活动的主阵地，是教学质量的基础。当前，职业教育的课堂教学评价存在模式陈旧、指标单一、数据匮乏和算法灵活性差等问题，深度学习技术应用为解决这些问题提供了可能。本论文介绍了一种名为基于深度学习的课堂教学行为评价方法（Class Learning Evaluation Method Based on Deep Learning， CLEM）。这种方法的第一步是利用智能设备获取课堂教学行为的视频信息。第二步是对视频中教师和学生的表情、姿态、语音等进行检测与教学行为识别，最后以某高职院校课堂教学视频为例开展教学行为统计分析和实证研究。实验表明，CLEM方法能够快速、准确地识别师生教学行为和开展课堂教学评价。

关键词：深度学习  课堂教学行为  职业教育 行为识别

中图分类号：G434;TP311.13

A Class Learning Evaluation Method Based on Deep Learning

LU Yan

（Hunan Open University， Changsha， Hunan Province， 410004 China）

Abstract： The class is the main battlefield of teaching and learing activities and the foundation of teaching and learning quality. At present， there are problems in the class learning evaluation of vocational education， such as outdated models， single indicators， lacking data and poor algorithm flexibility， and the application of deep learning technology provides the possibility to solve these problems. This article proposes a class learning evaluation method （CLEM） based on deep learning. This method first obtains the video information of class teaching and learning activities through intelligent devices， and then detects the expression， posture and speech of teachers and students in videos and recognizes their teaching and learing activities， and finally takes class teaching and learning videos from a certain vocational college as an example to conduct statistical analysis and empirical research on teaching and learning activities. The experiment shows that the CLEM based on deep learning can quickly and accurately identify the teaching and learning activities of teachers and students and conduct class learning evaluation.

Key Words： Deep learning; Classroom teaching and learning activity; Vocational education; Behavior recognition

课堂教学行为评价作为教育教学改革的关键环节，对于教育教学质量的提高起着重要的作用。传统的课堂教学评价方法存在人工参与程度高、人工费用高、客观性难以保障等缺陷。本研究利用深度学习算法从教学视频数据中提取特征，对教师的教学行为进行客观、准确的评价。使得课堂教学评价在教育教学环节中充分、有效地发挥指挥棒的作用，推动高职院校积极打造“金课”，全面提升高等职业教育课堂教学效果，进而提升人才综合素质以及人才培养质量。

1文献综述

传统的课堂教学行为评价方法主要依靠人工评价，其主观性强，不同评价者之间可能存在差异。同时，评价指标选择困难，很难全面准确地反映教学行为的特点。此外，评价过程耗时，限制了教学评价的实时性和效率。截至2023年7月，从中国知网检索结果来看，与“深度学习”和“教学评价”相关的研究成果数量仅为502个，其中2023年为78个，2022年为246个，2021为178个，最早相关文献出现在2014年，通过对现有文献进行梳理总结，大部学者对深度学习视域下课堂教学评价的研究主要集中在三方面。

1.1关于CLEM方法的相关技术研究

基于深度学习的评价方法利用神经网络的层次化学习，能够从大规模数据中学习到更高层次的抽象特征，从而实现对教学行为的客观准确评价。与传统方法相比，该方法具有更强的自适应性和泛化能力，能够更好地应对复杂多变的教学场景。

近年来，国内学者研究关于最新信息技术的课堂教学评价工具，实现课堂教学评价的智能化，表1列举了国内较有代表性的课堂教学评价方法[1-4]。

目前，姿态识别技术和表情识别技术主要被广泛应用到课堂教学环境下的学生学习行为研究中。

1.2课堂教学评价系统研究

课堂教学评价系统的研究目前处于快速发展的阶段，涉及到数据采集与处理、模型设计与优化、评价结果可视化等多个方面。未来的研究方向包括数据多模态融合、评价指标的细化和个性化、在线实时评价等，以进一步提高课堂教学评价系统的准确性和实用性。

田晶等学者通过研究发现，目前，国内的课堂评价系统普遍存在重结果轻过程、忽视了学生生命发展的整体性、对学生学习的主动性关注不够、教学过程缺乏可视化、知识与深度学习之间割裂、课堂评价与过程指导割裂的问题[5]。

1.3课堂教学评价应用研究

课堂教学评价的应用研究涉及到多个层面，包括教师评价、学生评价、教学质量评价等，该研究已经取得了一些进展，但仍然存在一些挑战，如数据分析和处理、评价指标的精准性和科学性等方面。未来的研究方向包括利用大数据和人工智能技术进行更精准、全面的评价，提供个性化的反馈和改进建议，以及创新教学评价方法和工具，满足不同教育阶段和场景的需求。

综上所述，利用CLEM方法开展学生学习行为分析与课堂教学评价对改变教学方法和改善课堂教学效果具有重要的意义。但目前，课堂教学评价研究领域的相关理论研究不足；深度学习技术融入高等职业教育课堂教学评价在算法、结果以及教学干预等方面存在不足；評价系统功能单一；实证研究存在应用范围窄，普适性不足等问题。因此，探索深度学习支持的教学评价创新，是提升我国高等职业教育课堂教学质量的有益尝试。

2研究设计

深度学习在课堂教学评价中的应用逐渐引起研究人员的关注。常见的深度学习评价算法有基于视觉模型的行为识别、基于语音模型的情感分析、学习行为模式识别、生成式模型的自动评价。深度学习评价算法在实际应用中还面临一些挑战，如数据收集、模型训练与调优、评价结果的解释性等方面。深度学习评价算法在课堂教学中具有潜力，可以实现对教师和学生行为的自动识别和评价，提供全面、客观的教学评价和改进建议。

2.1基于目标检测算法提取图像数据

通过大量数据的训练，神经网络可以学习到图像中的复杂特征和模式，从而在各种视觉任务中展现出优秀的性能。如图1所示，使用深度学习分类方法，可以确定目标对象的面部位置，并据此获取学生的出勤率和抬头率。

2.2基于长短期记忆网络算法分析情感

为了挖掘学生对教学态度、教学方法、教学效果等情感倾向，本研究使用长短期记忆网络算法对学生评价行为的文本数据进行处理，分析学生的情感特征。情感分析旨在从文本或语音中了解情感表达，如情绪（喜悦、愤怒、悲伤）。

2.3基于波尔兹曼机获取行为特征

为获取学生的深度学习行为特征，本研究使用深度混合判别受限玻尔兹曼机方法，该方法具有强大的学习能力和预测性，可以高精准地判断深度学习行为特征。基于深度混合判别确定玻尔兹曼机可有效获取深度学习行为特征。通过结合多种模型和特征提取器，可以获得更好的特征表示，从而提高分类性能和降低计算复杂度。

2.4基于多元回归分析方法追踪关联行为

在行为特征的追踪中，可以利用多元回归分析来确定行为特征之间的关联行为，计算不同自变量与因变量之间的回归系数，这些系数可以告诉我们自变量的变化对因变量的影响程度，从而帮助我们确定不同行为特征的关联行为。基于多元回归分析方法可以追踪行为特征之间的关联行为。通过建立回归模型，我们可以确定不同行为特征之间的关系，并了解它们对目标变量的影响程度。这可以帮助我们深入了解行为特征之间的相互作用和关联。

3实验与结果

3.1实验环境

本实验环境配置如下：操作系统Linux；内存256 GB；GPU Tesla P100 32 GB； Cuda 11.0+Pytorch 1.6.0+Pycharm 2022；批大小为128，初始学习率为0.001，每30个epoch按10%的速率递减。

3.2數据集和预处理

本文以湖南网络工程职业学院智慧教室拍摄的视频作为数据集。利用162个教学视频，视频时长43～89 min， 4500个视频片段，每个视频片段都包含了视觉和文本信息，部分教学事件或环节镜头类别实例如图5所示。项目导入、教学目标、课堂测试、合作式学习以及课堂总结等5 类镜头数分别有391、387、476、4231和395个，分别选取279、278、289、3999和279个视频片段作为训练集，每类分别选择90个视频片段作为验证集，每类分别选择90个视频片段作为测试集。

采用Optical character recognition工具MMMT从屏幕中识别文本，智能语音识别ASR 工具Freeswitch 从语音中识别文本，同时采用了中文文本纠错工具Pycorrector，有效降低OCR工具的识别错误。使用中文分词工具jieba完成了停用词清洗、分词和分句等文本预处理。

3.3评价指标

本文定义精确率、召回率、F1分数和平均交并比4 个指标评测算法。

3.3.1 精确率P

精确率P 表示预测为正样本中有多少是真正的正样本，即公式⑴

公式⑴中TP、FP 和FN 分别表示分类正确的正样本数、分类错误的正样本数和分类错误的负样本数。

3.3.2召回率R

召回率R 表示样本中的正例有多少被预测正确， 即公式⑵

3.3.3 F1分数

F1 分数是P和R的调和平均值，即公式⑶

3.3.4平均交并比

平均交并比Miou是真实值和预测值2 个集合之间交集和并集的比例，即公式⑷

3.4行为识别与计算

3.4.1构建行为识别模型

为了衡量基于深度学习的课堂教学评价方法CLEM的有效性，选择了ZHANG X R等的低秩稀疏矩阵奇异值分解法（SVD）［6］、ZHAO B Q等的幻灯片边缘过渡信息（SBLV）［7］、谢从华等的课堂视频镜头边界检测方法HTLV-SBD、SOU?EK T等人提出的扩展卷积网络方法（TransNet V2）［8］进行了对比实验。通过对比验证实验，获得本研究方法的准确率、精确率、召回率和F1分数，实验结果如表1所示。

从表1中可以发现，不一样的视频处理算法在5类镜头的指标平均值，SVD方法仅仅利用了视觉信息，4个指标的均值最低，表明教学事件或主要环节的视觉信息变化不明显；SBLV方法通过检测鼠标指针或激光笔的点、幻灯片的过渡、动画显示等幻灯片进度等3个主要事件，识别幻灯片的Canny边缘特征和文本信息等镜头内容，比SVD等方法更好。CLEM方法结果最好，比SBLV方法的P、R、F1 和Miou 指标分别提高了23.3%、22.4%、22% 和35.7%，比TransNet V2 方法的P、R、F1 和Miou 指标分别提高了13.8%，14.5%、14.3% 和21.3%。

3.4.2生行为统计及教学模式判定

⑴师生行为统计：对教师和学生在课堂上的行为进行跟踪和记录。例如，教师的教学方法、使用的语言、与学生的互动等；以及学生的学习行为、参与度、互动与反馈等。这些数据可以通过教学观察、录像记录或者现代化的学习管理系统（LMS）收集。统计分析后，可以帮助理解师生互动的模式、课堂气氛，以及教学效果。

⑵教学模式判定：这是根据收集的数据，发现和理解教学的模式或者策略。比如看看哪种教学方法在特定上下文或特定的学生群体中效果最好，或者哪些教学行为能鼓励学生活跃参与等。此外，教学模式也可以通过机器学习算法自动判定，例如使用决策树、随机森林、支持向量机等算法，以找出最具预测性的教学模式。

根据设定的参数，教师行为（T）的个数为，学生行为（S）的个数为，连续同一行为的连数为g。公式⑸计算的是课堂中教师行为占有率Rt，而公式⑹则计算师生行为转换率。

通过分析Rt和Ch的数值，可以判断课堂教学模式，具体的判断标准请参考表4。

4结语

基于深度学习的课堂教学行为评价方法为课堂教学质量改进提供了新的思路和途径。然而，该方法在数据采集、特征提取和算法设计等方面仍然存在一些挑战。未来的研究方向应着重解决这些问题，进一步提升评价结果的准确性和关联性，提高评价方法的实用性和可操作性。同时，还应加强对该方法在不同教学场景下的适用性和效果的研究，推动基于深度学习的课堂教学行为评价方法在实际教学中的应用。

参考文献

[1] 白捷，高海力，王永众，等.基于多路特征融合的Faster R-CNN与迁移学习的学生课堂行为检测[J].广西师范大学学报（自然科学版），2020，38（5）：1-11.

[2] 于婉莹，梁美玉，王笑笑，等.基于深度注意力网络的课堂教学视频中学生表情识别与智能教学评估[J].计算机应用，2022，42（3）：743-749.

[3] 黄浩，颜钱，甘庭，等.基于离散泊松混合模型的教学评价数据建模[J].计算机应用研究，2022，39（9）：2626-2630.

[4] 谢从华，罗德凤，方雨洁.面向教学评价的课堂视频镜头边界检测新方法[J].数据采集与处理，2023，38（1）：174-185.

[5] 田晶. 促进深度学习的课堂评价机制研究[D].昆明：云南师范大学，2021.

[6] ZHANG X R，LI C，LI S W，et al. Automated segmentation of MOOC lectures towards customized learning[C]// 2016 IEEE 16th International Conference on Advanced Learning Technologies （ICALT）. IEEE，2016：20-22.

[7] ZHAO B Q，XU S H，LIN S J， et. al. A new visual interface for searching and navigating slide-based lecture videos [C]// 2019 IEEE International Conference on Multimedia and Expo （ICME）.Shanghai：IEEE，2019： 928-933.

[8] SOU?EK T， LOKO? J. TransNet V2： An effective deep network architecture for fast shot transition detection [EB/OL].（2020-8-11）[2022-3-15]. https：//arxiv.org/abs/2008.04838.