课堂教学自动评价及其初步研究成果*

骆祖莹 张丹慧



课堂教学自动评价及其初步研究成果*

骆祖莹1,2张丹慧3

（1．北京师范大学 信息科学与技术学院，北京 100875；2．虚拟现实应用教育部工程研究中心，北京 100875；3．中国基础教育质量监测协同创新中心，北京 100875）

课堂评价是教育评价的核心环节。文章基于人工智能等最新的信息技术，结合课堂评价的需求，在全球范围内，首次给出了课堂教学自动评价的定义，构建了课堂教学自动评价理论，并在自动考勤、学习注意力分析、基于对话文本的师生对话与互动评价等方面都取得了初步研究成果。与传统的课堂评价技术相比，课堂教学自动评价具有全员、全程、全自动、高采样率、无扰、客观等优点，使规模化、常态化课堂教学过程评价成为可能。

课堂评价；学习情感；自动考勤

引言

课堂评价是改进教学质量的关键技术，主要包括课堂教学信息采集与和信息处理这两个部分。一般而言，结构化的教学信息可以进行自动化的信息处理，如弗兰德斯互动分析系统（Flanders Interaction Analysis System，FIAS）生成的师生互动1～10的行为编码和调查问卷生成的等级打分；而非结构化的教学信息则难以进行自动化的信息处理，如人种志、课堂观察报告等文本材料。为了生成能够进行自动处理的课堂信息，目前主流的方法是采用课堂测试生成测试分数、调查问卷生成等级分数、符号化的课堂观察、课堂教学场景的编码等人工生成方法，但这些方法具有人工参与程度高、人工费用高、客观性难以保障等缺陷，难以实施常态化、规模化、自动化的教学信息采集。

近年来，由于信息技术、特别是以深度学习为基础的人工智能技术的快速发展，研究者将计算机技术引入课堂评价中，尝试进行教学信息的自动化采集，包括：①采用电子白板、电子书包、录播教室等教育设备来记录一些过程性的教学信息；②采用刷卡、刷指纹、刷脸等信息设备进行课堂自动考勤；③采用姿态识别技术对学生的听课姿态进行采集与评价；④采用表情识别技术对学生的学习表情进行采集与评价；⑤采用语音情感识别技术对教师的授课情感进行采集与评价；⑥采用电子投票器Clicker或手持智能设备采集学生的问题回答信息等。到目前为止，这些方法都是采用单一的信息技术或教育设备对单一指标的课堂教学信息进行自动采集与评价，从应用情况来看，这些课堂教学信息自动采集技术还都停留在研究阶段，尚还未呈现出大规模应用之势。

从课堂教学信息自动采集到自动处理，目前国内外鲜有关于课堂教学自动评价理论的研究成果。因此，本研究综合弗兰德斯互动分析系统所得的定量数据易于自动分析、LICC（Learning, Instruction, Curriculum, Culture）课堂观察可以对课堂教学进行整体评价的优点，利用人脸识别、表情识别、注意力分析、姿态识别、文本情感识别、情感计算、深度学习等信息技术对课堂评价自动化进行的系统研究，提出了课堂教学自动评价理论，并给出了其在课堂评价领域的初步研究成果。文章主要进行了如下研究工作：

①从信息技术角度对目前课堂评价研究进行总结与反思，得出现有课堂评价方法难于满足常态化、规模化课堂评价需求的结论；基于人工智能、情感技术等最新的信息技术，首次给出了课堂教学自动评价的定义，即“课堂教学自动评价是一个全新的教育研究方向，既是一项对课堂教学众多评价指标进行量化建模、自动分析与评价、服务于课堂评价实践的计算机应用技术，也是一项改进课堂教学效果的教育技术”；同时，构建了关于课堂教学自动评价的一套完整、系统的理论架构，为课堂教学自动评价研究奠定了理论基础。

②为了满足广大任课教师与课堂评价人员对实用课堂评价工具的需求，本研究提出了一种基于师生对话文本的课堂教学自动分析与评价方法，其先从课堂教学视频获取师生对话文本，再基于师生互动对课堂教学场景进行分类，然后使用文本处理技术，将连续的课堂教学过程自动离散为一个课堂教学场景时序序列，实现对课堂教学过程的可视化分析与评价[1]。

③使用深度学习技术对教室内的所有学生进行人脸识别与姿态识别，对课堂教学过程进行多时间点的自动考勤，考勤指标包括：旷课、迟到、早退、随意进出教室、不认真听讲，实现对课堂教学的全员、全过程、全自动、多指标的实时考勤[2]。

④对于课堂教学过程离散出来的教学场景时序序列，使用不同的信息技术对一个个具体的教学场景进行准静态分析，主要对学生的听课姿态、注意力、表情、学习情感等参数进行自动分析与评价[3][4][5]。

一 课堂评价研究的反思与改进

1 定量与定性课堂评价的优缺点分析

定量课堂评价指通过课堂测验、师生互动编码、问卷（评价量表）等手段对评价数据进行自动分析与评价。目前，对课堂教学进行定量评价的途径主要有四个：①使用课堂测验来获取学生对知识吸收情况的定量数据；②使用问卷来获取学生对课堂教学评价的定量数据；③使用与FIAS相类似的技术来获取每3秒一个编码的师生互动行为分析数据；④课堂观察人员使用符号获取某些教学指标的定量数据。定量课堂评价的缺点在于取得定量数据的工作量比较大，但具有使用定量数据进行自动评价的优势。受技术的限制，目前定量课堂评价的应用范围比较小。

与定量课堂评价相比，定性课堂评价通过课堂观察和课后座谈的形式，可以直观地对课堂教学进行评价，评价人员可以根据经验与需求、直接对课堂教学效果进行评价，限制因素比较少，所以目前课堂评价大多采用定性课堂评价。但从发展的眼光来看，定性课堂评价也有全人工评价造成的评价费用高、难以进行持久的大规模评价、用人进行评价难以避免主观性评价所造成的不客观等缺陷。因此，为了对课堂教学进行大规模持久的监测与评价，获取客观的教育大数据，实现大地域、多样本、全过程的课堂评价，发展课堂教学定量评价技术势在必行。

2 专业人士对现有课堂观察与课堂评价的反思

相比于传统的范式评价，基于课堂观察的课堂评价更有助于了解课堂的真实性。以课堂观察作为主要手段的课堂评价研究与实践也存在一些无法回避的局限性，王陆等[6]从教师、校长、旁观者、研究者及其自身对于课堂观察进行了诸多反思。综合起来，现有的课堂观察与课堂评价主要存在如下局限性：

（1）碎片化。从某种程度上讲，课堂观察是对课堂的精细化解构，一节课被量表、指标分解得支离破碎，各个观察的视点不一定是一节课最为有力的切入点。我们常常会看到各观察者（组）相互独立的观察数据，而它们之间的联系和意义的建设对于只关注自己这部分的观察者来说是很难轻易把握的，因此教师会担心：“这样的观察是否丢失了整体性？”

（2）贵族化与运动化。“贵族化倾向”是指在一些学校，课堂观察成为个别精英教师的专利，变成仅供人观赏的“盆景”，而大多数教师成为学校课堂观察的旁观者和边缘者。一些学校的领导和教师在潜意识中认为搞课堂观察烦琐，会浪费时间，存在严重的畏难情绪，只在遇到检查或参观时才仓促应战，而在日常的听课、评课活动中排斥这种方法，使课堂观察变成搞“运动”。

（3）形式化与模式化。一些地方的课堂观察活动搞一刀切，不管学校的学情和教师的教情，完全照搬他人的模式。而事实上，由于背景、文化、基础等存在差异，课堂观察的方式、方法也要因人而异，应该引导教师选择合乎实际的手段和具体方式。学校应指导教师百花齐放、不拘一格，并鼓励教师开拓创新，真正在有效性上下功夫。

（4）功能化。观察者只观察限定的维度、限定的问题，观察分工有知觉功能上的“分裂主义”味道。科学主义的听评课会带来这样的结果：①感受缺失。课堂观察如果缺少了感受，就不会产生审美愉悦，从而会蜕变为一种教学负担，也就不具有长久的生命力。②灵性被束缚。当教师了解观察者的观察意图后，可能会将观察意图转换为一种教学诉求。太细化的教学听评课会限制教学主体性的发挥，从而束缚教学的灵性。③视点散化。长期的规范训练会使教师头脑中只有量表，而丢失了自我。

（5）背景割裂化。课堂研究可以在一定程度上说明课堂的问题，却难以说明影响课堂的社会因素问题。在教师的教学水平达到一定的程度、具备基本的教学条件后，教师水平、技巧和课堂中物质条件等因素并不构成教学质量问题的关键，课堂之外社会的、家庭的、环境的因素才是深层次发生影响的重要因素。以课堂观察为主要技术的课堂研究，对于教师提高课堂技艺，以及学生改善课堂行为确实有效，但教育质量的整体提高仅通过这种局部的、微观的研究是难以彻底达成的。

3 课堂评价与课堂观察的改进方向

为满足基础教育质量监测的需求，本研究通过与北师大教育评价、心理、教育技术领域专家的互动，结合笔者在课堂教学自动评价研究的心得，针对现有课堂观察方式的不足之处，就未来基于课堂观察的课堂评价提出了如下改进建议：①无扰观察。课堂观察不应该给教学过程带来任何干扰，以保持课堂教学的原生态，得出真实的课堂观察和课堂评价结果。因此，应该使用摄像头代替教师进行课堂观察，基于课堂教学视频进行课堂观察与课堂评价。②公平评价。要尽可能使用计算机进行课堂评价，或参与评价的人员数量尽可能多，以保证评价结果尽可能公平。③量化评价指标。为了便于进行后续的计算机自动分析与评价，课堂观察与评价要尽量采用量化指标进行评价，即使对于评价人员给出的评价文本，也要采用文本分析技术进行评价指标量化处理。④主客观协同评价。受限于信息技术发展的水平，无法对所有的课堂观察指标进行客观评价，还需要评价人员对一些计算机无法评价的指标进行主观评价，最后进行主客观协同评价，以扩大评价范围。⑤评价结果成体系综合化。对于主客观协同评价得出的数据要进行计算机自动分析与处理，输出成体系综合化的评价结果，消除现有课堂评价常常出现的碎片化问题，便于教育用户使用。⑥课堂评价过程的自动化。为了降低评价人员的劳动强度，满足大规模课堂评价需求，必须尽可能地使课堂评价自动化，降低课堂评价的人力费用。⑦提高课堂评价系统的易用性。为了扩大课堂评价的应用范围，课堂评价系统要提高易用性，易于上手、易于熟悉，尽量使具有本科水平的教师能够直接使用课堂评价系统对自己的课堂进行评价。

图1 课堂教学自动评价的框架与工作流程

（A）一级行为可视化分布

（B）二级行为可视化分布

图2 基于课堂教学场景的可视化自动评价

二 课堂教学自动评价理论

课堂教学自动评价的定义是：一个全新的教育研究方向，既是一项对课堂教学众多评价指标进行量化建模、自动分析与评价、服务于课堂评价实践的计算机应用技术，也是一项改进课堂教学效果的教育技术。作为主要由计算机与教育进行交叉的科研方向，课堂教学自动评价需要具有足够的灵活性，以满足不同课堂教学类型的评价需求。为此，本研究设计了如图1所示的课堂教学自动评价流程，其目的是使用计算技术，尽量将教育评价专业人员从繁琐重复的规范性评价工作中解放出来，使他们将精力投向计算机技术难于处理的评价工作中。

如图1所示，为了尽量减少教育评价专业人士的工作量，课堂教学自动评价理论将传统的教师先随班观察、后给出结论的课堂评价过程进行了深度细化，划分为采集课堂教学高清视频、基于视频生成师生对话文本、基于对话文本将课堂教学过程解构为教学场景时间序列、精确标注课堂教学场景、对课堂教学自动地进行简单评价、教学场景准静态分析、采集家长与专业人士的主观评价、课堂教学综合评价、输出评价结果、生成评价报告等共10步评价操作，以便于使用视频采集、语音输入、文本编码、文本与视频分析、数据分析、模式识别、信息融合等计算机技术对课堂教学进行自动分析与自动评价。需要教育评价专业人员参与的工作被压缩到：课堂教学场景标注的手动更正、基于视频的主观评价（可以省略）、撰写评价报告这三步操作。因此，课堂教学自动评价可以减少评价人员的工作量、丰富评价指标、扩大课堂评价范围。

三 基于师生对话文本的课堂教学自动评价[7]

从课堂教学视频中可以获得师生对话文本，包括每一句话的顺序、内容、起始时刻、结束时刻。为了使用对话句进行基于句子的教学场景自动编码（Sentence-based Automatic Coding，SAC），本研究基于师生互动行为对课堂教学行为进行了分类，共分为9个一级行为和33个二级行为。使用文本编译技术可以对师生对话文本进行编译，获得SAC自动编码。基于师生对话文本和教学场景编码，可以对课堂教学过程进行全过程、全自动的可视化分析与评价。如图2所示，将连续的课堂教学过程离散为教学场景时序序列以后，就可以基于一节课的课堂教学场景编码结果，不仅能够对一级教学行为分布进行可视化分析，还能够对一级教学行为内的二级教学行为进行可视化分析，进而对课堂教学进行直观的评价，评价结果不依赖评价人员的好恶，因此客观性比较好。

四 基于计算机视觉技术的课堂教学自动评价

1 基于深度学习的课堂教学自动考勤[8]

课堂考勤作为课堂教学日常评价的重要基础环节，对课堂教学质量有着重要的作用。使用深度学习技术对课堂教学高清视频中的全部学生进行自动人脸检测与识别，实现课堂教学的全程无扰全自动考勤，不仅可以对旷课、迟到、早退、随意出入教室这4项常规考勤指标进行监测，而且可以对学生的不认真听讲情况进行监测。如图3所示，本研究使用基于深度学习技术的人脸识别软件SeeTaFace[9]，可以获得满意的人脸识别效果。

图3 SeeTaFace人脸识别效果

图6 课堂教学前15分钟的一名学生的表情分析结果

2 基于学生学习注意力分析的课堂教学自动评价[10][11]

在教室前后墙的中间位置进行吸顶安装两只摄像头。如图4（A）所示，前摄像头的视频用于识别学生人脸、检测脸部特征点、计算出学生的空间位置/头部姿态/面部法线的指向。如图4（B）所示，后摄像头的视频用于将学生面部法线投射到视场中，进行注意力的可视化表示，黑板前进行板书的教师脖子旁处的圆点就是教室中听课学生的视线投射点。

根据学生听课的注意力分析结果，可以对学生的学习状态粗略地进行分类。如图5（A）所示，当学生注意力聚焦于授课教师时，说明学生学习处于专注状态。如图5（B）所示，当学生注意力游离于黑板外边时，说明学生学习处于漠视状态。此外，当学生注意力没有聚焦于教师、但还看着黑板时，则说明学生学习不够专注，但处于关注状态，即还保持对授课内容的关注。

3 基于学生学习表情分析的课堂教学自动评价[12]

通过收集并分析一线教师和教育研究人员关于学生听课表情的相关论述，同时通过观看教学视频对真实课堂教学所做的大量观察，本研究首先将学习表情粗分为愉悦（Joy）、惊讶（Sur）、专注（Foc）、困惑（Con）、走神（Dis）等5类，然后自建了一个专用于课堂教学自动评价的学习表情数据库，最后开发了一个基于学习表情识别的课堂教学自动评价系统。

图4 基于前后摄像头的学习注意力分析系统

图5 基于前后摄像头的学习注意力分析系统

如图6所示，本研究对一堂课前15分钟视频中的一个学生进行表情识别，表情分析结果表明：课堂教学刚开始的4～5分钟，由于精神集中，对于教师所导入的教学材料，该生呈现了较好的学习表情，表情主要为愉悦和专注；随着教师讲授新知识点，该生出现了较多的困惑、走神表情，说明该生在理解上出现了困难；在后5分钟，教师对新知识点进行巩固教学，该生的困惑/走神表情减少，出现了较多的专注/惊讶/愉悦表情，说明该生吸收、掌握了这个知识点。因此，学习表情分析可以对学生的听课效果进行评价，即使用表情识别技术可以对课堂教学过程中的学生听课效果进行自动评价。

五 结语

本研究首先系统地介绍了课堂教学自动评价理论，接着依次介绍了在基于师生对话文本的课堂自动评价和基于计算机视觉技术的课堂教学自动评价（包括自动考勤、学习注意力分析和学习表情分析）、课堂教学自动考勤、学生学习注意力/学习表情/学习情感分析技术等方面取得的初步研究成果。本研究认为课堂教学自动评价是一项非常有前景的课堂评价技术,能够对课堂教学进行常态化、规模化课堂评价，但课堂教学自动评价应该结合课堂教学的实际需求开展研究，以切实改善课堂教学质量为主要突破方向，避免单纯追求技术进步的教具式改进研究，同时也要适度考虑师生的个人隐私保护问题。

[1][7]Lu J, Wang D, Luo Z Y. Automatic evaluation of teacher-student interaction based on dialogue text[A]. Education, management and computing technology[C]. Paris: Atlantis Press, 2017:1517-1522.

[2][8]Wang D, Fu R, Luo Z Y. Classroom attendance auto-management based on deep learning[A]. Education, management and computing technology[C]. Paris: Atlantis Press, 2017:1523-1528.

[3][10]Li D X, Liu H, Chang W Q, etc. Visualization analysis of learning attention based on single-image PnP head pose estimation[A]. Education, management and computing technology[C]. Paris: Atlantis Press, 2017:1508-1516.

[4][11]Li D X, Luo Z Y, Chang W Q. The study on problems and their answer in elementary education quality monitoring[J]. Science innovation, 2017,(4):220-226.

[5][12]Tang C G, Xu P F, Luo Z Y, etc. Automatic facial expression analysis of students in teaching environment[A]. Biometric recognition[C]. Switzerland: Springer International Publishing, 2015:439-447.

[6]王陆,张敏霞.课堂观察方法与技术[M].北京:北京师范大学出版社,2012:223-230.

[9]GitHub.SeeTa Face引擎[OL].

Auto-evaluation of Classroom Teaching & Learning andIts Preliminary Research Findings

LUO Zu-ying1,2ZHANG Dan-hui3

Classroom Evaluation (CE) is the core of educational evaluation. Based on latest information techniques of artificial intelligence and the combination of CE needs, this article proposed the theory of Classroom Teaching & Learning Auto-evaluation (CTLAE) for the first time in the world. Preliminary research progresses have been achieved in auto-attendance management, learning attention/expression/emotion analyses, text-based dialogue/interaction analyses between teacher and students. Compared with the traditional CE techniques, CTLAE shows advantages on all personnel, whole process, full automatic, high sampling rate, undisturbed, impersonality and so on, which make it possible to evaluate the scaled and normalized classroom teaching process.

classroom evaluation; learning emotion; classroom attendance

G40-057

A

1009—8097（2018）08—0038—07

10.3969/j.issn.1009-8097.2018.08.006

本文受国家自然科学基金面上项目“基于GPU集群层次式并行计算的3D芯片电热综合分析与综合优化”（项目编号：61274033）资助。

骆祖莹，教授，博士，研究方向为课堂评价、情感计算，邮箱为luozy@bnu.edu.cn。

2017年12月19日

编辑：小西