课堂教学视频中的S-T行为智能识别研究*

周鹏霄 邓 伟 郭培育 刘清堂

（1．华中师范大学 教育信息技术学院，湖北武汉 430079；2．华中师范大学 信息化与基础教育均衡发展协同创新中心，湖北武汉 430079）

一 研究的背景及意义

如今，教育信息化在实际课堂的应用逐渐成熟，教师信息技术素养逐步提高，教师使用视频技术开展课堂教学活动也逐渐成为一种常见现象；同时，大量的教学视频随着教学的需要而出现，让学生能够在课下补充学习，教师之间也能互相借鉴教学策略。受“教师即研究者”的相关理论及研究的影响，人们认识到分析教学视频中的教学行为，对教学实践做出精确分析与诊断，在调整教师课堂模式、提升教师执教能力方面具有不可替代的作用[1]。课堂教学视频能够真实、全面地再现课堂教学的复杂性和动态性，但处理这项工作将需要大量的专业工作人员、耗费大量的时间。因此，视频的教学信息提取过程智能化刻不容缓。

本研究的目的是实现课堂教学视频的主体行为识别智能化。算法在功能上实现对教学视频自动分析与编码、得到主体行为序列、计算Rt与Ch值、判断分析教学视频的教学模式。研究结果既可供教育工作者分析诊断课堂教学行为、判断课堂教学模式，又有助于教师反思课堂教学、根据分析平台结果改进教学行为，有助于教师提升实际工作中的课堂实践技能，促进学校合作文化形成和教师专业发展。

二 研究依据

本研究对教学视频主体行为分析的依据主要是S-T（Student-Teacher）分析法，主要用于对教学过程的定量分析。它是一种客观有效的、图形化的教学分析方法，可以有效记录、分析、研究教学过程[2]。在研究过程中，首先是对视频数据进行收集。S-T教学分析通过观察实际教学过程或者观看录像资料，以一定的采样频率对课堂教学视频进行采样记录，并根据样本点的行为类别（如表1所示）以相应的符号S和T记入，构成S-T数据；然后根据该数据绘制S-T曲线进行教学分析；再次，依据已经搜集的数据进行分析，从而确定教学模式。统计总行为个数中教师行为（T）的个数为c，计算连续相同行为的连数为g，按照公式（1）、（2）计算Rt（课堂教学中的教师行为占有率）和Ch（师生行为转化率）的值：

最后，根据Rt、Ch的值确定四种不同的教学模式，如表2所示。

表1 T行为和S行为的具体表现形式

表2 教学模式及其标准条件

三 视频帧图像主体行为特征检测

1 人脸检测

本研究采用的人脸检测是基于统计理论的 AdaBoost方法，在这个算法中将人脸图像用Harr-like特征表示，引入了“积分图”对图像进行表达，这样减少了计算特征值所耗费的时间[3][4]。本研究采用的人脸检测方法是运用OpenCV自带的分类器，研究对象课堂教学视频的特点是教师与学生都是非静止状态，脸部并非一直正对摄像头。因此，基于上述这些特点，本研究的做法是不选择正脸分类器，而是选用侧脸检测分类器，利用分类器可以编出一个人脸检测的程序[5]。

2 轮廓检测

通过比较发现，教师行为状态的图像较为简单、轮廓较为清晰，而学生行为状态的图像多数比较复杂、轮廓线条较多。所以，可以将轮廓检测结果作为最终主体行为特征判定的因素之一，本研究通过过滤较小轮廓，对符合条件的轮廓数量与大小进行统计并保存。

（1）轮廓检测概述

在对图像进行目标检测时，图像轮廓是重要的提取信息。轮廓检测其实就是对图像进行封闭边缘线条内部的像素掏空，保留封闭的轮廓形状过程，通过依次对封闭轮廓的轮廓点进行遍历，获取坐标点、轮廓面积、轮廓数量等数据，推测图像中主题目标物的特征。

（2）轮廓检测算法介绍

轮廓检测目标是对指定图像进行轮廓提取，并且过滤掉小面积轮廓，最后获取有参考价值的轮廓并保存相关信息。图像轮廓检测的基本步骤如图1所示。

图1 图像轮廓检测的基本步骤

3 主体动作幅度检测

判定课堂教学视频中主体行为，需要对视频帧图像的变化进行研究，本研究主要是对视频前后帧图像中主体动作幅度进行检测计算，从而推测主体是教师行为还是学生行为。这个过程包括两个部分：①调用两幅视频的相近帧图像，对其做差，得到差值的二值图像；②对得到的差值二值图像进行连通域的检测与面积计算——若得出的面积小于一个值，那么可以确定此阶段运动主体所占面积较小，即很大概率上判定主体是教师，因为教师通常在讲台，与其它可运动目标的重叠较少；反之，若面积大于一个值，那么可以确定此阶段运动主体所占面积较大，即很大概率上判定主体是学生，因为学生的行为特征表现在图像上是大面积重叠的目标。

①图像作差。图像作差是对两幅同样大小的图像按照“长*宽”矩阵数组顺序进行点数据作差，得出差值的第三幅图像即为差值图像。

②统计连通域数据。为了得到差值图所表示的差值大小，本研究主要对连通域的面积、长度、宽度等数据进行统计，所用的处理对象是二值图像，处理后的结果是标识出最大连通域的轮廓并得到其面积、长度。

4 视频帧图像主体行为特征分析

本研究根据之前对课堂教学视频帧图像所进行的各种检测结果，将数据总结、保存，利用贝叶斯因果网[6][7]对主体行为特征进行推断模型设计，从而判定视频帧图像的主体行为，并应用于最终课堂教学视频的数据计算、图表绘制与模式判定。

（1）行为特征识别的依据

本研究选择贝叶斯因果网作为判定主体行为特征的推理模型，这个模型起源于人工智能领域，是一种将概率统计应用于数据分析、进行不确定性推理和复杂领域的工具，因其直观易懂且适合计算机处理，相关缺失证据会在某些事实缺失的时候减弱对被查询变量的影响。即在本研究中，对课堂教学视频进行图像识别与主体特征检测，从而对主体行为进行不确定推测，适当减弱其中一种检测的误差造成的影响。

表3 根据贝叶斯因果网的行为特征识别设计

（2）行为特征识别的设计

对比之前对课堂教学视频帧图像进行的各种检测结果，根据不同的数据倾向判定不同的主体行为，本研究基于贝叶斯因果网设计了课堂教学视频主体行为特征的推测过程，如表3所示。

在表 3中，行为①人脸检测结果数目为零，即教学视频中没有人脸，推测为课件播放，或者黑板板书，课堂情境为教师正在进行解说教学内容或者进行媒体展示等教学说动，所以判定为T行为。行为②、③人脸检测结果数目为一个（可能是一个教师或者一个学生），若轮廓数目较少（如行为②），那么可推测是教师，因为教师背景环境较为简单，轮廓检测数目与学生图像相比要少，即教学情境描述为教师一人画面，在进行解说、示范、提问等T行为；若主体动作幅度检测较大，即相邻帧图像作差后差值不为0的区域面积较大，表示整个图像变化主体区域较大（如行为③），那么可推测是有学生背景的少数学生特写，即教学情境描述为一个学生在发言，或者学生思考、记笔记等的特写，为S行为。行为④人脸检测结果数目为大于一个，表示课堂教学视频中的主体为两个或两个以上，而不管轮廓检测数目和主体动作幅度检测是多少，都可判定是有多数学生画面的教学活动，所以课堂情境为学生听讲、思考、记笔记等S行为。如此，根据贝叶斯因果网设计的课堂教学视频主体行为特征推测模型，可以获取主体行为的数据信息，然后根据该数据绘制S-T曲线进行教学分析。

四 实验测试与分析

1 算法运行结果

为了实现课堂教学视频的计算机自动化S-T分析，本文研究课堂教学视频中的主体行为智能识别算法。通过之前的视频分析与图像识别得到主体行为特征，再经过贝叶斯因果网推测主体行为类别，可以确定教学行为序列，进一步判定课堂教学视频的教学模式。通过运行本文算法，直接得到的教学视频信息有视频帧数、采样总数、教师行为与学生行为数量、Rt与Ch的值以及教学模式的类型。

2 测试分析

（1）课堂教学视频分类

本研究将课堂教学视频分为两类：一是标准剪辑类型，镜头是教师、课件、学生三种画面，主体比较明确，如图2所示；二是监控角度类型，一般由面向教师与面向角度组成，图像主体相对复杂，如图3所示。

图2 标准剪辑类型

图3 监控角度类型

（2）算法测试对比分析

为了从实际应用角度更好地检测本算法，本研究采用两类课堂教学视频对算法进行测试，测试视频每两秒采样一帧，分析其行为特征。表4中是10个视频的测试结果，包括视频时长、人工计算与算法分析得到的教学模式比对以及对课堂教学视频采样序列的匹配率。

表4 算法测试比对表

从准确度角度分析，对于第一类较为标准的课堂教学视频，教学模式的判断基本是正确的，采样图像序列的行为分析匹配率在 93%～96%之间，基本完成算法设计的目的；对于第二类拍摄环境较为复杂的课堂教学视频，教学模式的判断结果较差，同时观察采样序列的匹配率在64%～80%之间，说明仍存在较大误差（即20%～36%的图片分析错误），这是教学视频主体分析错误所致。

对于第一类类型课堂教学视频，算法分析符合率较高，是因为视频画面比较标准，由教师讲授画面、课件画面、学生画面组成，行为特征也较为明显。因此，测试结果与人工计算结果基本相同。而对于第二类型的测试结果，主体行为分析错误的原因有许多，主要为：当教师背过身体板书时，因无法检测到人脸，此时人脸个数为零，从而造成主体行为判断失误；当教师与学生同时存在于视频中时，学生大多背向教师，但不乏学生侧脸被检测到，检测到的人脸数可能是2个及以上，判断为学生行为而造成失误。

五 总结与展望

本研究对课堂教学视频类型中主体行为特征分析有了一定的进展，通过初步的视频预处理、人脸检测、轮廓检测、主体运动幅度检测，将结果依据贝叶斯因果网推断图像所在的视频帧中的行为类型，最终得到的行为序列依据 S-T分析计算方法判定出教学视频的教学模式，得到结论的准确度会随着课堂教学视频的环境复杂度而降低。算法较为标准的拍摄视频有一定的智能分析能力，但教学视频行为的智能分析是一个比较复杂的课题，主要是因为视频中有许多不明晰特征，部分视频片段很难用简单的人脸检测和轮廓检测得到准确的主体行为特征，所以有误差的分析过程造成了结果的偏差。由于教学视频行为的智能分析是一个包含许多细节识别的课题，因此需要研究者将各种情况都考虑到，才能得到更准确的结果。

根据目前的研究进度，未来的研究工作主要围绕以下几点：①研究人头检测，精确判断视频帧图像中人的个数，仅仅从人脸检测角度判断人数不够准确；②精准教师的目标路径跟踪，如果能够准确判定教师的行为，自然能准确得到教学视频的教学模式；③将整个算法过程可视化，让操作更加方便。

[1]刘飞,刘雁,黄成云.基于 S-T分析法的教学过程对比分析——以网易视频公开课为例[J].中国教育信息化,2012,(11):58-60.

[2]程云,刘清堂,王锋,等.基于视频的改进型S-T分析法的应用研究[J].电化教育研究,2016,(6):90-96.

[3]冯满堂,马青玉,王瑞杰.基于人脸表情识别的智能网络教学系统研究[J].计算机技术与发展,2011,(6)193-196.

[4]朱兴统,习洋洋.基于C++和OpenCV的人脸识别系统的设计与实现[J].自动化与仪器仪表,2014,(8):127-128、131.

[5]刘子源,蒋承志.基于OpenCV和Haar特征分类器的图像人数检测[J].辽宁科技大学学报,2011,(4):384-388.

[6]王影,李春好.贝叶斯因果图的构建与应用[J].统计与决策,2016,(7):25-28.

[7]明安龙,马华东,傅慧源.多摄像机监控中基于贝叶斯因果网的人物角色识别[J].计算机学报,2010,(12):2378-2386.