基于深度学习的线上教学学情监测系统研究

韩毅 王旭彬 郭圆辉

摘 要：线上教学在疫情期间得到广泛应用，但是在授课过程中，教师没有精力关注每一位学生对讲授内容的实时反应，无法针对性地调整授课方案，导致教学效果不佳。因此，本文开发了基于深度学习的线上教学学情监测系统。该系统采用Yolov3算法，结合摄像头实时采集的视频画面，对学生进行检测定位，计算学生在线时间。同时，其使用Dlib开源库检测学生面部特征点，对学生进行困倦状态识别，并生成课堂学情报告，分析学生出勤、学习状态数据。测试表明，该系统响应迅速，可靠性较高，能准确判断学生的学习状态，具有较好的实际应用价值。

关键词：学生监测;深度学习;人脸特征点检测

中图分类号：G434;TP391文献标识码：A文章编号：1003-5168（2021）03-0019-03

Study on Monitoring System of Learning Situation in Online

Teaching Based on Deep Learning

HAN Yi WANG Xubin GUO Yuanhui

（Department of Computer Science and Information Engineering， Anyang Institute of Technology，Anyang Henan 455000）

Abstract： Online teaching has been widely used during the epidemic， but in the course of teaching， teachers did not have the energy to pay attention to the real-time response of each student to the content of the lecture， and could not adjust the teaching plan in a targeted manner， resulting in poor student learning. Therefore， this paper developed an online education monitoring system based on deep learning. The system uses the Yolov3 algorithm， combined with the real-time video images collected by the camera， detects and locates students， and calculates the online time of students. At the same time， it uses the Dlib open source library to detect student facial feature points， recognize students' sleepiness status， and generate classroom learning reports， and analyze all students' absenteeism and learning status data. Tests show that the system responds quickly， has high reliability， can accurately judge the learning status of students， and has high practical application value.

Keywords： student monitoring;deep learning;face feature point detection

2019年底，新冠肺炎疫情暴发，为了避免学生聚集，多所学校于2020年初采用线上教学代替线下教学。线上教学模式在带来便捷的同时，也存在一些问题，例如，学生在学习过程中存在困倦、睡觉甚至中途离开的情况。教师在进行线上教学时主要关注教学内容及学生提问，不能兼顾学生的实时听课状态。因此，如何在线上教学过程中让教师实时查看学生学习状态成为亟待解决的问题。

基于人工智能技术与计算机视觉技术的快速发展，相关学者将这两种技术应用于学情监测，如基于CNN深度学习模型的大学生课堂行为检测研究[1]、改进的多目标回归学生课堂行为检测方法等[2]。本文开发出基于深度学习的线上教学学情监测系统，旨在对线上学习的过程中学生行为进行监督统计，并通过可视化方式反馈给教师，从而使教师实时了解学生的学习状态，提高教学效果。

1 系统概述

本系统主要面向学生、教师群体。其采用模块化设计，并分为五个模块。一是面部定位，在摄像头获取实时视频数据后快速对学生面部进行定位，并将学生面部图像傳至后端模块，同时对学生是否中途离开进行监测;二是特征提取，通过对面部定位模块获取的面部图像进行学生面部特征点提取，并将面部特征点数据保存;三是状态分析，基于获取的特征点数据对学生当前状态进行分析;四是行为响应，根据系统分析出的学生状态做出指定的响应;五是生成课堂学情报告，将课堂内学生状态生成可视化图表报告。

2 系统结构

如图1所示，系统主要分为五个模块，即学生定位、特征提取、状态分析、行为响应以及统计生成。

2.1 学生定位

系统通过学生上网课时摄像头采集的视频数据，使用Yolov3算法训练出人脸识别模型来对学生面部进行识别，采用多尺度融合方法，在3个尺度上进行融合，并提出了全新的特征提取器Darknet-53，添加了残差网络，进一步提高了目标检测的性能。

2.2 特征提取

监测系统中的特征提取模块采用开源库Dlib進行68个面部特征点的提取，采用基于回归树的人脸对齐算法[3]。在已知的人脸矩形选框中，该算法以准确定位其形状为目标，主要分为基于优化的方法和基于回归的方法两大类。本文采用后者，通过级联的残差回归树使人脸逐步对齐，从而准确检测出人脸的68个特征点。Dlib方法对姿态变动较小的人脸有非常好的定位效果，而且学生使用的摄像头像素参差不齐，故采用该方法进行面部特征点检测。

在接收到学生面部图像后，系统将通过以上算法标记出学生面部的68个特征点，如图2所示。若根据学生面部图像信息无法获取学生面部特征点，系统会提示学生调整摄像头位置，以将面部纳入取景框内。

2.3 状态分析

2.3.1 学生出勤情况分析。系统将根据学生定位模块来分析学生的出勤情况，模块内含有计时器，对学生定位模块传出的信号进行统计，若学生定位模块持续1 min无法检测到人脸，计为“缺勤”。

2.3.2 学生头部姿态估计。系统基于特征提取模块采集面部特征点，假设[d1]为瞳孔水平位置到采集图片的上边缘距离，[d2]为嘴角的水平位置到采集图片的下边缘距离。在学生低头时，[d1]增大，[d2]减小。系统将以此估计学生头部姿态，并判断学生是否长期低头状态。

2.3.3 学生困倦、睡觉状态识别。困倦时，学生具有打哈欠、眨眼频率降低、不断点头等特征;睡着时，眼睛处于闭合状态，学生保持低头。基于特征提取模块采集到的面部特征点，取眼部特征点、嘴部特征点求得[EAR]（Eye Aspect Ratio，眼部纵横比）与[MAR]（Mouth Aspect Ratio，嘴部纵横比）。当学生两眼[EAR]的均值低于设定的阈值时，判定闭眼;当[MAR]高于设定的阈值时，判定打哈欠。然后，系统将通过单位时间内学生的[EAR]计算[PERLOCS]（眼睛闭合时间占单位时间的百分率），通过[MAR]计算单位时间内的[YAWNFRE]（打哈欠频率），同时结合头部姿态计算[DOWNFRE]（单位时间内低头时间的百分率）来判断学生是否困倦、是否睡着，如式（1）所示。其中，[α]、[β]和[γ]为[PERLOCS]、[YAWNFRE]和[DOWNFRE]对状态评判的权重;[Points]为单位时间内学生的状态分，系统将据此判断学生状态。

[Points=α×PERLOCS+β×YAWNFRE+γ×DOWNFRE]（1）

2.4 行为响应

对于学生的实时状态，系统将做出对应响应。在开始判定学生缺勤时，系统会及时向教师反馈;在学生困倦、睡着或是长期低头时，将会在屏幕上进行提示。教师也可实时查看学生的状态记录、缺勤记录。

2.5 统计生成

系统将在课堂结束后生成一份统计报告，以展示学生课上状态。其中包括缺勤时长、困倦时长、低头时长以及睡觉时长，并把数据可视化处理，将学生的课上行为按比例划分，以便分析学生的学习状态并帮助调整。同时，系统也会生成以班级为单位的课堂报告，呈现整个班级的课堂状态。

3 系统试验

为测试系统的有效性、可靠性以及准确性，试验以7位测试员在不同学习环境下模拟上课的录制视频数据为样本，课堂使用钉钉视频会议的形式共进行50 min，7位测试员根据指令在不同时间段内做出相应的行为。系统应用示例如图3所示。

将系统采集模拟上课视频数据的测试结果与学生实际行为进行对比，如图4所示。系统对学生缺勤的识别准确率为96.1%，对学生睡觉的识别准确率为90.7%，对学生困倦的识别准确率为93.7%，对学生低头的识别准确率为90.1%。测试数据表明，该系统可有效对学生课上行为进行监测，基本满足线上教学中对学生不良习惯监测的要求，而且具有实时监测、响应速度快、准确性高等优势。

4 结语

本文开发基于深度学习的线上教学学情监测系统，可以很好地解决线上教学中出现的问题，有利于线上教学效果的提高。该系统具有较高的可靠性和实用性，不足的是，睡觉和低头两种状态的识别具有复杂性，其检测准确率还有待提高。未来，人们仍需要进一步深入研究，不断改进检测算法。

参考文献：

[1]左国才，苏秀芝，王海东，等.基于CNN深度学习模型的大学生课堂行为检测研究[J].智能计算机与应用，2020（2）：158-160.

[2]刘新运，叶时平，张登辉.改进的多目标回归学生课堂行为检测方法[J].计算机工程与设计，2020（9）：2684-2689.

[3]KAZEMI V，SULLIVAN J.One millisecond face alignment with an ensemble of regression trees[C]//Proceedings of the IEEE conference on computer vision and pattern recognition.2014.