基于深度学习的智能课堂管理系统研究与实现

(湖北工业大学，湖北武汉 430000)

1 引 言

课堂教学是各高校各专业人才培养的主阵地，各高校都十分重视。当前通过应用考勤及课堂表现评价等多种手段的人工管理模式存在效率低下，评价不够全面等缺点，难以做到因人施教，及时调整教学计划与方法，真正有效促进教学质量提升。很多高校开始尝试应用各种软件来促使学生勤到课堂，但这样的机制并不能从根本上解决学生不愿意去课堂、对学习内容不感兴趣等课堂效率低下的严重问题。如重庆理工大学的教师采用指纹考勤[1]，学生用指纹打卡机进行签到和签退；吉林大学珠海学院教师甚至专门研发出一套基于蓝牙的考勤系统，课前通过匹配学生的蓝牙装置进行签到[2]。此外，还有扫描二维码签到、发微博签到、对号入座考勤等方式层出不穷。本文提出了一种智能化的课堂管理模式，构建智能课堂管理系统，通过人脸检测实现课堂签到功能，通过识别面部表情，评估学生相关学习情绪状况。通过系统测试及相关数据分析的结果，表明该系统有利于教师及时客观评估学生个体学习表现，便于教师基于课程目标改进教学手段与方法，也可反映给相关部门，配合教师们来打造一个良好的学习氛围。

2 系统构成

智能化课堂管理系统主要包括视频签到、学习监控与评估、学习资源管理，系统结构图如图1所示。

图1 智能课堂管理系统功能结构图

2.1 视频签到

视频签到是由课堂点名需求设计的功能，使教师知道课堂已到的学生、未到学生的情况及到课的人数并识别出到课学生的信息，从记录信息的数据库可知应到课堂人数及人脸信息，可避免替人代答到等情况发生。据摄像头抓拍的视频，本系统单独切分到课的学生人脸，通过数据库识别匹配到课学生，与数据库对比没有照片显示的就是未到课学生。

2.2 学习监控与评估

实现当场检测。教师在课堂上直接打开摄像头，而系统后端方可直接检测人脸，课堂之外可进行课堂监控，了解课堂教学状况。对有查课需求以及听课需求的教师及他人是便捷的。

通过照片每个人的脸部表情，做出相关情绪分析：例如是否在认真听讲、高兴、伤心等。青春期少年易冲动，本系统可知晓其心理状况并未雨绸缪；可通过相关公式计算本节课堂听课的效率，可反映给相关部门。

2.3 学习资源管理

本系统支持教师将课堂视频和学习资料上传到系统，方便学生及时浏览、复习，例如PPT、电子书等。学生可在系统中分享学习资料，教师根据学习资料的价值有权决定是否显示该资料。

2.4 作业与交流功能

教师可在系统中公布课堂的作业，学生根据课堂效果在系统中给老师留言，且学生可在系统中分享学习心得。这样形成了一个良好的学习与监控系统。

3 系统核心功能设计

智能课堂系统的核心功能为视频签到和学习监控与评估，具体包括人脸检测、人脸对齐、人脸切分及脸部表情分析等。数据用摄像头或手机获取，数据帧作为系统的输入，在系统实现输出，即对课堂的追踪描述、课堂人数情况以及学生状态分析等。

该系统涉及到深度学习的卷积神经网络，用代表模型P-NET、R-NET、O-NET来进行人脸检测及系列的功能实现。

3.1 人脸检测

人脸检测主要是MTCNN算法[3]，涉及神经网络和卷积神经网络。该算法用三个子网络，即P-NET、R-NET、O-NET。P-NET：该网络结构主要获得了人脸区域的候选窗口和边界框的回归向量。并用该边界框做回归，对候选窗口进行校准，然后通过非极大值抑制(NMS函数)来合并高度重叠的候选框。R-Net：该网络结构还是通过边界框回归和NMS来去掉那些false-positive区域。由于该网络结构和P-Net网络结构有差异，多了一个全连接层，会取得更好的抑制false-positive的作用。O-Net：该层比R-Net层又多了一层卷积层，处理的结果会更精细。该层对人脸区域有更多的监督，还输出5个地标。后一层的处理比前一层更精细，提取的图像信息更准确，最后提取到较重要的人脸信息。本项目还用到opencv算法，图像的基本操作读取、显示、存储：通过调用OpenCV中的cv2.imread()，cv2.imshow()，cv2.write()分别实现。本系统核心算法MTCNN结构图如图2所示。

图2 MTCNN结构图

the cross-entropy loss：

L=-[ylog(p)+(1-y){1-log(p)}]

p表示是网络判定此处图像检测出来是一张人脸的概率，而y表示这个测试的图像是否为人脸的正确标签值，y∈{0，1}。

3.2 人脸对齐

该系统有一大难题：人脸对齐技术。在实际应用场景中，捕捉到的人脸可能是歪头、斜脸、侧脸等情况，为使检测效果更好，会利用对齐技术将脸“掰正”。人脸对齐需要先对人脸进行建模，可分为全局表观和局部表观的建模方式，例如之前已出现过的模型：产生式模型、判别式模型[4]，以上全是比较典型的主动表观模型：考虑如何建模整张人脸的表观信息；而现在已出现的局部区域的表观信息建模包括颜色模型、投影模型、测剖线模型等。

本项目结合mtcnn算法实现了人脸对齐技术：得出两只眼睛形成的夹角并根据此夹角进行图像的旋转，得到旋转之后的图片来估测人脸需要裁剪的高度，设定宽度比来确定裁出人脸的宽度，从而得到具体坐标来实现人脸对齐。

3.3 表情分析

表情分析功能是基于MXNET库利用卷积神经网络进行人脸表情的分析[5]。脸部表情识别的应用中，早年出现了CK++、MMI数据库，近年也出现Affectnet，AFEW-VA，SFEW等数据库，且这些数据库中的人脸图像对环境是无要求的，包含了姿态各异、风格不同的图片集。在人脸特征提取阶段，首先要对人脸进行特征点检测，然后进行人脸对齐技术，最后提取相应的特征。之前出现的procrustes分析法是被用来消除出于头部姿态和人脸个性化等一系列因素[6]，以便得到归一化的人脸特征点，从而得到人脸面部特征向量，最后进行表情识别，具体过程如图3所示。

图3 人脸表情分析过程图

4 系统功能测试

本系统是以某高校教学管理平台运行视频图像数据为基础，连接校园网人脸数据库，利用智能课堂管理系统对学生课堂的签到情况、课堂学习状态进行系统化的分析，进而拿到对课堂所统计的各条例数据。

图4 本课堂缺勤名单信息界面

智能课堂的的功能界面(课堂班级信息介绍、缺勤课堂以及班级名册，名册包括每个人的详细信息：班级、学号、电话号码等)依次如下：

下面是智能课堂系统进行点到的部分，实现人脸检测部分。

图5 系统人脸检测界面

将上课照片输入到系统后，智能点课系统会把每一张人脸都标上绿框，方便查课人员比对并分析脸部表情，从上图中可看出该划分效果很精确。

图6是进行人脸对齐，将上图中人脸切分出来。

图6 系统人脸切分

图7 脸部表情分析结果

5 结 语

本项目在深度学习卷积神经网络的基础上，出色地完成了对提高课堂的效率，减轻老师的任务，监督学生们自主自律地学习，方便辅导员了解课堂情况、做课堂记录并且能随时分析同学们的情绪状况方便交流等相关功能的实现。实际应用情况表明，系统运行稳定可靠，具有较高的实用价值。