课堂学习状态智能分析系统的构建及其应用*

陆 芳，魏李婷

(盐城师范学院 江苏省心理与认知科学大数据重点建设实验室，江苏 盐城 224002)

2018年8月27日，教育部发布《关于狠抓新时代全国高等学校本科教育工作会议精神落实的通知》，通知要求加强学习过程管理[1]。课堂教学是学校教育教学工作的中心环节，学生在课堂教学中的真实表现能够很好地反映学生的学习状态。在以“学生为中心”的课堂教学中，教师凭借敏锐的观察力了解学生的课堂学习状态，掌握学生的学习特点，做到因材施教，以及发现学生的异常状态，及时干预。但在实际教学过程中，教师的精力是有限的，对学生的观察是具有选择性的，大多会更加关注表现较为突出的学生，很容易忽略普通学生。随着人工智能技术的发展，尤其是深度学习网络在计算机视觉处理方面的应用[2-4]，人脸、人体识别技术研究获得了突破性的进展。人脸识别已被广泛应用于各种场景，如手机身份验证、车站进站验证、学生上课考勤等，识别的正确率也在不断提升。Florian Schroff等[5]提出FaceNet系统，它直接学习人脸图像到欧几里德空间的映射，其中欧几里德距离直接对应人脸相似度，在LSW数据集上验证识别率达到99.63%。基于深度学习的人体行为识别是智能视频分析的热点，各种深度学习框架在人体行为识别研究中获得显著效果[6]，这为课堂学习的分析提供了专业的技术支持。近年来视频监控技术被高校广泛运用，用来实时观察和保存课堂教学过程，这为课堂学习的智能分析提供了良好的数据基础。

基于以上三点，本文以大学生课堂学习过程为研究对象，构建了课堂学习状态智能分析系统，通过智能识别监控视频中学生及其学习状态，进行分析挖掘，帮助教师了解学生学习状态，加强课堂学习过程管理。

一、学习状态分析研究现状

研究者们对“学习状态”这一概念给出了不同的定义，本文赞同学习状态是学习者在学习过程中表现出来的心理特征和生理特征[7]，而心理特征一般通过生理特征和行为特征测量。也就是说，学习者的学习状态可以通过生理指标和行为指标来衡量。

信息化在教育的应用，促使大量在线学习平台涌现，如中国大学MOOC、Coursera等，在线学习平台记录了学习者在学习过程中的学习内容、学习时间、学习行为等学习信息，为后续学习者学习状态的挖掘研究奠定了坚实的数据基础。国内对在线学习的状态分析研究较多，很多研究者认为可以通过在线学习的学习行为描述、评价学习者的学习状态。沈欣忆等利用学习者在MOOCAP中的在线学习行为数据，采用德尔菲法、专家排序法、专家工作坊等多种研究方法，构建MOOCAP在线学习行为和学习评价模型[8]；王洋等以华师云课堂为例，根据学习者在平台上的在线学习操作数据，构建学习状态模型[9]。

虽然在线学习方式逐步普及，但是学校的教育依然以课堂教育为主，以学生为中心的课堂教学的效率和质量仍备受关注。在线学习和课堂教学的教学模式存在较大差别，在线学习突破时间空间，课堂学习时间固定、地点集中，两者上课形式不同，学习数据来源不同，因此，基于在线学习行为数据的学习状态模型无法直接迁移到课堂教学。而对课堂教学中学生学习状态的分析，一般采用观察和问卷的方式进行。郑伟等从不同的视角对初中生物学课堂学习状态进行观察分析[10]。徐江虹等采用问卷的方式收集学生对课堂学习的认识、态度和行为数据，了解工科类本科生课堂的学习状态[11]。也有少量的研究结合眼动、脑电技术等获取学习者的生理指标，研究学习者的认知和注意力，如Fang-Ying Yang等利用眼动技术研究大学课堂中学生对PPT的注意力分布[12]。但这种传统的研究方法存在不足，主要是研究周期时间长，数据的来源缺乏客观性。

学习状态可以通过外部行为特征来测量，何秀玲等利用深度学习模型自发识别学习表情，获取学生在课堂中的情绪变化，帮助教师掌握全班学生情况[13]。除了面部表情，一些身体姿态也能反映学习者的学习状态，例如，学生学习状态消极时会有上课打瞌睡、玩手机等行为。张鸿宇等在数字化场景中，采用姿态识别的方式帮助分析学习者的学习状态[14]。以往教师观察学生的学习状态，只能在课堂中进行，不全面且容易遗漏；视频技术的应用，让教师可以视频案例作为观察对象，更为细致有效的获取学生学习状态，但视频观察仍然存在周期性长的问题。教师的精力毕竟是有限的，在课堂教学过程中，如果有辅助系统帮助教师智能分析学生学习状态，那么将对教师的课堂教学大有裨益。

为此，本文尝试利用视频监控技术、Java编程技术、图像处理技术、机器学习技术，实现学课堂视频的采集、传输、存储、挖掘，获取学生课堂出勤情况以及课堂学习状态，及时干预学生的异常学习状态。

二、课堂学习状态智能分析系统构建

1.构建目标

本系统旨在达成以下一些构建目标：

①面向B/S结构的课堂学习状态分析，实现数据共享，随时随地进行相关业务功能处理，功能扩展方便，为后续分析奠定开发基础。

②基于远程控制的视频监控技术，视频监控技术能够完整实时呈现学生上课情景，远程控制视频监控实现全方位巡航调距，多角度分析，灵活方便。

③基于人脸识别的课堂点名，在学生无感知的情况下完成考勤，节省课堂时间，有效避免代点名的情况，考勤情况有效记录，传至数据库保存。

④基于人体检测的学生状态检测，相隔固定时间，自动检测学生认真上课、发呆、睡觉、玩手机四种状态，帮助老师及时发现异常学习状态，提高学生课堂听课效率，并为教师后期学生成绩评估提供数据支持。

⑤基于统计分析技术的学生课堂听课质量评价，综合考虑课堂多次状态检测的结果，按照一定的统计方式，对学生的课堂听课质量进行评价。

2.系统平台结构构建

高校安装的视频监控系统主要目的是为了对教室的场景进行监控和记录，目前对监控视频的应用主要有两种形式，一是如果发生异常情况，可以通过监控视频查询，了解事情真相，这种方式无法预防异常事件的发生；二是将多个教室的监控视频投射到同一个大屏幕，监控人员通过观看视频发现学生的异常情况，通知相关人员进行处理，但是视频过多，且监控人员无法一直集中注意力，使得人工监控的方式管理效率不高。因此，利用计算机视觉、视频图像处理技术对监控视频进行智能化分析能够及时发现学生学习过程中的异常情况，并全程监控课堂，提高学生学习过程管理的效率。

本文设计的课堂学习状态智能分析系统是实现学生课堂视频的采集、传输、存储、挖掘、应用为一体的在线系统。其主要实现思路是：控制球机旋转调距，多角度多方位采集学生上课视频，实时视频截取特定帧的图像利用计算机视觉处理技术实现人脸点名、课堂学习状态检测功能，并将分析结果传入数据库保存，对数据库学生相关数据挖掘分析，同时将视频数据传入指定的服务器存储，以便回看。课堂学习状态智能分析系统平台结构如图1所示：

图1 课堂学习状态智能分析系统平台结构示意图

3.系统技术架构及功能设计

本文系统以云计算为支撑，以Springboot+Mybatis为后台框架，利用Thymeleaf为模板引擎支持前端开发，以TencentDB for MySQL为数据库实现信息存储，shiro作为安全框架进行身份认证，结合云端智能平台，运用先进图像采集处理识别和数据分析技术，实现学生课堂学习场景的智能分析、整合、反馈和分享，详细的系统架构如图2所示。

图2 课堂学习状态智能分析系统架构示意图

系统包含三个用户角色：管理员、教师、学生。管理员可以向系统导入教师、学生、课程、课时、楼宇等基本信息，并对这些信息进行增、删、改、查的基本管理。管理员和教师可以远程管理球机，控制球机的开关、巡航、调距，可以回看球机拍摄的视频，还可以赋予不同的角色不同的应用权限。教师和学生都具有登陆、注销、找回密码、修改信息的基本功能。教师可以查询教学课表，课程详情以及对应课程的学生详情，同时决定何时进行人脸点名，在课程开始后，间隔固定时间检测学生学习状态，学习状态异常的学生会收到通知，被要求及时调整异常学习状态。学生可以查询自己的课表和听课质量评价。

系统有三个核心智能功能，分别是人脸点名，学习状态检测和学习课堂质量评价。

1.人脸点名

人脸识别比对的方式相较于指纹、虹膜等生物特征，具有易于获得、直观友好、易于区分等优点，成为课堂考勤研究和应用的热点。本系统使用到的人脸检测比对算法采用的是旷世公司Face++人工智能开放平台(1)Face++旷视人工智能平台可通过https：//www.faceplusplus.com.cn/查询。提供的接口。实现人脸点名考勤功能的具体流程是：教师点击考勤按钮后，摄像头开始采集画面送到后台，后台采用图像处理工具ffmpeg将采集的视频截取出图片，把标准化的图片送到Face++第三方平台进行处理获取人脸特征数据，将返回的人脸特征数据与数据库中证件照的人脸特征数据进行对比，然后更新数据库中的对应结果，前台便根据数据库的内容显示对应学生的出勤状况。其业务流程如图3所示。

2.状态检测

经验丰富的教师能够从学生的行为动作、面部表情等识别出学生的当前学习状态，因此，可以通过识别学生的简单动作表现来检测学生的学习状态。学生上课过程中，最直观的学习状态是认真上课和未认真上课。经多方调研，并咨询相关专家，发现未认真上课的常见状态有睡觉、玩手机、发呆。因此，学生上课状态普遍有四种：认真上课、发呆、睡觉、玩手机。为有效识别这四种状态，组织学生拍摄这四种状态对应的视频，截取对应的图片，从中选取2500张图片，并邀请专家进行人工标注，制作四种对应学习状态的数据集，利用VGG16模型训练出判别学生四种学习状态的模型。系统实现状态检测的具体业务流程如下：学生上课过程中，每隔8分钟从拍摄的视频中截取学生当前时刻的照片，利用人体抠图的技术将图片中的所有学生分割开来，针对每位学生反复调用状态检测模型，返回图片中学生们当前时刻的状态，状态包括认真上课和玩手机、打瞌睡、发呆。除认真上课的学生，其他状态的学生都会收到信息通知，调整上课状态。其业务流程如图4所示。

图3 人脸点名业务流程图

图4 状态检测业务流程图

3.数据分析

学生状态检测结束后，将结果保存到数据库中，对学生状态数据进行分析。每隔八分钟检测一次，一堂课检测5次，每次检测时，如果该学生认真上课，则给予其20分；如果该学生发呆，给予其16分；如果该学生睡觉，则给予其12分；如果该学生玩手机，则给予其8分；状态评分总和即为该学生该堂课的听课质量评分。

学生听课质量评分有利于学生了解自己的上课情况，有利于管理员和老师查看学生每堂课的学习状态，及时发现学生的学习状态异常情况并做出干预。

三、课堂学习状态智能分析系统的应用效果

为验证系统的有效性，在校内智慧教室试行，组织小班课，对系统功能进行验证，系统有效运行，对人脸点名和学习状态检测结果展示，并对应用效果进行说明。

1.人脸点名实现

教师上课之后，点击考勤，系统会对球机拍摄到的视频进行预处理得到标准化图片，对图片进行人脸检测比对，从而完成考勤工作。考勤完成后，在前端进行显示。教师会看到学生的出勤情况，未出勤或未检测成功的同学，将会被红色标记，为对学生的隐私进行保护，用匿名展示。

2.状态检测实现

课堂开始后到达固定时间点，系统同样会对视频进行处理，之后再调用算法模型进行检测，返回学生状态结果。可以看到，不同状态会被系统进行区分，同时，认真听课和不认真听课的对比会以可视化的结果展示。

3.效果分析

为测试系统的有效性，同时发现系统的不足之处以便改进，邀请了5名经验丰富的老师进行试用。试用过程中，老师们表示该系统确实能够帮助他们在课堂中节省点名的时间，及时把握学生的学习状态，调整下一节课的讲课策略，发现需要特别关注的学生，及时调整他们的学习状态。同时，他们也为后续的研究提供了宝贵的建议：①人脸点名的正确率并非100%正确；②学习状态检测的正确率与速度有待提高；另外，课堂上还有很多行为和表情也能反映某些学习状态，这些行为和表情的识别应该能更好地反映学生的学习状态；③状态检测的时间如果能与教师课堂教学中的知识点对应起来，可能会帮助教师更好地了解学生对知识点的掌握情况，调整教学策略。这些问题都需要在后期的研究工作中进一步实践检验。

四、总结

课堂教学是教师的教与学生的学最直观的表现。当下大学生课堂学习存在的一个核心问题就是学习动机不足、主体意识不强。教育工作者需要更好地关注学习者自身发展的特点和需要，更客观地了解学习者主动参与的广度和深度，这样才能有助于指导他们及时做出教学调整，设计并实施“以学习者为中心”的课程教学。本文构建的系统能够及时反馈学生的出勤、学习状态、听课质量，为学生课堂学习过程管理提供真实有效的数据支持。当然，人脸点名和状态识别的速度、准确率还有待提高；学生课堂中出现的行为、表情与学习状态有何种定性定量的关系，还需要进一步研究；将学习状态检测的时间与课堂教师学习的知识点穿插起来，观察学生的知识点掌握情况，也是下一步研究的重点。

目前，“人工智能+教育”的研究是一大热点，将人工智能与教育深度融合，创造智能高效的课堂环境，对提高教学效率、构建智慧校园有重要意义。课堂学习状态智能分析系统是人工智能技术在课堂学习过程管理的一次有益尝试，顺应了“人工智能+教育”的发展理念。