基于卷积神经网络的学生课堂行为识别系统设计

摘 "要： 精准的学生课堂行为识别结果有助于提升课堂教学效果，为此，设计一种基于卷积神经网络的学生课堂行为识别系统。系统的图像采集模块利用SZ⁃4K512M型摄像机，采集学生课堂行为的视频图像，并通过流式传输技术将标记后的采集图像传输至图像预处理模块；图像预处理模块对图像进行清洗和标准化处理后，传送至行为识别模块。行为识别模块通过卷积层、池化层和全连接层构建卷积神经网络，以已标记的学生课堂行为图像作为基础训练网络，利用完成训练的卷积神经网络识别学生课堂行为。实验结果表明，所设计系统可以精准识别学生玩手机、睡觉、举手等不同课堂行为，识别精度高于97%，说明该系统可以更好地掌握学生的心理活动变化。

关键词： 学生课堂行为； 识别系统； 卷积神经网络； 视频图像采集； 流式传输； 标准化处理

中图分类号： TN711⁃34； TP391.41 " " " " " " " " " 文献标识码： A " " " " " " " " "文章编号： 1004⁃373X（2024）06⁃0142⁃05

Design of student classroom behavior recognition system based on

convolutional neural network

LIU Lin1， 2

（1. Qinghai Normal University， Xining 810000， China; 2. Qinghai Vocational College of Police Officers， Xining 810000， China）

Abstract： Accurate student classroom behavior recognition results can help improve classroom teaching effectiveness. Therefore， a student classroom behavior recognition system based on convolutional neural networks is designed. In the image acquisition module of the system， an SZ⁃4K512M camera is used to capture video images of students' classroom behavior， and transmit the labeled collected images to the image preprocessing module by means of the streaming transmission technology. The image preprocessing module can clean and standardize the image and transmit it to the behavior recognition module. The behavior recognition module can construct a convolutional neural network by means of the convolutional layers， pooling layers， and fully connected layers. The network is trained based on labeled student classroom behavior images， and the trained convolutional neural network is used to recognize student classroom behavior. The experimental results show that the designed system can accurately recognize different classroom behaviors such as students playing with their phones， sleeping， and raising their hands， with a recognition accuracy of over 97%， indicating that this system can better grasp the changes in students' psychological activities.

Keywords： student classroom behavior; recognition system; convolutional neural networks; video image acquisition; streaming transmission; standardized processing

0 "引 "言

人体行为识别作为智能视频分析领域必不可少的一部分[1⁃2]，已成为新的研究热点，可以应用于智能教室、在线学习平台等教育场景，为教师提供个性化指导、学生评估和学习分析等支持，辅助教师确定学生的学习状态，掌握学生的心理活动。

目前，针对人体行为识别的研究数量直线增加[3⁃4]。黄勇康等将深度时空残差卷积神经网络应用于课堂行为识别中[5]，董琪琪等将SSD算法应用于学生课堂状态识别中[6]。两种方法均可以实现学生课堂行为识别，但是存在运算过程过于复杂、学生课堂状态识别精度较差的缺陷。

卷积神经网络是人工智能技术中广泛使用的重要技术，其具有无需预先提取学生课堂行为图像特征、识别准确率高的优点。因此，本文设计一种基于卷积神经网络的学生课堂行为识别系统，利用卷积神经网络的高效识别性能，为提升教学质量提供依据。

1 "学生课堂行为识别系统设计

1.1 "系统总体结构

学生课堂行为识别系统的总体结构如图1所示。

通过图1的学生课堂行为识别系统总体结构图可以看出，所设计系统的图像采集模块利用摄像机采集学生的课堂行为现场视频图像。标记处理现场视频图像后，利用通信网络将其传送至图像预处理模块。图像预处理模块对图像进行清洗和标准化处理，再将预处理后的学生课堂行为图像传送至行为识别模块。行为识别模块利用卷积神经网络识别学生课堂行为，输出学生课堂行为识别结果。可视化界面展示学生课堂行为识别结果，为课堂教学质量评价等应用提供基础。

1.2 "系统硬件设计

1.2.1 "图像采集模块

系统图像采集模块结构如图2所示。

所设计的学生课堂行为识别系统的图像采集模块采用流式传输技术，持续、实时采集与传输学生课堂行为的视频图像。管理人员经过系统授权后，获取学生课堂行为的视频图像数据[7]，为学生课堂行为智能分析提供基础。通过图2可以看出，图像采集模块包括摄像机、图像采集卡、流媒体服务器与流媒体客户端。利用流媒体服务器将所采集的学生课堂行为数字视频信号进行压缩处理，转化为压缩包，并采用压缩包的形式传输数据。系统仅为用户提供其所需的数据[8]，其余数据放入流媒体缓存区域内，不必等待全部视频图像数据流传输完毕，即可开始学生课堂行为识别。

1.2.2 "视频图像采集摄像机

学生课堂行为识别系统中，采集学生课堂行为图像的摄像机型号选择极为重要。SZ⁃4K512M型号摄像机是深圳开视公司研发的4K录播摄像机，其采集的4K画面清晰度更高，便于获取更加精准的学生课堂行为识别结果[9]，满足课堂应用场景的使用需求。所以选取型号为SZ⁃4K512M作为采集学生课堂行为视频数据的摄像机。

系统摄像机的参数设置如表1所示。

分析表1可知：所选取的摄像机的有效像素高达851万；摄像机设置了镜头光圈，保证摄像机采集课堂行为图像时，具有足够的进光量；光圈范围为F1.6～F2.8，光圈范围足够大[10]，可以满足不同时间段课堂环境变化时，不同光照度的学生课堂行为视频图像采集需求。

1.3 "基于卷积神经网络的课堂行为识别方法

系统的行为识别模块利用卷积神经网络识别依据采集模块采集到的学生课堂行为图像，从中识别出学生的课堂行为。卷积神经网络的结构图如图3所示。

通过图3可以看出，卷积神经网络通过特征提取和分类器两部分进行学生课堂行为识别。

卷积神经网络的卷积核利用卷积操作，提取图像特征。卷积神经网络卷积层输出结果[xi，j]的计算公式如下：

[xi，j=fi∈Mjxl-1i∗klij+blj] " " " " " " （1）

式中：[f·]表示输出函数；[i]表示图像序号；[Mj]表示与特征图对应图像特征图编号为[j]的图像；[xl-1i]表示第[i]幅图像在当前卷积层数为[l-1]时的输出结果；“[∗]”表示卷积运算；[klij]表示第[i]幅图像中在当前卷积层数为[l]时图像特征图编号为[j]的卷积核；[blj]为偏置。

利用式（1）对输入的学生课堂行为图像进行卷积处理，并利用激活函数激活生成的特征图作为卷积神经网络的第一个卷积层。采用平均值构造方法构造池化层，利用池化层缩小特征图的维数。池化层选取局部求均值方法进行特征图的特征降维，池化层的输出结果[Xl，ji]计算公式如下：

[Xl，ji=1Nj=1Nxi，j] " " " " " " "（2）

式中：[Xl，ji]表示池化层的输出结果；[N]表示特征图数量。

将上一个卷积层的输出结果作为池化层的输入，将池化层对学生课堂行为图像的处理结果传送至下一个卷积层中。卷积神经网络利用池化层计算学生课堂行为图像特征图中的局部值。相邻的池化层通过移动方式从局部区域读取数据进行降维，简化学生课堂行为识别的计算过程。

设置全连接层作为卷积神经网络的分类器，将所获取的学生课堂行为图像特征图作为全连接层的输入。卷积神经网络的分类器将输入向量与权重向量进行点积运算并与偏置相加，利用激活函数输出最终输出层的状态，即学生课堂行为识别结果。选取Sigmoid函数作为分类器输出课堂行为识别结果的激活函数，其表达式如下：

[Sigmoid=11+e-x] " " " " " " " （3）

利用以上过程完成卷积神经网络的运算。利用已标记的学生课堂行为图像训练网络，通过网络测试输出学生课堂行为识别结果。

2 "系统测试

2.1 "测试设置

为了测试所设计的学生课堂行为识别系统对学生课堂行为的识别性能，选取某高校通信工程专业的学生作为研究对象，采集该专业的高等数学课程的学生课堂行为图像，课程时间为9：00—9：40。高等数学是该专业学生需要学习的公共课程，课堂上学生人数较多，学生容易出现睡觉、玩手机等不正确的课堂行为。

在测试前，首先初始化设计系统的软硬件环境：编程语言采用Python，深度学习框架选取TensorFlow。将采集到的图像存储到OpenCV图像处理库中。在上述环境中，本文系统利用4K录播摄像机采集学生课堂行为的视频图像。从所采集的学生课堂行为视频图像中，随机截取1幅图像，如图4所示。

通过图4实验结果可以看出，本文系统可以利用设置的摄像机，采集学生课堂行为的视频图像信息。所采集的学生课堂行为图像清晰度较高，可以作为学生课堂行为分析的图像基础。除上述准备外，规定卷积神经网络参数为：网络架构为ResNet⁃50模型；输入图像尺寸为224×224像素；批处理大小为32；初始学习率为0.001。

2.2 "结果分析

本文系统的学生课堂行为识别结果如表2所示。

通过表2实验结果可以看出，本文系统可以有效识别学生在课堂上的玩手机、看书、说话等不同类型的课堂行为。本文系统在识别学生课堂行为的同时，指定了具体的学生，便于教师进行课堂教学管理。

表2中，随机选取本文系统对学生课堂行为识别结果为睡觉和玩手机的学生，统计与其对应的识别结果，如图5所示。

分析图5的实验结果，本文系统识别的学生课堂行为结果为睡觉和玩手机行为的对应图像中，学生存在明显的睡觉行为和玩手机行为。实验结果验证，本文系统可以有效识别学生的课堂行为，识别准确性较高。

本文系统选取卷积神经网络方法识别学生的课堂行为，统计本文系统识别不同学生课堂行为的识别性能，结果如表3所示。

从表3实验结果可以看出，采用本文系统可以精准识别学生玩手机、睡觉、举手等不同类型的课堂行为，识别精度高于97%，识别精度较高。本文系统采用卷积神经网络识别学生课堂行为时，卷积神经网络的训练耗时均低于30 s，不同类型课堂行为识别的测试耗时均低于1 s。实验结果验证，本文系统不仅具有较高的识别精度，还具有较高的识别实时性。本文系统利用高实时性、高精度的识别性能，提升系统在课堂中的应用性。

3 "结 "论

本文设计一种基于卷积神经网络的学生课堂行为识别系统。所设计系统利用摄像机采集学生课堂行为图像实时信息后，利用卷积神经网络识别学生课堂行为。实验结果表明，所设计的学生课堂行为识别系统可以精准识别学习、睡觉、玩手机等不同类型的课堂行为，可以作为提升课堂教学质量的重要依据。

参考文献

[1] 李秀智，张冉，贾松敏.面向助老行为识别的三维卷积神经网络设计[J].北京工业大学学报，2021，47（6）：589⁃597.

[2] 蒋丽，黄仕建，严文娟.基于低秩行为信息和多尺度卷积神经网络的人体行为识别方法[J].计算机应用，2021，41（3）：721⁃726.

[3] 云本胜，干潇雅，钱亚冠.一种基于随机森林和改进卷积神经网络的网络流量分类方法[J].电信科学，2023，39（7）：80⁃89.

[4] 龙翔，韩兰胜，王伟豪.基于深度卷积神经网络的异常行为快速识别[J].火力与指挥控制，2023，48（1）：26⁃32.

[5] 黄勇康，梁美玉，王笑笑，等.基于深度时空残差卷积神经网络的课堂教学视频中多人课堂行为识别[J].计算机应用，2022，42（3）：736⁃742.

[6] 董琪琪，刘剑飞，郝禄国，等.基于改进SSD算法的学生课堂 行为状态识别[J].计算机工程与设计，2021，42（10）：2924⁃2930.

[7] 王琼，王旭，刘云麟，等.基于改进密集轨迹算法的人体行为识别[J].计算机仿真，2022，39（12）：284⁃289.

[8] 胡凯，陈旭，朱俊，等.基于多尺度3D卷积神经网络的行为识别方法[J].重庆邮电大学学报（自然科学版），2021，33（6）：970⁃976.

[9] 苏超，王国中.基于改进OpenPose的学生行为识别研究[J].计算机应用研究，2021，38（10）：3183⁃3188.

[10] 钱兴，张晓明.基于轻量卷积神经网络的步态识别系统[J].中北大学学报（自然科学版），2022，43（5）：474⁃480.

[11] 杜峥.基于深度学习的学生课堂行为识别与分析系统研究[D].邯郸：河北工程大学，2023.

[12] 胡建华，张军，吴伟美，等.基于深度学习的课堂行为识别系统[J].电子技术与软件工程，2021（20）：103⁃105.

[13] 左国才，苏秀芝，王海东，等.基于CNN深度学习模型的大学生课堂行为检测研究[J].智能计算机与应用，2020，10（2）：158⁃160.

[14] 吴丽娟，任海清，关贵明，等.基于人脸姿态识别的课堂学习状态反馈系统的设计与实现[J].沈阳师范大学学报（自然科学版），2022，40（2）：127⁃132.

[15] 白茹.基于视频流媒体的人脸识别课堂监控系统[J].电子设计工程，2021，29（23）：166⁃170.

[16] 王禹钧，马致明.基于深度学习的学生课堂行为识别研究[J].软件工程，2023，26（7）：40⁃43.