基于Faster R-CNN的学生课堂行为检测算法研究

谭斌，杨书焓

（西华大学计算机与软件工程学院，成都 610039）

0 引言

目标检测是计算机视觉领域的核心问题之一，而关于学生课堂行为检测在教学评估中有着重要的意义。随着卷积神经网络（Convolutional Neural Network，CNN）的推出，越来越多的科研工作者将CNN用于各种目标任务检测，例如，王军等[1]提出基于深度学习特征的异常行为检测算法。本文的学生课堂行为检测算法则是使用Ross B.Girshick[2]提出的Faster R-CNN算法。基于Faster R-CNN的学生课堂行为检测算法将学生课堂行为分为三类即学习、睡觉、玩（玩手机、聊天等其他）。本文的图像数据集是从真实的学生课堂监控视频中获取而制作成的实验数据集。

1 Faster R-CNN原理简介

Faster R-CNN大致分为两个部分，一个定位目标，另一个则是对目标进行分类。其网络结构如图1所示。利用网络的特征提取功能对输入的数据集经过卷积和池化等操作得到图像的特征图（Feature Map）；RPN（Region Proposal Network）网络则在特征图上定位候选目标，使用Softmax分类器来判别候选目标属于前景还是背景，同时利用范围框回归器修正候选目标的位置，最终生成候选目标区域。分类网络利用特征图和RPN网络生成的候选区域实现目标类别的检测，在本文中即实现学生课堂行为的的检测，判别候选区域属于学生行为的哪一类。

图1 Faster R-CNN网络结构

学生课堂行为检测与一般的行为检测的区别在于，教室的学生课堂监控视频图像区别于一般的视频图像，其不能获取目标的正面信息，存在一定角度差，同时由于实验室数据集的限制，增加了课堂监控视频中行为检测的难度，所以采用深度学习的方法对目标行为检测以求达到理想的检测识率。

2 材料与方法

2.1 制作实验数据集

本文所采用实验数据集真实的学生课堂监控视频，由于监控设备性能的限制，视频分辨率为1280（水平）×720（垂直）。监控设备安装在教室黑板左右两端，采集到数据集均有一定倾斜角度,其中每个视频中学生的数目为20到50个不等，考虑到学生在课堂行为变化有限，从视频中以间隔2s取一帧图像，经过随机抽取得到各个角度、不同教室的图像集共计1000张，组成训练集[3]。

2.2 网络训练过程

本文所有实验均在Caffe平台上进行，选取从视频中经过抽取的图片作为训练样本集，通过随机分配原则将训练集送入神经网络进行训练，在训练好模型后，将测试集送入Faster R-CNN进行测试，得到测试结果并加以分析。Faster R-CNN训练模型一般分为四步：第一步，用预训练模型model初始化RPN网络，紧接着训练RPN，训练完成后，会更新model和RPN的权值。第二步，在model初始化Fast R-CNN后，使用第一步的RPN来计算而得到proposal训练Fast R-CNN,训练完成后，会更新model和Fast R-CNN的权值。第三步，用第二步的model初始化RPN并训练RPN,训练过程固定model的参数，会更新RPN的权值。第四步，仍然固定第三步的model,再次对Fast R-CNN训练，即微调参数，训练完毕得到Faster R-CNN。本次实验每步的迭代次数如表1所示[4]。

表1 Faster R-CNN训练过程的迭代次数

3 实验结果

本算法训练后网络模型参数如图2所示，图中显示了三种学生课堂监控视频中的学生不同行为的MAP值，反映了模型的训练的效果；由于数据量的限制，其MAP值不是很高。本算法Faster R-CNN算法训练的模型为端到端训练，各个网络的阶段的迭代次数根据训练集的大小加以修改，同时，本算法训练的是ZFNet模型，该网络所需显存比VGG小，同时准确率相差不大，但训练速度更快。

针对真实的学生课堂监控视频，我们从开始的数据准备，到数据处理，以及后面修改训练参数，训练网络模型，设计训练集和验证集的比例。

图2 训练结果

图3 学生课堂“玩”的行为

图4 学生课堂“学习”的行为

图5 学生课堂“睡觉”的行为

由实验结果可看出网络对学生睡觉行为的识别率较低，对其他2种类型的行为都有较好的检测率。造成睡觉行为的检测率较低的原因可能是在原始的图像训练集中，学生有睡觉行为的人数较少，同时所采集的图像序列中有睡觉行为的学生的图片相应减少，导致模型训练时，不能从训练集提取到足够的睡觉行为的特征。

4 结语

在学生课堂行为检测中，原始图像被用作整个网络输入。在传统的行为检测算法中，避免了特征提取的过程。这些特征是由网络自动从训练数据集中提取出来的。区域建议网络（RPN）被用来产生一个高效和准确的建议提案。在每个图像中，所提出的方法定位行为检测区域并直接识别该行为方式。由于实验室数据集数量的限制、前期行为标记的准确度以及数据对象角度变化，都给实验的检测率造成了影响，实验结果表明，Faster R-CNN能够有效检测到学生课堂监控视频中学生行为，得了良好的检测识别效果。