基于卷积神经网络技术的大学生隐性消极课堂行为识别研究

■ 陈 ，李会会，韩嘉彬，陶 鹏

（1.天津外国语大学，天津 300204；2.天津外国语大学滨海外事学院，天津 300207）

一、问题的提出

课堂是教学活动的主要场所，教学活动是主要的知识传授渠道。学生积极的课堂行为是保证教学效果的必要条件。但是“很多本科生听课不认真，出现的非听课行为多种多样”[1]，“课堂消极行为是经常发生的，涉及的学生范围较广，具有普遍性”[2]，影响了教学效果。

二、消极课堂行为界定

消极课堂行为是指不利于课堂教学活动正常开展的学生行为，如迟到、早退、旷课、玩手机、说话聊天等。学生的课堂消极行为又可细分为“显性消极行为”和“隐性消极行为”。常培文[3]认为迟到、早退、旷课、聊天说话属于学生的显性消极课堂行为，认为上课玩手机、睡觉、走神、做其他作业等不易觉察的行为为隐性课堂行为。本文通过文献分析，将大学生隐性消极课堂行为分为低头行为（偷玩手机、做其他课程作业）、转头行为（注意力在黑板范围以外物体）、伪听课行为（走神、瞌睡）。低头行为中，无论是偷玩手机还是做其他课程作业，主要表现为一段时间内低头。转头行为表现为一段时间范围内的转头及一定幅度的转体。伪听课行为中的走神，也叫白日梦现象，表现为睁眼但一段时间内没有眨眼行为、头部无运动行为。伪听课行为中的瞌睡，主要表现为闭眼且伴随头部动作失控。

本研究将分析对象定为学生的隐性消极课堂行为。经实验研究我们发现，面部、眼部朝向和眼部动作（表情）以及表情所持续时间与上述隐性行为能够形成对应关系，如表1。

表1 隐性课堂行为与表情特征及持续时间关系

三、卷积神经网络分析

卷积神经网络是目前深度学习技术领域中非常具有代表性的神经网络之一，在图像分析和处理领域取得了众多突破性的进展，包括图像特征提取分类、场景识别等。卷积神经网络相较于传统的图像处理算法的优点之一在于避免了对图像复杂的前期预处理过程尤其是人工参与图像预处理过程，它可以直接输入原始图像进行工作。Lécun Y等人[4]认为，深度学习的一个重要模型为卷积神经网络，它独特的网络结构可以让一定程度的平移、缩放、扭曲具有高度不变性，图像识别的性能良好。汤双霞[5]运用人脸识别技术，采集学生的实时人脸图像进行人脸识别，完成学生个体的专注度分析。廖鹏等人[6]采用卷积神经网络VGG预训练网络模型迁移学习,提取学生课堂异常行为特征,实现对玩手机、睡觉等异常行为的检测分析,但是未涉及到“做其他课程作业、走神”等两项消极行为表现。

本研究利用卷积神经网络图像处理技术捕捉学生的隐性消极课堂行为，将行为心理学和图像识别技术相结合，由人工智能算法准确判断学生课堂行为，为教学评估提供了新的可靠高效方法，具有重要的研究意义和实践价值。

四、研究方法

本文利用高分辨率摄像头分别采集每名学生的上课面部视频图像，利用卷积神经网（CNN）对每一帧面部视频图像上的面部和眼部进行识别，根据黑板的长度与宽度建立坐标系，再根据学生座位位于教室的位置，建立原坐标系向新坐标系的映射，根据眼部识别的宽度比判定面部是否具有转向，再根据面部方向与坐标系的关系判定面部是否面向黑板范围，最后根据眼部动作识别判定是否有低头、眨眼以及眼部（视线）是否朝向黑板。

图1 脸部及眼部坐标映射

（一）面部朝向判定

利用卷积神经网络对视频图像提取面部特征，找到双眼位置和双眼中心点位置；建立坐标系，设置对应坐标系的双眼位置和双眼中心点坐标；根据双眼外侧到双眼中心点的距离长度比，来判断面部是否有向左、向右转动动作。根据实验观察低头幅度较小时可视为长时间闭眼动作，低头幅度较大时无法识别面部特征。

图2 （a）

图2 （b）

图2 （c）

图2（a）为双侧双眼外侧到双眼中心点的距离长度比等长的情况可以判定为面部朝向正向；图2（b）左侧双眼外侧到双眼中心点的距离长度小于右侧长度，即长度比小于1则可以认为头部左转，同时调整坐标系映射，使新坐标系垂直于面部正向，从而实现由于座位的不同位置与黑板的多角度映射调整。根据长度比等与坐标系，可以判定面部朝向是否已超出坐标系所设定的范围；图3（a）为坐标系多角度映射，适用于坐位位于教室两边的面部朝向判定；图3（b）为教室中部正向黑板座位位置，面部具有转动的情况。该情况可以根据左侧双眼外侧到双眼中心点的距离长度与右侧长度的比例判定其面部朝向和朝向范围。在观察中会出现图2（c）的情况，在观察状态时左侧距离双眼外侧到双眼中心点的距离长度基本为0，长度比可认为等于0，但在实际卷积神经网络特征提取识别时该情况基本无法提取面部和眼部特征，所以图2（c）情况可视为无法识别面部特征类型。

图3 （a）

图3 （b）

映射坐标系的变换可以采用坐标变换公式，实现坐标系的旋转、平移，对面部朝向的坐标系映射进行变换。根据几何关系坐标系平移变换的公示为：

（二）眼部朝向、动作（眨眼）及低头状态的判定

对于眼部朝向，通过神经网络识别眼部瞳孔部位，如瞳孔位于眼部正中则判定为眼部朝向正向，即眼部朝向黑板范围，反之则判定为眼部未朝向黑板范围如图4。在观察时发现，眨眼和低头时眼部状态均为闭眼状态如图5，所以眨眼和低头的判定均为闭眼状态，由于眨眼的闭眼平均时长小于2秒，而低头的平均时长远大于2秒，则在具体实验时可以2秒为界限，用持续时间长短判定闭眼状态为眨眼或是低头。

图4 瞳孔是否朝正向

图5 眨眼和低头时眼部状态均为闭眼状态

五、实验设计

本文选取了10名大学本科学生，其中男女各5名，从正面采集其上课时的面部视频，其中课程时长30分钟（中间无休）。根据学生位于教室的不同位置，其上课时面部及眼部动作，设计识别类型，并根据识别类型分别进行计时：

面部、眼部同时朝向黑板范围——A类；

面部未朝向黑板范围，眼部朝向黑板范围——B类；

面部朝向黑板范围，眼部未朝向黑板范围——C类；

面部和眼部均未朝向黑板范围（面部左右转）——D类；

闭眼（眨眼或低头）——E类；

无识别状态（用书遮挡脸部、回头、低头幅度大、离座等）——F类。

为实现自动计时统计分别对各状态类型赋值：A=50、B=40、C=30、D=20、E=10、F=0。从面部图像采集到数据分析的流程如图6所示。

图6 实验流程图

实验采用的摄像设备标准为高清IP网络摄像机，500万像素的逐行扫描CMOS图像，传感器清晰度1080P（1920*1080分辨率）全实时广播级图像，水平清晰度分别为1050TVL，边缘清晰度为850TVL，设置每秒采集图像帧数25fps。30分钟无间断拍摄可得到图像45000，图像间隔为0.04秒，设置的图像时间间隔能够满足于脸部和眼部微表情的识别以及有效动作的时间统计，同时还能够在保证训练样本数量的前提下尽可能减低工作样本数量，提高神经网络的执行效率。

在图像中的面部由于座位位置的不同可能存在大小不一的问题，所以本文采取级联卷积神经网络（MTCNN）对人脸的存在进行检测，将人脸区域检测与人脸关键点检测放在一起。MTCNN将三个卷积神经网络的输出和输入相连，分为P-Net、R-Net和O-Net三层网络。其中P-Net是一个全连接网络，通过FCN对原始图向进行像素级的分类，快速生成具有一定可信度的人脸候选窗口，并将结果输入R-Net。R-Net舍去大部分的错误输入，并再次使用边框回归和面部关键点定位器进行人脸区域的边框回归和关键点定位，最后将输出较为可信的人脸区域，供O-Net使用。O-Net会通过更多的监督来识别面部的区域，而且会对人的面部特征点进行回归，最终输出各面部的五个特征点。

六、实验结果

根据对每张图像的类型识别结果，按照类型图像数量统计出各类型持续的时长，如图7所示，随机选取的1minute各类型时长统计。对于每种脸部和眼部的动作类型出现的时间点及维持的时长，数据分析程序部分可以自动判断学生是否处在课堂隐形消极行为当中，并可以准确地判断消极行为的时长。

图7 时长统计图

通过对研究对象的观察和访谈，根据观察样本的统计规律，能够得出各表情特征及持续时间与学生隐性消极状态对应的关系，按面部及眼部动作的识别类型分布如下：

（1）面部、眼部同时朝向黑板范围即A类状态持续时长超过1分钟，无其他类型的动作介入的可视为走神状态，对图像统计处理的时候A类图像超过一分钟以后继续持续的部分计时为走神消极隐性行为。

（2）面部未朝向黑板范围，眼部朝向黑板范围即B类状态持续时长超过1分钟，无其他类型的动作介入的可视为未听讲状态。

（3）面部朝向黑板范围，眼部未朝向黑板范围即C类状态持续时长超过1分钟，无其他类型动作接入可以视为未听讲，关注其他事物状态。

（4）面部和眼部均未朝向黑板范围（面部左右转）D类状态持续时长超过1分钟，无其他类型动作介入的可视为未听讲，关注其他事物状态。

（5）由于眨眼和低头在识别类型下都属于闭眼状态，所以统一都按照低头的时长统计处理，如E状态持续时长在2分钟以内，有可能低头记笔记或看课本，如果超过2分钟即有可能低头做课堂无关的事情，可能是看手机，也可能是看其他书籍、做其他科目作业或打瞌睡。

（6）如果该图像无法识别脸部状态，则有可能为书籍遮挡面部、回头、低头幅度过大或离座，以上全部归到F状态下，如果F状态持续2分钟以上，则认定为消极课堂行为。

本研究将人工智能算法成果运用到教学评估中，利用卷积神经网络图像处理技术自动输出学生的隐性消极课堂行为数据，节省人力，提高效率，为大学生课堂行为检测及管理提供支撑，为教学评估提供新的可靠方法，具有重要研究意义和实践价值。