基于深度学习的课堂注意力检测

2021-12-17 11:18于子平程杰丁岩康仇睿王单单李伟仙
电子测试 2021年22期
关键词:眼部人脸姿态

于子平,程杰,丁岩康,仇睿,王单单,李伟仙

(北京信息科技大学仪器科学与光电工程学院,北京,100192)

0 引言

注意力是指人们心理活动集中于某一个事物的能力,它反映了人们对这一事物的感兴趣以及专注程度。注意力历来是教育教学中关注的热点,吸引学生注意力是当代课堂的首要任务。在课堂教学中,学生注意力可以有效反应课堂教学状态,甚至与课堂教学效果戚戚相关。因此,有效评估课堂学生的注意力可提供客观数据,对教育教学具有重要的指导作用。

注意力的检测方法主要可分为3种。一是人工法,通过专家现场观察进行打分,但是该方法主观性强,对专家能力要求很高。二是答题法,通过完成特殊设计的评分量表,根据答案量化待测人员的注意力情况,该方法是目前多动症、自闭症、老年痴呆等医学诊断中注意力检测的重要诊疗手段,但该方法仅适用于为脑部功能缺陷障碍患者的常识反应,而无法围绕功能健全者对某一具体事件的反应提供注意力情况报告。三是仪器检测法,通过专门穿戴仪器跟踪待测人员的脑电或人眼信号并进行注意力评估,该方法能具体到特定事件的注意力检测,但是由于需要专门仪器,介入检测将对检测结果造成影响。比如Veliyath N提出的头戴式眼动仪注意力检测方法,会造成受试者行动不便,使得受试者的反应出现偏差,影响注意力检测结果[1]。因此,针对本文课堂注意力检测,目前尚无能直接利用的无介入注意力检测方法与仪器。

由于学生脸部和眼部随注意力变化反应较大,可作为注意力表征特征,因此本文拟利用教室监控相机拍摄的课堂视频,通过深度学习算法进行多目标的脸部和眼部特征提取,根据头部姿态估计与眼部疲劳判断,检测课堂所有学生的注意力状态[2-3]。该方法无需穿戴设备,无介入反应,可真实准确还原课堂注意力,为教学提供指导信息。

1 课堂注意力检测

1.1 人脸检测

随着深度学习进入目标检测领域,人脸检测作为目标检测的一个子方向也迅速发展起来[4-6]。本文利用libfacede tection模型完成监控视频中出现的学生人脸检测,并返回图2所示的人脸68个特征点位置,为后续的人脸姿态估计和眼部特征提取提供依据[7]。libfacedetection模型的骨干网络一共有21层,由多个卷积/归一/激活模块和最大池化层组成。骨干网络分成4个分支进入检测层,网络对人脸68个特征点使用锚框进行回归,再经过非极大值抑制去除冗余检测框后输出人脸检测的置信度、68个特征点的位置和交并比。

图1 人脸模型的68个特征点

图2 坐标系间的转换

1.2 人脸姿态估计

在计算机视觉中,物体的姿态是指相对于某一坐标系的相对取向和位置。如图2所示,描述人脸特征的人脸坐标系以鼻尖为原点O,U轴水平向右,V轴垂直向上。假设已知从人脸坐标系到位于光心的相机坐标系的旋转矩阵R和平移矩阵t,且已知摄像机的内参矩阵K,则可以通过式(1)获得人脸某个特征点P在人脸坐标系和像素坐标系下的转换关系。

其中,内参矩阵K通过张正友标定法获得[8],人脸坐标系下的人脸特征点的三维坐标(U,V,W)通过3DMM模型计算获得[9]。本文利用人脸特征点8,30,36,45,48,54,再根据式(1)计算当前人脸位置处相对相机的位置关系R和t,接着计算人脸相对于相机坐标系的欧拉角Pitch、Yaw和Roll。本文假设学生低头为注意力不集中,主要与Pitch角有关,因此,当Pitch角超过阈值,则判断为注意力不集中。

1.3 眼部疲劳检测

据统计,正常人每分钟眨眼次数约为20次,每次眨眼间隔时间约为3s。当学生走神时,每次眨眼间隔时间会超过3s;当学生困乏时,眨眼频率会增加约为平均每秒眨眼一二次。因此,通过判断眨眼频率是否在1/4 到1/2之间,可以判断学生此时是否注意力集中。眨眼频率fb定义如下:

其中,n为时间段t内发生眨眼动作的次数,可由眼睛在图像中的纵横比来确定。N为时间段内获取的视频帧数。以左眼为例,选取图1的左眼的6个特征点(36,37,38,39,40,41),则眼睛纵横比定义为:

其中,EAR表示眼睛纵横比,y表示图像垂直方向纵坐标,x表示图像水平方向横坐标。在睁开眼的情况下,眼睛纵横比是保持不变的或者在小范围浮动,当眼睛闭合的瞬间,该数值会迅速下降,通过该数值迅速下降的次数来表示眨眼次数,由此计算出在时间t内眨眼次数n。

1.4 注意力检测

本文注意力检测以头部姿态估计为主,眼部疲劳检测为辅的方式展开。首先通过头部姿态估计计算Pitch角。根据文献[10]Pitch角应位于[-60.4°,69.6°],以此排除异常姿态,再判断此时学生是否为低头。若估计结果为低头,则记录为注意力不集中;若估计结果为抬头,再通过眼部疲劳检测,当眨眼频率超过2.3中给定的频率范围时,记录为注意力不集中;其余情况记录为注意力集中。

2 实验

人脸检测训练使用WIDER FACE数据集,并通过对数据集进行多尺度缩放、随机拼接的数据增强技术提高了数据的多样性。采集100张教室中学生听讲的图片对训练的模型进行准确率测试,结果显示课堂视频人脸检测平均准确率达到了84.1%,图3给出了人脸检测模型的检测效果,可很好的框选人脸区域,并给出人脸的68个特征点。

图3 课堂中的人脸检测和特征点检测

受试者坐在一个直立的椅子上,通过眼睛正视相机初始化Pitch角,受试者再自然低头,重复三次动作,取平均值获得低头时Pitch角度阈值。阈值确定后,人脸姿态估计结果如图4所示,其中蓝、绿、红线段分别代表图2中人脸坐标系下的U、V、W轴。

图4 人脸姿态估计

对多张闭眼图像随机抽取样本,获得眼部横纵比阈值。实验中所设定的阈值范围为0.02~0.035,睁眼、闭眼测试结果如图5所示。使用录制的眨眼视频对眼部疲劳检测效果进行测试,准确率为检测到的眨眼次数与实际的眨眼次数的比值,经过5次测试,得到平均准确率为93.2%。

图5 眼部特征检测

为了验证模型准确率,使用相机采集视频,进行注意力检测测试,测试结果如图6所示,视频中学生有6人,最终识别出5人,其中一人由于脸部未出现在图像内,因此未检测到。检测结果表明教室后方的学生2、4被准确地检测到,小脸检测效果仍然较好。并且从专注时间可以看出学生1、5专注时间较长,符合预期结果。

图6 课堂注意力测试

3 结论

在无介入的环境下,鲁棒的人脸检测是注意力检测的前提,而头部姿态估计和眼部疲劳检测是注意力检测的关键。本文通过深度学习算法进行多目标的脸部特征提取,根据6个脸部特征点估计头部姿态,并通过使用眨眼频率来判断注意力是否集中的方法来弥补头部姿态估计中抬头时注意力检测的错误判断,提高了准确性。

猜你喜欢
眼部人脸姿态
有特点的人脸
一起学画人脸
攀爬的姿态
三国漫——人脸解锁
全新一代宋的新姿态
跑与走的姿态
为什么要做眼部检查
戴眼罩有助消除眼部疲劳
如何消除用电脑后的眼部疲劳
长得象人脸的十种动物