基于面部特征的线上关注度检测与判断

吴 迪, 冯晓婉, 宋家豪

(沈阳师范大学 物理科学与技术学院, 沈阳 110034)

0 引 言

受新冠疫情的影响,线上教学[1]已经成为学生的重要补充学习模式之一。同时,随着信息化和智能化的飞速发展,将信息技术融入教育教学推进“教育+互联网”[2]已经成为教育教学的新常态。由于线上学习的学生缺乏教师监督和指导,师生互动性降低,学生的线上关注度下降,注意力分散[3]。因此,线上教学需实时检测学生的关注度。

近年来, 人脸检测已被广泛应用于教育教学、刷脸支付、安检系统等诸多领域。 国内外学者提出了许多人脸检测方法, 如基于HOG特征的人脸检测算法[4], ZHANG等[5]提出的MTCNN算法等。 人眼定位的方法包括基于人脸检测和面部特征点的定位算法[6]、 灰度积分投影的定位算法[7]、 Hough变换的定位算法[8]等。 注意力是学生在线学习[9]、 眼动追踪[10]、 疲劳驾驶[11-12]等方向的重要研究内容。

综上所述,本文设计了基于面部特征的线上关注度检测与判断方法。首先,采用Dlib库检测视频图像中的人脸和12个眼部特征点。其次,通过计算2个外眼角所在直线与水平线之间的倾斜角度,进而分析人脸是否正视屏幕,对未正视屏幕的人脸图像进行矫正。在矫正的人脸图像上获取眼部特征点组成的灰度图,求出虹膜和瞳孔区域,计算瞳孔中心位置。最后,通过瞳孔中心在眼部的位置判断线上关注度。

1 人脸检测及眼部特征点定位

本文基于Python程序设计语言、TensorFlow框架、OpenCV和Dlib库处理获取的视频图像。Dlib库在正面人脸检测和面部特征点定位方面,具有较好的效果。其中,dlib.get_frontal_face_detector人脸框位置检测器和shape_predictor_68_face_landmarks.dat面部68个特征点检测模型可以获取人脸位置及面部特征点。图1和图2分别为利用Dlib库检测人脸位置的效果图、基于人脸68个特征点模型对眼部12个特征点检测和定位的效果图。

2 人脸矫正

在正常状态下,由于受坐姿的影响,头部左右偏转的姿态在较大程度上影响眼部注意力状态的判断。因此,首先将实时采集的人脸图像进行矫正,然后获取眼部图像并判断眼部注意力状态,可在一定程度上提高眼部注意力状态的检测精度。

利用式(1)计算左右眼睛2个外眼角所在直线与水平线之间的倾斜角度:

(1)

(a) 未矫正的人脸(b) 已矫正的人脸图3 原图Fig.3 Original image

3 关注度判断

3.1 瞳孔中心定位

由图5可以看出,人脸矫正后,根据眼部特征点的坐标获取矩形眼部区域,在左右眼二值化图像中求取面积最大的连通区,即为虹膜和瞳孔区域。由于虹膜与眼睫毛的颜色相近且受上下眼睑边缘的影响,导致虹膜区域扩大,从而影响虹膜和瞳孔区域中心位置的确定。

(a) 左右眼矩形眼部区域(b) 左右眼二值化(c) 左右眼虹膜区域

在已矫正的人脸图像中,如果以人眼的6个特征点为顶点获取眼部灰度图像,可减小眼睫毛和眼睑边缘对虹膜和瞳孔区域定位的影响。首先将眼部灰度图像进行滤波、腐蚀、二值化等预处理,然后利用二值化图像求出虹膜和瞳孔的区域,由于医学上普遍认为瞳孔位于虹膜中央[13],故将虹膜和瞳孔区域的中心作为瞳孔中心位置,如图6所示。

(a) 原图(b) 灰度化(c) 二值化(d) 虹膜和瞳孔区域(e) 瞳孔中心位置

3.2 眼部注意力状态

眼睛的注视方向可用来判断注意力是否集中,瞳孔位置是分析眼部注意力状态的主要因素,通过计算瞳孔中心位于眼部图像中的位置,可以判断眼睛向左注视或向右注视,进而确定眼睛是否正视屏幕。在图7中:

图7 眼部注意力状态Fig.7 Attention state of the eye

1) 向左注视:d<0.45×w;

2) 向右注视:d>0.75×w;

3) 正视屏幕: 0.45×w

其中:d为瞳孔中心与图像左侧眼角之间的水平距离;w为内眼角与外眼角之间的水平距离。如果连续3秒以上检测到眼睛向左(右)注视,则判断眼睛未正视屏幕,注意力分散。

4 测试结果及结论

线上关注度检测主要对眼部注意力状态进行分析,即判断瞳孔中心在眼部图像中的位置。在BioID数据集中随机选取面部无任何遮挡的300张人脸图像并进行测试,其中,274张图像可以较好判断出人眼正视屏幕、向右注视和向左注视,图8展示了部分关注度测试结果。剩余的26张图像中,由于光照、眼睛纵横比小于眼睛闭合的临界阈值[14-15]以及默认闭眼等因素,未能准确地判断出眼部注意力状态,部分误差测试结果如图9所示。在300张图像的实验测试中,准确率约为91.3%。

(a) 正视屏幕(b) 向右注视(c) 向左注视

(a) 瞳孔中心定位误差(b) 默认闭眼

实验结果表明,在无任何遮挡的情况下,本文所设计的方法能够较好地分析眼部注意力状态,有效地判断学生线上学习的关注度。由于光照角度和面部遮挡等因素的影响,本文所设计的方法检测精度降低,在未来的工作中将进一步完善。