OpenCV+Dlib技术在课堂教学中的应用与研究

李洋 郭红利 管树林 万莉 邹杨

摘要：本文运用OpenCV+Dlib人脸特征技术，采集学生学习过程中的面部特征数据，利用相关性分析和回归模型，研究发现课堂平均抬头次数随着时间的增加呈先上升后下降的趋势，说明学生在课堂开始的前一段时间内课堂关注度较高，课堂抬头次数与课堂测试成绩之间存在较强的正向线性关系;一堂课班级学生中自然表情占绝大多数，只有少部分人会表现出好奇、疑惑或者高兴的表情;高兴和自然两种面部表情对成绩有高度显著性影响，尤其是高兴表情出现的次数越多，课堂测试成绩越高，说明愉悦的学习情感体验对学习效果和教学质量有明显的正向影响;好奇对测试成绩呈较弱的正向影响，疑惑对成绩呈较弱的负向影响。本文通过多维的量化指标分析影响学生学习效果的因素，为课堂教学改革提出一些参考建议。

关键词：OpenCV+Dlib技术;人脸68特征点定位;课堂教学;回归分析

中图分类号：TP18 文献标识码：A

文章编号：1009-3044（2020）19-0159-04

开放科学（资源服务）标识码（OSID）：

目前，国家着力深化课堂教学改革，在课堂教学改革的不断探索和实践中，计算机信息技术成为实现教学高效管理的重要手段。本文基于OpenCV+Dlib的人脸特征识别技术逐渐在教育教学中发挥着它独特的作用，为课堂教学过程性评价提供了多元化的定量依据。

近年来很多专家学者利用人脸识别技术应用于教育教学，例如金维香[1]，利用OpenCV技术设计了一套课堂考勤系统，为相关系统研发提供了一定的参考;王登林[2]，施宇星[3]，陈章斌[4]，茹峰[5]等学者也给出了有关课堂出勤的技术方案;江波[6]，对困惑表情进行设计研究，检测学生学习困惑及研究该表情对学习效果的影响;郦泽坤[7]，对学生在MOOC课程的学习过程进行表情检测，以此获得教学效果的反馈，但没有将各种表情与学生听课效率进行实证分析;韩丽[8]，结合视频监控及人脸识别技术，较为全面分析了人脸特征点与学生课堂心理状态的关系，但在学生实际收获与面部表情的关联性方面，没有进行实证的相关性分析。本文在目前研究的基础上，运用OpenCV+Dlib的人脸特征技术，抓取学生课堂面部特征数据，利用面部出现的次数来刻画学生课堂抬头数，以此反映课堂关注度，同时根据表情出现次数，分析高兴、好奇、疑惑、自然四种表情与课堂测试结果的相关性，利用多维量化指标分析影响学生学习效果的情感因素，为课堂教学改革提出一些参考建议。

1 人脸特征识别

人脸特征点检测能够实现人脸对齐，人脸特征点定位。为了又快又准识别表情，本文参考了论文《A Compact Deep Learn-ing Model for Robust Facial Expression Recognition》c9]，文中对基于神经网络的表情识别有很好的效果，公布了演示程序，但技术实现难度较大，且存在过拟合现象，而训练时所用的硬件和数据源、参数选择等因素可能导致训练效果不明显。基于此，本文选择Dlib对人脸特征点进行检测，它提供了人脸特征点检测的接口，能稳定地实现特征点检测功能，且检测精度较高。

人脸检测的实质是区别人脸图像与非人脸图像。课堂开始时，通过摄像头录入的视频传人后台，通过OpenCV+Dlib技术，自动进行分帧，图像灰度化，然后进行学生人脸的检测与定位，实现课堂抬头数的自动化记录。课堂抬头率和专注度是课堂教学的第一步保障，本文选取ti～tj时间段，记录抬头数，以此作为课堂专注度的考量。

表情特征提取在检测与定位到人脸的基础上，框出人脸并标定特征点，进行参数指标计算，最终达到系统识别表情的属性。人脸表情其实是内在情绪的折射，通常情况下，课堂上学生对于感兴趣、易接受的教学内容一般表现为好奇、自然或高兴的状态，对于晦涩难懂或不感兴趣的教学内容表现为疑惑的状态。通过抓取课堂学生表情数据，统计分析学生学习情绪的变化，探究情感变化与收获对学习效果的影响程度。

2 技术实现

2.1 0penCV+Dlib人脸特征技术

OpenCV是一个开源的、跨平台的计算机视觉库，应用广泛，包括人脸识别、表情识别等，还提供机器学习模块。在本文中OpenCV主要实现功能有：从摄像头或本地获取视频、视频取帧、实现灰度处理与降噪、实现人脸识别特征点绘制及OpenCV繪图。

Dlib是一个现代化的C++工具箱，它是一个开源的库，拥有众多模块，包括机器学习、图像处理、网络通信等领域。Dlib库使用ERT级联回归算法，用于建立集成回归树算法训练模型，并生成特征点预测器。该算法可以根据局部特征，很好地对当前形状进行描述，取得较好的定位精度，且级联的弱回归器能够拟合复杂的非线性关系。在本文中Dlib库用于读取和保存常见图像规格的例程，各种像素类型之间自动颜色空间转换，进行人脸识别，这个库支持68个特征点的提取，通过调用68个特征点预测器，最终得到人脸关键点的位置。

2.2 人脸68特征点定位技术

特征提取在构建人脸特征模型中至关重要，会对人脸识别率产生影响。人脸特征就是对人脸抽象描述的结果，可以划分为脸部轮廓、眼睛轮廓、鼻子轮廓、嘴巴轮廓，通过对这些轮廓提取特征就可以描述人脸基本情况。利用特征点对轮廓进行勾画，通过特征点位置的变化情况，得出人脸的特征模型，据此描述出人脸发生的变化从而来判断人脸的表情情况。人脸识别技术就是通过检测图像的频域空间滑动检测图像块，判别是否存在人脸区域，提取有效的特征信息，用来识别人脸状态的一种技术。

本文利用OpenCV对视频进行分帧，对除人脸区域外的多余区域进行降噪。将图片输入构建人脸特征模型，Dlib中68点人脸特征模型是Dlib库官网2018年正式更新的人脸特征模型，能够较为精准地对人脸进行描述。68特征点定位技术的实现首先是人脸检测与定位，然后对人脸描框锁定与描点操作，最终完成人脸识别，通过设置特征点的参数位置变化得到相应的表情指标。

3 数学模型

3.1 二元逻辑回归模型

逻辑回归算法是一种分类模型，预测值可以是实数范围内的任意值，输出结果为分类变量，用0表示非，1表示是，通常被应用于二分类问题，即y=0，1，假设二元逻辑回归模型表达式：

3.2 模型评价

二元逻辑回归模型通常用混淆矩阵评价模型准确度，混淆矩阵见表1

除此之外，ROC曲线也可以非常形象的反应模型的准确度，AUC为ROC曲线下的面积，它的取值范围在0≤AUC≤1，若0.7≤AUC≤0.9时通常认为二元逻辑回归模型有一定准确性，AUC越接近1准确度高。

4 实证分析

4.1 数据采集

数据源采集对象为22名自愿参加实验的在校学生，实验在学校机房实施，利用Python语言，以0.5s为记录时间间隔，采集到自愿者在本次实验过程中的抬头次数和人脸表情特征数据（抬头次数记为xl、高兴表情次数记为x2、好奇表胯次数记为x3、疑惑表情次数记为x4、自然表情次数记为x5），每5分钟为一个阶段，每阶段末做一个课堂测试，测试结果记为Y（做对标记为1，做错标记为0），本次实验共得到198个有效样本数据，抬头平均次数为3956次，高兴平均次数为294次，好奇平均次数为34次，疑惑平均次数为155次，自然平均次数为3473次。

4.2 数据初步分析

利用描述性统计方法可知学生在本次实验中高兴表情占7.5%，好奇表情占0.8%，疑惑表情占3.9%，自然表情占87.8%。说明学生在学习过程中自然表情占绝大多数，只有少部分人会表现出好奇、疑惑或者高兴的表情。

将总实验时间等分为15个时间段，统计出每个学生各时间段抬头次数及表情次数的平均值，得到图1和图2。

图1直观地反映出一个时间段内，同学在课堂中的表情变化情况，其中疑惑、高兴、自然在一段时间内无太大变化，学生表现出自然的表情会随着时间的变化，平均次数会逐步增加。图2反映出在一段时间内，同学在课堂中平均抬头次数随着时间的增加，平均抬头次数呈先上升后下降的趋势，说明学生在课堂开始的前一段时间内课堂关注度较高。

利用相关性分析方法，学生抬头次数与课堂测试成绩的皮尔逊相关系数为0.876，说明抬头次数与线上测试成绩相关性很高。两者的散点图如图3所示，发现两者呈正相关趋势。进一步，利用一元线性回归模型，得到模型的R为0.876，概率P值为0.000，说明抬头次数与成绩之间的线性回归效果显著，且一元线性回归方程为γ= 0.876x1+1.013×10^-13≈ 0.876x1，此方程说明学生抬头次数与在线测试成绩具有很大的相关联系，当课堂抬头次数增加时，课堂成绩也会随之提升。

学生四维表情之间的相关性分析结果见表2。

表2数据可知：高兴与好奇、高兴与疑惑、好奇与疑惑、好奇与自然、疑惑与自然之间的相关系数均很低，显著性Sig值均大于0.05，说明它们之间线性相关性不强，而高兴与自然的相关系数为0.715，说明这两个表情之间存在一定的线性性质，可能会对下一步计算结果造成影响。

以学生四种面部表情为解释变量，课堂测试成绩为被解释变量，利用多元线性回归模型，利用回归分析原理得到决定系数R2为0.859，概率P值为0.000，说明解释变量和被解释变量之间线性回归效果显著，模型拟合效果理想，同时得到对应的多元线性回归方程为γ= 0.534x2+ 0.13x3 - 0.061x4+0.481x5+1.015×10^-13。该方程表明高兴、自然这两种表情和课堂测试成绩呈正相关性，而对应的sig值均小于显著性水平0.05，说明高兴和自然两种面部表情对成绩有高度显著性影响，而好奇对测试成绩呈较弱的正向影响，疑惑对成绩呈较弱的负向影响。

4.3 二元逻辑回归分析

将样本数据分为两部分，训练集：测试集=7：3。利用python得到各类评价指标、混淆矩阵和ROC曲线，结果依次见表3、表4，图4、图5、图6、图7。

利用python得到二元逻辑回归模型系数以及置信区间，结果见表5。

从结果数据看出学生在学习过程中高兴情绪对课堂学习效果呈显著的正向影响，疑惑情绪对学习效果呈显著的负向影响。

5 总结

提高教与学的质量和效果要从课堂抓起。目前课堂教学特别注重强化学生认知和情感体验。本文利用OpenCV+Dlib人脸特征技术识别课堂人脸数，统计课堂抬头数以此刻画课堂关注度，研究发现课堂平均抬头次数随着时间的变动呈先上升后下降的趋势，说明学生在课堂开始的前一段时间内课堂关注度较高，利用一元回归模型发现课堂抬头次数与课堂测试成绩之间存在较强的、线性的正向相关关系。采用人脸68特征点定位技术，将面部区域定义为16个形变特征&34个距离特征，对比参数的变化，进行机器的表情分类。通过该技术，采集到学生在课堂上的四种表情，利用统计方法发现一堂课班级学生中自然表情占绝大多数，只有少部分人会表现出好奇、疑惑或者高兴的表情，利用回归模型分析得到高兴和自然两种面部表情对成绩有高度显著性影响，尤其是高兴表情出现的次数越多，当堂课测试成绩越高，说明愉悦的学习情感体验对学习效果和教學质量有明显的正向影响;好奇对测试成绩呈较弱的正向影响，疑惑则呈较弱的负向影响。

本文通过人脸特征技术实现了对课堂质量监控的多维评测，利用多维的量化指标分析影响学生学习效果的情感因素，旨在为教学质量实施监控与评价提供自动化管理新手段，实现信息技术与教育教学的有机融合。

参考文献：

[1]金维香，邢晨.基于OpenCV的人脸识别课堂考勤系统[J].浙江水利水电学院学报，2019（6）.

[2]王登林，严义辉，吴文平，等，基于人脸识别下高校课堂考勤系统的分析[J].计算机产品与流通，2019（6）.

[3]施宇星，基于人脸识别的学生课程出勤管理系统设计分析[J].中国新通信，2019（1）.

[4]陈章斌.基于深度学习人脸识别技术在高校课堂点名中的设计及实现[J].兰州文理学院学报（自然科学版），2018（6）

[5]茹峰，彭晓宏，侯立刚，等，基于人脸识别的学生课程出勤管理系统设计[J].现代电子技术，2016，81-84.

[6]江波，李万健，李芷璇，等.基于面部表情的学习困惑自动识别法[J].开放教育研究，2018，24（4）：101-108.

[7]郦泽坤，苏航，陈美月，高克宁.支持MOOC课程的动态表情识别算法[J].小型微型计算机系统，2017，2096-2100.

[8]韩丽，李洋，周子佳，等.课堂环境中基于面部表情的教学效果分析[J].现代远程教育研究，2017，97-103.

[9]Chieh-MingKuo， Shang-Hong Lai.A Compact Deep LearningModel for Robust Facial Expression Recognition[J].IEEE国际计算机视觉与模式识别会议，2017.

【通联编辑：唐一东】