基于改进人脸定位方法的线上教学效果分析与评价

曲柄光 刘雅楠 张立春 邰艳茹 张莹

（齐齐哈尔医学院 黑龙江省齐齐哈尔市 161006）

1 引言

面对突发的大型卫生公共事件，需要教育科技工作者思考通过技术手段从根本上提高线上教学质量。人脸表情识别出发点是对学生在线上教育过程听取重点知识时表情图像的捕捉和分析,本文基于作者教学学习中的实践，以表情图像预处理为切入点，重点解决这一环节中人脸定位准确度问题，提出改进后的人脸定位方法，为科学分析线上教学效果提供图像支持。并基于此项技术的改进，探索建立科学育人、高效互动、精准全面的线上教学体系[1]。

2 线上教学需要人脸表情识别

线上教育以互联网平台为依托，实现了线下教学活动的整体迁移，一方面通过现代化技术手段和新兴媒体形式，补充了教科书中知识的缺乏，增强理论的立体性、直观性，搭建师生平等、密切互动交流的平台；另一方面由于教学手段的丰富多样，激发学生的学习兴趣与热情。同时，线上教育在2020年初的大规模应用实践中，也暴露出教育者和受教育者需要转变教学和学习理念的问题，尤其是对于受教育者来说，需要激发主动学习的内生动力。同时，对于教师的课堂管理与学情反馈，单一的打卡、签到等信息数据和问卷调查手段并不能完整反映教学质量与学生接受程度。

只有准确把握上文所述线上教学的特点与问题，才能明确人脸表情识别功能对于评价线上教学效果的关系，即人脸定位—确认学生本人进入课堂；表情特征提取—确认学生对于知识是否理解；表情分类识别—确认学生对知识的接受率。

3 人脸表情原始图像的获取

在线上教学过程中，要求师生特别是学生在个人操作端安装并开启具有摄像功能的设备，在教学过程中，教师利用教学软件进行教学过程录制，结合教学内容的时间线，如图1所示，利用现有软件截取教师想获得的与知识点讲授时间一致的学生远程表情图像，分别得到图1 中（a）厌恶（b）高兴（c）疲倦三幅原始图像。

4 人脸定位

综上所述，进行预处理的目的一方面是由表情图像的心理学意义所决定，更为重要的是，在现有条件下的线上教学过程中，教师不可能在同一时间关注到每个学生表情并做出适合调整相应教学节奏的逻辑判断[2]。且获取的初级图像背景多为学生家庭生活环境，不利于系统做出准确表情识别判断，不利于后续表情分析。

4.1 减弱图像相关细节

（1）在得到的人脸表情原始图像后，在对图像进行灰度处理后要进行均值滤波处理，如图2所示，以减少毛刺对后期形成连通域的影响。

图1：人脸三种表情的原始图像

图2：人脸三种表情图像线性滤波效果

图3：人脸三种表情图像形态学处理效果

图4：人脸三种表情图像人脸定位结果

图5：人脸三种表情图像特征直方图

（2）通过二值化减少运算再进行形态学处理，如图3所示，一个变化较大的因素即被采集者的肤色变化[3]，在以往的实验中肤色较深的被采集者图像在二值化后难以形成较大的连通域，故在此采用形态学处理的方法并考虑结构元素较大的实际情况，能够形成较大连通域。

表1：采用SVM 方法对表情图像分类识别的结果

4.2 闭合操作

（1）在4.1 减弱图像相关细节后，为避免图像信息缺失，需要进行边界加粗。

（2）加粗边界后进行再闭合操作并腐蚀，修复图像细节、节约时间成本，为寻找最大连通域做准备。

4.3 人脸定位结果

由图3 和图1 的对比可知，在采用本文的方法后，平台能够忽略背景环境的干扰，识别出最大连通域并用矩形框标识出人脸的主要部分，由于人脸持续性表情特征主要由嘴巴、眼睛和眉毛决定，实验证明,嘴角形状突出反映表情特征[4]，眼睛、眉毛次之，皱纹作为动态特征,存在实验对象年龄、工作环境等易变相关因素而这些显著的表情特征大多存在于人脸主要区域。

本文改进人脸定位方法的主要思路是通过在减弱图像相关细节、闭合操作中优化相关结果来达到提升图像预处理的效果。如图4所示，我们改进后的人脸定位方法，准确定位并标记出的人脸区域对后续表情特征提取具有重要意义。

5 人脸表情特征提取与识别

5.1 人脸表情特征提取

目前常用的LBP 算法，即Local Binary Pattern 属于静态特征提取算法中的局部法，这种局部二值模式算法是典型的利用结构与统计相结合的纹理特征分析方式描述人脸图像特征像素点与各个图像像素点之间灰度关系的局部特征的非参数算法，LBP 算法关注的重点是邻域和目标中相对而言的灰度值，而不是绝对意义上的灰度值，故受光照影响特别小[5][6][7]。在进行均值化后，可有效解决特征维数大，整体计算量大的问题[8]，能够对于某些能代表整体特征的局部特征区别对待。由于本文中所采集的图像信息拥有者个人特征差距受民族、地域、环境影响差距较大，纹理特性的不确定性较强，故采用此算法。

LBP 算法为：

其中,N、R 分别表示该像素点的临域点个数、半径（所谓半径就是以中心像素点作为圆心,连接临域点所做的圆的半径），s(x)定义：

综合公式（1）（2）计算LBP 的灰度值后得到特征向量，如图5所示，将不同区域的特征向量连接形成特征直方图。

5.2 人脸表情图像的分类识别

鉴于人脸表情图像大规模的数据特点、本文所要求的情感信息真实性的特点，及作者所在单位实验条件，由于传统且已普遍应用的支持向量机方法SVM 人为参数设定少，几何解释简明直观，可操作性强。文献[9]采用这一方法对5.1 获取的定位后的人脸表情特征直方图进行识别，可分类出六种基本表情，如表1所示，故建议选用此统计方法对于教师进行学情反馈提供技术支持。

6 结语

人脸表情识别技术难度大，需要软硬件同时研发设计，作者通过对表情识别流程的分析与实践，重点提出图像预处理环境如何准确定位到人脸，经实验证明，可以为后续研究提供有效支持。但应该看到在人脸表情识别技术的其他环节仍有提升空间，一方面我们要大力推广这一技术，使其早日投入包括线上教学在内的各方面应用，另一方面要找准问题，群策群力，加大技术攻关，使这项技术更加成熟。

同时，线上教学的特点决定了不单单需要我们提升表情识别技术，用以检验教学成绩。更要从课程资源信息化、人机交互智能化各个角度开展研究，要以改革教学理念、强化技术手段为主线，以教师先行先试、学生互动反馈、调整优化创新为流程，在推广、服务、维护等环节下功夫，让线上教学能够真正独挡一面，切实增强教育工作者面对突发公共卫生事件的教学手段。