基于人脸识别和行为监测实现在线视频学习质量的评估

刘 刚，胥友鹏，沈陈赞

(苏州市职业大学 计算机工程学院，江苏 苏州 215104)

随着互联网技术的发展和广泛应用，“互联网+教育”必将给传统教学模式的变革带来巨大的冲击[1]。为了适应“互联网+教育”新常态，各高校纷纷引入慕课信息化教学平台，开发自己的在线视频教学资源，实现信息化教学改革。然而，这些平台大都只注重优质教学资源的建设与共享，缺乏对学生学习质量的监督和评估，为此，设计并实现一个基于人脸识别和行为监测的在线视频学习质量评估软件，可方便教师及时有效地掌握学生的学习质量。

1 平台界面的设计

在线视频学习平台界面分上中下三个区域，上面区域是功能菜单区；中间区域按照课程的分类，罗列出对应课程下的视频资源；下面区域是状态显示区。门户界面如图1所示。用户成功登录软件之后，通过点击图1界面中课程链接可进入视频学习功能界面。该界面包括视频资源列表，视频播放区，图像捕获，行为监测这四个区域。

图1 在线视频学习平台的门户界面

2 学习质量评估软件的设计

软件功能结构包括系统管理、学习监测和质量评估功能，如图2所示。基于人脸识别和行为监测的在线视频学习质量评估软件主要包括数据采集、数据存储和数据分析三个模块。软件逻辑框图如图3所示。

图3 软件逻辑框图

图2 软件功能结构图

3 关键技术的实现

3.1 流媒体技术

流媒体是指采用流式传输技术在网络上实时播放的媒体格式[3]。即把连续的多媒体文件经过压缩处理后放在流媒体服务器上，用户观看时，流媒体服务器向用户顺序或实时的传输各个压缩包，实现边下载边观看的效果，节省用户的存储资源。

本软件利用微软的Windows Media Technology技术[4]在Windows Server 2008时搭建了自己的流媒体服务器。其核心是MMS协议和ASF格式文件。MMS用于网络传输控制，ASF用于多媒体内容的压缩和编码。构建的流媒体服务器视频资源如图4所示。

基于人脸识别和行为监测的在线视频学习质量评估软件的硬件部署由流媒体服务器、人脸识别应用服务器和数据库服务器以及用户、PC机四部分构成。硬件部署图如图5所示。PC机上运行视频教学软件，用户可在上面观看教学视频，同时后台会对用户的人脸及行为进行自动监测；流媒体服务器上部署有微软的流媒体服务，包括各种视频资源经过压缩、编码后形成的ASF格式文件；人脸识别服务器上部署了人脸识别的Web API服务；数据库服务器部署了SQL Server 2008，用于业务数据的存取。

图4 构建流媒体服务器视频资源

3.2 人脸识别Web API

人脸识别技术是基于人的脸部特征进行身份认证的一种生物识别技术[5-6]。通过摄像头捕捉人脸面部图像，利用人脸识别算法，自动在图像中检测人脸、识别身份。一般经过人像采集、图像处理、特征提取、模式识别四个步骤。Web API是网络应用编程接口[7]，其利用Http协议构建面向各种客户端的服务。

本软件基于人脸特征点提取的方法实现人脸识别算法。并将复杂的人脸识别服务封装成Web API接口，只通过发起GET或POST请求，进行简单的参数传递，完成人脸识别服务的快速调用。降低了软件开发的复杂度，实现了软件的松耦合。具体API调用代码如下：

图5 硬件部署图

3.3 有效时长测算

用户在视频学习的过程中可能存在跳播或快进行为，以此来达到快速完成视频学习任务的目的。为了有效测算用户的实际观看时长，利用多元集合求交集、并集思路，设计了一个有效时长测算方法。算法的输入是由若干播放时段(PlaySegment)构成的列表(List)，每个PlaySegment中包含开始时间(StartTime)和结束时间(EndTime)两个元素。视频观看有效时长算法具体实现如下：

输入： list

输出： 有效时长validPlayTime

3.4 综合评价机制

为了有效地评估用户在一次视频观看后的学习质量，按照层次分析法[8-9]设计了一种综合质量评价机制。该评价机制包含有效人脸识别比率和有效观看时长比率两个评价指标，评估公式如下：

以上评价公式中各参数含义如表1所示。

表1 评价公式中各参数含义

4 应用分析

以“计算机网络基础”课程中的一节视频课程“子网规划与划分”为实例。该视频总时长为484 s，即L=484；每间隔5 s进行一次人脸识别，即∆=5；取两项评价指标的权重相同，均为0.5，即ωf=ωt=0.5。视频学习完成之后，学习情况从视频观看、人脸识别两个方面统计，结果如图6和图7所示。

图6 视频观看统计结果

图7 人脸识别统计结果

由图6和图7可以看出，本次视频观看的有效时长l=362 s；成功识别出的人脸次数n=62次。由式（2）和式（3）可得出：Rf=0.693，Rt=0.748。进一步由式（1）可得出评估得分S=72.05。将0～100划分为四个等级，本次视频学习质量为“良”。

通过本例就可以评估出一次视频学习的质量，每一门课程由很多个视频资源组成，通过统计分析每次的视频学习质量，可进一步评估出该门课程的学习质量评估情况。这样就有助于老师和家长及时掌握学生的学习情况。

5 结论

本研究设计并实现了一个基于人脸识别和行为监测的在线视频学习质量评估软件。软件利用人脸检测和识别技术，在学习的过程中，通过摄像头将捕获到的学生图像输入给人脸识别服务，同时对学生在视频观看过程中的行为进行记录分析，最终在视频播放完毕之后，智能化的给出学习者的学习质量评价，方便教师及时有效地掌握学生的学习质量。