基于人脸表情识别的在线学习情感计算研究

杨金朋+薛耀锋+李佳璇+郭威

摘 要 在线学习是实现继续学习与终身学习的有效方式。通过人脸表情识别技术对在线学习平台的学习者在学习过程中的情感进行计算与可视化处理，帮助学习者和学习平台实时掌握学习者的情感状态，在一定程度上解决了在线学习过程中学习者情感缺失问题，使在线学习平台有可能为学习者提供个性化学习支持服务。

关键词 在线学习；人脸表情识别；深度摄像头；个性化学习；情感计算

中图分类号：G652 文献标识码：B

文章编号：1671-489X（2017）18-0035-03

1 引言

在线学习是教育产业化发展的主要渠道，已成为远程教育、教育技术及图书馆等领域的研究热点之一[1]。随着信息化技术的快速发展，Moodle、MOOC、可汗学院、网易云课堂等在线学习平台逐渐成为莘莘学子课外求学的神器。数据显示，2010年美国注册在线学习的大学生人数比2009年多了将近100万；截至2013年，世界各国的在线注册学生人数占高等教育人数的比例已超过25%[1]。

近几年来，在线学习衍生出来的翻转课堂、移动学习、虚拟学习等学习方式逐渐成为研究热点。《国家中长期教育改革和发展规划纲要（2010—2020 年）》明确提出[2]：“到2020年，基本实现教育现代化，基本形成学习型社会。”在线学习作为新时代产生的学习方式，可以为学习者提供终身学习和个性化学习的学习环境，是形成学习型社会的有效途径。

但是由于在线学习的局限性，在线学习者经常因情感得不到有效疏通而对学习失去兴趣[3]。数据表明，情感关怀在很大程度上能够提高学习者的学习效率与兴趣[4]。

本文基于人脸表情识别技术的研究，设计并开发了在线学习情感计算系统，实现对在线学习者人脸表情数据的实时收集和情感状态计算，并对学习者的情感数据进行可视化处理。通过可视化数据分析发现，在线学习者的脸部表情会在一定程度上反映出其当前的学习状态。在线学习平台和教学工作人员可以根据学习者的情感数据，了解他们的学习状态和学习特点，调整教学策略，为学习者提供个性化的学习服务。

2 在线学习情感计算系统体系架构

设计开发的在线学习情感计算系统的体系架构如图1所示。此系统在学生端安装深度摄像装置，实时获取学生在线学习的情感数据，对收集到的学生情感数据进行实时分析与处理，并通过互联网将信息和数据结果实时传送给服务器；服务器根据接收到的信息和数据，将学生当前情感状态进行识别。此应用系统将在线学习者的情感识别、划分为六种常规情感类型（开心、悲伤、惊讶、害怕、生气/愤怒、中性等），并实施相对应的学习干预策略或干预措施，从而进一步提高在线学习者的学习效率，实现新一代在线学习平台的个性化学习服务目标。系统架构主要由以下几个模块构成。

在线学习者脸部表情数据收集及处理 学习者通过验证登录在线学习情感计算系统，摄像设备自动开启，捕获人脸表情原始数据。通过特定接口，人脸表情数据传入在线学习情感系统后台数据库，系统利用情感计算算法对这些数据进行处理并提取情感特征，从而将情感进行分类。

数据可视化 为了更直观地了解在线学习者的情感状态以及情感变化轨迹，本系统将情感数据进行可视化处理，学习者和在线平台管理人员能够方便地查看在线学习者的情感轨迹以及实时的情感状态，识别在线学习者的整体情感反映，并做出有效的评价与干预。

行为干预 在人脸表情识别的基础上，对学习者做出行为干预，以提高在线学习效率。从学习流程来看，干预措施可以分为两种：过程干预与最终干预。顾名思义，过程干预就是在学习过程中进行干预，当检测到学习者在学习过程中长时间出现悲伤等消极学习情绪时，应给予来自文字、表情或虚拟教师的鼓励；当检测到学习者处于开心等积极学习情绪时，应适时给予表扬或不作为（为避免干扰学习者专心致志地学习）。最终干预是在学习者阶段性学习结束后进行的干预，主要体现在学习策略的调整、学习资源的更替以及与来自真实世界教师或其他学习者的交流与沟通等。

3 基于深度摄像头的人脸表情识别技术

在线学习系统情感数据可以多途径多渠道获得：可以通过摄像设备获取脸部表情、身体姿态，可以通过声音的分贝、高低等进行语音情感识别，或者对在线学习者发表的文本数据进行挖掘处理以提取情感因素，甚至可以依靠可穿戴设备感知学习者的心理和生理的变化来预测学习者情感的变化[5]。而研究结果表明，感情表达等于7%的言辞、38%的声音以及55%的面部表情[6]。鉴于现实生活中的推广、实用和技术性因素，本文采用基于深度摄像头的脸部表情数据，探究在线学习者的学习情感。

深度摄像头是一种利用时间或空间间隙实现3D立体摄像的摄像装置。相较于普通摄像头，深度摄像头可以实时获取当前人脸的色彩信息以及深度信息，从而进一步对人脸位置进行定位，收集人脸运动单元（Action Units，AUs）和脸部特征点（Facial Feature Points，FPPs）。深度摄像头的存在方式有很多种，既可以通过单个摄像机多次不同对焦或移动角度计算空间距离，也可以通过双摄像头的视差或相位延迟等实现深度测量。深度摄像头的实现方式多样，其原理也各有不同，但归根结底都是基于空间、时间技术实现深度距离的计算[7-9]。

基于深度摄像头的人脸表情识别技术，主要是通过对反映情感特征的人脸AU的识别，实现实时人脸定位与追踪、提取脸部情感特征、進行脸部表情分类等功能。本文主要是通过对嘴巴、眼睛、眉毛的特征分析，识别用户当前的学习情感状态。

4 在线学习情感计算系统开发与实现

在线学习情感计算系统是在Visual Studio开发平台的Windows呈现基础（Windows Presentation Foundation）上开发的，采用高级面向对象编程语言C#。本研究通过将人脸表情识别技术结合到已有的在线学习系统中，实现学习者在线学习过程中人脸表情数据的收集、分析与可视化。endprint

数据的收集 本研究通过Kinect深度摄像头收集学习者在线学习的脸部表情数据。当学习者打开在线学习平台进行视频学习时，Kinect深度摄像头开始工作，后台人脸表情识别模块自动运行，学习者脸部表情数据被实时监控并记录到后台数据库。

系统可靠性分析 为了检测系统的可靠性，本研究招募12名在线学习者参与系统测试。在测试过程中，要求被试学员学习相同的在线学习资源，情感计算系统实时对在线学习过程中学员脸部表情数据进行收集与处理。测试结果表明，测试者的表情轨迹与实际表情一致，验证了系统的可行性和有效性。

数据处理及可视化分析 当学习者进行在线学习时，Kinect深度摄像头开始进行数据采集，情感计算模块对数据进行分析与处理，并将可视化界面实时显示在电脑终端，如图2所示。图2的折线既反映了在线学习者在线学习的整体学习情感，又反映了在线学习者的过程性学习情感。从整体学习情感来看，图2数据对应的学习者在学习过程，中性情绪比例最大，愉悦和惊奇等学习积极情绪比生气、悲伤等消极情绪较多，说明此在线学习者对所观看视频具有良好的学习兴趣，观看效果总体较好。而基于在线学习者的过程性脸部表情，则能针对单个知识点对在线学习者的学习情感进行分析。

5 结束语

随着互联网的快速发展，学习方式发生天翻地覆的变化。作为终身学习、泛在学习的有效途径，在线学习将逐渐成为人们学习生活中的常态。然而相较于传统的学习方式，情感缺失成为在线学习一大缺陷。将人脸表情识别技术与在线学习平台紧密结合，可以帮助教师和其他教学工作人员实时掌握学习者的学习情绪，更好地解决师生间由于不能面对面交流而产生的情感缺失问题。随着信息技术的进一步发展，情感计算将成为在线学习平台更大的助推力。

参考文献

[1]王红艳，胡卫平.中国在线学习研究现状与启示[J].中国远程教育，2013（8）：30-34，95.

[2]薛薇，穆青，聂阳阳.青少年发展政策选编及评析（下）[M].北京理工大学出版社，2012.

[3]李勇帆，李里程.情感計算在网络远程教育系统中的应用：功能、研究现状及关键问题[J].现代远程教育研究，

2013（2）：100-106.

[4]王济军，马希荣，何建芬.现代远程教育中情感缺失的调查与对策研究[J].现代远距离育，2007（4）：29-31.

[5]晋欣泉，王林丽，杨现民.基于大数据的在线学习情绪测量模型构建[J].现代教育技术，2016（12）：5-11.

[6]孙波，刘永娜，陈玖冰，等.智慧学习环境中基于面部表情的情感分析[J].现代远程教育研究，2015（2）：96-103.

[7]余涛.Kinect应用开发实践：用最自然的方式与机器对话[M].机械工业出版社，2013.

[8]张毅，罗元，徐晓东.移动机器人技术基础与制作[M].哈尔滨工业大学出版社，2013.

[9]Hansard M， Lee S， Choi O， et al.Time of Flight Cameras： Principles， Methods， andApplications[M]. Springer Publishing Company， Incorporated， 2012.endprint