基于大数据的在线学习情绪测量模型构建*

晋欣泉 王林丽 杨现民

（江苏师范大学智慧教育学院，江苏徐州221116）

基于大数据的在线学习情绪测量模型构建*

晋欣泉 王林丽 杨现民[通讯作者]

（江苏师范大学智慧教育学院，江苏徐州221116）

文章基于大数据的一般处理流程，综合视频监控、可穿戴设备、网络爬虫、情感识别、文本挖掘等技术，构建在线学习情绪测量模型，包括数据层、技术层和应用层，并按其功能划分为四个模块——用户数据模块、分析诊断模块、情绪集成模块和反馈交互模块，旨在解决在线学习中情感交流匮乏的问题。最后，文章就模型构建的关键问题进行了探讨，提出了相关建议，以期为在线学习的建设与发展提供参考。

大数据；情绪测量；在线学习；模型构建

引言

在线学习打破了传统教学模式中时空的限制，已经成为一种不可或缺的学习方式。目前越来越多的学者开展了在线学习领域的相关研究，但大部分的研究主要集中于在线学习的教学设计和资源建设等方面，而忽略了在线学习中情绪测量的研究[1]。

情绪是影响在线学习效果的重要因素之一。研究表明，情绪渗透在我们学习生活的方方面面，具有动机与知觉作用、唤醒与信号功能的积极力量，对我们的学习能起到促进或者抑制作用[2]。近年来，研究者开始关注在线学习环境中学习者的情绪问题，通过对在线学习者产生的大量情绪相关数据进行采集、分析与识别，进而了解其所处的情绪状态。大数据技术能够从海量的教育数据中挖掘出具有巨大应用价值的信息，为情绪测量的研究提供技术支撑，因此，本研究基于大数据技术，构建在线学习情绪测量模型，以期为今后的研究工作提供借鉴。

一在线学习情绪测量研究现状

目前，国内外已有不少关于情绪测量的研究，测量方法主要包括主观测量和客观测量两种[3]。主观测量以自我报告法为主，通过量表来测量学习者的主观情绪体验。Now lis[4]和David等[5]分别通过编制心境形容词量表（Mood Adjective Check List，MACL）和积极消极情绪量表（Positive and Negative Affect Schedule，PANAS）来测量学习者情绪。国内中科院心理研究所修订的《2012中文简化版PAD情绪量表》[6]、董妍等[7]编制的的《青少年学业情绪问卷》和汤诗华等[8]编制的成人在线学业情绪量表（Adult Online Academic EmotionSchedule，AOAES），都是通过量表测量学习者的情绪状态。但是，主观测量以学习者个体的主观体验为主，量表的诊断结果容易受到使用者主观性的影响，因此，若在一个项目中多次使用同一个量表，数据质量将难以保证。

客观测量分为生理测量和行为测量两种。生理测量指有机体在情绪状态下出现许多生理反应，根据情绪与生理反应之间的关系，运用各种生理记录仪器把变化记录下来，通过生理反应指标来综合判定情绪[9]。如韩国BIOPIA公司研制的“情感鼠标”（Emotion Mouse）通过检测学习者的脉搏（通过红外线侦测）、体温（通过热感应芯片量取）、皮肤流电反应等方面的变化得知学习者的情绪变化[10]。同时，也可以使用核磁共振成像（Functional Magnetic Resonance Imaging，fMRI）或正电子断层扫描技术（Positron Emission Computed Tomography，PET），通过标明血氧水平fMRI的变化或与神经放电相关联的区域脑血流PET的变化来判断学习者当前的情绪[11]。

行为测量主要指通过对面部表情、身体动作、语音特征和文本信息的测量来判断情绪。在面部表情方面，通过面部动作编码系统（Facial Action Coding System，FACS）[12]，基于过去面部表情评定工作的总结，进而制定一个尽最大可能区分面部运动的综合系统——该系统是迄今为止最为精细的面部运动测量技术，能够测量并记录所有可观察到的面部表情。在身体动作方面，Darwin[13]提出躯体行为是个体为与同类进行情绪沟通而产生的生物演化结果。在语音特征方面，Banse等[14]检验了14种诱导情绪与29种声音变量之间的关系；中科院自动化研究所、清华大学、南京航空航天大学等机构目前正从事情感语音的研究[15]。在文本识别方面，朱祖林等[16]建立了基于情感权值词典的成人在线学业情绪倾向的测量方法，该方法通过情感计算、社会网络分析、文本挖掘、多元回归分析等技术的综合，分析在线交互文本中蕴藏的学业情绪信息，从而了解成人学习者的在线学业情绪倾向及其影响因素。由此可见，任何一种与情绪有关的身体机能都存在着一定的关联性，在对情绪测量模型构建的研究中，应尽可能地结合多种测量方法，以确保情绪测量的全面准确。

目前，在线学习情绪测量模型构建受到了研究者的广泛关注，如乔向杰等[17]提出了在E-learning系统中基于认知评价的学生情感识别模型；刘景福等[18]通过普适计算技术，设计了普适计算支持的远程教育人机情感交互模型和人际情感交互模型，但很少论及对学习者实时系统反馈的研究。本研究试图基于Ortony等[19]提出的认知情感评价模型（简称OCC模型）、数据挖掘和情感计算等技术，构建基于大数据的在线学习情绪测量模型，对学习者在线学习情绪进行采集、处理、分析和反馈。

二在线学习情绪测量框架设计

大数据的处理流程包括数据采集、数据处理、数据分析与应用服务四个环节[20]。在此基础之上，本研究结合情绪测量的特点，构建了在线学习情绪测量模型，如图1所示。

图1 在线学习情绪测量模型

1数据层

数据层主要对数据进行处理、存储和读取。即对技术层中所采集到的学习者在线学习过程中所产生的语音、姿态、文本、生理等数据进行预处理，自动聚类并按照相对应的体系结构存储到数据库中，建立索引功能，以备查询和检索使用。

2技术层

技术层的主要功能是数据采集和情绪分析，包括数据采集和分析诊断两类技术。首先，系统通过视频监控、可穿戴设备和网络爬虫等数据采集技术，对学习者在线学习过程中所产生的数据进行记录，传输到数据层；其次，系统从数据层提取数据，利用情感识别技术、文本挖掘等分析诊断技术进行情绪识别。美国麻省理工学院情感计算实验室现已利用使用者握着鼠标的力度对鼠标造成的压力，来分析使用者当前的情绪[21]。

3应用层

应用层的主要功能是负责和用户进行交互，增加情感互动。采用可视化技术将数据处理结果反馈给用户，根据当前学习者情绪状态，给予正向强化或反向干预调整策略。麻省理工学院媒体实验室Picard小组研制的用于开放教学的“情感计算系统”中的“情感助理”程序可识别学习者的情感并进行相应调整，如果发现学习者对视频讲座的一段内容表现出困惑，“情感助理”会重放该片段或者给予讲解[22]。Scherer[23]研发的情感机器人“Nexi”能对人的不同语音做出喜、怒、哀、乐等不同的反应，并通过眼睛的睁闭及转动、张嘴、皱眉、打手势及体姿等形式表达其相应的情感。

三在线学习情绪测量功能模型

基于人机交互情感模型，本研究将在线学习情绪测量模型的功能划分为四个模块：用户数据模块、分析诊断模块、情绪集成模块和反馈交互模块，如图2所示。

图2 在线学习情绪测量模型的功能模块

1用户数据模块

用户数据模块包含在线学习中学习者产生的全部数据，即利用数据采集技术所收集到的学习者的语音、姿态、生理和文本等数据——语音信息主要是指通过视频监控技术采集的学习者的语速、音调、分贝、流利程度和口音等信息；姿态信息主要指从动态图像序列中提取的面部表情、姿势动作、持续时长、频率快慢等物理运动信息；生理信息主要指利用可穿戴设备采集的心率、脉搏和热量摄入等各项生理指标信息；文本信息主要指通过网络爬虫技术采集的学习者发布帖子，在线检索，浏览评价的词汇、句子或文章等信息。

2分析诊断模块

在分析诊断模块中，基于OCC模型，结合情感识别技术、文本挖掘技术对情绪进行测量。OCC情感模型是以对价值的主观认知的思想为依据将人的情感分类，定义了22种情感，是第一个以计算机实现而发展起来的、目前应用最为广泛的情绪模型[24]。该模型将处理后的情绪诊断返回到结果层中，并将相应的数据更新到数据层。

3情绪集成模块

该模块主要是构建学习者个性化情绪集成库。通过对不同类型的学习者建立个性化情绪库，以识别学习者的当前情绪状态，提高情绪测量的准确性。当学习者第一次使用系统进行学习的时候，系统首先通过数据采集技术对学习者学习时的习惯性面部表情、姿势动作等特征值，建立初始化情绪库，根据反馈交互处理信号，将正确诊断的情绪数据输入给个性化情绪库。当学习者正常学习时，系统再次通过情绪诊断技术对采集到的学习者特性值进行分析，同时将数据送到个性化情绪库进行对比判断。学习者也可对个性化情绪库进行访问，查看自己的情绪特征。

4反馈交互模块

为了进一步提高在线学习的效果，以可视化形式将情绪的诊断结果呈现给学习者，并进行反馈交互，主动提供学习者需要的新信息，进而缓解在线学习环境中情感缺失的现象。学习者对反馈进行操作的同时，还要对情绪变化背后的原因进行新的反馈并实时更新数据库。本模块主要以情感按钮、人体轮廓图、情绪助手等形式直观呈现在线学习者的情绪。

（1）情绪按钮

情绪按钮是一个动态变化的面部表情按钮。系统自动优先推送情绪测量出的与其相对应的表情图标，学习者通过鼠标点击情绪按钮进行情绪表情变换，，自行选择相适应的表情图标。同时根据用户反馈，对分析诊断技术进行及时更新调整。

（2）人体轮廓图

人体轮廓图是一种以最直观形式呈现学习者生理特征情绪波动的表现方式。定位情绪反应活跃异常的学习者，并将其身体部位在一张人体轮廓图上进行标记，可得到相应反馈结果的可视化呈现，如图3所示。增加活跃度的区域进行从黑色到红色再到黄色的颜色标记，而减少活跃度的区域则由越来越明亮的蓝色表示[25]。

（3）情绪助手

情绪助手是指系统中根据学习者当前情绪自动采取措施的虚拟人物程序。根据学习者当前情绪状态，影响消极情绪生成的因素有很多种，因此结合OCC情感模型剖析学习者学习特征，分析产生消极情绪的原因。借助情绪助手，系统适时地自动弹出对话框，与学习者进行交互，判断影响因素并及时进行干预引导，从而增加在线学习情感交互体验。

通过对在线学习者的情绪诊断结果进行分析，若学习者当前为消极状态情绪时，系统会自动暂停当前学习任务，并弹出对话框，通过情绪助手以一对一交流的形式询问学习者当前情绪状态不佳的原因，对其采取相应措施进行适当调节，如推送个性化的学习资源，以提升学习者的学习兴趣；提供教育娱乐游戏，以激发积极情绪；选择退出在线学习活动进行适当的休息，以提高学习效率。若学习者当前情绪状态良好，则采取即时正向强化措施，如提供奖励机制、在线学习群体交流讨论等。

图3 情绪人体轮廓

四在线学习情绪测量关键问题探讨

目前，已有很多适用于在线学习情绪测量的技术工具。本研究在视频监控、可穿戴设备、网络爬虫、情感识别、文本挖掘等技术以及OCC情感模型的支持下，构建了集情绪数据的采集、处理、分析和反馈为一体的基于大数据的在线学习情绪测量模型，可满足学习者加强在线学习情感交互的需求，增加在线学习的兴趣，以达到激活学习积极情绪、提高在线学习效率的目的。但由于在线学习领域的复杂性，在线学习情绪测量仍存在诸多亟待解决的问题。

1数据采集的隐蔽性问题

对学习者在线学习数据采集时需要启动显性视频监控设备，或者让学习者佩戴生理监测设备。有调查表明，绝大部分学生认为，教学环境中监控设备的应用就是对他们隐私权的侵犯[26]。因此，当前数据采集技术会让学习者感到不适应，会降低学习者的思维活跃度，产生不良情绪，从而对研究结果产生一定的负面影响。对此，需要针对学习者的不同学习风格来选择与此相应的数据采集技术。

2情绪测量的精准度问题

构建在线学习情绪测量模型，应首先对情绪的基本类型进行划分。然而，已有研究中对情绪分类还未形成统一标准。其次，在线学习的学习环境复杂多样，情绪容易受到学习情境、身体机能和心理等因素的影响，测量值往往存在很大的差异性和波动性。再次，相同类型的情绪可以通过采集语音、姿态、生理和文本等多种数据进行测量，究竟应该以哪一种指标为主并没有统一的标准，这为在线学习情绪的精准识别带来了一定的挑战。

在进行在线学习情绪测量时，需要紧密结合大数据技术和学习者情绪特征，进行及时的情绪反馈。具体来说，应采取以下两种措施：

第一，优化检测设备。在进行在线学习活动之前，对学习者进行情绪预检测。即结合学习者的学习风格特征，通过检测学习者对不同的数据采集技术设备所产生的情绪影响，选择最合适的技术进行数据采集。也可以不定时地对在线学习者无意识被监控的状态下的数据进行采集，提高数据采集的隐蔽性和精准度。

第二，及时反馈情绪。系统将处理得到的情绪诊断反馈信息及时向学习者以不同方式呈现，不仅可以促进人机情感交互、激活积极情绪，还可以对错误的情绪诊断结果实时纠正，更新学习者情绪数据库，调节情绪诊断技术以及更改技术测量指标，进而增加情绪识别的准确率。将反馈结果以可视化形式呈现，对学习者当前情绪采取正向加强或负向干预的措施，以提升在线学习者的参与度，加强情感交互。

[1]高洁.在线学业情绪对学习投入的影响——社会认知理论的视角[J].开放教育研究,2016,(2):89-95.

[2]林崇德,杨治良,黄希庭.心理学大辞典[M].上海:上海教育出版社,2004:946-947.

[3]姜媛,林崇德.情绪测量的自我报告法述评[J].首都师范大学学报(社会科学版),2010,(6):135-139.

[4]Nowlis V.The experimental analysis of mood[J].Acta Psychologica,1959,(59):426-427.

[5]Watson D,Tellegen A.Toward a consensual structure of mood[J].Psychological Bulletin,1985,(2):219-235.

[6]李晓明,傅小兰,邓国峰.中文简化版PAD情绪量表在京大学生中的初步试用[J].中国心理卫生杂志,2008,(5):327-329.

[7]董妍,俞国良.青少年学业情绪问卷的编制及应用[J].心理学报,2007,(5):852-860.

[8]汤诗华,朱祖林,毕磊,等.成人在线学业情绪测评研究[J].中国远程教育(综合版),2013,(6):43-46.

[9]中学生读书网.二十一世纪中小学生素质教育文库:情绪与情感[OL].〈http://www.fox2008.cn/ebook/21szjy/TS013071/0001_ts013071.htm〉

[10]耿超.PC硬件产品年度回顾——鼠标篇[OL].〈http://diy.pconline.com.cn/other/reviews/0202/286131_7.html〉

[11]梁贤英,王丹,许远理.情绪测量研究现状与展望[J].长沙师范专科学校学报,2010,(3):35-38.

[12]Donato G,Bartlett M S,Hager JC,et al.Classifying facial actions[J].IEEE Transactions on Pattern Analysis& Machine Intelligence,1996,(10):974-989.

[13]谢晶,方平,姜媛.情绪测量方法的研究进展[J].心理科学,2011,(2):488-493.

[14]Banse R,Scherer K R.Acoustic profiles in vocal emotion expression[J].Journal of Personality and Social Psychology,1996,(3):614-636.

[15]中国科学院.情感计算研究兴起,未来大有用武之地[OL].〈http://www.1000thinktank.com/xxkj/9109.jhtml〉

[16]朱祖林,黄彩虹,李锐,等.成人在线学业情绪倾向的测度方法研究[J].中国电化教育,2011,(6):55-60.

[17]乔向杰,王志良,王万森.基于OCC模型的E-learning系统情感建模[J].计算机科学,2010,(5):214-218.

[18]刘景福,陈松生.普适计算环境下远程教育情感交互的设计模型[J].现代教育技术,2009,(4):90-93.

[19]王岚,王立鹏.基于OCC的Agent情感模型研究[J].微计算机信息,2007,(5):256-258.

[20]杨现民,唐斯斯,李冀红.教育大数据的技术体系框架与发展趋势——“教育大数据研究与实践专栏”之整体框架篇[J].现代教育技术,2016,(1):5-12.

[21]夏洪文.情感计算及其在人机交互设计中的应用[J].中国电化教育,2008,(1):106-110.

[22]傅小兰.电子学习中的情感计算[J].计算机教育,2004,(12):27-30.

[23]星光.美开发出情感机器人能表达喜怒哀乐[OL].〈http://blog.sina.com.cn/s/blog_9d7449b30100xa0z.html〉

[24]祝宇虹,魏金海,毛俊鑫.人工情感研究综述[J].江南大学学报(自然科学版),2012,(4):497-504.

[25]雪姬.可视化:人体情绪地图,你是快乐还是愤怒呢?[OL].〈http://www.36dsj.com/archives/6228〉

[26]郑祖伟,曹阳.教室里的电子眼在看什么[OL].〈http://edu.qq.com/a/20130527/014352.htm〉

编辑：小西

Construction of Online Learning Emotional Measurement Model based on Big Data

JIN Xin-quan WANG Lin-li YANG Xian-min
(School of Wisdom Education,Jiangsu Normal University,Xuzhou,Jiangsu,China 221116)

Based on the general processing process of big data and the techniques of video surveillance,wearable devices,Web craw ler,affective recognition,text mining,this paper constructed an online learning emotional measurement framework.This framework included data layer,technology layer and application layer.Moreover, according to its function,this framework was divided into four modules,namely user data module,analysis and diagnosis module,emotion integration module and feedback interaction module,aiming at solving the problem of lacking emotion communication in online learning.Finally,the key issues for constructing this model were discussed, and some suggestions were also put forward,excepting to provide reference for the construction and development of online learning.

big data;emotional measurement;online learning;model construction

G 40-057

A【论文编号】1009—8097（2016）12—0005—07【DOI】10.3969/j.issn.1009-8097.2016.12.001

本文为国家级大学生创新创业训练计划项目“虚拟现实技术支持的移动APP微课资源创新设计与开发研究”（项目编号：201510320033Z）、江苏省普通高校学术学位研究生创新计划项目“基于行为数据的在线学习预警机制设计”（项目编号：KYZZ15_0381）的阶段性研究成果，并受江苏省333高层次人才培养工程资助。

晋欣泉，在读本科，研究方向为教育大数据和移动学习，邮箱为18361350815@163.com。

2016年8月22日