泛在学习环境下的情感智能及仿脑机理

路颖晓　戴伟辉

摘要：进入21世纪以来，现代移动互联网的快速发展和社会化学习媒体的不断涌现，现代远程教育的环境发生了深刻变化。泛在学习方式使得学习过程转变为学习者基于其自身需求对知识的个性化自主建构过程。大量研究表明，泛在学习环境下学习者的个性化基础差异、海量学习资源的搜索与匹配困难以及时间、地点、环境等情境因素，已成为影响学习主动性和学习效率的主要原因，甚至使得学习者产生焦虑情绪。因此对泛在学习环境下的学习者情感体验及其影响因素进行实时监测，为学习者提供个性化、智能化的学习策略及精准的学习资源推荐，已成为亟待解决的关键问题。认知神经科学的研究成果表明，人类的情感是在脑机制作用下一系列神经活动的结果。在人工智能领域，情感智能一般指通过机器感知人类的情感状态并主动调节自身的行为，为人类带来愉悦的情感体验。计算机能够感知人类的情感需求并作出人性化的反应。因此，结合神经科学与人工智能技术的前沿知识，对泛在学习环境下的学习者情感神经机制及其表达特征进行深入分析，给出情感信息的实时监测、识别方法，并阐述情感智能的实现方法及其仿脑机制，为泛在学习环境下的情感教学提供智能化手段。

关键词：人工智能；泛在学习；情感智能；仿脑机理；智慧教学

中图分类号：G434 文献标识码：A 文章编号：1009-5195（2018）02-0039-06 doi10.3969/j.issn.1009-5195.2018.02.005

一、引言

20世紀90年代以来，随着互联网的发展和多媒体技术的兴起，远程教育（Distance Education）作为一种现代教育的新模式，在面向社会、农村偏远地区和发展中国家的全球教育体系中发挥了重要作用（Moore et al.，2005）。1999年1月13日，我国教育部制定的《面向21世纪教育振兴行动计划》获得国务院批准，正式提出“实施现代远程教育工程，形成开放式教育网络，构建终身学习体系”，开启了我国远程教育的发展之路（南国农，2005）。

进入21世纪以来，随着现代移动互联网的快速发展和各类社会化学习媒体的不断涌现，现代远程教育的环境发生了深刻变化。学习者可以随时、随地通过移动终端访问教学资源，在开放式的学习共同体中进行交流互动，实现无缝学习（Saleh，et al.，2015；Cárdenas-Robledo et al.，2018）。这种泛在学习（Ubiquitous Learning，U-Learning）方式，使得学习过程转变为以学习者为中心、基于其自身需求对知识的个性化自主建构过程（Cárdenas-Robledo et al.，2018； Guabassi et al.，2018）。大量研究表明，泛在学习环境下学习者的个性化基础差异、海量学习资源的搜索与匹配困难以及时间、地点、环境等情境因素，已成为影响上述学习主动性和学习效率的主要原因，甚至使得学习者产生焦虑情绪（Zhou et al.， 2015；Pozdnyakova et al.，2017；Guabassi et al.，2018）。上述影响会在学习者的情感体验中得到综合反映，因此，运用情感智能技术解决泛在学习中的问题具有重要意义（Dai et al.，2014； Samigulina，2016）。

人类的情感是在脑机制作用下一系列神经活动的结果（Davidson et al.，2000），以上过程由人类大脑的情感与记忆回路所控制，并在相应的脑功能区将产生一定的生理激活反应（Horlings，2008），进而通过神经调控机制可引发人体外周生理信号（如脑电、皮肤电、心电、呼吸、体温等）及外部表现（如语音、表情、姿态、动作等）的一系列变化，通过对这些变化的观测可以识别、计算人类的情感状态。1990年，耶鲁大学心理系的Salovey和新罕布什尔大学的Mayer提出了“情感智能”（Emotional Intelligence，EI）的概念，将其定义为一种社会智能，包括监督自己和他人情绪的能力、区分自己和他人情绪的能力，以及运用情绪信息去指导思维和行动的能力（Salovery et al.，1990）。在人工智能领域，情感智能一般指通过机器感知人类的情感状态并主动调节自身的行为，为人类带来愉悦的情感体验。1997年，美国麻省理工学院的Picard出版了著名的《情感计算》（Affective Computing）一书（Picard，1997），阐述了人类的情感信息能够在一定程度上被计算机所获取、处理、计算和表达，从而使得计算机能够感知人类的情感需求并作出人性化的反应，为人类提供具有理性智能与情感智能相结合的智慧服务（戴伟辉，2012）。

本文将在已有研究成果的基础上（Zhou et al.，2015；Dai et al.，2014），从泛在学习者的情感神经机制出发，对其情感表达特征、情感特征画像进行分析阐述，研究在上述环境下的情感信息监测采集与识别、情感智能及其仿脑机理，为泛在学习环境下的情感教学提供先进的智能化手段。

二、学习者的情感神经机制与情感特征

1.学习者的情感神经机制

情感是人类重要的心理活动，由来自外部或身体内部的特定情景所产生的刺激信号通过各种感觉器官和感觉通路传入到大脑边缘系统及各级中枢，并激发相应的脑功能活动，进而在神经调控机制下引发人体一系列生理反应。这些反应通过神经感觉通路的反馈在脑结构中聚合，形成对情感变化的主观体验。在人类对情感信息处理的神经机制方面，已经形成了大量的研究成果。这些研究主要是针对某类特定的情感展开的，例如，Armony等人（1997）对恐惧信息的脑处理过程进行了分析。关于泛在学习环境下的学习者情感神经机制，Huang等人（2015）从网络情感符号分类的角度给出了如图1所示的基本框图：

图1 泛在学习者的情感神经机制

图1中将网络情感信息划分为动作符号、语音符号、结构符号、色彩符号、图形符号、文本符号六大类，认为每类符号均通过某种方式的编码和约定俗成的规则传达了一定的情感信息（Huang et al.，2015）。在对上述符号的认知过程中，动作、结构、色彩、图形等具有表象特征的符号信息占用时间资源较少，能够引发快速的第一性情感反应，被称之为第一性情感信息。而与语义密切相关的文本符号信息占用时间资源相对较多，须经过大脑高级皮层认知后才能产生相对慢速的第二性情感反应，称其为第二性情感信息。语音符号信息既包含具有丰富情感的表象信息，也包含了其语义内容信息，同时具有第一性和第二性情感信息的特征。

在泛在学习过程中，情感信息通过学习者的感觉通路首先传递到其大脑边缘系统，产生第一性情感反应，继而通过大脑高级皮层的认知活动形成第二性情感反应。这些情感所产生的人体生理反应被大脑进一步感知，产生特定的情感体验，并由此形成了被大脑所记忆的特定情感符号规则系统。大脑高级皮层对上述信息在感觉通路中的传递具有选择性关注调节作用，对视觉、听觉和时间资源的分配进行自主调控。在泛在学习环境下，不同的题材、情景、人物、视觉、语音和评价都会对学习者的情感产生变化。其中，熟悉的学习伙伴、具有吸引力的情景氛围、优美的视觉效果、清晰动听的语音、适合于学习者的题材内容和对学习者的正面评价是激发学习者学习兴趣及愉悦情感体验最重要的影响因素（Dai et al.，2014）。在这些因素中，与人物信息、情景氛围、音视特色等相关的表象信息能够引发大脑边缘系统快速的第一性情感反应，而与题材内容、学习评价有关的信息须经过大脑高级皮层的语义认知以后，才能产生相对慢速但较为持久的第二性情感反应。

情感神经机制模型对于泛在学习环境下的教学指导意义在于：（1）在六大类符号中，动作符号、语音符号、色彩符号引发的关注反应最快，而对其他符号的关注反应相对较慢。语音符号具有语音、语义两方面的特征，对前者的关注反应较快。因此，泛在学习系统中应考虑到以上反应特性，对教学策略、課件制作以及人机交互进行优化设计。（2）通过传达熟悉的学习伙伴信息、营造具有吸引力的情景氛围、设计特色音视觉效果来激发学习者直觉的第一性情感反应。为学习者提供适合于其动机、需求及学习基础的题材内容，并及时给予学习者正面的评价，形成良好的第二性情感反应。（3）学习者经过情感认知体验所形成的情感符号规则系统对后续学习的影响非常大，在其前期学习阶段形成良好的情感体验至关重要。不同学习者对六类符号的关注敏感性及理解、认知能力存在着较大差异，要考虑到学习者的个性化差异特征。

2.学习者情感信息的获取

人类的情感变化除了在特定的脑功能区产生相应的激活信号以外，还会通过神经调控机制引发其外周生理信号和外部表现的变化，并可能在其后续有意识的行为中表达出来，如图2所示（戴伟辉，2012）：

因此，对上述情感信息的获取方式可以通过自我报告、f-MRI等神经实验设备观测、人体外周生理信号采集分析以及语音、表情、姿态、下意识的动作等外部表现观测和有意识的后续行为观测分析来实现。对于泛在学习者而言，其情感信息主要通过泛在网络传送的视频、音频信号及学习者在网上活动所产生的网络行为数据来获取。

在上述可观测的信号中，视频信号包含着丰富的微表情信息，被作为重要的情感信息获取来源，然而在情感识别的准确性上尚存在一定的困难。相对而言，语音信号的情感识别具有较高的精度，已成为分析人类外显情绪和内隐情绪的重要“信息纹路”（Ververidis et al.，2006），可获得70%～80%的情感识别精度（Dai et al.，2015）。网络行为数据主要通过服务器的日志文件或在线跟踪工具来获取，其中页面转换、页面停留时间、鼠标位置与动作、键盘操作等都是情感表达的重要行为特征。如：学习者处于兴趣浓厚、开心愉悦的情感状态，会呈现页面停留时间较长、鼠标和键盘使用频率高，内容热点区域点击、浏览次数多，对课题提问能快速回复等特征，还有可能乐于发表正面评论；而当学习者焦躁不满时，则页面的转换频繁高，鼠标会在大范围频繁移动，甚至发表负面的评论（Dai et al.，2014）。基于学习者网络行为数据的情感识别，必须考虑到学习者在特定情感状态下的上述行为表达习惯可能存在较大的个性化差异。Zhou等人（2015）对泛在学习环境下的学习者鼠标与键盘动作作了归纳，将其划分为16种基本动作，学习者的行为习惯表达可体现在以上动作序列中。采用BP-GA神经网络模型结合学习者的身份编号对上述操作数据进行训练，可获得78%的情感状态识别精度。

3.学习者的情感特征画像

泛在学习者的情感特征画像包括神经活动特征和外部表现特征两个方面的关键要素。其中，神经活动特征由学习者在视觉、听觉感知能力及其对情感信息的认知、反应能力的差异化特征构成，可通过可穿戴EEG（脑电信号）、fNIRI（近红外脑功能成像）等设备在真实学习环境下进行观测，并获得相关特征参数，如图3所示：

图3 泛在学习者的神经活动特征（EEG、fNIRI信号）

泛在学习者的外部表现特征包括其网络音频、视频信号中所体现的特征，以及在不同页面的键盘、鼠标操作和由这些操作动作序列组成的网络行为表达习惯，可通过网络行为大数据分析获得相关特征参数。然后，在神经活动特征与外部表现特征两者之间建立统计学分析模型和关联知识挖掘模型，以此为基础结合其神经活动特征，给出学习者的完整情感特征画像。根据以上画像，可以对学习者的情感信息进行监测采集，通过其在网络上的外部表现特征分析神经活动特征，并在线识别情感状态的变化。

三、学习者情感信息的监测采集与识别

泛在学习环境下，学习者的情感状态要受到不同的学习环境、学习时刻、学习内容、学习交互活动及共同学习伙伴等众多因素的影响，且处于动态变化之中。为了及时识别情感的变化，必须对包含学习者情感的语音信息、视频信息、网络行为数据及不同页面的操作进行实时监测和动态采集，并根据学习者的情感特征画像进行在线识别。图4为对学习者的情感信息监测采集与情感状态在线识别方案：

图4 泛在学习者情感信息监测采集与情感状态在线识别

情感信息的采集主要通过实时监测Agent和数据采集Agent两个智能Agent来实现。Agent为采用人工智能技术开发的智能代理，具有属性和行动规则，可以在设定的属性参数下，按照上述行动规则产生自主行为，完成预定的任务。其中，数据采集知识库为上述两个Agent提供采集策略与规则，并根据学习者的情感特征画像为之提供采集、监测智能引导。泛在学习者的情感状态识别包括数据预处理、特征参数提取、识别算法三个环节，通过数据预处理Agent和情感识别Agent两个智能Agent来实现。其中，情感识别知识库为识别提供学习者情感特征画像以及特征参数提取方法，情感识别Agent根据以上知识采用智能识别算法完成对学习者情感状态的在线识别。

通过对泛在学习者在学习过程中的情感状态在线识别，可以分析在整个学习过程中情感状态的变化规律及其影响因素，进而采用情感智能技术对教学策略、学习资源的组织及其呈现方式进行自适应调节，极大地提升学习者的情感体验和学习效果，并使之保持持续的学习兴趣及学习自主性。

四、泛在学习的情感智能及其仿脑机理

情感智能技术经过20多年的发展，取得了巨大进展，已成为机器智能研究领域的一个重要分支。情感智能的实现主要涉及到情感的分类与描述、情感的识别算法、情感的智能机制三个方面。对于情感的分类与描述，目前通常有离散型和连续型两种方式。离散型方式只对正、负情感或生气、厌恶、恐惧、高兴、悲伤、惊讶等基本类型的情感进行分类与描述。连续型方式则在一个连续空间中用不同的维度来描述情感状态。其中，Mehrabian提出了著名的PAD模型，并证明了人类已知的情感状态能够用近似独立的三维连续空间（Position-Arousal-Dominance）模型来描述（Mehrabian，1995）。

在情感的识别算法方面，需要针对泛在学习环境下的文本信息、语音信息、视频信息、页面操作及各类网络行为数据分别采用合适的识别算法，主要的算法有情感词库匹配、隐马尔可夫模型（HMM）、人工神经网络（ANN）、高斯混合模型（GMM）、支持向量机（SVM）以及贝叶斯分类法等。在上述识别算法中，传统的实现方式是以学习者对其情感状态的主观自述为基础，采用机器学习在情感状态与从采集数据中提取的特征向量参数之间建立关联，然后通过模式识别算法进行识别。以上方式不仅受到学习者主观自述描述准确性的影响，而且存在大量的计算冗余开销。本文采用EEG、fNIRI等神经活动观测手段对学习者的情感状态进行分析，并基于上述观测信息对采集数据的特征向量参数进行优化和标定，大大提高了对情感状态的识别计算效率和识别精度。

在情感的智能机制方面，主要有基于知识框架的OCC 模型、基于统计学特征的HMM模型、人工神经网络的模型和智能Agent模型等（Picard，1997；Becker-Asano et al，2010；Dai et al.，2015）。近年来，在人工智能与脑科学相结合的基础上发展起来的类脑（Brain-Like）与仿脑（Artificial Brain）技术为情感智能机制的实现提供了先进的方法。上述技术采用神经拟态计算（Neuromorphic Computing）对人类大脑的神经元信号处理过程进行模拟，从而实现类似大脑的功能机制或对上述机制进行模仿。目前，已经研制出神经拟态计算芯片和仿脑组件。泛在学习环境下，基于这些组件可以更好地实现接近于人类的情感智能机制，其仿脑机理如图5所示：

图5 泛在学习环境下的情感智能仿脑机理

将在线识别的学习者情感状态及其变化信息输入到仿脑组件的丘脑区，丘脑根据学习者的情感特征画像，对上述信号进行判断处理之后，传入由左脑、聠连体、右脑组成的情感分析及应对策略决策中枢。中枢在对学习者情感特征画像进行分析之后，在情感智能策略库中选择最优策略，并将决策生成应对策略通过小脑功能区输出。基于上述仿脑机理及情感智能机制，可以实现泛在学习环境下的智能化情感教学，根据学习者的情感体验变化及其影响因素，对教学策略和教学资源进行自适应调节，为解决泛在学习中的问题提供先进的智能化手段。

五、结束语

随着现代移动通讯网络的快速发展以及各类社会化学习媒体的不断涌现，泛在學习已成为日益普及的社会化学习新形式。在这一学习环境下，学习者的情感体验对于激发学习兴趣和提高学习自主性具有重要的影响，如何通过情感智能技术在线获取学习者的情感状态信息，为其学习提供个性化、智能化的学习策略和资源推荐，已成为泛在学习的关注热点与亟待解决的问题。本文在前期研究成果的基础上，从学习者的情感神经机制出发，对其情感表达特征、情感特征画像以及情感信息的监测采集与识别、情感智能及其仿脑机理作了研究，为解决泛在学习环境下的问题提供先进的智能化手段。随着相关领域研究工作的不断深入，以机器理性智能与情感智能相结的智慧学习将成为泛在学习发展的新趋势。

参考文献：

[1]戴伟辉（2012）. 情景感知与情感智能：通往智慧城市的智慧之门[J]. 上海城市管理， （4）：29-32.

[2]南国农（2005）. 发展现代远程教育：中国之路[J]. 中国远程教育， （2）：5-8.

[3]Armony， J. L.， & Ledoux， J. E. （1997）. How the Brain Processes Emotional Information[J]. Annals of the New York Academy of Sciences， 821：259-270.

[4]Becker-Asano， C.， & Wachsmuth， I. （2010）. Affective Computing with Primary and Secondary Emotions in a Virtual Human[J]. Autonomous Agents and Multi-Agent Systems， 20（1）：32-49.

[5]Cárdenas-Robledo， L. A.， & Pe?a-Ayala， A. （2018）. Ubiquitous Learning： A Systematic Review[J]. Telematics & Informatics. https：//doi.org/10.1016/j.tele.2018.01.009.

[6]Dai， W. H.， Han， D. M.， & Dai， Y. H. （2015）. Emotion Recognition and Affective Computing on Vocal Social Media[J]. Information & Management， 52（7）：777-788.

[7]Dai， W. H.， Hang， S.， & Zhou， X. et al. （2014）. Emotional Intelligence System for Ubiquitous Smart Foreign Language Education Based on Neural Mechanism[J]. Journal of Information Technology Applications & Management， 21（3）：65-77.

[8]Davidson， R. J.， Jackson， D. C.， & Kalin， N. H. （2000）. Emotion， Plasticity， Context， and Regulations： Perspectives from Affective Neuroscience[J]. Psychological Bulletin， 126（6）：890-909.

[9]Guabassi， I. E.， Bousale， Z.， & Achhab， M. A. et al. （2018）. Personalized Adaptive Content System for Context-Aware Ubiquitous Learning[J]. Procedia Computer Science， 127：444-453.

[10]Horlings， R. （2008）. Emotion Recognition Using Brain Activity[D]. Netherland： Delft University of Technology.

[11]Huang， S.， Zhou， X.， & Xue， K. et al. （2015）. Neural Cognition and Affective Computing on Cyber Language[J]. Computational Intelligence and Neuroscience.

[12]Mehrabian， A. （1995）. Framework for a Comprehensive Description and Measurement of Emotional States[J]. Genetic， Social， and General Psychology Monographs， 121（3）：339-361.

[13]Moore， M. G.， & Kearsley， G. （2005）. Distance Education： A Systems View[J]. Computers & Education， 29：209-211.

[14]Picard， R. W. （1997）. Affective Computing[M]. USA： MIT Press， Cambridge.

[15]Pozdnyakova， O.， & Pozdnyakov， A. （2017）. Adult StudentsProblems in the Distance Learning[J]. Procedia Engineering， 178：243-248.

[16]Saleh， S. A.， & Bhat， S. A. （2015）. Mobile Learning： A Systematic Review[J]. International Journal of Computer Applications， 114（10）：1-5.

[17]Salovery， P.， & Mayer， J. D. （1990）. Emotional Intelligence[J]. Imagination， Cognition， and Personality， 9（3）：185-211.

[18]Samigulina， G.， & Samigulina， Z. （2016）. Intelligent System of Distance Education of Engineers， Based on Modern Innovative Technologies[J]. Procedia-Social and Behavioral Sciences， 228：229-236.

[19]Ververidis， D.， & Kotrropoulos， C. （2006）. Emotional Speech Recognition： Resource， Features， and Methods[J]. Speech Communication， 48（9）： 1162-1181.

[20]Zhou， X.， Dai， G. H.， & Huang， S. et al. （2015）. CyberPsychological Computation on Social Community of Ubiquitous Learning[J]. Computational Intelligence and Neuroscience.

收稿日期 2018-03-01 責任编辑 田党瑞