基于情感识别的自适应多Agent虚拟ICAI系统的研究

卢阿丽， 杨　庆， 颜惠玲， 庄　严， 林　忠

(1. 南京工程学院 计算机工程学院， 江苏 南京　210000；2. 南京信息工程大学 语言文化学院， 江苏 南京　210000)



基于情感识别的自适应多Agent虚拟ICAI系统的研究

卢阿丽1， 杨庆1， 颜惠玲2， 庄严1， 林忠1

(1. 南京工程学院 计算机工程学院， 江苏 南京210000；2. 南京信息工程大学 语言文化学院， 江苏 南京210000)

传统的虚拟智能计算机辅助教学系统(ICAI)未考虑学习者在学习过程中的情感和教学过程中的交互。针对这个问题，提出一种基于情感识别的自适应多Agent虚拟ICAI系统，并给出了其模型框架图，用多Agent技术实现各模块的主要功能，结合微表情识别技术和适应性教学理论，提出识别学习者的微表情来诊断情感状态，并对学习者的情感状态做出适应性的反应，从而实现辅助虚拟教学中的情感交流和自动交互。

微表情识别； 多Agent；ICAI; 适应性； 情感

智能计算机辅助教学系统(intelligentcomputerassistedinstructionsystem，ICAI)是辅助教师进行教学，或让学习者通过与虚拟教学专家交互进行开放式学习的一种教学系统。传统的虚拟ICAI未考虑学习者的情感问题，不能完成学习者与教师之间、学习者之间的交互，尤其是情感交互[1]。

随着人工智能、多媒体交互技术和教学理论的发展，利用计算机及时获取学习者的表情，感知学习者的学习情绪已经成为现实，将情感识别技术融入虚拟ICAI系统中，实现学习者与教学系统的自动交互已成为可能[2-3]。除了融合情感识别技术，本文通过引入适应性教学理论[4]和多Agent(Muti-Agent，MA)技术[5-6]，将点对点网络拓扑结构与虚拟ICAI系统结合，提出一种基于多Agent的情感、自适应性框架，并将其用于虚拟智能辅助教学。

1　微表情识别技术系统模型框架

表情是情绪的面部反应，微表情对于情绪的表达不易受文化、区域和思维等因素的影响，具有稳定的特性。1969年，Ekaman等将人类情绪分为愤怒、高兴、惊奇、厌恶、恐惧和悲伤6种[7]，首次开展了微表情识别的研究。目前，微表情识别方法主要分为两大类[8]。

第一类是应变模式方法，可细分为光流法和基于人脸图像的区域分割法，其优点是可捕获微表情变化，缺点是表情阈值不好确定。

第二类是机器学习方法，可细分为分类器方法和聚类方法，优点是能够保留原始的人脸微表情信息，识别率相对准确，缺点是复杂度高。该方法一般采用基于模型或基于整体面部特征的方法描述人脸或人脸图像中特别区域，然后用分类方法或聚类方法对人类的微表情进行识别。

自适应多Agent虚拟ICAI系统(MA-ICAI)的模型框架如图1所示，它采用P2P的网络拓扑结构。系统集成了6个Agent(情感、交互对话、课程、教学、诊断和人机接口)和3个数据库(知识库、教学模型数据库、学生模型数据库)。知识库存储了MA-ICAI系统中的课程专业知识资源，可生成问题、提供问题的正确解答及求解过程；教学模型数据库是MA-ICAI系统的控制模块，为学生提供最佳的教学决策规则；学生模型数据库准确反映学生的基础知识、认知能力和情感状态等，为系统实现个性化和适应性教学提供依据。

图1　MA-ICAI系统框架结构图

2　Muti-Agent

2.1情感Agent

情感Agent被整合到MA-ICAI的学习环境中，与学习者和教师通过面部表情进行交流，根据实际情况为学习者提供建议。情感Agent的内部结构有3个层次：感知层、认知层和动作层，其结构和相应的功能说明如图2所示。

情感Agent的输入参数为学习者的面部微表情特征和其他参数，这些参数包括学习者的认知状态、学习历史和互动环境参数等。情感Agent首先通过感知层检测出学习者的情绪状态，将其识别为6类情绪中的一类；然后通过认知层分析和诊断获得学习者的情感状态，并分析该情感状态产生的原因。最后，情感Agent的结果传递给自身和其他交互对话系统。

图2　情感Agent结构与功能图

面部微表情识别包括两个重要步骤：面部微表情特征提取和面部微表情识别。MA-ICAI系统参照Shreve等[9]采用的人脸图像区域分割并结合光流方法识别学习者的微表情，其流程见图3。其中“归一化人脸”是将检测的人脸按照对称性归为统一尺度，从而有利于后续人脸中8大区域的检测和微表情识别。

图3　微表情识别流程图

2.2交互对话Agent

交互对话Agent的输入参数来源于情感Agent的分析结果。当学习者在某一问题上表现出困惑或难以解决的情感时，可将情感信息通过其交互会话Agent传递给教学Agent、课程Agent或传递给其他学习者的交互会话Agent。如果教学Agent和其他学习者有一方可以为他提供帮助，就可以通过交互会话Agent发送帮助信息给学习者。本文的MA-ICAI参考了PECS模型[10]开发交互对话Agent。

2.3课程Agent

课程Agent主要的功能包括：

(1) 保存/更新学生模型中学习者与课程相关的信息，如学习者学习该课程的学习历史、学习进度、学习效果等；

(2) 根据学生模型数据和学习者的学习需求，产生初始化教学序列并分配给教学Agent执行；

(3) 管理教学Agent的执行过程。

2.4教学Agent

在MA-ICAI系统中，教学Agent是面向不同学生提供特色教学的代理，主要作用是执行教学过程，其功能主要有3方面。

(1) 自适应呈现/更新教学策略。当自适应确定初始教学策略后，教学Agent根据实际需要调整教学策略、解释遇到的问题，并保存这些策略供以后使用。

(2) 自适应确定/更新学习起点。根据学习历史确定学习起点；根据对学习者的诊断结果决定下一个知识点的学习，确保每个学习者当前阶段的学习和后续学习的有效性。

(3) 自适应呈现问题。诊断学习者在当前阶段的学习效果和掌握程度，并决定是否进行后续学习。

2.5诊断Agent

诊断Agent是利用诊断规则判断学生的综合情况，产生评估报告并反馈给教学过程。诊断可发生在教学过程的始末：教学开始前的诊断可帮助MA-ICAI了解学习者的水平，初始化学习内容，并结合学习者的学习历史自适应诊断教学起点；在教学过程中的诊断可为学习者发现薄弱环节并为进行巩固性练习提供依据；在教学结束时进行诊断，可检测学习者是否达到预期的教学要求。

2.6人机接口Agent

人机接口Agent是学习者和MA-ICAI系统交流信息的媒介，也是系统中多个Agent相互交流的接口。教学Agent可通过人机接口Agent与其他Agent进行交流；人机接口Agent可通过前端的摄像头获取学习者的面部微表情信息，将情感Agent识别的情绪种类、学生状态信息数据传递给MA-ICAI中的其他Agent。

3　适应性教学过程

适应性教学过程是MA-ICAI系统的另一特点，也是本科创新型人才培养模式[11-12]的实现手段之一。适应性教学过程如图4所示。

图4　适应性教学过程图

适应性教学主要包括5个步骤。

(1) 用户登录。MA-ICAI系统只允许注册用户访问，否则会出现登录失败的提示。

(2) 用户向MA-ICAI系统提出学习需求，确定初始化学习序列。系统生成课程知识树，用户选择知识点。

(3) 自适应诊断教学起点。系统根据学习者的学习需求和学习历史，自适应诊断学习的起点并进入学习状态模块，在学习过程中通过微表情识别技术分析、诊断出用户的学习情感，作为学习者当前状态的参数，为动态组织教学过程提供重要依据。

(4) 实施个性化教学。包括教学序列的适应性呈现、教学策略的适应性选择、问题的适应性呈现。在教学过程中，MA-ICAI系统会通过微表情识别技术分析用户的情感状态，然后分析该情感状态产生的原因，寻求情感帮助或自适应调节教学过程。

(5) 教学诊断。根据测试、练习结果和诊断规则判断教学效果。如果达到教学要求，可终止学习或进入下一步学习阶段；如果未达到教学要求，则重新进入教学过程。

4　结语

本文提出的MA-ICAI系统是在虚拟ICAI的基础上，利用MA技术、情感识别技术和自适应教学理论解决网络教学中情感缺失和交互性差的问题。MA-ICAI系统是多个Agent互相沟通和协作实施教学过程；在教学的过程中引入对学习者的微表情检测和推理，更好地反映了学习者的情感状态；系统根据学习者的情感状态和学习历史，适时调整教学过程，体现了优质的教学目标，教学效果更佳。MA-ICAI系统或将成为未来虚拟ICAI的发展趋势。

References)

[1] 王萃寒,赵晨,余飞扬,等.智能计算机辅助虚拟教学系统的实现研究[J].计算机工程与科学,2003,25(3):83-85,89.

[2] 谢文秀,段富.基于多Agent的情感ICAI系统的研究[J].计算机应用与软件，2014,31(1):65-68.

[3] 程响林,王万森.基于情感识别的适应性教学系统的研究[J].科技信息，2007(8):6-7.

[4] 贺保国,赵广社,刘美兰.网络环境下自适应学习系统研究[J].计算机测量与控制,2008,16(2):256-258，284.

[5] 张少苹,戴锋,王成志,等.多Agent系统研究综述[J].复杂系统与复杂性科学，2011,8(4):1-8.

[6] 王建华.多AGENT技术在网络智能教学系统中的应用研究[J].自动化技术与应用，2011,30(11):31-35.

[7]EkmanP,FriesenWV.Therepertoireofnonverbalbehavior:categories,origins,usage,andcoding[J].Semiotica,1969(1):49-98.

[8] 贲晛烨,杨明强,张鹏,等.微表情自动识别综述[J].计算机辅助设计与图形学学报，2014,26(9),1385-1395.

[9]GodavarthyS.Microexpressiondetectionusingstrainpatterns[R/OL].(2013-08-02)[2015-11-26].http://www.cse.usf.edu/～sgodavar/courses/CIS6930_Video/Project_final/Micro%20expression%20Detection%20using%20Strain%20Patterns.pdf.

[10]UrbanC，SchmidtB.PECSagentbasedmodelingofhumanbehavior[R/OL].AAAITechnicalReportFS-01-022001.https://www.researchgate.net/publication/254477036_PECS_-_Agent-Based_Modelling_of_Human_Behaviour.

[11] 任良玉,刘益东,冯利英.基于课题或问题的本科人才培养模式初探[J].中国大学教学,2014(4)：30-33.

[12] 张雷.地方本科高校开展大学生创新创业教育的思考[J].教育与职业，2014(9)：85-86.

Studyonadaptivemulti-agentvirtualICAIsystembasedonemotionrecognition

LuAli1,YangQing1,YanHuiling2,ZhuangYan1,LinZhong1

(1.SchoolofComputerEngineering,NanjingInstituteofTechnology,Nanjing210000,China;2.LanguageandCultureInstitute,NanjingInformationEngineeringUniversity,Nanjing210000,China)

Thetraditionalvirtualintelligentcomputerassistedinstruction(ICAI)systemwasabletocompletethetaskofinstruction,butnotconcernedabouttheemotionintheinstructionandinteraction.Tosolvethisproblem,thisarticleproposesanadaptivemulti-AgentICAIbasedonemotionrecognition,andgivesitsmodeldiagram.Theintroductionofmulti-Agenttechnologyachievesthemainfunctionofeachmodule.Thesystemcombinesmicroexpressionrecognitiontechnologyandadaptiveteachingtheory.Itcanidentifymicro-expressionsofthelearners,diagnosticemotionalstateandmakeadaptiveresponsestowardstheemotionalstateoflearners,soitaccordinglyachievesemotionalcommunicationandautomaticinteractionintheassistedinstruction.

microexpressionrecognition;multi-agent;ICAI(intelligentcomputerassistedinstruction);adaptability;emotion

DOI:10.16791/j.cnki.sjg.2016.05.032

2015- 12- 04

国家自然科学基金项目(61403188)；南京工程学院高等教育研究课题重点项目(2014ZD01)；南京工程学院高等教育研究课题(2014ZC22，2014ZC25)；南京工程学院教学改革课题(JG201409)；南京工程学院人才启动项目(YKJ201324)

卢阿丽(1982—)，女，江苏南通，博士，讲师，主要研究方向为人工智能、模式识别等.

E-mail：clara82@163.com

G434

A

1002-4956(2016)5- 0125- 04