三维虚拟学习环境中操作指导型虚拟教师设计与实现*

夏志鹏，刘革平

(西南大学 计算机与信息科学学院，重庆 400715)

三维虚拟学习环境中操作指导型虚拟教师设计与实现*

夏志鹏，刘革平①

(西南大学 计算机与信息科学学院，重庆 400715)

三维虚拟学习环境以其良好的沉浸性逐渐被认可。相对于基于网页的学习环境，三维虚拟学习环境因操作复杂而对学习者有更大的认知负荷。该文提出引入指导学习者操作的虚拟教师来帮助学习者熟悉三维虚拟学习环境。研究中，在调查的基础上分析了导致学习者难以适应三维环境的原因，结合真实环境中教师的行为、语言、形象等方面的特点，设计并实现了可以伴随学习者的操作指导虚拟教师，通过控制组实验，验证了虚拟教师的有效性。

三维虚拟学习环境；虚拟教师；操作指导；Open-Sim

一、引言

随着虚拟现实技术的发展以及网络环境的持续优化，三维虚拟学习环境以其良好的沉浸性在网络教育领域应用越来越广泛。三维虚拟学习环境可以提供身临其境的类真体验、可以实现灵活多样的互动方式、可以体会动手创造的学习经历，为学习者提供了接近真实的学习环境[1]。但对于学习者来说，由于操作复杂度较高、缺乏指导以及信息量巨大，三维虚拟学习环境相比基于网页的学习环境有着更大的认知负荷[2]。针对该问题，本研究尝试以虚拟教师为手段，帮助学习者快速且高效地适应三维学习环境，解决技术认知负荷问题，减少信息“迷航”现象，让学习者能够高效地使用三维虚拟学习环境开展学习活动。

随着虚拟人技术研究的不断深入，有研究将虚拟人技术应用于三维虚拟学习环境中，构建三维虚拟教师，提供生动的、交互性的、富有亲和力的学习指导，以达到增强教学互动、提高学习兴趣、激发学习热情、提升学习成效的目的[3]。目前，对于虚拟教师的研究，国内外已经有了一些成果，比如国外的教学代理Adele[4]、Jacob项目[5]、AvaTalk[6]，这些虚拟教师都对学习者的学习过程提供了帮助，让学习者的体验效果提高，国内推出的智能虚拟英语老师Lucy[7]能够帮助学习者克服哑巴英语的困难，体现了虚拟教师的价值。针对三维环境中的技术认知负荷问题，在借鉴以上研究成果的基础上，本研究设计了可以跟随学生行动的、指导其操作的三维虚拟教师，通过测算学习者的体验时间，完成任务情况和体验效果，验证了虚拟教师的助学作用。

二、理论与技术基础

本研究中虚拟教师的理论与技术基础包括情境认知理论、智能代理技术以及虚拟人技术。

(一)情境认知理论

情境认知理论(Situated Cognition)认为，大多数知识都是人的活动与情境互动的产物[8]。因此，如果在教学中能为学习者提供接近于真实或仿真的学习情境，那么学习者深入理解知识的机会就会大大增加[9]。情境认知理论强调学习情境和实践，这就要求虚拟教师的设计要与学习情境紧密结合，让学习者有身临其境的感受，要针对特定的学习情境为学习者提供学习资源，结合情境与资源为学习者提供操作指导等服务。

(二)智能代理技术

智能代理(Agent)又称为智能体技术，是一种软件单元，具有高度智能性和自主学习性，可以根据用户定义的规则，自动地为用户执行有关操作[10]。三维虚拟学习环境中的学习者大多都是独立化的，如果组织得不好，学生往往缺乏引导，在环境中漫无目的地游览，造成娱乐性大于学习性的状况。为此，需要以智能代理技术为基础，设计智能化的虚拟教师陪伴学习者，监测他们的状态，为他们安排学习日程，回答各种疑问，根据学习情况制定学习策略。

(三)虚拟人、虚拟教师技术

虚拟人是人在计算机生成空间(三维虚拟环境)中的几何特性与行为特性的表示，是多功能感知与情感计算的研究内容。借助虚拟人技术，可以在学习环境中设计与实现虚拟教师。这样的教师，有几何形体、能与环境交互、可以感知与影响周围环境。虚拟教师的行为既可以通过智能代理技术由计算机软件来控制，也可以由真实人控制，即人的化身(Avatar)；虚拟教师与学生之间可以通过自然语言、体态语言等进行交流[11][12]。

因此，在设计虚拟教师时，要涉及到虚拟人的人体建模技术、运动生成与控制技术、手势识别技术、人体姿态识别技术、面部表情识别和生成技术等。

三、三维虚拟学习环境中的操作指导虚拟教师设计

本研究以开源的Open-Sim虚拟世界平台为基础构建了三维虚拟学习环境，其中设计了多名虚拟教师，在学习者使用三维虚拟学习环境的过程中为他们提供操控指导、引路导航等学习服务，以帮助他们尽快熟悉环境、掌握操作方法，达到降低技术认知负荷的目的。

(一)新手用户使用三维虚拟学习环境的现状访谈调查

本研究针对新手用户(即刚接触该环境的学习者)使用三维虚拟学习环境的现状进行了访谈调查。被访谈的42名新手用户中，有59.5%的用户认为自己难以找到想去的地点；有71.3%的用新手用户认为三维环境中的信息量大，干扰自己完成学习目标；有61.9%的新手用户在三维环境中没有到达要求的学习场所，处于没有目的的漫游状态。通过对访谈结果的分析可以发现，在三维虚拟学习环境中，反映用户外貌的“化身”和仿真的学习情境成为了环境中最重要的部分。

(二) 新手用户的操作需求分析

刚进入三维环境，学习者要知道如何操控自己化身的运动，要知道如何前往特定的地点、如何与环境中的物体发生交互；学习者可以通过操控化身来表现自己的真实情感，这就需要学习者知道如何创建动作以及操控化身执行动作；学习者可以通过建造虚拟物体进行实践，这就需要学习者要懂得物体建模的技巧。调查发现，新手用户大都希望有指导者帮助他们学习三维环境的上述操作技巧，以使尽快转变为熟练用户。因此，能够承担指导学生操作的虚拟教师将会受到学习者的欢迎。

(三)虚拟教师的框架设计

本研究中虚拟教师的框架如图1所示，虚拟教师不是一个功能集成的个体，而是由多个个体构成的虚拟教师群体。本研究重点关注将一个大的问题情境分解为多个小的问题情境，每个虚拟教师在不同的问题情境中各司其职。

图1 虚拟教师的框架

1.感知模块

该模块主要负责获取三维环境中静态实体和与动态实体的状态信息、与学习者进行交互的信息、虚拟教师的属性信息。

2.认知分析模块

该模块首先分析感知模块所获得的信息，之后根据分析结果，从虚拟教师的语言库、动作库和形象库中调用相匹配的信息，将之传送给反应模块。

3.反应模块

该模块主要负责对学习者发出的信息进行反馈，反馈的方式包括发送语音和文字信息、执行表达自身情感态度的肢体动作、对自身的外观形象进行更改等。

4.形象库

虚拟教师的形象库设计包含多个方面，包括人物性别、体型、皮肤、头发、五官以及服装，这些都可以在Open-Sim平台内置的外观编辑器进行设置。但如果要让人物的形象变得更为精致美观，则需要借助外部软件进行设计，比如Adobe Photoshop、Corel Photopaint、Jasc's Paintshop Pro或者Gimp等。在创建虚拟教师的过程中，生成函数需要调用虚拟教师的外观数据，这就需要用OS脚本中的OsAgentSaveAppearance函数将设计好的外观数据存储为一个NoteCard类型文件，之后在虚拟教师生成函数osNpcCreate中调用该NoteCard类型文件。

5.语言库

虚拟教师的语言库中包括文字信息、语音信息和图片信息。文字信息被归为三种类型：第一类为自我介绍类，主要用于初次检测到用户化身在附近时，向用户介绍自己及承担的工作；第二类为知识技能类，主要是三维虚拟学习环境基本知识以及操作化身开展学习活动的要领，该类语言务必简单易懂，减少专业词汇的使用；第三类为鼓励指引类，当用户完成了一个步骤之后，虚拟教师会调用该类别的语言进行鼓励，此外，当用户完成了一个单元的学习后，虚拟教师调用该类别语言以告知用户下一个应该前往的地点。语音信息的内容与文字信息一致，每一句话录制为一个WAV格式的文件。图片信息主要用于虚拟教师身边的信息板上，信息板会跟随虚拟教师的文字信息发生变化。

6.动作库

Open-Sim平台本身含有一个公共动作库，该动作库包含了人类交往过程中出现的大部分动作，虚拟教师能够使用其中的大部分动作。在设计虚拟教师的动作库时，可以结合真实教师体态动作特点，将公共动作库中的内容进行筛选，建立一个虚拟教师动作库。

(四)虚拟教师的功能设计

为了对新手用户进行操作指导，本研究开发了专门的新手村以对用户进行专题训练。新手村对新手用户的指导分解为7个具体学习步骤，每个步骤设计都遵循由易到难、循序渐进的学习原则。与新手村学习情境相对应，虚拟教师共有5项教学功能，分别为：基本操控指导功能、疑难解答功能、换装指导功能、引路导航功能、初级建模教学功能，如右图2所示。

图2 学习情境与虚拟教师教学功能

1.基本操控指导功能

学习对化身的基本操作是整个学习活动的第一步，也是最简单、最基础的步骤。基本操控指导功能集成在一名虚拟教师身上，这名虚拟教师名为“操控示范员”，其所在位置就是学习者第一次进入虚拟环境时其化身默认出现的位置。由于基本操控容易学习，只需要让虚拟教师每隔一段时间发送出提示信息并相应地演示操作效果即可。

2.疑难解答功能

疑难解答功能利用智能代理技术自动识别学生提出的问题，虚拟教师通过语音和文字的方式对学习者进行回答。以回答学习者如何让自己的化身执行跳舞动作为例，虚拟教师将该问题分解为三个步骤，一步步告诉学习者如何操作，如果没有学会，虚拟教师将会重复告知该步骤的要点，直到学习者反馈了诸如“OK”“完成”“YES”“好了”等这样带有肯定含义的词语后，虚拟教师才会继续教授下一步操作要领。

3.换装指导功能

换装指导功能用于指导用户如何改变化身外观，展示学习者个性的重要功能。以Open-Sim平台为例，学习者有两种换装方式可供选择。第一种方式，是在化身外观编辑器中进行调整，包括调整化身的高矮胖瘦、五官、衣服样式和鞋子样式等。第二种方式，用户可以先获取心仪的外观目录包，之后将该目录包装备在自己的化身身上。换装指导功能效果如图3所示。

图3 虚拟教师指导用户学习更改外观

4.引路导航功能

该功能以虚拟教师为主体，配合地点路标和“地点传送器”共同实现引路导航功能。三维虚拟学习环境仿照真实学校建设，由多个区域构成，如教学楼、实验楼、休闲区、音乐厅、大礼堂等，这就导致很多学习者出现“迷航”的情况，他们或者找不到前往目的地的路，或者到达了目的地却不知道自己是否到了正确的地点。为了解决“迷航”问题，本研究为环境中的主要地点设计了“地点传送器”，该工具可以直接将用户化身传送到目的地，每一个传送器旁都设置了一名虚拟教师，告知用户所在的区域并且指导学习者使用“地点传送器”。

5.初级建模教学功能

Open-Sim的建模过程比专业的建模软件3DMAX、Maya等简单的多，但对于那些没有建模基础的学习者来说，仍然具有一定的难度和复杂程度，需要虚拟教师来指导学习者。以创建一块砖为例，虚拟教师将该操作分为三个步骤进行讲解：第一步，虚拟教师会指导学习者创建一个基本体，过一段时间后，虚拟教师会询问学习者是否完成了该步操作，得到肯定回答之后，虚拟教师开始下一步教学；第二步，虚拟教师会提醒学习者调整基本体的长宽高等参数，使之有了砖墙的样子，得到肯定回答之后，虚拟教师开始下一步教学；最后一步，虚拟教师会告诉学习者如何打开材质编辑器，并且找到砖头的纹理并将之附于物体的表面，当学习者确认完成后，虚拟教师会鼓掌并告诉学习者已经完成了在三维环境中进行初级建模的学习，如图4所示。

图4 虚拟教师指导用户学习初级建模技巧

四、实现虚拟教师的关键技术

(一)虚拟教师的生成技术

虚拟教师身体的生成过程也是虚拟教师外观数据生成、存储和应用的过程。首先，先要在虚拟教师形象库中选择和调用形象，将选定的形象数据存储在一个NoteCard文件中；其次，在环境中选定合适地点任意创建一个物体并为之加入脚本，在脚本中调用OsNpcCreate函数，用于生成非用户控制角色的函数；最后，在函数的参数中填写虚拟教师的名字、姓氏、生成地点的坐标以及外观样式数据，当脚本开始运行时，虚拟教师便会出现在选定的出生点。

(二)行走跟随技术

行走跟随技术主要用在疑难解答和目标导航两个问题情境中，其关键技术就是对平台中坐标检测函数llDetectedPos、感应器函数llSensor以及定时器函数llSetTimerEvent的使用。实现过程：首先，利用定时器函数，每0.5秒触发一次Timer事件；其次，在Timer事件中用感应器函数感应以虚拟教师为圆点范围内的学习者化身；最后，用坐标检测函数，获取学习者化身的坐标信息并使虚拟教师移动到该坐标点附近。

(三)文本信息检测技术

本研究中的虚拟教师全部都用到了文本信息检测技术，实现过程主要涉及到两个函数，即信道检测函数Listen函数和关键字检测函数llSubStringIndex。Listen函数主要用于检测并获取学习者发送的完整文字信息，获取信息后，llSubStringIndex会将该信息与虚拟教师的语言库中的关键字进行匹配，匹配成功后，虚拟教师就可调取语言库中的反馈信息回答学习者。

(四)信息板动态变化技术

为了让知识形象化，研究中还创设了一些信息板放置于虚拟教师身边，这些信息板跟随虚拟教师发送的文本信息进行变化，能够让学习者更容易理解虚拟教师的语言。信息板的动态变化技术主要涉及到关键字检测函数llSubStringIndex和物体纹理设置函数llSetTexture。当关键字检测函数完成了信息匹配之后，会触发物体纹理设置函数，该函数会调用语言库中对应的图片信息并使之成为信息板表面的纹理，达到信息板的动态变化。

五、虚拟教师的实验研究

虚拟教师开发完成后，运用实验研究法在新手用户中进行了试用与验证。

(一)实验问题与假设

针对新手用户完成全部体验的时间、体验效果和每个任务完成时间三个问题，提出以下三个实验假设：

(1)虚拟教师参与学习过程对新手用户完成全部体验的时间没有影响；

(2)虚拟教师参与学习过程对新手用户的体验效果没有影响；

(3)虚拟教师参与学习过程对新手用户完成每个任务所用时间没有影响。

(二)实验参与者分析

实验参与者全部随机选择，最终选择了X大学60名在校学生参与实验，这60名参与者被平均分成两组，实验组和控制组各30人，具体特征统计如表1所示。

表1 参与者特征统计表

(三)实验设计

考虑到参与者性别和3D游戏熟练程度是本实验的无关变量，随机分配人员可能会放大无关变量对实验结果的影响，本实验没有将人员随机分配到两个实验组中。为了减少无关变量对实验结果的影响并且突出因变量的作用，本实验对参与者有以下两点设计(数据如表1所示)。

(1)控制组男女比例为1:1，实验组男女比例为1:2；

(2)控制组中3D游戏的老玩家人数占比高于实验组。

实验组与控制组所完成任务的内容是相同的，二者的区别在于实验组有虚拟教师的辅助，控制组则没有虚拟教师的辅助。所以，在本实验中，自变量为有无虚拟教师的学习辅助，因变量为新手用户体验时间、每个任务完成所用时间以及体验效果得分。

(四)实验数据测量

本实验一共需要测量三组数据，分别为新手用户完成全部体验所用的时间、完成任务的数量、体验效果。其中，所用时间和完成数量采用人工计时，体验效果则通过两份问卷进行测量，分别为《新手用户独立体验结果测试问卷》和《虚拟教师帮助情境下的新手用户体验结果测试问卷》。

《新手用户独立体验结果测试问卷》共12道题目，分别从迷航情况、对虚拟环境的整体感受和完成规定操作情况三个维度对新手用户进行检测，试卷的内部一致性信度系数为0.724，属于较为可信。被试者根据自己的体验情况进行填写，所有题项均采用李克特五点计分，体验得分越高则说明体验效果越好。

《虚拟教师帮助情境下的新手用户体验结果测试问卷》共12道题目，分别从完成规定操作情况和对虚拟教师功用的感受两个维度对新手用户进行检测，试卷的内部一致性信度系数为0.663，属于较为可信。所有题项均采用李克特五点计分，得分越高则说明体验效果越是良好。

(五)实验过程

在实验前，被试者需要阅读引导材料，获知实验规则和实验目的。控制组和实验组的被试都需要阅读引导材料，这份材料可以让被试了解即将体验的三维虚拟环境的基本情况以及规定完成的操作。关于规定完成的操作，控制组和实验组的9项操作内容完全相同并且都要求以最快的速度完成，而完成规定操作的学习情境则完全不同。其中，控制组要求被试进行完全自主化体验，即没有任何人的指导，被试需要自己探索，被试可以跳过自己无法完成的某项操作，整个体验时间建议15分钟，当体验时间超过15分钟，无论是否完成了规定的9项操作，被试可以继续体验也可以结束实验，在15分钟以内也可以提前结束实验，完成9项操作则结束实验。实验组要求被试根据虚拟教师的提示信息完成9项操作，被试可以暂时跳过自己无法完成的某项操作而进行下一项操作，但被试需要完成全部的9项操作才能结束实验。

五、实验结果与分析

对应实验的三个假设，本实验针对性地获得了控制组和实验组用户的体验完成时间、完成任务数量以及体验得分。获得这三组数据后，为进一步验证虚拟教师的助学作用，本实验对有、无虚拟教师干预所产生的三组数据做了独立样本t检验，检验结果如表2所示。

表2 独立样本检验结果

从表2中可以看出：

对于“完成时间”而言，t(58)=4.177，p〈.001，说明两个变量显著相关，可以推翻原假设，证明虚拟教师的参与对新手用户完成体验的时间是有影响的；实验组用时少于控制组。

对于“体验得分”，t(58)=-4.570，p〈.001，说明两个变量显著相关，可以推翻原假设，证明虚拟教师的参与对新手用户的体验效果是有影响的；实验组的体验效果要优于控制组。

对于“单任务平均用时”，t(58)= 6.301，p〈.001，说明两个变量显著相关，可以推翻原假设，证明虚拟教师的参与对新手用户完成每个任务所用时间是有影响的。实验组的单任务用时要少于控制组。

以上实验结果表明，虚拟教师在三维虚拟学习环境中确实能够发挥作用，是有助学效果的。如果我们根据学习情境来创设虚拟教师，学习者的学习效率会有提升。

需要指出的是，本研究中的虚拟教师的智能性较弱，与学习者的交互方式依然局限于语言和动作上。为此，如何提高虚拟教师的智能性、使之可以通过创建物体等方式与学习者进行更为高级的交互还需深入研究。

[1]刘革平,谢涛.三维虚拟学习环境综述[J].中国电化教育, 2015,(9):22-27.

[2]Vogel D, Guo M, Zhou P, et al. In Search of SecondLife Nirvana[J].Issues in Informing Science & Information Technology, 2008, (5):11-28.

[3]赵慧勤,孙波,李春悦.虚拟教师研究综述[J]. 微型机与应用, 2010,(5):1-8.

[4]Johnson W L, Shaw E. Using agents to overcome deficiencies in web-based courseware[DB/OL]. https://www.researchgate.net/publication/2450366_Using_Agents_to_Overcome_Deficiencies_in_Web-Based_Courseware, 2015-12-20.

[5]Evers M, Nijholt A. Jacob-An animated instruction agent in virtual reality[M]. Berlin: Springer Berlin Heidelberg, 2000.526-533.

[6]Guinn C, Hubal R. Extracting emotional information from the text of spoken dialog[DB/OL]. https://www.researchgate.net/publication/228793579_Extracting_emotional_information_from_the_text_of_spoken_dialog, 2015-12-20.

[7]百度百科. Lucy陪你说英语[DB/OL]. http://baike.baidu.com/view/1904771.htm, 2015-12-20.

[8]高文. 情境学习与情境认知[J]. 教育发展研究, 2001, (8):30-35.

[9]张瑜. SecondLife环境下基于问题的学习活动研究[D]. 重庆:西南大学, 2012.

[10]李伟超, 牛改芳. 智能代理技术分析及应用[J]. 情报技术, 2003,(6): 29-33.

[11]赵慧勤,孙波.基于虚拟智能体技术的具有情感支持的三维虚拟教师的研究[J].中国电化教育,2010, (11):117-123.

[12]赵慧勤, 孙波. 虚拟教师情感合成模型的研究[J]. 中国电化教育,2012, (1):121-126.

Design and Realizing of Virtual Teachers for Operating Guide in 3D Virtual Learning Environment

Xia Zhipeng, Liu Geping
(School of Computer and Information Science, Southwest University, Chongqing 400715)

With the development of virtual reality technology and the optimization of network environment, three-dimensional virtual world which has the features of immersive is widely used in the field of education. But for learners, because of the lack of guidance and the Information Trek, three-dimensional virtual learning environment has a greater cognitive load than web-based learning environment. As one of the applications of artificial intelligence, virtual teacher has the features of lively, interactive, affinity and so on, which can provide effective teaching service and help learners to adapt to the three-dimensional virtual environment quickly and effectively. This study investigate and analyze the reason why learners have difficulties to adapt to the three-dimensional virtual environment, and proposes that virtual teacher which has so many advantages can help learners to adapt to the three-dimensional virtual environment quickly and effectively. At last, this study tests the validity of virtual teacher by experiment.

3D Virtual Learning Environment; Virtual Teacher; Operating Guide; Open-Sim

G434

：A

夏志鹏：在读硕士，研究方向为网络与远程教育(278787036@qq.com)。

刘革平：教授，研究方向为三维虚拟学习环境、网络学习支撑系统、智慧校园(liugp@swu.edu.cn)。

2016年3月9日

责任编辑：赵兴龙

1006—9860(2016)05—0098—06

* 本文受中央高校基本科研业务费专项资金创新团队项目“智慧学习环境研究”(项目编号：XDJK2014A002)资助。

①刘革平为本文的通讯作者。