教师沉浸式学习环境的关键要素与发展路径 *——面向实践性知识提升的多案例研究

林梓柔，朱晓悦，陈怡，闫寒冰

(1.华东师范大学 教育信息技术学系，上海 200062；2.南京师范大学 教育科学学院，江苏 南京 210097；3.浙江师范大学 教师教育学院，浙江 金华 321004；4.华东师范大学 开放教育学院，上海 200062)

一、问题的提出

实践性知识是教师专业发展的主要知识基础[1]。职前教师教育中，微格教学、见习、实习等培养环节为师范生提供了实训场域，但由于微格教学中内部指导机制缺失以及见习实习中外部实践环境的制约[2]，职前教师的实践性知识提升仍是客观难题。此外，在职教师培训同样对高质量的实践性知识学习资源存在需求，其能解决当前实训资源与教学实践存在情境脱离、缺乏交互反馈和难以满足个体需求的弊端[3]。2021年被众多媒体称为“元宇宙元年”[4]，元宇宙追求通过多种技术构建一个新型虚实相融的社会形态。元宇宙的发展虽刚起步，但作为元宇宙核心的沉浸技术应用早已是教师教育领域的重要研究命题。Billingsley等就沉浸技术支持的8项教师教育实证研究作了系统综述，结果表明拟真情境能够增强教师教学体验，提升教师教学管理能力和实践技能[5]，证明了教师沉浸式学习情境对实践性知识提升的有效性。伴随着扩展现实(Extended Reality，简称XR)、数字孪生、智能终端、5G网络等技术的应用与普及，构建面向教师实践性知识提升的沉浸式学习环境，将为教师准备与实践提供有效支持。然而，由于技术门槛高、成本昂贵、便利性低等限制，国外较多教师沉浸式学习系统仅由研究者开发与使用，在开放性、丰富性、普适性方面仍存在巨大挑战；我国目前在该领域尚未有成熟公开的平台或系统。基于此，有必要挖掘和分析面向教师实践性知识提升的优质教师沉浸式学习环境案例，为我国相关研究与实践提供借鉴。

二、相关研究基础

(一)教师沉浸式学习环境的演变历程

为支持教师在沉浸式学习环境中具身提升实践性知识，研究者致力于相关资源和环境的设计与开发，但全球能够提供大范围服务的教师沉浸式学习环境非常稀缺。早期，研究者多选用成熟的通用型平台二次开发服务于教师教育的学习环境。例如，直接使用Second Life作为在线虚拟合作工具为职前教师提供语言练习环境[6]，或是基于Second Life环境二次开发教学技能训练工具，如VirtualPREX等。而后，随着桌面虚拟现实的兴起，开始出现基于教师教育需求专门开发的沉浸式学习环境。例如，2005年，美国教育部资助开发的SimSchool是主要面向教师实训的网页版课堂虚拟仿真系统[7]，仅需一台个人电脑即可获得最真实的教学体验；再如2008年美国推出的TeachLivETM则是一款帮助教师练习教学技能的混合现实教学实训系统[8]，后合并改名为Mursion。此外还有部分国家推出的实训平台，如土耳其的SimInClass；韩国的SimTEACHER；法国的Classvir等等。近年来，随着虚拟现实、增强现实、混合现实以及其他类似扩展现实技术的成本和门槛降低，面向教师的学习资源和实训环境正走向具身沉浸。如德国开发的Breaking Bad Behaviors能够支持教师穿戴设备在真实教室进行交互实训。总体而言，利用技术赋能教师沉浸式学习将是未来教师教育的创新方向。因此，挖掘国际上具有代表性的教师沉浸式学习环境案例，研究其优秀经验，能够为我国教师沉浸式学习环境的研究与实践提供参考。

(二)教师沉浸式学习环境的系统要素

明确关键要素，是开展教师沉浸式学习环境案例研究的理论前提。这需要同时考虑系统的技术逻辑和学习体验。一方面，XR技术是教师沉浸式学习环境的底层支撑，包括输入技术、处理技术、输出技术和泛在技术[9]，教师沉浸式学习环境的系统逻辑同样需要考虑输入端、处理端和输出端。另一方面，沉浸式学习体验是学习者在沉浸式学习环境获得的虚拟映射。De Freitas等人提出了沉浸式学习体验的四维框架，包括内容情境、教学法、虚拟表征、学习者特征[10]。综上，本研究提出教师沉浸式学习环境的关键要素。第一要素是容纳具身感知的学习场境。实训活动需要映射于沉浸式学习环境中的某个实践性社区，由此提供抽象知识的具象模拟和具身体验，教师在“做的经验”中形成教学认知[11]。第二要素是面向实践性知识习得的教学法，这是决定沉浸式学习环境成功与否的核心。面向教学技能、课堂管理、家校沟通等实践性知识提升而设计的实训场景，需要恰当的理论基础才能支持实践性知识训练建立在经验、反思、抽象和实验上[12]。第三要素是作为处理系统本身的交互决策。从桌面键鼠交互到动态手势交互，沉浸式学习环境能够实时捕捉教师数据并做出分析和决策，从而反馈系统预设或自主学习的虚拟行为，支持教师在持续沉浸的人机交互中反思与建构[13]。此外，人工智能为沉浸式学习环境增加适切性，能够根据教师所处情境动态性创生内容，使其获得适需的学习路径和资源。第四要素是作为出口的输出反馈。实践性知识的获得至少需要两个条件：不仅需要“行动”的执行，而且需要“反思”的参与[14]，学习分析技术为教师多模态数据的收集、分析和反馈提供了支持，促进反思的真正发生。

三、研究设计

(一)案例选取

为了保证案例研究的代表性，本研究通过以下方式选定案例：(1)以“XR/VR/AR/MR /Simulation”&“Teacher Education/ Teacher Training/Teacher Learning”等关键词组合进行文献检索；(2)根据检索结果对各个案例的官方网站进行体验初筛；(3)根据研究目的筛选符合“专为教师教育而设计、具备一定研究基础、能获得充足一手资料”要求的案例。最终，研究选取了SimSchool 、Murison(原TeachLivETM)、SimInClass、The Interactive Virtual Training for Teachers(简称IVT-T)、Breaking Bad Behaviors(简称3B)、VR Klassenzimmer、VR TEACHER共7个面向实践性知识提升的教师沉浸式学习环境作为研究对象开展结构化分析。将这7个具有一定国际影响力的案例编号为A-G，基本信息介绍如下页表1所示。

表1 教师沉浸式学习环境案例基本信息表

(二)数据收集

研究采用内容分析法进行数据收集、编码与分析，从而提取符合教师沉浸式学习环境关键要素的文本条目。本研究从以下三方面收集多案例研究材料：(1)官方网站文件。主要包括与7个案例相关的官方介绍、实验室介绍、网页报道等。(2)相关学术论文。具有学术性质的期刊论文是最主要的文本材料。(3)多媒体素材。为了保证案例研究的真实性，研究者对每个平台进行深度体验，收集关键图像、应用视频等多媒体资料。本研究共收集了与7个案例相关的11份网站文件、7份多媒体素材、28篇学术论文，对此进行资料整合和指正，形成含46份案例分析材料的数据语库。

(三)数据编码与分析

如前所述，本研究确定了感知场境、教学法知识、交互决策、输出反馈等四个要素。以此为一级类目，两名研究者在深度了解编码框架内涵后，背对背对数据语库逐段提取表达特定意思的文字，即条目；将条目按其内涵进行逐一编码归类至一级类目；接着对每一类目下的条目进行归纳分类，挖掘二级维度。为保证编码的客观性和可靠性，另一名研究者对两份分析编码表进行对比和审查。最终确定案例编码结果如表2所示：包括4个类目、13个维度、253个条目，本文仅举例部分典型条目。

表2 教师沉浸式学习平台案例编码结果

四、研究发现

编码结果为教师沉浸式学习环境的各关键要素分析提供了充分证据。本研究从感知场境、教学法知识、交互决策和输出反馈四个方面，深入讨论和提炼各案例在沉浸式学习设计与应用上的做法、策略和经验。

(一)感知场境涵盖各类技术应用，沉浸体验差距突出

感知场境是教师沉浸式学习的入口，包含支撑沉浸式学习所配备的场所设备、所输入的数据流和所感知到的虚拟画面。首先，从时间看，7个案例的场所设备体现了“WEB端→适于专用环境的电脑端→通用电脑端→移动端→具身穿戴端“的技术进程，系统的适用性和沉浸感越来越强。SimInClass具有最强的系统适用性，它选择虚拟现实的思路，可以在任何地方使用手机、电脑或VR眼镜作为学习设备 ；3B平台则是采用增强现实的逻辑，教师需在真实教室中佩戴Kinect体感摄像机和HMD头戴显示器进行交互体验，具有更高的沉浸感。其次，不同的场所设备决定了其数据收集的方式和类型。7个案例的数据收集类型不同，但总体而言，教师产生的数据包括点击流、文本、语音、手势、动作、情绪、脑电、眼动等等，多模态数据直接影响沉浸式学习交互的丰富程度和拟真水平。最后，教师依托沉浸式设备感知到的虚拟画面保真度参差不齐。早在2005年创立的SimSchool仍是保真度很低的2D画面，而后的沉浸式学习环境皆能支持高保真的3D拟真环境，但因其使用的设备差异而获得不同的沉浸程度。如3B平台，它能支持高水平的视觉和听觉沉浸，教师能够感觉画面是真实有趣的，如同真实教学场域，能够快速进入情境并进行认知参与。

(二)教学法知识应用特色各异，且影响场景与流程设计

教学法知识是实现沉浸式学习的关键，包含作为理论支持的专家知识、支撑具身体验的实训场景和提供学习引导的流程导航。7个案例涉及教学设计、课堂管理、家校沟通等教师实践性知识，其中课堂管理最受关注，但遵循的专家知识和所设计的场景流程各具特色。首先，专家知识是具有大量学习科学和心理学理论基础的，包括最近发展区、建构主义学习理论、多元智能理论、差异化教学等指向教育取向的基本理论；还有立足于教学技能提升的加涅九大教学事件、TPACK理论；指向课堂管理训练的情绪ABC理论、Borich不良行为分类法；支撑虚拟学生人格特征建模的心理学Ocean模型等。值得一提的是，2021年创立的VR TEACHER是以满足疫情需求的教师培训能力模型为理论支撑而设计的，关注疫情后的教师能力(如同理心、适应力、自我效能感等)发展需求。其次，以专家知识为基础设计不同任务类型的实训场景。Mursion在实训前会向教师提供情境概况，包括背景知识、目标体验、教师目标以及学生情况等；各案例在实训中可以选择游戏化关卡挑战难度不断增加的场景、不同学生特征建构而成的场景，或是按照探索、计时、竞赛模式解决问题的场景。IVT-T在实训后提供相应的回放、反思、反馈。最后，教师作为学习者在实训过程中能够获得多样化的流程导航服务。从自主程度来看，可以总结为“由真人（教练/同伴）扮演者控制→人工智能和人类智能混合驱动→完全自主”的发展过程。真人参与赋予了实训体验更高流畅度和真实性，并且支持定制化的教师实训服务，但耗费更多人力资源；而自主流程则是实现沉浸式学习智能化的必然途径，也是当前的发展难题。即便是近三年创立的VR Klassenzimmer也仍选择真人演绎的方式提供实训体验，因为完全自主的效果和成本仍未能达到一个理想的平衡状态。

(三)交互决策保障基础实训需求，然智能化交互匮乏

交互决策是沉浸式学习内部系统的逻辑实现，包含教师如何实现交互、虚拟化身如何模拟反馈，以及基于什么逻辑决策两者的交互。交互决策的方式是教师沉浸式学习环境实现现实与虚拟互反馈的基础。首先，实训教师作为学习者可用两种不同方式对拟真情境中的场景和问题进行触发和交互，一是中介交互。例如利用鼠标在拟真情境画面进行元素点击，或是从桌面选项菜单中进行选项点击，或是利用VR手柄进行更为灵活的操作控制。二是具身交互。例如通过口头互动讲授教学内容、与学生进行眼神交流、利用手势和学生互动。其次，虚拟学生以化身的形式在拟真情境中进行“基于专家知识控制的”模拟反馈。一种是真人专家按照脚本演绎学生反馈，如VR Klassenzimmer，另一种则将学生行为进行动态模拟，形成虚拟化身行为库进行规则化反馈。决策虚拟行为有三种方式：人工控制的方式，如Mursion、3B；基于场景的方式，如IVT-T；基于学生模型的方式，如SimSchool、SimInClass。以IVT-T为例，其决策逻辑是由教育专家将其细化为决策树。这种方式需要随着系统累积海量数据进行算法优化，进而不断增强决策的准确性并缩短反应时间，增强实训教师的沉浸体验。

(四)输出反馈延展沉浸式实训过程，但实时伴随性滞后

输出反馈是指教师置身沉浸式学习环境所获得的即时输出和过程反馈。即时输出包括拟真情境和虚拟化身的实时变化，过程反馈包括实训全程提供的反馈结果和建议反思。在即时输出方面，拟真情境的变化包括教室排列、学生行为、听觉要素、视角切换等。例如包含传统型、合作型、U形和圆形等不同座位的教室；特征各异的虚拟学生；课堂环境音、铃声、学校公告音、附近警笛声、风声等听觉刺激；第一人称视角、360度全方位观察等不同视角。虚拟化身的属性包括人口学特征(性别、年龄等)和个性特征(发型、体型、穿着等)。例如3B平台利用人工智能技术建模输出24个角色，每个角色各具特色，并由算法控制和分配。在过程反馈方面，实训过程中的音效提示、语言反馈是由真人教练提供的，尚未实现智能化的伴随式反馈。在实训结束后，各个案例会从训练项目绩效、学习和情绪状态、专注度等方面提供可视化的总结性评估报告，同时部分平台从研究和优化角度出发，就认知负荷、体验感、满意度、易用性等方面向实训教师发放问卷。基于反馈结果，多数案例会通过真人教练或指导教师提供进一步的建议和反思支持，以便再次实验。如Mursion支持实训教师向同行伙伴寻求建议，同时可以向真人教练就训练情境进行讨论[15]。IVT-T会提供反思问题列表，引导实训教师反思失败原因、策略有效性以及改进计划。

五、研究启示

沉浸式学习环境是教师教育走向“实践场域”的技术创新途径。本研究系统分析各个案例在感知场境、教学法知识、交互决策和输出反馈等方面的典型做法和优秀经验，依此提出了阐明关键要素和实现逻辑的教师沉浸式学习环境系统框架，如图1所示。从系统框架的角度审视上述案例，可见国际上的教师沉浸式学习环境仍在发展阶段，在沉浸感、交互性和智能化方面仍存在较大不足。同时，由于我国相关领域的实践探索尚未起步，本文将结合多案例研究结果提出以下五大发展路径。

图1 教师沉浸式学习环境系统框架

(一)发展虚实融合的教育元宇宙，增强教师具身实践的沉浸感

目前XR技术在教育领域的应用仍比较局限，但随着教育元宇宙概念的兴起带来的实践关注与技术革新，未来融合现实与虚拟、超越于现实的元宇宙将从技术设备、拟真情境和虚拟化身等方面为提升教师学习环境的沉浸感赋能。首先是感知设备的升级减负。当前桌面设备沉浸感不足，穿戴设备昂贵繁重。只有当XR技术、5G网络、云计算、可穿戴技术、视觉计算等系列技术充分成熟并良好融合，才能实现便携式设备的大范围普及。其次是拟真情境的沉浸保真度提升。不管是基于虚拟现实的沉浸交互，亦是基于增强现实的仿真叠加，或是两者交叉的混合现实，教育元宇宙能提供教师实践训练的全场景优化。最后是虚拟化身的个性化增强。教育元宇宙中，教师和学生的虚拟表征从二维数字画像走向三维数字孪生体，能够实时感知、模拟和诊断师生状态 ，以虚拟化身的形式在沉浸式学习环境中进行体验和认知。

(二)加强教师教与学的理论研究，提升拟真实训内容的设计质量

教师沉浸式学习环境的设计需要以科学的教育教学理论为指引，跳出技术本位的困囿。尽管大量元分析研究总体证明了XR技术在增强用户学习体验，促进知识理解和技能提升方面有正向影响，但仍有部分研究发现其在实际应用中存在认知超载现象、注意力隧道效应、学习群体差异性等问题[16]，而造成这些问题的根本原因在于学习理论在沉浸式学习应用中鲜少被考虑[17]，这在本文的案例研究发现中也得以印证。教师沉浸式学习环境设计与应用的教与学理论主要包括两方面：一方面是教师作为学习者进行沉浸式交互的学习理论。常见的经典理论包括具身认知理论、分布式认知理论、体验学习理论、情境学习理论、心流理论等。这些理论为沉浸式学习提供了以下指导：一是在交互设计上，只有当学习者的认知、身体与环境进行有效互动时才能进行学习，因此需要利用XR技术实现多维互动，将晦涩难嚼的知识点转换为具象可交互的形式，形成有效认知。二是场景设计上，应当给学生提供一个可体验的场景，基于此结合主观认识对客观知识进行转化与再创，从而达成一个迭代进步的过程[18]。三是内容设计上，需要注重学习任务的挑战水平要与学习者技能水平相符，这为智能技术适应性推荐提供理论基础。另一方面是教师实训内容设计所需遵循的教学法知识，不同的实践性知识所适用的理论不一样，同一实践性知识也有多种理论视角。例如，以课堂管理为例，3B使用“不良行为分类法”进行课堂管理难度的设计；而IVT-T则用“情绪ABC理论”来设计虚拟学生模型以产生不同应付难度的课堂管理场景。同时，随着COVID-19对教育教学产生了阻滞影响，教师实训如何应对疫情后的危机和挑战也成为重要内容，传统教师培训正在沉浸式方面探索数字化转型之路。设计者应以教师沉浸式学习目标、群体、内容等为依据开展教学法知识的研究与创新，这是沉浸式学习质量的本质保证。

(三)利用智能技术优化交互决策系统，提供教师智能适性的学习体验

当前的教师沉浸式学习环境的交互决策大部分仍是依托容纳大量预设脚本的数据库，即使是基于虚拟化身进行自主反馈的系统在智能化方面仍是相当匮乏的。智能技术能在以下两方面助力沉浸式学习环境更加个性、适需。一方面是交互决策系统的智能反馈。当数据库中基于教学法知识所产生的数据流越来越多，可以利用算法赋予系统中虚拟化身模型一定的“自主性”，提升交互决策的真实性，实训教师能像置身于真实课堂一样接受各种未知挑战。另一方面是实训资源的自适应推荐。当前沉浸式学习环境的学习流程基本由真人控制或是系统预设流程，可触发和选择的实训路径和资源多样性低。通过自适应推荐算法，可以结合实训教师的数字孪生体数据进行需求和偏好识别并推荐。同时，依托智能技术构建沉浸式学习环境的同时，需要警惕算法偏见和信息茧房。当“喂养”的数据足够庞大，教师沉浸式学习环境基于“黑匣子”反馈的拟真情境资源和虚拟化身行为不具有可解释性和可控性[19]，若与事关立德树人的教育规律相违，将对教师专业发展产生重大影响。

(四)融通多模态教师数据，实现伴随式评价与认证

在输出反馈上，由于教师沉浸式学习环境的发展仍不够深入，极少平台能嵌入全过程数据采集并实现伴随式评价。大部分研究对教师沉浸式学习效果的评价是运用自我报告、现场观察、问卷调查等方法检验教师实训后的实践性知识提升表现。运用大数据与学习分析，能够在评价与认证方面更加全面精准。一方面，多源多维多模态数据为伴随式评价提供证据。沉浸式环境是通过刺激教师的听觉、视觉、触觉、动觉等感官而为其带来新体验，其应用效果也应从具身认知的视角去挖掘和获取使用者的声音、行为、生理和心理数据，并辅以传统量表调查，主客观结合了解拟真情境和内容是如何作用于教师学习并产生效果的，推断教师“学到了什么”“当前在哪个阶段”“未学到什么”“遇到什么困难”，这些评价结果可以指导教师教育者如何有效干预和预警[20]。这不但是沉浸式学习环境应用效果评价的重要指标，更对未来的学习环境设计与应用研究具有指导意义。另一方面，区块链技术为教师沉浸式学习评价体系提供去中心化学习认证。未来随着教育元宇宙的建立，在虚拟融合和边界消弭的空间中，大量的用户创生内容(UGC)、现实实体对应的数字画像[21]、集体创作作品等增加了学习成果认证和产权保护的复杂性和混淆性，需要借助区块链技术逻辑和框架去建立完善的教师沉浸式学习环境运行机制。

(五)创新应用模式与策略，保障教师虚拟实训效果

研究表明，单纯的技术考虑不会实现有效学习，而必须运用合适的实训策略，并顾及与传统现场实践的优势互补[22]。本研究提及的案例具备一定研究基础，其应用效果在教师教育实践中得到验证，如迁移教学技能、提升教学效能感、增强人际关系和情感能力等。总体而言，可以基于以下两种教学模式开展虚拟实训，一是作为自主学习资源。沉浸式学习环境为教师创设了沉浸性、交互性和适应性的情境，支持学习者开展自主探索式学习。例如，Chen为来自不同学科的10位职前教师提供课堂问题行为的自主挑战，包括虚拟学生课堂睡觉、打扰他人和使用电话等，职前教师根据系统引导和现场指引独立完成实训[23]。二是作为合作学习资源。Dieker等人运用TeachLivETM进行小组合作，5个参与者“扮演”同一个职前教师角色，按照“课前课例研磨→差异化合作教学→角色扮演实训→小组轮流替代→小组总结谈话”的流程开展模拟实训[24]。当前研究主要关注职前教师，对在职教师使用沉浸式资源开展学习和培训的研究和实践较少。研究者需对面向各类教师群体的沉浸式学习应用模式和策略进行更丰富的探索。教师教育者应以实训目的为指导，将实训教师特征、学习环境特征、实训任务类型等作为依据，开展虚拟实训模式探索和教学设计创新。