境身合一：沉浸式体验的内涵建构、实现机制与教育应用*——兼论AI+沉浸式学习的新场域

徐铷忆 陈卫东 郑思思 张宇帆 袁 凡 葛文硕 魏荟敏

（苏州科技大学 新媒体交互设计与应用研究所，江苏苏州 215011）

一、引言

随着移动互联网+、扩展现实（XR）、泛在智能、大数据、5G、全息与传感等新技术的飞速发展，人类已进入到信息高度智能化、网络化和泛媒介化的“第三媒介时代”[1]。新技术极大地赋能了人们的工作、学习、娱乐及生活环境，生产、生活乃至思维方式和学习方式也受到巨大的影响。尤其是扩展现实、全息技术等，正营造出栩栩如生的虚拟环境，带来沉浸式全新体验。目前，沉浸式环境及体验在文旅、商业、工业、军事、新闻传播等领域都得到了广泛的应用。对教育领域而言，沉浸式技术与环境的应用与不断普及，会促使学习者进一步具身于全新别致的教/学场景中，变革学习方式并推动教学模式的创新。因此，沉浸式学习及沉浸式学习空间等，业已成为全球范围进行教育、教学范式变革的前沿性研究课题。

近年来，教育部《教育信息化2.0 行动计划》以及《国家教育事业发展“十三五”规划》，都提出要建设智慧校园，综合利用互联网、大数据、人工智能和虚拟现实技术等，探索未来教育教学的新模式[2]。无论是建设智慧智能教室，还是发展智慧智能教学，都着眼于变革传统的教学模式，都在凸显基于学习场景/空间的探索、体验实时交互与实现深度学习。因此，沉浸式技术所构建的沉浸式学习场景/空间，自然成为智能+教学环境的重要形式之一，并为5G 时代的教与学带来体验性、具身性、融合性、创造性与智慧性等特征，并催生未来沉浸式学习新场域。

海德格尔说，什么样的工具被运用，就意味着什么样的世界被呈现[3]。5G、XR、全息投影、数字孪生和云化网络等新技术的充分融合，其所创造出的沉浸式环境与学习体验，能够将抽象的知识可视化、具象化，形成了有别于传统知识传递的全新学习方式。教学的空间、时间界限将被打破，学习环境和课堂模式将变为虚拟与现实、数字与实体、线上与线下相融合的无边界沉浸式课堂。学生可以随心所欲地与场景进行交互，充分体验与沉浸式学习资源互动的乐趣，不断激发学习兴趣，进而加深对所学知识的理解与应用。沉浸式体验空间也为学生的自适应学习与能力提升，营造出栩栩如生、赏心悦目的全新环境，提供学生自在、具身、交互、探索、多元、共享、个性化的环境。可以说，“境身合一”成为沉浸式环境与体验的最本质特征。因此，研究“境身合一”般沉浸式体验的内涵建构、实现机制与应用场域等，对培养“智能+”时代的大量创新型人才，促进学生的个性化学习与发展，均具有重要的学术价值与实践意义。

二、沉浸式体验的内涵建构

（一）沉浸式体验的相关概念

1.沉浸感诠释

“沉浸”一词，原意指物体进入到液体中时被全方位包裹的一种状态[4]。当下，“沉浸感”一词更多用于VR、AR、MR 等场景，用来描述与体验、经验有关的身心感受，比如，从叙事心理学角度阐述的模拟经验[5]。随着虚拟现实技术的成熟与广泛应用，尤其是商业化3A 游戏引擎（伴随显卡技术）的飞速发展，沉浸式体验成为玩家在虚拟游戏交互、探索中的常态，通常表现为玩家全身心、忘我般具身于游戏体验过程而仿佛“屏蔽”了周围的时空。因此，“沉浸感”一词被大量应用于电子/视频游戏和虚拟环境的活动中。

近年来，随着XR、全息、传感等新技术的发展，越来越多的领域都开始依赖用技术将用户包裹在沉浸式体验中，比如，城市规划、商业住宅、交通出行、旅游景点、医疗服务、场馆展示等。在教育领域，主要应用于沉浸式学习空间呈现、职业技能培训以及体验式学习等方面的研究。为此，一些学者开始关注并研究沉浸式体验。美国雪城大学的人机交互研究员拜尔卡（F.Biocca）认为，虚拟世界的本质就是由感官体验所建构的[6]。默里（M.Murray）指出，沉浸感的概念是用户在生理和心理上的体验[7]。拜尔卡和德兰尼（B.Delaney）通过揭示与感觉与相关物理方面的接触感知，进一步论述了沉浸感发生在知觉（感官）和心理（情感）两个层面[8]。因此，沉浸感也可以看作是人体感官和情感因素共同作用的结果。

2.沉浸式体验的定义

立德威尔（William Lidwell）在其著作《设计的法则》中，将“沉浸式”解释为“心流”[（Flow）9]。认为沉浸式体验指个体将精力全部心流般地投注在某种活动当中，无视外界的存在，以达到忘我的状态。王红、刘素仁认为，沉浸式体验是融合意识与行为的整体感受[10]。常雷认为，沉浸式体验通常包括感官体验和认知体验，是一种在环境中感到愉悦和满足而忘记真实世界的情境[11]。我们认为，沉浸式体验是指在虚拟与现实共生互融的环境中，参与者在一定技术支持下，通过亲身实践所产生的经历与经验。这种沉浸感包含物理（知觉）沉浸和心理（精神）沉浸二个层面。物理（知觉）沉浸主要指感官信息带来的沉浸感，包括各类可以获得信息的形式，如视、听、触、嗅、味以及本体知觉。在心理（精神）沉浸的形成过程中，则更依赖参与者个人主观的投入程度，注意力的集中状态。

如今的沉浸式体验已经走向一个更大的语义，无论是物理（知觉）还是心理（精神）的沉浸形式，沉浸式体验都在以更为崭新的方式，引导参与者主动建构合适或有趣的情节内容，引发情绪共鸣，进而重塑参与者对于沉浸式体验的认知。

（二）沉浸式体验的相关理论

在沉浸式体验相关理论的研究方面，国内外许多学者都把“心流理论”作为沉浸式体验研究的主要支撑。随着沉浸式语义的扩展以及其自身跨学科、跨领域融合的特性，从多角度探究与构建沉浸式体验理论，能更为全面地了解其本质与内涵。

从哲学角度看，波普尔（Karl Popper）提出的“三个世界理论”认为，“世界一”与“世界二”分别是物理客观世界和精神意识世界，“世界三” 则是人脑意识之外的具有客观性和自在逻辑的观念世界，包括知识、理论等由人类所创造的观念。若将虚拟世界看作一个系统，虽其本身不具备物理性质，但却具有自成体系的历史与使命以及演化发展的规律。因此，可以将VR 等所呈现的虚拟世界，看作观念世界延伸的基础技术支撑[12]。“三个世界理论”为许多基于VR 等技术呈现的沉浸式空间，包括其它相关技术所营造的虚拟世界研究，起哲学意义上的支撑作用。

在心理学方面，心流理论也被称为沉浸理论，并作为研究沉浸式体验与评估的主要判断依据。同时，心流理论与具身认知理论也互为表里。具身认知理论认为，人类通过身体认识世界，身体及其活动方式对人的认知有巨大的影响。通过身体进行交互，将人嵌入世界之中从而将二者融为一体。在沉浸式体验中，同样主张参与者调动身体并投入其中，并获得体验和认知，实现心理上的满足。因此，心流理论与具身认知理论为沉浸式体验、沉浸式空间建构，从内心精神层面到知觉身体层面，均提供扎实的理论依据。

在传播学领域，也有对沉浸式体验的相关研究与探索，例如，从“身体在场”的角度解读当下人与媒介的密切关系，结合麦克卢汉“万物皆媒”的理论，以探究身体与技术的对话。近年来，基于在人机交互过程中出现的双向“驯化”特征，衍生出了“沉浸传播”的概念，这种“沉浸传播”便呈现出“以人为本、无处不在、无所不在”的特征[13]。

在教育学范畴，沉浸式的理念也和建构主义学习理论、体验学习理论等主张契合。建构主义学习理论认为，知识、学习是与情境化活动相联系的。学生需在真实任务情境中，尝试发现问题、分析问题、解决问题。而沉浸式空间正是作为一种情境体验，为学生创设知识体验空间、提供个性化的互动体验方式，助其完成知识建构，从而使学习者完全投入该情境中，实现心理沉浸。另外，体验学习理论主张利用可视、可听、可感的教学媒体，让学生产生主动学习的冲动，并自愿全身心地投入学习[14]。这体现在体验学习中学习者达到物理（知觉）沉浸和心理（精神）沉浸这两种状态。在多维交互的体验中，可帮助学习者理解复杂的知识和技能，使学习者在境身合一的沉浸式学习空间中顺利实现知识迁移，形成深度认知。

基于以上诸多领域对沉浸式体验的相关分析研究和理论探索，结合当下5G+AI 以及计算机图像技术的发展，我们可以预见，沉浸式体验在社会各个领域具有广泛而良好的应用前景。尤其在教育领域，沉浸式体验学习以及沉浸式学习空间正从设计层面（比如智能+课堂），开始走向应用层面（比如智慧学习空间构建与游戏化学习）的探索。

（三）沉浸式体验的特征

基于上述分析与论述，我们认为，沉浸式体验具有无边界、交互性、愉悦性和具身性的特点，能够促使参与者沉浸其中并进行互动、探索与及时反馈，并通过可视化、数据建模等信息处理方式，动态量化现实环境的数据，通过创造、丰富场景或情景再现，以虚实融合、虚实叠加等内容形态，为参与者的身心感悟、认知、理解等，提供全新的环境与支持。

1.无边界

无边界是一种感官感觉，作为沉浸式体验空间的重要特性，它打破了现实物理世界的条件约束，实现了体验的延展性、变化性与动态完整性。无边界不仅具有“空间”之间的叠加之韵，而且还呈现出多维性、开放性、多元化和自由性等特质，更涵盖了科技理性与哲学理论的双重场域[15]，形成了主体和技术相互融合、感性和理性相互映衬、实体与数据动态映射这样一种别致、崭新的沉浸式空间。

2.交互性

在沉浸式空间中，凸显了人与虚拟世界之间自然而多样的交互形式，能够实时拟真感知，获得多样化反馈，进而再度投入体验或探究。沉浸式空间所具有的多维、多变幻的体验方式，颠覆了传统现实世界依赖扁平化、单一互动的形式。它能让参与者从感官沉浸向行为沉浸驱动，主动探究并推进“情节”或内容的发展，并鼓励参与者在虚拟空间中尝试不同可能、不同结局；或将感官沉浸联通其他个体/群体的感知与环境，进而增强参与者的体验感受，促使参与者集中全部心流，更好地聚焦在当前环境或活动交互中，以不断收获新的知识、体验或结果。

3.愉悦性

沉浸式体验本身具有广阔的想象空间，还可结合不同参与者的心智模型与个性喜好，建构符合参与者认知而又超越其固有思维的奇幻体验，并从中获得巨大的感官享受。其中，沉浸式体验空间的想象性特点以及参与者在探究中所获得的成就感，是带来愉悦感的重要基础，也为人类认识世界提供了一种全新的方式：既可以使人类突破时间与空间的限制，去经历、探索和体验各种未知的事件；还可以完成现实世界中因种种条件约束而难以完成的事情[16]，使参与者主观感受与内在情绪产生共鸣，培养内隐认知，并创造在现实世界中难以实现的非结构化学习经验，从而获得难以言说的愉悦感与满足感。

4.具身性

在沉浸式空间中，参与者必然需要具身化投入，对虚拟场景内容进行全方位的观察、体验与感知。而许多虚拟内容本身就基于精心设计、艺术化呈现（比如，游戏场景、剧情等），即具有具身性表达的丰富元素。还有些虚拟现实场景利用布景（实景、虚景）渲染气氛、塑造情境，配合角色演绎与音效，营造出震撼的视听场面，打造虚实混合的新环境。可全方位调动参与者运动感觉系统与周围环境进行互动，为参与者构建别致、乐享、完整的沉浸式体验，促使参与者的具身认知，使之心理和情感水平得到提升，从中激发人的想象力、创造性思维，从而建构个性化的沉浸式学习空间。

三、沉浸式体验的场域、发展历程与实现机制

（一）场域机制与体验的三个层次

1.场域机制

随着沉浸式技术的逐步完善、再集成与体验的不断优化，促成了对沉浸式内容和交互方式的优质呈现与迭代。而随着智能技术的融入，使得泛在智能的沉浸式体验发展成为必然趋势。泛在智能对内容与交互形成支持的同时，建构起由技术、内容、交互三者共同组成的沉浸式场域机制，如图1所示。从中我们可以发现，要获得更为深入、持久与舒适的沉浸式体验，需要参与者在主观意识上突破心理上的感受障碍，进而全身心投身其中。因此，参与者的沉浸状态也是一个不可忽视的沉浸式体验评估角度切入点。沉浸式体验层次作为沉浸强度的分析方式，也弥合了沉浸式场域与参与者沉浸状态之间的缝隙。

2.沉浸式体验的三个层次

在与沉浸式相关的研究中，布朗（E.Brown）和凯恩斯（P.Cairns）依据电子游戏的沉浸强度，将沉浸式体验分为三个层次，由浅至深的依次为：初步参与、全神贯注、完全沉浸[17]。从第一层次中以理性为主导，进行有意识的交互操作，即无需过多依赖情感投入的初步参与；到第二层次中玩家需要接受沉浸叙事中的世界观设定、剧情体验和任务探索等，逐渐开始代入角色或剧情，产生情感并形成共鸣；到最后玩家会在主观上失去时间意识与自我意识，并根据本能直觉进行交互，从而达到完全沉浸、忘我的最高境界。比如，游戏《荒野大镖客2》中的玩家随着剧情的层层推进，深深融入主角亚瑟的角色中而难以自拔。

（二）沉浸式场域的起源与发展

沉浸式场域的最初形式，可以追溯至古代遗址中带有宗教色彩的壁画，以及中世纪欧洲教堂的彩绘与雕塑作品等，如，意大利雕塑家贝尔尼尼（Gian Lorenzo Bernini）创作的雕塑作品《圣特雷莎的沉迷》（Ecstasy of StTheresa）[18]。设计者为了使参观者或信徒能更好的体会神明的意志，借助实体建筑、实体环境并结合自然的光影效果等，以触发参观者对环境的多维感知，更好地表现设计者的意图并使观众产生情感共鸣，给人带来独特的体验。这种完全依赖于实物和物理空间所营造氛围的形式，可称之为实体沉浸，是沉浸式场域的萌芽。

在沉浸式场域的技术实现方面，1840年，惠斯通（Charles Wheatstone）所发明双筒镜立体成像器，可创建较为原始的三维影像。与此同时，对虚拟沉浸形态的描述也逐步出现在一些文学作品中：1901年，在鲍姆（Frank Baum）撰写并出版的小说《万能钥匙》中，提到主角拥有可以看到他人品质的眼镜。这种纯粹基于画像内容、文本信息所构建的沉浸，是一种较为初级的沉浸形式。1929年，沉浸式驾驶舱Link Trainer 率先用于为美国军事飞行员提供虚拟培训[19]。随后，虚拟沉浸开始包括了成像技术、VR，以及其它仿真技术应用等。

在以增强现实（AR）和混合现实（MR）主导的虚实混合沉浸阶段，沉浸式场域有了新的变化与发展。其起源可以追溯到1957年，由海利格（Morton Heilig）发明的、为电影观众增加多感官体验的原型机Sensorama，就是典型的应用[20]。在目前的虚实混合沉浸式场域中，表现内容则更为多样化。比如，沉浸式剧场《又见平遥》、TeamLab 沉浸式展览等，结合实景和舞台表现，具有更多的可互动性和未知性，使得虚实融合的沉浸式体验更具魅力与探究感。不同形态的沉浸式场域发展过程，如表1所示。

表1 不同形态的沉浸式场域与起源

值得注意的是，不同阶段的沉浸形式并不是非此即彼，而是在前人技术的基础上不断做“加法”，即是以多种技术的不断融合、迭代、创新的推动下，沉浸式场域不断发生变革，最终进入到今天的“智能+融媒体”的时代。

未来，随着5G技术的成熟、XR的发展、云计算的加速，情感计算的提升、数字孪生（DT）的嵌入、智联网的生成，沉浸式场域的研究重点将从以追逐软硬件技术，进入到对个性化设计和更优质的内容呈现，并实现由虚实混合式沉浸迈向泛在智能的沉浸。泛在智能的沉浸式场域，主要通过全域交互的形式重构体验，带来千人千面的独特内容。此外，这种沉浸式体验方式将会大大消除目前存在的眼罩“晕动症”，甚至可以实现裸眼3D 体验。根据日前三星公司所发布的“6G时代愿景报告”，高沉浸度XR 与高质量移动式全息体验，将是10年后的普遍场景。可见，泛在智能的沉浸式场域不再是“海市蜃楼”，而是虚拟环境与实体环境全方位叠加、融合并呈现的全新沉浸式体验时代。

（三）沉浸式体验的实现机制

1.沉浸式体验的驱动技术

从上述沉浸式体验发展的脉络来看，技术不断革新是沉浸式体验发展的重要推动力，技术发展为沉浸式体验的内容和交互形式提供了全场域与多维度的支持，让参与者体会到一种别致、愉悦、欣喜的存在感、临场感。

第一，在全域交互方面，随着当代人们对个体体验、群体社交与归属感的不断追求，促进了相关认知领域的研究，激发了沉浸式体验的潜在市场。在沉浸式空间中，参与者的交互形式逐步由“被动接受”转向“主动参与”，甚至即时“共同创造”。利用VR、全息等技术可实现在三维空间中的虚拟互动，甚至可利用手势、语音、意念、脑波等交互形式，为参与者提供了多感官、多维度、多层面的沉浸式交互体验。

第二，在技术重塑方面，数字孪生（DT）技术可根据客观物理现实映射出虚拟数字空间，并根据物理空间中的变化实时更新虚拟空间中的情况，营造出动态且更为真实的沉浸式空间。另外，情感与空间计算不断加持到沉浸式体验中，通过识别参与者的情绪变化，来智能推送相应内容以满足其实际需求[21]。基于5G 和智能物联网技术，可实现保障虚拟空间与现实空间信息的快速匹配和信息互通，使设备间相互配合以辅助虚拟空间的活动内容体验。这样使得参与者可获得更加真实、可信、愉悦的沉浸体验。

第三，在动态智能方面，AI 处理技术正在从“云端”走向“边缘”，并推进物联网向智联网的进化，通过边缘云+5G的低延迟特性，可进行大容量的信息处理。这种设备侧数据处理方式与快速反应能力，可用于及时协调并配置相关扩展性的智能设备，还具有隐私保护和个性化服务等优势。动态化智能的无线边缘架构具有广阔的适应性，依靠日益强悍的算力支持，完成实时演算，快速整合资源，为沉浸式体验提供更为灵活、智能的系统解决方案。

第四，在拟像搭建方面，AI、5G、全息等技术可优化沉浸式场景的呈现形态，提高图像的视感质量，并对图像进行几何变换等动态加工，提高图像的逼真度与高清化。比如，在“30 系”高端显卡的光线追踪与实时渲染技术的助推下，能模拟追踪光线路径，并借助算法来处理模拟的镜头光斑、景深或运动模糊等由相机和人眼的光学特性所产生的视觉现象，可以为场景提供更加逼真的元素[22]。这些技术通过三维结构信息与相应空间的融合，会大大增强参与者对环境的理解力和空间沉浸感。

概言之，全域交互、技术重塑、动态智能、拟像搭建技术等成为促进沉浸式体验升级的关键驱动力，如表2所示。它们共同改变着人们的学习方式、生活方式与体验方式，也改变了人们的协作、互动方式。在技术逐渐完善的同时，内容与交互形式自然也面临着革新与再思考。

表2 沉浸式体验的驱动技术

2.沉浸式体验的内容

要实现完全沉浸于其中的体验状态，除了参与者主观参与程度以外，还取决于沉浸体验项目中情感设计、互动叙事设计、智能动态设计与个性化服务环节内容设计，如表3所示。

目前，在虚拟技术及其它新兴技术营造的沉浸式空间中，体验设计的优良决定着参与者体验满意度以及用户留存。这种由内容情节引发的情感交互与场景空间的交互不同，情感上的交互通过建立有效的引导，使参与者对虚拟空间和内容产生信任感并建立身份认同，以达到情感上的“在场”与共鸣。再进一步巧妙运用音效、人物演绎等方式，对周围环境进行渲染，促使参与者产生共情与忘我。在内容中强化叙事引导，利用动画、转场动效、角色故事等元素增加场景代入感，可实现自然过渡。与此同时，这种形式还能给予参与者强参与感，延续他们对互动的把控感和积极性，增加其在环境中逗留的时间和意愿，让参与者尽可能全程聚焦在目标场景中。

表3 沉浸式体验的内容与设计

智能化动态设计对于沉浸式体验的内容呈现和交互体验而言，是至关重要的环节，它是个性化服务中衍生出的新要求。相对于传统的以“用户为中心”（User Centered Design），智能化动态生成式设计，为参与者自主参与产品属性的定义，提供了多种可行的途径，并利用算力实现用户的个性化服务。这种设计转变了用户的角色定位，使其扮演算法和规则的制定者，在泛在智能沉浸式空间中获得更为丰富的体验，以实现交互的双向乃至多向反馈。

3.沉浸式体验的交互形式

VR、3A 游戏等的大量涌现，诱使参与者情不自禁地进入沉浸式的数字世界。其中，参与者对环境和感知判断是“浸入”数字世界的主要方式之一，而情感和意识作为具身存在的重要组成部分，也是影响参与者在虚拟空间中的主体感知。通过诸如语音、手势、手柄、体感等多种互动方式，共同作用于参与者的多感官刺激，并将人的各种情绪和行为投射到沉浸式空间中。随着XR、全息等泛虚拟现实类技术的不断突破，将推动应用体验的不断提升，最终模糊虚拟与现实的边界，达到“境身合一”的沉浸状态。具体而言，主要体现在以下六方面：

第一，视觉追踪。虚拟沉浸式环境与传统界面固定视角状态不同的是，当参与者进入到三维空间后，可获得360 度自由视角。比如，眼动追踪（Eye Tracking）技术通过识别眼睛注视点的位置或眼球相对于头部的运动，而实现对视线的动态化追踪；同时，还能收集参与者更为精准的视觉动态数据，用于项目反馈与分析，从而优化并完善沉浸式体验的内容。

第二，手势交互。手势作为自然的交互方式，在设计沉浸式体验中具有决定性的优势。在设计手势的时候，已充分考虑三维空间操作范围变化而产生的效果，在体验过程中允许参与者使用触摸、挥舞等新的手势交互形式，自由探究沉浸式场景，增强其对周围环境的信任程度，促使其快速进入沉浸状态。

第三，声效反馈。声音对临境感有很大的影响，声音会帮助参与者注意到视线以外的物体，并鼓励其查看整个360 度空间中的状况，激发其好奇心与探索欲，促使参与者主动探究并进入沉浸状态。相关研究表明，与无声音或散乱的声音相比，有特定方位的声音会增强用户的身临其境感；另外，在虚拟场景中与视觉信息同步的声音，可以大大提高参与者对自身动作的认可，让体验变得更加真实有趣[23]。

第四，声纹语音交互。在语音交互方面，除了通过语言命令识别以外，运用声纹识别技术对语音语调变化进行分析、触发交互，也是自然语言交互领域的另一种场景应用方式。声纹识别能够让智能设备自然而快速地识别参与者的身份，感知其需求的本质来源，以实现沉浸式场域中的个性化体验。

第五，触觉反馈。触觉反馈对提升沉浸感的作用非常明显。人类的触觉通过分布在全身不同密度的大量受体（如，压力、振动感受器、热感受器和疼痛等）与神经系统，以便及时感知、处理对外部刺激而产生时空感知[24]。这种通过神经网络呈现的复杂、细腻的多模态、多感官联觉感知，使得参与者在处理信息与活动探究时，具有明显的触觉反应优势。

第六，嗅觉反馈。相比于视觉或听觉信息，人们会对嗅觉信息通常会更灵敏、更快捷地作出反应。嗅觉反馈的加入，让沉浸式体验更具真实性与享受感。例如，为VR 面具增加独特的香气，或通过在体验中加入令人愉悦的、使人镇定的气味来促使参与者放松身心，可促成深层次的沉浸状态。

可见，在构建沉浸式场域与优化沉浸式体验的过程中，核心要义是发展优质的内容库与表现形式，提升参与者的留存率。而参与者的体验消费趋向，又能够促进技术应用的不断更新。技术不断推动并支持内容与交互中各个要素的升级，以打造更可信、更逼真、更赏心悦目的沉浸式体验，呈现更精细、更刺激的沉浸式场域，最终带动沉浸式产业与应用形成良性循环。

四、沉浸式体验的教育应用领域与分析

在教育领域的应用方面，沉浸式体验能够使学习者通过观摩、体验、交互、探究等，获得诸如行为、言语、表征、抽象、创造等大量在传统课堂中难以实现的学习模式（知识/行为模式）。沉浸式体验的教育应用场景，不仅是新一代教育技术领域深度应用的标志，更是今天在“AI+学习型社会”时代与学习科学、心理学等的理论支持下，形成在教育信息化2.0多领域应用中的有机嵌入，以促进“智能+”时代学习者的跨学科融合与创新性能力的培养。

（一）认知领域

沉浸式学习空间体验给予学习者多感官、多维度的外部刺激，这些感官刺激会投射到海马体、杏仁核等与学习记忆相关的脑区，可提升神经元的可塑性并促进神经活动的发生，从而激活知觉、增强感知能力与记忆状态，从而改善学习和认知[25]。卡森（Carson Wang）博士认为，沉浸式VR 环境能够营造身临其境的场景，这种直观的学习方式符合大脑的本能反应，有利于学习效率的提升[26]。Vive Immersive Lab（中国）联合日本佐贺大学（Saga University）进行了一项“沉浸式环境对学生专注度影响”的研究，研究小组通过观察和分析在虚拟环境中学生的脑电波信息，发现学生在沉浸式VR 环境中，学习的专注度（THETA 分心波、SMR 注意力以及Hi-beta紧张波）是传统学习环境中的6倍[27]。同时，在知识保留率测试上也有明显提升。由此可见，沉浸式学习环境，大大增强了学生获取知识的效率以及留存知识的能力。能让学生在沉浸式的场景中与各种“知识点”通过新的认知方式来互动与触发，帮助学生增强感知和记忆，以提高知识理解的程度。

（二）动作技能领域

动作技能方面的教育与学习不同于理论知识的学习，需要亲身体验以获得直观感受。尤其在专业技能、职业技能训练方面，许多实体实验、培训机构普遍面临着大量耗材和实验风险等情况。而沉浸式体验空间所具有的虚实融合等特征，能够减少实验、训练材料的损耗，降低实验风险或试错成本，同时结合部分实体内容，使学习者实现精准训练，并获得真实的体验。比如，美国陆军战队运用AR 眼镜进行沉浸式军事训练。该训练系统与传统作战的静态沙盘和平面地图相比，不再受场地限制，官兵们可以直观地感受到不同空间的全息影像[28]。在这一沉浸式训练系统中，可以临时设置不同的战场环境和突发状况，让士兵最大程度地感受实战效果，且在训练结束后方便对现场情况进行复盘，从而推动军事训练走向实战化和信息化。再比如，微软公司著名游戏《微软飞行2020》，借助于强悍的游戏引擎，使得玩家居家就可观赏全球许多大型都市的景色，饱览海洋山川、蓝天白云，几乎真实地呈现了每个机场甚至野外道路、树林、湖泊，所有这一切都与现实中的地点别无二致（图2a）。不仅如此，飞机驾驶舱里的所有仪器与真实的同款飞机几乎相同，可模拟操控（图2b）。游戏利用最新的光线追踪、即时运算、实时建模渲染等技术，使画面达到了照片级的水准，高度的拟真性可让任何一个玩家感到惊艳。体验这一游戏的过程，仿佛就在驾驶波音飞机在天空翱翔，体验大型飞机的起飞、降落与穿越云端的感官享受，这种沉浸感难以言表（图2c）。因此，目前已成为许多航空公司用作飞行员技能训练的辅助工具（图2d）。

（三）情感领域

身临其境的场景可以让学习者获得前所未有的体验，协同MR、全息等所提供的超越空间地理区位的工作环境，沉浸式技术可以突破情感障碍，让学习者从他人的角度来体验生活，培养共情能力。即沉浸式技术可有效突破情感障碍、激发人的同理心、增强理解力。比如，由斯坦福大学“虚拟人类互动实验室”（VHIL）开发的“无家可归”项目，可让学生在虚拟环境中体验流浪生活，由此来培养学生对无家可归者的同理心。且在后续追踪调查中发现，同批被试者相较于未试者更富有同情心[29]。另外，依托新兴技术所建构的沉浸式空间，在更好发挥内容设计者创意的同时，也为学习者提供视听等震撼冲击与享受，激发其内在的情感共鸣。未来，在沉浸式教育领域将实现更多传统课堂教学中难以实现的情感学习内容与反馈评估方式，以提升学习者的内隐认知能力。

（四）思维训练领域

沉浸式技术可帮助学习者在一个安全、准确的环境中进行练习和完善技能，这种沉浸式环境使虚拟与现实世界达成较为完美的联结，甚至涉及数字化身中“身体所有权”的转换。这种具象化的认知，包括创造性思维所感知的模拟形态，通过可视化技术和教育内容自适应技术，会进一步拓展学习者思维的广度与深度。此外，还能引导学习者自主建立多维、个性化的思考方式，调动其主观能动性，培养创新性思维模式。比如，在MR 等技术的帮助下，沉浸式体验所建构的三维空间，可以弥合理论与实践的差距，适应对空间想象感或空间感知能力比较弱的学习者。脑科学研究也揭示，由于人的大脑对于三维的理解优于抽象的一维、二维事物，沉浸形式下的学习内容，更容易被大脑生成、保留、检索和转换，并能通过脑电图（EEG）检测学习者的大脑活动，从而减轻大脑的认知负荷，提升了沉浸式教育空间的在场感与应用价值。

五、实现境身合一：打造AI+沉浸式学习新场域

我们认为，所谓“境身合一”的沉浸式体验，其追求的“境”包含双重含义：一是人、空间、技术三者之间的和谐相处，它属于人与技术的自然交互；二是环境带给人饱含气氛、情节、别致的入境体验。具身学习理论揭示，学习是具身的、而不是离身的，因此，在沉浸式学习新场域的场景与内容设计时，需考虑新的呈现方式。比如，基于叙事、互动、社交以及多感官刺激等的设计。未来几年，在AI 2.0发展的助推下，随着XR、DT、全息、脑机接口等技术的不断成熟与广泛应用，沉浸式学习将实现更加细腻且真实的体验，实现认知、学习、思维方式的多元化，进而打造身心合一、境身合一、可信可依赖的沉浸式学习新场域。

（一）游戏化智慧学习

游戏化学习一般是指将游戏元素、机制等应用于学习过程。在学习中进行游戏化的设计，能极大提高学习者的学习效能。而将沉浸式技术应用于游戏化学习，一方面，临场感进一步提升了学习的趣味性；另一方面，对于复杂环境下难以理解的知识，可通过游戏化机制进行展现，如，将困难的学习内容拆分，重构成多样化的小任务，呈现可进行任务过关或分步探究的学习形式，更易被学生所接受，能助其全面理解各种复杂概念，提升想象力、关联力与思维能力。

CLEVR 开发的Cellverse 是一款用以帮助中学生学习细胞生物学的教育游戏[30]。它利用VR技术Cellverse为学生创造了真实、可探索的游戏化学习环境。如图3所示，在这一环境之中，学生可对细胞进行全方位观察、寻找相关线索，用以完成学习任务。而沉浸式的三维形象细胞环境与游戏化学习机制，成为一种隐性的学习脚手架，为学生提供了舒适的感知条件与认知环境，提升了学生学习的投入感与专注力。另外，从个体角度而言，身体本身具有一定导航和理解的能力，身体在参与认知活动时，在内隐学习层面上，不仅能增强学生的直觉认知，还能充分调用学生的空间理解或感知能力，在一定程度上降低学生对于细胞形状、位置以及组成方式等的理解难度，并提升学生的空间想像意识与记忆力。

随着AI 与5G 等技术的进一步发展，智慧化的游戏环境能够基于学生的先验知识、能力、认知风格、学习偏好，以及个体在游戏活动中的情绪、注意力等的变化，进行智能化的适应性调整，为学生建立“靶向学习情境”（Situation Learning Cible）[31]。此外，在游戏体验中，加入基于AI技术所构建的智慧NPC，可为学生在游戏化学习中提供有针对性的指导，学生可与虚拟智慧NPC 进行有趣的互动与对话。随着实时图像识别与渲染技术、分布式网络等技术的发展，智慧NPC 可通过面部表情和嘴唇同步来丰富对话功能。而自动交谈与头部跟踪技术，则进一步增强智慧NPC的真实感[32]，能有效促进学生在游戏化学习环境中的情感投入与对知识的理解。

（二）XR+CPS 仿真实验室

CPS（Cyber-Physical Systems）一词，最早由美国国家科学基金会（NSF）的Helen Gill提出。2016年，美国国家科学院、工程院、医学院三家联合发布了一份长达107 页的《21世纪CPS 教育报告》，按照报告的定义，CPS 是由计算机算法和物理组件所无缝集成、构建的，并依赖于这种无缝集成的工程系统，能够催生出比人类更敏捷、更快速的通信和响应系统[33]。

基于XR+CPS技术创造的仿真实验室，可为学生提供一个高效、安全的学习平台，帮助其实现知识从课堂到实践的有效迁移。依托CPS技术中的以传感器和视频音频采集组成的感觉神经系统，以云计算为基础的中枢神经系统等，可实现实验室内的机器人及其他智能设备之间的统筹与快捷通讯，并结合智能物联网（AIOT），能够在仿真实验室中依据现实课堂环境与学习内容，实时生成三维虚拟操作平台与操作组件。与此同时，4K（8K）的分辨率显示则进一步强化模型的虚拟感，促使虚拟环境与现实环境更加相融，为学生提供实时互动、触手可及的沉浸式学习体验。

由MIT 媒体实验室开发的静电游乐场（Electrostatic Playground），便是VR 虚拟实验室的典型应用[33]。在该VR 实验室中，抽象的静电概念被具象成有形的物体并用以交互，如图4所示。学习者可以直接操纵物理对象进行学习与感知，且接受来自VR 实验室的实时反馈。甚至学习者可以直接在这一环境中创建电荷，观察电荷的不同反应；还可在此之中创建相关结构模型用以实验，并可随时对模型进行修改。该体验方式能够帮助学习者完成一些具有挑战性的实验项目，并能保证实验的安全性，具有潜在的教育应用价值。

可见，由XR+CPS 仿真实验室所带来的虚实融合、动态创生等特性，进一步完善了实验室教学，沉浸式系统生成的多样化实验环境以及逼真的视、听、触觉感受，更为学生带来了丰富的体验。在为学生提供可靠、安全的实验环境，提升实验容错率的同时，也为其提供了更大的实验、创作的自由度与灵活度。未来，基于XR 与CPS技术建立的沉浸式虚拟仿真实验室，还可以通过图形化数据，多维度地解释现有的学习空间，提供具有导向性的可视化指标，让学习者可实时关注实验数据与进程。同时，智能环境系统时刻收集实验过程数据，生成动态化的数据模型图，以更直观的方式将实验数据反馈给学习者，学习者可动态编辑数据模型图中的数据点与关系边，寻找出实验的最佳路径与问题最优解[34]，并直接作用于现实物体，实现虚实无缝连接，极大地提升了学习效率，如图5所示。在这样一种学习形态下，学习者的学习目的由求知向求解转变，学习的主动性、趣味性与探究性得到极大提升。可见，XR 仿真实验室通过结合理论与实践，在帮助学生进行深层次学习的同时，也能有效锻炼学生的动手操作能力、创新能力、批判性思维能力以及解决问题的能力。

（三）智能化泛在协作学习场域

随着后疫情时代的到来，打破了高校教学的标准化节奏，线上教学、远程教学等网络教学模式将逐步常态化[35]。在今天“超联通时代”（Hyper-Connected Age）的5G（6G）技术与孪生体域网快速发展的推动下，在利用数字技术所构建、所映射的虚拟孪生体中进行教学活动，应是未来泛在教与学的重要应用方式之一。随着XR、全息、脑机接口等新技术以崭新的形态介入身体，人体本身正转变为连接虚拟与现实的“数字个人”（Digital Me）或“虚拟人”；同时，教学环境与工具等也日益成为沉浸式学习的浸入媒介，两者将逐步达成共生状态[36]，进而构建起“处处可学、时时浸入”的舒服式、泛在沉浸式学习场域。

学习者意识的投射也是沉浸式学习场域未来的突破口，DT、全息技术的成熟应用，突破了诸如远程教育中身体“缺席”的问题，实现将教师或学习者的意识与身体精准投射“在场”，如图6所示。并在人际协作学习过程中，通过双向脑机接口（BMIs）与XR等新媒体技术的结合，可快速搭建并配备高科技仪器、集成各类硬件工具的沉浸式学习场域，能够在人脑与计算机或机器接口之间实现双向通信，并通过可穿戴或植入设备，使学习者在该场域中构建自己的数字孪生体。这些数字孪生体作为沉浸式场域关系网络中的节点存在，也与物理现实互融互通，并在网络节点之间进行各类复杂、互动学习行为，这些均能在现实中产生同等的效应。而且，跨地域学者均可创建“虚拟化身”进入该场域，使用DT、全息技术动态映射在不同的学习场景、研究对象与学习工具中，以协助进行协作化群体学习。此外，由实体物件映射而成的虚拟孪生体将被记录于云端，结合4D 打印等技术，能有效解决现有优质教育资源分配不均衡等问题，打造起跨地域的学习共同体，有效促进边远、贫困地区教育公平的实现。

在学习活动监测、分析方面，还可利用可穿戴设备、生物传感器等技术，即时获取学习者的生理、学习、情感数据与认知网络状态，量化学习者个人生理、心理、行为等多模态数据。如，学生在学习活动中的注意力、认知负荷、情绪类型、信号波动等“脑部”状况变化，并通过学生数字孪生体进行再现。比如，MIT 实验室的Emotional Beasts 就是类似的应用，通过创造自己的“情绪化身”进行自我表达，也能有效提升个体对他人的情绪状态感知与理解[37]。

沉浸式场域还可通过学生情绪与大脑活动，动态调整学习环境。可依据人脑处理信息的方式与人在自然学习环境中的行为模式，通过与教师协作，直观把控学生学习的行为状态，精准设计出个性化、强针对性的教学方式与学习路径，实现“与脑相容”（Braincompatible Learning Theory）的沉浸式环境系统[38]。

（四）全域学习生态链

目前，由产、学、研三方相互配合所构成的全域生态学习链，充分发挥其优势，打破了教与学中存在的信息异步、沟通缺失等问题，使教学活动中的各部分相互依存、相互促进、相互协作，为促进新型沉浸式混合学习空间的构建创造了条件。全息、DT、XR、自适应等技术的应用，构成了“可自我适应”的技术生态环境。学习者可以在全域学习生态链中完成其学习目标，获得经验与认知。从生态环境建构的角度而言，环境对学习者反馈的适应性，也在伴随学习者目标而逐渐升级。即生态链中各要素表现出及时、动态的调整，并将收集到的数据及时反馈给教育管理者以及教育软硬件制造商，可促进教育内容与资源的完善和优化，实现教育资源的合理配置，使教与学主体在与环境要素之间的互动中，营造面向学习主体的自适应环境，为沉浸式学习空间提供物质基础。

西塔兰（Roopesh Sitharan）的研究团队初步探索利用AR、VR 和HOLO的技术潜力，将物理学习空间和虚拟学习空间结合起来，打造了一个全新的混合型学习空间[39]。在AWE Asia 2020 增强现实世界博览会现场，影创MR全息会议系统首次对外进行展示[40]。如图7所示，用户可以随时进入全息会议，通过MR 眼镜参与多人异地、多终端的全息会议，并进行实时交流。该全息会议系统使得用户之间的沟通变得精准与及时。未来，在基于泛在智能技术所构建的5G（6G）网络支持下，双向连接会更有深度，能够扩展到对象任何的活动空间。同时，通信设备及其连接对象实现大面积智能化，从而体现出更高层次的感知、更实时的反馈与响应，如同人类肢体、感官的延伸一样，并且具备更深入的神经感知、思维交互等教与学特征。

可以预见，全域学习生态链将在AI 等技术支持下，进一步推进教与学过程中网络数据智能化的挖掘与利用。未来，沉浸式学习空间中的媒介界面将逐渐消失，真正实现虚实无边界交互。全域学习生态链将实现分布式超级终端与AI+电脑实时演算无缝结合，实现软硬件一体，搭建人、机、环境的协同链路。其中，分布式超级终端在技术上可实现算力共享、一次部署、全局通用，以减轻个人设备更新的压力，构建起高效率、低延迟的快捷学习网络，并结合产学研力量，实现学习设施的长期而稳定运营。

（五）沉浸式群体探究学习

在“互联网+”时代，项目研究团队成员之间的思维碰撞与灵感的相互激发，可促进创新性思维的产生与开拓，从而快速推动研究走向成功。因此，通过分布式协作等学习方式，能极大地提升学习者学习的绩效，这对未来沉浸式学习的设计具有重要的借鉴意义。在未来的沉浸式教育形式中，可利用全息、DT、5G（6G）等沉浸式环境技术，结合学习科学理论，建构起沉浸式的群体探究学习模式，进而形成沉浸式知识建构共同体（Knowledge Building Community）[41]。

这一知识建构共同体的目标，旨在把课堂变成实现群体知识共创的场所，如同跨界协作的实验室、创新孵化机构一样。而将课堂与沉浸式体验相结合，能有效地将学习空间演变成创新型的协作或探究组织，使学习者在体验沉浸式学习中自主探索与发现问题，并可同时激发个体与群体智力，群策群力共同完善并推进“知识建构共同体”。同时，也促使个体在“集体知识”的发展中完成参与沉浸式群体探究学习过程，从中培养学习者的创新与主动探究能力。

而且，这种沉浸式群体探究学习的结果，并不是每个人所学习内容的简单叠加，而是群体认知在沉浸式空间中所形成的具有创新性合作的探索集成，群体认知的智慧将超越群体中每个成员的认知。换言之，沉浸式学习体验与传统学习模式所不同的，在于群体的学习是不断发展的，是一个螺旋式上升的持续探索与新知识汲取的迭代过程。一方面，沉浸式群体探究学习能优化学习体验，充分激发学习兴趣；另方面，有意义的知识群体共建，能够实现高质量的群体探究学习，有效实现个体学习者的知识内化，提升学习者的社交与探究能力。

（六）高自由度生成叙事学习空间

高自由度的生成叙事空间，主要依赖于内容的丰富程度以及用户操作视角的自由度。在内容设计上，基于AI 中的仿生算法（Biologically Inspired Computing）、生成设计（Generative Design）等，可根据学习目标与任务规则建立起教学框架，帮助学习者深度参与到空间叙事中，以改变传统学习场景的“营火”现象[42]，即权威导向性学习模式。生成叙事设计旨在促使学习者转向主动参与叙事，甚至创造不同的故事脚本，这种高自由度的叙事空间，不仅实现了学习的个性化，而且，其中丰富的“支线内容”，也有力助推学习者进入“卷入”状态[43]，提升其想象力或辩证思考能力。例如，在剧情中使用知识点作为关键线索并重复出现，此时就需要学习者通过回忆、解释的方式，去巩固以往的内容，填补“空缺”的剧情以保证叙事的完整。学习者在回忆知识的过程中加深了印象，达到巩固与复习相关知识的目的。生成设计改变了原有学习环境相对固定的模式，为实现高自由度的沉浸式体验提供了契机。

另外，这种“高自由度”还体现在学习者视角的自由度变化，360 度视频与VR技术，改变了传统古板单一的“窗口模式”，带给人更接近现实的六自由度视角。未来，数字显示模式将在感官模拟和XR技术的支持下，进一步推动物理环境与信息技术的无缝式融合，为学习者提供虚实自由切换的新型学习方式。比如，围绕具体的学习主题和学习目标，快速且低成本地建构丰富多样的数字化学习资源，通过虚实融合动态生成并实时更新学习环境；同时，学习者作为环境的一部分，可以对所遇到的事件采取行动并获得相应的反馈，甚至可在沉浸式空间中建构出一个可居可游的有趣故事世界，如图8所示。

美国布朗大学格兰诺夫创意艺术中心的虚拟现实艺术家布卢门塞尔（Adam Blumenthal）与14 位大学生合作，使用VR 研究“美国独立战争”时期的加斯佩事件[44]。为了重现历史场景，研究小组运用了演员、3D 建模、动画等多种技术，并以VR的形式再现了这一历史场景。在此过程中，学生们对学习材料进行了多角度观察与辨别，提升了其批判性思考能力，也进一步加深了对历史事件的认知。

总之，“AI+沉浸式技术”所构成的高自由度生成叙事学习空间，其所具有的智能化、个性化与自适应等特点的新型教学系统，不但突破了时间与空间的界限，也打破了学科间的壁垒与局限性。在5G（6G）技术的加持下，实现为每一位学生动态生成个性化的叙事剧本、学习内容与体验场景，进而促进学生产生心流体验，提升学习过程的沉浸感、趣味感与专注度。

六、结语

今天，在这个万物皆数、数智融合、万物智联和体验为王的新时代，学习是具身的、多模态的、全域感知的、智能的；也是在场的、连接的、高阶的、交互的，沉浸式学习空间或场域势必给学习者带来全新的、“境身合一”般的学习体验。这种沉浸式体验不仅为学习者提供了更优质的学习空间与内容，通过鼓励学生从不同的角度观看并获取感悟，积极地参与各种模拟和场景体验；而且可帮助他们建立更好的社交情感技能与认知架构，让学生沉浸在具有强大叙事、拟真实践、并与现实结果相联系的丰富环境中，以获得别具一格的多维扩展体验。从而可为学习者积极投入学习过程、提升认知能力、培养想象力、移情关联力与创造性思维等，提供更有效的发展途径，这也是面向智能时代培养大量创新性人才的重要方式。

我们认为，沉浸式技术应该像在当下教学课堂环境中所采用的所有技术一样，成为现有面对面学习、教学设计与教学活动开展的有效补充，并促进师生、生生人际关系和交互最终引向社交性情感与有意义学习体验。不仅如此，伴随新技术的快速发展，知识的老化与迭代成为常态，学习注定需要伴随每个人终生。不论课堂中的正式学习还是非正式学习，学习的本质离不开特定的学习情境。提升学习绩效，路径可能有很多，但营造身临其境的学习环境，无疑是让学习者产生真正持久兴趣并进行有意义学习的一种有效手段。只有身到、心到，身心合一，才能进入具身化的沉浸式学习，不断提高学习效率，促进学习心流的产生，以实现忘我的、深度的、高效的学习。其实，智能化已经让我们“浸入”了到了一个虚实融合的泛沉浸式时代，它不是未来，它正在发生[45]。