在元宇宙中开展沉浸式学习：基于5G+AR的沉浸式学习特征、范式与实践

一、问题的提出

沉浸式学习源于20世纪60年代的西方，其最初应用于语言教学，通过语言环境的营造让学习者掌握母语之外的语言。后来，沉浸式学习的内涵更加丰富。弗雷塔斯(Freitas)等认为，沉浸式学习使用基于文本、基于语音和临场感的虚拟世界自然允许更复杂的社会互动、设计的学习体验和角色扮演，并通过增加互动性鼓励学习者赋权。[1]简言之，沉浸式学习是个体在物理的或虚拟的交互式、沉浸式学习环境中，通过体验和探究，产生身临其境般学习体验的学习方式。沉浸式学习环境的创建是沉浸式学习体验的重要一环，其具有情境性(Simulative)、认知性(Cognitive)和关联性(Associate)等典型特征。[2]此外，现实性(Realism)、成就(Achievement)和临场感(Presence)[3]也是沉浸式学习设计的重要原则。为促进沉浸式学习的进一步发展，多样视角的沉浸式学习模型不断涌现。如，基于MOOC的沉浸式学习体验和评估方法设计[4]和沉浸式学习的认知情感模型。[5]

元宇宙作为沉浸式技术发展的新阶段，融5G、VR/AR/MR/XR、大数据、区块链、人工智能和数字孪生(Digital Twins，DT)等技术于一体，赋能沉浸式学习高质量发展，在一定程度上消解了其沉浸性不够、临场感不高、交互度不深、响应性不快等难题。能提供强大网络与通信保障的5G和支持虚实叠加体验的AR，作为元宇宙的关键技术，为沉浸式学习的开展提供了更具可操作性的路径。目前，5G驱动下的沉浸式学习研究较少，谢峰分析了基于5G和VR的沉浸式教学应用及其优势。[6]AR驱动下的沉浸式学习研究聚焦于沉浸式教学设计和沉浸式学习对学习效果的影响两方面，前者以课堂学科教学设计与实证研究以及教学系统应用设计为主，后者集中在AR对总体学习效果以及特定学科学习效果的评估上。如，基于AR的文化学习互动设计[7]、基于AR的沉浸式教育创作工具[8]、沉浸式参与式AR教学模拟对教学的启示与局限[9]、AR对沉浸式词汇学习的影响[10]等。此外，5G和AR的融合研究在通信、媒体和计算机等领域取得了初步进展，但在沉浸式学习方面却较少且不够系统。因此，为充分发挥元宇宙的赋能作用，促进沉浸式学习的革新与进阶，明晰沉浸式学习的新形态，可以基于5G和AR，从新特征、新范式和新实践三个维度对沉浸式学习展开全面而深入的研究。

二、基于5G+AR的沉浸式学习特征

(一)5G与AR的珠联璧合

国际电信联盟(ITU)定义了5G的三大应用场景：增强型移动宽带(eMBB)、高可靠低时延通信(uRLLC)和海量机器通信(mMTC)。[11]为满足5G多样化的应用场景需求，5G具备高速率、低时延、大连接等关键性能。凭借技术优势，5G能突破AR在4G等网络条件下时延高、定位不准和和画面渲染能力不足等方面的技术壁垒，为AR的崭新发展提供网络支撑，从而提升AR支撑下的沉浸式学习体验。在元宇宙中，5G与AR的珠联璧合为沉浸式学习的发展提供了基本的技术支持。

1. 低时延：同步响应

5G的时延主要指双向交互延迟(Roundtrip Interaction Delay)，包括用户交互延迟(User Interaction Delay)和内容间隔(Age of Content)，前者指从用户操作开始到内容创建引擎考虑该操作之间的时间间隔，后者指内容创建到呈现给用户的时间间隔。[12]5G的目标是实现理想状态下1 ms的空中往返时延。5G低时延对AR的影响主要体现在交互式AR上。对于可以使用缓冲区的非交互式内容，如流式360°视频，如果缓冲区仍然存在，则网络延迟通常不是问题，从而使该内容更能容忍更高且不一致的延迟。然而，交互式内容更容易受到网络延迟的影响，需要低延迟来确保对某些用户交互的响应。一方面，5G的低时延能促使真实教学场景中的动作在虚拟物象上得以实时映射并获取实时反馈。在沉浸式学习中，学习者可通过语音、手势和触觉等完成信息的输入，虚拟内容能够迅速做出反馈，从而保障用户交互的实时性，减弱交互滞后而造成的消极体验，使交互更自然。另一方面，5G的低时延能够保障实时的师生交互和同伴协作，并支持远程人机协同，为沉浸式学习的深度交互提供网络保障。总之，在5G低时延的驱动下，交互式AR能够实现同步响应，使虚拟信息与真实世界融为一体，减少因为交互滞后等而导致感知扭曲，为学习者提供实时、可靠、有效的交互，从而营造实时响应的沉浸式学习体验。

2. 精定位：精准匹配

阿祖玛(Azuma)认为AR具备虚实结合、实时交互和三维匹配三个基本特征。[13]三维匹配又称三维注册，指AR对虚拟信息在现实世界中的位置进行追踪和定位，从而将虚拟信息准确叠加到现实世界中。基于传感器的匹配是三维匹配技术的一种，包括GPS注册、超声波注册和电磁注册等。基于位置的AR教育应用主要通过移动网络或GPS对学习者进行定位，并根据位置信息向学习者呈现图文、视频、音频和3D动画等虚拟化的教学内容，实现体验式学习和发现式学习。如，在访问图书馆、博物馆和历史古迹时，AR设备可以基于学习者的实时空间位置，将多种数字化的标注信息融合到真实场景中。然而由于现实环境中的物体遮挡、延时和定位不准确等因素，AR的跟踪和定位系统面临巨大挑战。3GPP R16引入了适用于室内外5G解决方案的新的定位架构、方法和信号，可提供厘米级精度的定位，实现定位精度的飞跃。5G定位架构中的定位信号包括内部传感器、全球导航卫星系统、Wi-Fi定位系统信号和3GPP无线接入技术信号，其通过多个定位信号的数据协同，将定位精度大幅度提高。此外，5G的低时延能够在时间和空间上保障虚拟与现实匹配的及时对准。在5G精定位和低时延的驱动下，5G+AR能实现虚拟内容和现实场景的完美融合，减少学习内容匹配不精和不及时带来的挫败感与不真实感，从而提升沉浸式学习体验。

3. 高质量：优质内容

AR能够生成增强式的数字化学习资源，优质内容则指增强内容的画面具有清晰逼真的特点，这有赖于5G高网络传输速率的保障。首先，5G的传输速率最高可达20 Gbps，为4G网络传输速率的数百倍。5G综合采用毫米波、大规模天线以及同时同频全双工等技术实现更大的频谱带宽，从而提高传输速率。在高速率的保障下，裸眼3D和超高清视频等得以实时传输和播放，满足了用户对高质量多媒体内容的需求，从而有效解决AR因为网络传输速率低而导致的内容质量不佳、画面不清晰问题，极大提升了用户的沉浸感和使用体验。其次，5G的高速率推动AR设备的数据传输、计算和存储走向云端，Cloud AR便应运而生。4G网络无法满足高端AR渲染达百兆的带宽需求，低端、便携的AR设备则存在种种画质、延迟问题，交互体验不尽人意。Cloud AR采用基于云的电脑制图对虚拟图像实时渲染，AR渲染任务可置于云端服务器，然后以实时视频流的形式传到本地AR设备上，以便在终端设备上获得高质量的3D渲染，提高AR画面的质量，增强沉浸感。最后，5G移动边缘计算(Mobile Edge Computing，MEC)的出现弥补了云计算(Cloud Computing)的不足，促使云服务向前进一步推进。MEC指在靠近数据源或用户的地方提供计算、存储等基础设施，并为边缘应用提供云服务和IT环境服务。相比于集中部署的云计算服务，MEC能够满足Cloud AR教学等新业务对网络提出的超低时延、超大带宽、实时计算等需求，进一步优化云服务的存储、计算、渲染能力，从而提供优质的AR内容，服务于沉浸式学习。

(二)AR为沉浸式学习带来“心—身—境”一体的学习体验

AR不仅能够为学习者带来身临其境般的心理体验，而且能够实现学习者与虚拟物象的交互，还能够创建利于沉浸式学习的知识情境。简言之，在元宇宙中，AR从“心—身—境”三个维度促进了沉浸式学习，实现“以心带身，身心一体，身临其境”。

1. 提升临场感，激发内生动力

临场感(Presence)是一种心理状态，在这种心理状态下，虚拟物体以感官或非感官的方式被体验为真实物体。[14]临场感是沉浸式虚拟环境的重要心理元素之一，对沉浸式学习过程起到关键作用。[15]首先，AR能够为学习者提供视觉、听觉、嗅觉、味觉、触觉以及运动感官的多通道感知，模拟真实世界中多元的感知体验，从而模糊虚拟与现实之间的界限，让学习者沉浸其中。此外，与3 DoF(自由度)相比，配有6 DoF追踪定位的AR头显或眼镜不仅可让学习者通过旋转(俯仰、偏摆、翻滚)与内容交互，还可以通过位移(前后、左右、上下)与内容交互，从而更加全面地模拟个体的运动。其次，AR通过虚实结合的探究式学习，能增强学习者的学习体验，引发学习者的同理心，唤起学习者的情感，并可能使其转化为实际行动。埃夫斯塔西奥等(Efstathiou et al)的研究表明，学习者通过移动平板，在AR学习环境的支持下参观考古地址能够培养历史移情能力，帮助自己解释、理解和连接不同时间的人类活动模式来提高概念理解并支持民主的发展。[16]最后，AR能够营造沉浸感(Immersion)。与主观的临场感不同，沉浸感指被环境包围以及融入环境并与其互动的感觉[17]，其更多的是平台或技术的客观属性。具体而言，AR通过模拟安全、无干扰、低成本、可反复练习的学习情境来帮助学习者集中注意力，实现心理沉浸；通过弱技术痕迹化的人机交互、基于角色扮演的人际交互等促进体验式学习，实现动作沉浸；通过引人入胜的故事情节触发强大的语义联想，实现叙事沉浸；通过多感官刺激实现感官沉浸等来营造一个身临其境的环境，从而加强学习的沉浸感。总之，在元宇宙中，AR能从感觉、同理心和沉浸感三方面提升学习的临场感，从而推动学习者的自主探究、认知投入与深度交互等，激发沉浸式学习所需的内在动机，提高学习者的参与度。

2. 模拟直接交互，促进具身认知

直接交互指直接和对象进行交互，减少不必要的按钮等其他控件作为“中间人”。本文的直接交互强调AR技术下的人机交互。早期的AR技术主要借助数据手套、鼠标、键盘和触摸屏等设备实现学习者与虚拟学习内容的交互，且以文字提示等方式提供反馈信息，此类交互技术痕迹强，容易给学习者造成不真实感，使其很难沉浸于学习活动当中。伴随追踪定位技术的发展，以此为基础的新型人机交互使AR中的交互变得更加直接，更趋近于人在真实环境中的自然交互。语音识别、手势追踪、眼球追踪、肌电传感、气味模拟、虚拟移动和脑机接口等交互技术使人机交互更自然化和智能化。如，Kinect体感互动游戏，采用体感操控技术、3D技术和AR技术，以三维的形式呈现现实场景。学习者可通过奔跑、伸展、跳跃等肢体动作操控三维场景中的人物，与三维场景中的人物进行学习、体验和探索。学习者无需佩戴感应设备，只需通过无接触式的人体互动，便能进行情景式、沉浸式、交互式的学习。AR的直接交互多以视觉、听觉和触觉等感官交互为主，能够通过身体感官与外界环境的互动促进认知的发展，体现了具身认知(Embodied Cognition)的理念。具身认知强调认知根植于身体，经验建构于具身交互。基于身体的体验在感知上更具沉浸感，并导致更强的临场感，因此学习者可能会觉得他们处于一个更真实、更有意义的教育空间。[18]换言之，基于身体及其运动的体验和实践的学习激发了学习者内在的临场感。总之，在元宇宙中，AR通过模拟直接交互带动学习者的身体感知，让其在多感官的具身化探索中进行体验式学习，并沉浸于学习之中。

3. 可视化学习内容，创造目标情境

传统基于教科书、幻灯片、MOOC视频的教学以静态平面的方式呈现学习内容，呈现一种较为抽象的学习情境，学习者必须将一系列静态的平面图像转换为大脑中的动态三维心理表征，以准确理解学习内容。从认知科学的角度来看，这一转换过程需要大量认知工作，使学习者的认知负荷加大。而AR能将数字化的教学资源整合到现实场景中，以图文注解、模拟动画和交互实验等形式，对难以呈现的教学场景、抽象的学习内容进行“增强”，从而使其具体化、可视化、动态化。如，人体解剖学AR应用程序Corinth Micro Anatomy能以文字和动画的形式呈现心脏的三维模型，学习者可以更直观地掌握人体心血系统的相关概念。基于AR的教学能够以可视化的方式，使学习情境由始源情境(受客观条件制约的现实世界)向目标情境(有利于学习者知识建构的情境)转化。[19]总之，在元宇宙中，基于AR的可视化教学，能够以动态三维的形式呈现学习内容，帮助学习者减轻高强度记忆与注意负担，降低学习者的认知负荷，创建利于知识建构的学习情境，从而增强学习者对知识的理解，激发学习者持续学习的动机，让学习者沉浸在学习之中。

(三)5G为沉浸式学习带来更广阔的发展空间

在元宇宙中，AR为沉浸式学习提供临场感、交互性和学习情境三个维度的基本框架，体现AR技术驱动下沉浸式学习的基本形态。在5G技术的驱动下，沉浸式学习得以进一步发展：学习时空的界限进一步被打破、多模态交互进一步提升临场感和交互的自然化、个性智能的学习分析与诊断为沉浸式内容的动态调整提供可能。

1. 构建移动泛在化的学习时空

移动泛在化的学习时空指时时可学、处处能学。凭借5G的移动性、低功耗、大速率特征，5G能够打破学习时空的限制，推动沉浸式移动学习、沉浸式泛在学习。首先，由于Wi-Fi无法支持车辆和行人的移动需求，如辅助汽车导航和旅游导航应用般的AR应用便无法使用。而5G的移动性支持500km/h高速移动状态的无线接入，学习者可在高速移动的汽车或高铁等场所使用基于移动终端的AR应用。伴随便携式基站的建设，大量的场馆甚至是偏远地区都能因地制宜地开设学习体验活动，极端环境地区也能扩展成为学习场所。[20]伴随5G泛在网的建设，移动AR得以进一步发展，学习的时空界限被打破，在任意时间、任意地点利用5G网络在AR应用上学习成为可能，虚拟与真实学习时空实现无缝衔接与联通。其次，低功耗是实现设备移动性的重要技术支撑。[21]移动AR应用巨大计算需求导致的设备过热进一步耗尽了移动设备上早已有限的电池寿命。由此造成的低使用时间给提供高质量、丰富和沉浸式的学习体验造成了重大障碍。而5G通过降低能耗，能减少沉浸式学习的阻断情况。最后，AR设备的轻量化。5G的高传输速率将推动AR设备的数据传输、计算和存储等功能向云端转移，降低设备端的计算压力，节省AR设备上的计算模块，使设备更加轻量化，增强学习的移动性和便携性，提升沉浸式体验。总之，终端设备的移动性和泛在化是实现沉浸式学习移动化和泛在化的关键。在元宇宙中，5G通过增强终端设备的移动性、续航性和便携性来推动基于终端设备的沉浸式学习。

2. 助力发展综合的多模态交互

尽管AR技术驱动的沉浸式学习能够实现多维度的感知交互，但目前的交互形式大多以视觉、听觉交互为主，嗅觉、触觉和味觉交互初步发展、尚未大规模普及；并且交互多以一种(如，单一的嗅觉)或两种感官(如，视觉加听觉)通道为主，缺乏多种感官的协同作用。在5G技术的加持下，多样化的感官交互能够实现自我发展与协同发展。一方面，依靠URLLC等，5G为触觉互联网(Tactile Internet，TI)的发展提供网络技术支持。IEEE P1918.1工作组将TI定义为用于远程访问、感知、操作或控制真实或虚拟的对象或过程，可由人或机器实时感知的一个网络或“网络的网络”[22]，具有极低延迟、极短传输、极高可用性、极高可靠性和极高安全性[23]等特征。在沉浸式学习领域，5G将提供更大规模的网络容量和更顺畅的无缝体验，使学习者能够通过缩放、挤压甚至触摸来探索抽象复杂的概念。此外，触觉反应(再现与物理对象直接交互的感觉、触摸或运动)可以通过传统视频会议平台将触觉学习形式引入课堂，使在线学习的交互更加丰富。如，在体育运动、车辆驾驶和医科手术等远程学习培训领域，实现学习者和教师的触觉叠加，当学习者进行任务时，教师能够感受到学习者的运动并对其进行实时的纠正指导。5G支持下的TI将实现真实和虚拟物体的远程、实时物理交互，创造一种双向互动的沉浸式体验，进一步弥合现实世界和虚拟世界的界限。[24]另一方面，5G有潜力实现多模态交互。多模态交互将视觉、听觉、触觉、味觉和嗅觉多种感官进行融合，使个体可同时通过多种感官通道与计算机进行交流互动。如，爱立信(Ericsson)使用AR、VR和5G构建的“感官互联网”(Internet of Senses)可实现触觉、味觉、嗅觉和冷热感觉等感官体验的数字化传输。[25]面向未来，在元宇宙中，5G驱动下多种感官的交互不仅可以丰富单模态交互，更可以助力多模态交互，综合多种感官的输入与反馈，实现感官体验的延伸与扩展，提升沉浸式学习的沉浸感与临场感。

3. 打造智慧的个性化学习路径

在5G技术的驱动下，智慧的个性化学习路径能够以沉浸式的方式为学习者提供个性化的学习体验。一方面，5G推动虚拟助教、机器人学伴等应用日益智能化，可为学习者提供极具个性的沉浸式学习体验。如，Elias是一个在数学课和语言学习方面提供支持的虚拟机器人。在个性化定制学习方案的基础上，Elias以多样化的方式促使学习者沉浸于学习当中。Elias的语速可以根据学习者的技能水平进行调整，做到“以学习者为中心”。当学生成功时，机器人会提供令人鼓舞的反馈、跳舞、欢呼或改变眼睛的颜色等向学习者提供实时反馈。除了与课程相关的口语练习，学生还可以通过与机器人进行自由形式的聊天来练习互动和反应技能。伴随5G、AI和AR的融合发展，智能学伴和智能导师有潜力突破技术痕迹化强的人机交互界面，以数字人(Digital Human)的形式叠加到现实场景中，为学习者提供智能分析和智能反馈。另一方面，在5G技术的加持下，沉浸式学习可基于智慧化的多模态学习分析，以实时的过程数据反馈促进学习评价，通过VR、AR和全息投影等技术实现沉浸式学习环境与资源的动态调整与精准干预。在5G大带宽和高速率等性能的保障下，不仅能以学习过程数据为基础进行学习分析，还能实时采集多媒体数据、行为数据、情境数据和生理数据等，从而更精准、全面、深层地进行多模态学习分析与学习评估。以学习分析和评价为基础，沉浸式干预和诊断将VR和AR等技术营造的沉浸式学习实景和交互式干预活动相结合，实现基于学习评价结果的引导和改进。[26]总之，在元宇宙中，在5G的保障下，以生理、心理、学习等过程数据的全方位学习分析为基础，结合AR技术，能够实现沉浸式内容的动态调整与干预。

三、基于5G+AR的沉浸式学习范式

(一)数字时代沉浸式学习的技术迭代

数字时代的不断推进催生技术的突破创新，支撑沉浸式学习的移动通信技术和沉浸式技术也不断更新迭代。一方面，从3G到4G再到5G，移动通信技术在带宽、速率、延迟和可靠性等方面取得突破性进展，为在元宇宙中优化沉浸式学习的体验提供强大的网络与通信支持。另一方面，沉浸式技术(Immersive Technology)是一类能够模糊物理世界和虚拟世界的界限，让用户体验到沉浸感的技术。[27]沉浸式技术大致包括VR、AR、MR和DT等技术。沉浸式技术对沉浸式学习的驱动主要包括学习环境和学习交互两方面。在学习环境上，VR构建完全虚拟化的环境；AR将虚拟世界叠加到现实场景中，是虚实结合；MR融合VR和AR，实现真实与虚拟的无缝对接，体现虚实融合；DT虚拟复制现实世界中的某个对象。在学习交互上，VR能让用户以虚拟化身的形式在虚拟世界中交互，AR能够实现用户与虚拟内容的交互，MR支持用户、虚拟内容和真实场景之间的两两交互，DT中的物理对象和数字空间能够双向映射、动态交互和实时连接。目前的研究和应用集中在VR和AR对沉浸式学习的服务上，MR、DT等技术下的沉浸式学习理论研究和实践应用处于初期阶段。与VR相比，AR以现实场景为基础同时融合虚拟内容使沉浸式学习更具现实性，且支持真实世界中学习者与虚拟学习内容的交互，使交互更自然。

(二)基于5G+AR的沉浸式学习模型建构

伴随元宇宙环境下移动通信技术和沉浸式技术的更新迭代，5G和AR的融合成为沉浸式学习的新动力。5G+AR驱动下的沉浸式学习模型旨在为新动力支撑下的沉浸式学习提供基本框架，以期为后续的研究和实践提供一定的参考。

1. 基于5G+AR的沉浸式学习理论依据

5G+AR支持下的沉浸式学习以建构主义学习理论、沉浸理论、具身认知理论、生成性教学理论为指导。第一，建构主义学习理论强调在一定情境中，学习者通过社会交互主动而有意义地进行知识建构。5G+AR要为学习者创建身临其境般的学习情境、提供实时交互与反馈，使学习者在虚实融合的新可视化环境中通过模拟操作虚拟物象、与其他学习者进行互动等交互，进行探究式体验学习，从而进行知识的主动构建。第二，沉浸理论强调学习过程中学习者的主观体验，以学习者为中心，以任务为导向，降低干扰，创造沉浸式的学习环境。沉浸式学习要发挥5G+AR的优势，为学习者创建高临场感的沉浸式学习环境，让学习者关注于学习任务，享受沉浸式的学习体验与状态。第三，具身认知理论强调认知源于身体及其活动方式，认知通过身体、心灵和环境的交互作用而形成。因此，要发挥5G+AR的优势，使身体与环境间通过多模态交互等促使认知的产生。第四，生成性教学理论强调教师根据课堂中的互动状态及时调整教学思路和教学行为的教学形态，体现个性化教学、以学生为中心的原则。5G+AR要发挥学习分析的智能化作用，通过反馈与评价为学习者提供再生的沉浸式内容。综上，以这四种理论为基础，结合5G和AR技术驱动下沉浸式学习的特点，可将5G+AR支持的沉浸式学习基本特点概括为：现实性、临场感、交互性和适应性。

2. 基于5G+AR的沉浸式学习概念模型

以理论为基础，结合5G和AR的特点，5G和AR技术支持下的沉浸式学习模型如下图所示。

基于5G+AR的沉浸式学习概念模型图

5G和AR的珠联璧合突破了AR的技术壁垒，低时延、精定位、高质量构成5G+AR基础层，为沉浸式学习的发展提供最基本的技术支撑，同时增强沉浸式学习体验。5G技术下的移动泛在性、感官互联网、多模态交互、个性化的学习分析等构成5G+AR变革层，为沉浸式学习的发展带来进一步的变革。以四大理论为指导，洞察5G和AR驱动下的沉浸式学习，现实性、临场感、交互性和适应性组成了沉浸式学习的特点层。在元素组成上，沉浸式学习由学习者、5G和AR技术、移动的学习媒体、沉浸式学习环境和增强的学习资源组成。第一，沉浸式学习以学习者为中心，学习者在学习过程中进行主动的交互，获得实时的反馈，以非线性的方式进行自主化和个性化的体验。第二，5G技术和AR技术为沉浸式学习提供技术支持。数字时代的沉浸式学习依靠技术为学习者塑造体验、提供内容、设计活动。5G为沉浸式学习提供强大的网络支撑，同时为沉浸式学习的发展带来更广阔的发展空间。AR作为一种沉浸式技术，从“心——身——境”三个维度促进了沉浸式学习。第三，移动的学习媒体(Mobile Learning Media)指在5G网络的支持下，学习者通过智能手机、平板、AR头显以及AR眼镜等移动性的智能设备进入沉浸式学习环境、获得增强的学习资源，从而开展沉浸式学习。“移动”强调在5G的驱动下，AR能够突破终端移动差的技术壁垒。第四，沉浸式学习环境(Immersive Learning Environment，ILE)指基于5G和AR技术创建的虚实融合的学习环境。ILE是具有高度临场感的、支持多模态交互、促进知识可视化的学习情境，能让学习者沉浸于学习之中。第五，增强的学习资源(Augmented Learning Resources)主要指利用AR技术叠加到现实教学场景中的虚拟教学资源。

3. 基于5G+AR的沉浸式学习范式转变

在基础层和变革层的双重作用下，以现实性、临场感、交互性和适应性为基础，沉浸式学习的范式发生了转变。

第一，现实性(Realism)：泛在化的虚实融合。现实性指沉浸式学习情境的逼真程度。在5G+AR的支持下，沉浸式学习的范式从限制性的虚实结合向泛在化的虚实融合转变。通过将虚拟内容叠加到现实世界中，AR实现了虚实结合。由于画质不清、定位不准、响应滞后等因素的影响，虚拟内容的嵌入性较强、真实感不足，未能如MR等实现虚拟与现实的交汇融合。在5G大带宽、低延时、精定位等技术的驱动下，虚拟与现实能实现进一步的无缝融合。首先，高速率、大带宽和高算力保障了AR画面的渲染质量，促进更身临其境般的体验。其次，5G的低时延和精定位促使AR三维配准的进一步优化，促使虚拟教学内容与真实教学场景的实时、精准对齐。最后，凭借5G的移动性，5G+AR能够打破增强现实的场域限制，进一步拓展沉浸式学习的空间，实现虚实融合的泛在化。总之，泛在化的虚实融合一方面强调沉浸式学习环境的高度逼真化，另一方面强调沉浸式学习环境的广泛性。

第二，临场感(Presence)：身心一体的高临场感。临场感指学习者感觉自身在沉浸式学习环境中感到联系或存在的程度。在5G+AR的支持下，沉浸式学习的范式从身心一体的低临场感向身心一体的高临场感转变。“身”指身体及其运动，“心”指内在的主观体验。根据沉浸式学习象限(Immersive Learning Quadrant)[28]，AR在临场感营造方面处于低水平。首先，在5G技术的支持下，学习者可以从前后、左右、上下、滚动、偏航和俯仰这6自由度(6 Degree of Freedom，6 DoF)与内容交互。如，采用5G的边缘计算运行的6 DoF轻量级AR眼镜。再如，在5G低时延、高速率和大带宽保障下可在AR终端设备上实时并高质量地体验6 DoF视频。其次，5G+AR支持下的多模态交互综合视觉、听觉、嗅觉、味觉和触觉这五大感官通道，能够丰富沉浸式学习环境下的非言语信息。语音语调、面部表情、触摸感受等为学习者提供具身感知，使学习者感同身受。最后，伴随5G支持的多种感官模拟，知觉得以转化并唤起同理心。在场不仅是一种“身在此处”的空间感，还可以进一步发展为一种“正在发生”的时间感，甚至“感同身受”的同理心。[29]总之，5G+AR支持下的6 DoF身体交互与多模态交互促进“身”方面的临场感，同理心则唤起“心”方面的临场感，身心得以一体化。

第三，交互性(Interactivity)：多模态交互。交互性主要指沉浸式学习中的人机交互。在5G+AR的支持下，沉浸式学习的范式从单模态交互向多模态交互转变。当前AR中大部分的人机交互以基于传统硬件设备的交互、触控交互、手势识别交互、语音交互和基于眼动追踪的交互为主。[30]基于手势和语音等的感官交互更接近人类真实情境中的自然交互，能使学习者在学习过程中产生更强的临场感和沉浸感。然而，仅依靠一种感官的单模态交互对沉浸式学习的作用仍有限。5G技术的发展，使融合视觉、听觉、嗅觉、味觉和触觉感知的多模态交互成为可能，同时借助多种感官通道刺激，能为沉浸式学习带来更自然的人机交互。与此同时，5G的低时延和精定位能够满足交互的及时性和准确性，为交互提供保障。如，AR眼镜Leion Pro实现了语音、手势、头动多模态交互，能够满足安防、工业维修、设备巡检等不同领域的需要。在工业维修领域，用户只需动手就可以放大、缩小设备图纸，远比用按键、语音进行操控要灵活和准确。总之，沉浸式学习范式转向多模态交互强调在沉浸式学习中，学习者能同时获得多通道的感官刺激，以体验式的方式进行具身学习。

第四，适应性(Adaptability)：个性化的成长路径。适应性强调学习目标、学习方法、学习内容等随学习进程动态调整，为学习者不断生成新的沉浸式学习内容。在5G+AR的支持下，沉浸式学习的范式从统一化的知识输入向个性化的成长路径转变。尽管AR画面创设的学习情境具有动态性[31]，即可根据学习者的倾斜、旋转、缩放等身体运动动态调整画面，但基于AR而开发的沉浸式学习资源大多是自上而下(由教育者到学习者)预先设计的，不能随着学习者学习情况的改变而有针对性地提供及时干预，呈现新的沉浸式学习内容。如，AR图书基于预先的标记而提供学习内容，无法根据学习者实际的学习情况而进行有针对性的内容再造。在5G的驱动下，沉浸式学习更加体现“以学习者为中心”的理念。具体而言，通过多模态数据采集与融合技术、大数据分析技术、自然语言处理技术等，对语音视频数据、交互数据、情境数据以及体质健康数据进行实时的采集、处理与诊断，形成学习分析报告。在此基础上，利用AR等技术对沉浸式学习进行干预，为学习者生成更具针对性的资源内容。总之，沉浸式学习的范式转向个性化的成长路径体现“以学习者为中心”，是沉浸式学习评价、学习方法等的核心要求。

四、基于5G+AR的沉浸式学习实践

在5G和AR的支持下，沉浸式学习的新实践如雨后春笋般出现，为元宇宙中沉浸式学习的开展提供了示范。在技术驱动层面，ChalkTalk、Engineering Space AR 3S和Azoomee AR均以5G和AR为支撑，在沉浸式学习环境、增强的学习资源、移动的学习媒体和学习者方面，三者却体现着个性化的特征。

(一)ChalkTalk——增强学习体验

ChalkTalk是一种数字演示和交流语言。[32]使用类似黑板的界面，它允许演示者创建2D或3D的动画或图形草图并与之进行交互，以便在实时演示或对话中展示自身的想法和概念。纽约大学未来现实实验室(New York University Future Reality Lab)正与威瑞森电信公司(Verizon)合作开发5G新用例，其正结合使用5G和AR技术，把进ChalkTalk进一步引入沉浸式环境，研发ChalkTalk开源式AR学习新工具。首先，在沉浸式学习环境层面。ChalkTalk能够创造一个可视化、动态交互式的学习环境。一方面，利用5G和AR技术，ChalkTalk可以将特定学科的对象和主题材料以数字化的形式叠加到现实中，实现对抽象概念的可视化。另一方面，ChalkTalk支持对可视化内容控制的动态化，增强学习者对学习的“控制感”。Chalktalk支持创建可以实时操纵、组合或重新激活的动态可视化图像，使其既能适应课程流程的变化，也能被反复修改来表达更复杂、相关的概念。其次，在增强的学习资源层面。ChalkTalk能够创建给定课程相关的物质对象或其他视觉效果的3D AR表示。用户先徒手绘制一个图形，系统则将该图形与Chalktalk中定义的字形库进行比较，并选择最接近的匹配项进行识别。Chalktalk目前有与计算机、数学和科学相关的草图，其他主题的草图库正在不断地研发。再次，在移动的学习媒体层面。Chalktalk的开发者设计了一个通用数据序列化协议(Generic Data Serialization Protocol)来连接和分离内容创建服务器(Content Creation Server)和移动AR客户端。学习者可以通过使用移动AR终端，将输入信息以三维、动态的形式投影到透明的内容板块上，可在教师提出观点时实时更新和响应内容等。5G有潜力提供在移动环境中促进交互式实时教育内容所需的高速率和低延迟，使学生和教师能够像在同一地点一样共享和响应这些内容。最后，在学习者层面。Chalktalk可以记录构思和创意，在动态可视化的过程中，帮助学习者记录学习路径和思维过程。此外，Chalktalk不仅能够实现学习者与学习内容之间的动态交互，还能实现学习者与他人之间的人际交互。在5G超高带宽和超低时延的支持下，Chalktalk正在创建一个交互式虚拟白板，使任何数量的用户在任何给定时刻都可以从任何3D角度访问该白板，从而在这里实时绘制草图、制作动画和进行互动。

(二)Engineering Space AR 3S——支持共享协作

Engineering Space AR 3S(简称AR 3S)[33]是XR技术服务商Holo-Light面向工程设计和应用领域开发的AR软件应用，其旨在使工程师能够在增强现实环境中可视化和处理3D的计算机辅助设计(Computer Aided Design，CAD)数据，以沉浸式的方式提高工程师的专业能力。首先，在沉浸式学习环境层面。AR 3S实现真实场所与虚拟信息的融合，从而为学习者进行工程设计学习模拟高度逼真的情境。然而，由于在移动AR设备上可视化复杂数据面临巨大的网络难题。为此，Holo-Light将ISAR SDK集成到AR 3S中。ISAR SDK是一种软件开发工具包，能够实现远程渲染，其采用5G超高带宽、低延迟、云和边缘计算等，可通过本地服务器、云或边缘基础设施将整个AR应用程序实时流式传输到HoloLens、Oculus Quest 或Android等AR移动设备上，从而使用户能够在AR环境中实时、高质量地可视化3D CAD等数据并与之交互。其次，在增强的学习资源层面。借助AR 3S，学习者可安全导入3D的CAD设计文件、建筑信息模型或点云模型等复杂数据，并将其以可视化的方式置于现实世界中，常规的word等文件也能以3D全息图的形式叠加到现实世界中，此外，AR 3S还提供了一种AR手写笔外设Stylus XR，它可以用于弥补手势操控不能实现的部分，为学习者理解工业设计的细节内容提供帮助。利用Stylus XR，工程师和设计师可以绘制3D全息图，进行毫米级的测量和修改；机械的制造商或设计者可以留下注释和说明，以便装配人员以1-3mm的精度查看。再次，在移动的学习媒体层面。AR 3S应用程序嵌入在AR头显HoloLens中，学习者通过HoloLens，能以三维立体可视化的方式，再现原始尺寸的CAD、其变体或最终概念。学习者还能利用简单的手势对CAD文件进行操控，包括调整大小、拖拽旋转、更改位置或角度以及创建用于检查内部结构的截面图像等。最后，在学习者层面。AR 3S支持学习者之间的共享协作。一方面，AR 3S支持3D CAD等数据的共享、修订和重构，使不同的学习者能够通过基于虚拟信息的交互进行协作学习。另一方面，通过ISAR SDK平台，学习者能通过佩戴AR头显与远程专家(Remote Expert)共享可视化内容，并与专家交互，获得专家的实时指导。总之，AR 3S重新定义了工程设计的整个学习流程，使员工、工程师等学习者能够在AR中设计、创建、编辑、优化和共享工业3D内容，实现基于可视化3D内容的共享协作。

(三)Azoomee AR——联通历史与现实

英国儿童媒体公司Azoomee使用PTC的Vuforia平台，开发了5G驱动的Azoomee AR应用程序[34]，为维也纳市政厅的儿童提供历史知识与生动玩乐相结合的沉浸式学习体验。Azoomee AR以寓教于乐的方式，将维也纳丰富的历史转化为交互式的增强现实体验。首先，在沉浸式学习环境层面。Azoomee AR联通历史和现实，为学习者提供跨越时空的学习体验。Azoomee利用PTC开发的Vuforia 区域目标环境跟踪功能来提供其身临其境的3D AR体验，该功能允许对区域和空间进行跟踪和增强。Vuforia平台使用由3D深度扫描相机创建的市政厅内部数字模型，并在其中填充了五颜六色的形状、神奇的生物以及介于两者之间的所有其他东西，允许标准移动设备识别周围空间并详细显示增强效果，将有趣和丰富多彩的动画与静态环境融为一体。其次，在增强的学习资源层面。Azoomee AR将立体化、数字化的历史内容叠加到维也纳市政厅内。例如，观赏历史人物进行跳蹦床、表演滑板、踢足球等运动。Azoomee AR以寓教于乐的方式，赋予沉浸式学习以趣味性。在5G低时延的保障下，实现历史与现实的实时响应。儿童持手机对市政厅进行扫描，可实时获得增强的历史信息。再次，在移动的学习媒体层面。Azoomee AR通过智能手机让学习者进行交互式探索。借助智能手机上全新的Azoomee AR应用程序，学习者可以交互式探索市政厅的内部环境、体验物理对象背后的遮挡、逼真的物理效果和3D映射。通过Azoomee AR进行深入学习，孩子们能更好地理解信息，并以动态的方式与知识联系起来。最后，在学习者层面。Azoomee AR把娱乐和教育相结合，利用5G和Vuforia平台的动态功能将维也纳丰富的历史转化为互动的增强现实体验，增强学习者学习历史的动机与兴趣，以一种令人惊奇的方式，激励孩子们探索过去，沉浸在历史中。此外，Azoomee AR借助移动设备鼓励学习者进行主动的、交互的探索，在发现、体验、参与的过程中对知识进行构建。总之，Azoomee AR以寓教于乐的方式，赋予沉浸式学习以趣味性，通过将虚拟化的历史等知识叠加到现实场景中，联通历史与现实，打破时空的局限，让学习者沉浸在学习当中。

五、5G+AR服务于沉浸式学习的机遇与挑战

伴随元宇宙的发展成熟与推广应用，沉浸式学习得以重塑，沉浸式的教育元宇宙有望成为“互联网+”时代教育的新形态。作为元宇宙的两大关键技术，5G和AR的共生拓展了连接的范围和用户体验的边界，为沉浸式学习带来了巨大机遇。首先，国家政策加快应用落地。2020年3月，国家发改委和工信部联合印发了《关于组织实施2020年新型基础设施建设工程(宽带网络和5G领域)的通知》[35]，提出要重点开展5G+高清远程互动教学、AR/VR 沉浸式教学、全息课堂等业务。随后，工信部印发《工业和信息化部关于推动5G加快发展的通知》[36]，强调推广5G+VR/AR等应用，促进新型信息消费。尽管“元宇宙”一词尚未正式进入国家政策话语体系中，但国家明确提出要发挥5G和AR的优势，开展沉浸式教学，这无疑有助于新一代沉浸式学习的落地生根。其次，沉浸式学习应用模式不断扩展。5G通过重塑终端层、网络层和平台层，使教育应用场景得以不断丰富[37]，5G沉浸式课堂、5G+AR全景直播教育、云AR交互式教学、5G+全息互动课堂等沉浸式学习新场景不断涌现。随着5G基站部署的加速，5G+AR应用正在从典型场景单点实验到同类场景规模复制过渡。在此基础上，沉浸式教育元宇宙便有了丰富的教育场景和坚实的实践基础。最后，技术的融合实现全新生态。从技术的视角观之，元宇宙是新一代智能信息技术的融合与集成。当5G和AR与大数据、人工智能、区块链、云计算和数字孪生等技术融合发展时，沉浸式学习会呈现全新的生态：虚实共生、数据驱动、智能决策、身份认证、高超算力和全程管理等推动沉浸式学习迈向沉浸式教育元宇宙的新形态。

虽然目前在5G技术的助力下，AR技术基本上破除了网络时延高、无法保障流畅度等问题。然而，在元宇宙中，利用5G和AR服务于沉浸式学习仍面临巨大挑战。首先，高成本限制5G和AR的广泛使用。针对AR场景所需的高速率和大带宽，5G产生的内容流量成本巨大。高额的流量资费使学习者直接使用基于智能手机、ipad等终端设备的AR应用受到限制。这阻碍沉浸式学习体验从学校、企业到个人的进一步拓展。对沉浸式教育元宇宙而言，必须寻求可持续的商业运转模式，保障普惠化的沉浸式学习体验，从而让每个人都能获得新型的教育。其次，师资队伍专业素养不足。5G和AR为沉浸式学习带来新育人形态的同时对教师的专业素养提出了新的要求，尤其是教学设计能力。研究发现，大多数情况下，教师在使用AR应用程序时没有考虑教学方法，从而降低了干预的有效性。[38]而将AR应用于学习活动时，缺乏正式的教学方法往往会使学生感到困惑和沮丧。伴随5G和AR与沉浸式学习的融合，对教师进行有效的5G与AR培训十分关键。毋庸置疑，在元宇宙中开展沉浸式学习是一项系统的工程，教师与学生是两大主体，若缺乏教师层面科学的教学设计、优质的教学资源和有效的教学手段，沉浸式学习的效果便会大打折扣。最后，数据安全与伦理问题凸显。伴随5G和AR服务于沉浸式学习，数据不仅限于学习数据，还包括学习者生理数据、心理数据、行为数据，环境数据，空间位置数据以及音视频数据等多模态数据。数据在生成、采集、保存和使用过程中面临的泄露风险也相应增大。除隐私泄露外，算法黑箱、本我迷失、网络成瘾等问题也对沉浸式学习带来伦理层面的挑战。在元宇宙中开展沉浸式学习，构建沉浸式教育元宇宙，不仅需要以智慧之眼规避可预见的伦理风险，还需要探索伦理新观念以厘清其发展逻辑。[39]