运用XR 技术构建下一代教学大平台*——以深圳职业技术大学为例

蔡铁峰，陈锐浩，王 瑛

（1. 深圳职业技术大学 教育技术与信息中心；2. 深圳职业技术大学 教务处，广东 深圳 518055）

当前形态的互联网+教学大平台以视频、图片、文字为主要的信息媒介，以手机、个人电脑、大显示屏教学一体机为主要应用终端，这一模式已经沿用多年。随着新一代信息技术的发展，它们将不可避免地被更先进的教学大平台取而代之。

扩展现实（XR）技术，涵盖了虚拟现实（VR）、增强现实（AR）和混合现实（MR），已经成为众多领域的焦点。特别是在教育领域，XR 头盔和眼镜正逐步成为下一代人机交互的首选工具。XR 技术能构建虚拟或虚实融合的三维教学场景，呈现教学内容三维信息，提供教学内容的沉浸式互动体验。相较于视频、图片等传统信息媒介，其大幅度提高了教学内容的信息呈现与互动实操能力，能够重塑教学形态，也能重构教学大平台。运用XR 技术构建下一代教学大平台既是教学改革的内在需求，也是适配下一代主流人机交互终端的时代要求。

本文作者在深圳职业技术大学（以下简称“深职大”）负责XR 教育技术研发与应用推广。对XR教学平台经过广泛的企业走访、在线试用和文献研究后发现，部分教学平台本质上是某个专业方向上的教学资源或系统，不具备主流教学大平台上对于人员、课程、活动、任务等各类型教学对象的新建、删除等核心管理功能。例如：何永康研究的新能源汽车实验教学平台，能提供新能源汽车的安全操作规范与虚拟拆装的VR 体验与考核[1]，徐丹丹研究的高校思政VR 教学平台，提供思政内容的VR 体验[2]。另外，部分XR 相关教学平台，仍然是适配手机、PC 终端的当前形态的互联网+教学平台，只不过平台上的资源包含XR 教学资源。例如，郑长山研究的“云工厂+VR”平台，是把VR 教学资源上传到智慧职教等网络平台，如果要VR头盔体验教学资源，需要从网络平台上下载此资源[3]。姜辉研究的基于MR（混合现实）技术的城轨车辆智能运维教学平台具有人员与数据的管理功能，和平台配套的MR 城轨智能教学资源运行在MR 头盔上，但平台不能在头盔或眼镜上体验，仍然是当前形态的互联网+教学平台[4]。只有少数XR 相关的平台构建了平台场景，能通过XR 头盔/眼镜体验，典型的是深圳瑞云、北京平行云两家公司的云渲染管理平台，在平台场景里能查阅各XR 应用的信息，能切换到对应的XR 应用场景，但在这两个平台的平台场景里，各应用对象也只是通过图片和文字呈现信息。而且，这两个平台不是针对教学的，没有教学活动、任务、人员等教学对象的管理功能。总的来说，尽管一些教学平台已经整合了XR 资源，但它们大多仍然依赖传统的互联网+教学模式，并没有完全实现XR 技术的潜力。

为了真正地将XR 技术与教学大平台结合，2023 年，深职大推出了首个XR 教学平台1.0 版本（图1）。下文将基于深职大的实践经验，对下一代教学大平台的定义与内涵，如何构建下一代教学大平台，以及下一代教学大平台的应用实践等进行详细介绍和解读。

一、下一代教学大平台的定义与内涵

下一代教学大平台，旨在融合XR 技术，并在人工智能的赋能下，实现新一代信息技术与教学全要素、全过程的深度融合，构建面向未来的学、教、训、测、评一体化的综合服务型平台。如表1 所示，运用XR 技术构建下一代教学大平台，在管理的教学对象类型、对象信息呈现能力、教学管理能力、教学实施能力、教学评价能力等各功能维度的内涵上，相较于现行的互联网+教学大平台展现出了明显的差异，不仅提升了教学平台的综合能力，更是对传统平台的继承和创造性发展。

表1 下一代教学大平台特征与能力提升

运用XR 技术构建下一代教学大平台，是以XR技术为新动能，推动以具象、自主、探究为主要特征的新型学习方式的改进，重塑在技术背景下的教育价值取向，重构教与学的关系，以教学数字化转型带动教育的全局性创新与高质量发展。下一代教学大平台的功能创新与教学应用内涵主要体现在以下方面：

（一）XR 赋能各类型常见教学对象，扩增教学场域

深职大XR 教学平台包含了当前互联网+教学大平台常见的课程、活动、任务、人员、组织、存档、录像等教学对象类型，并能收集呈现学情数据。区别在于，深职大XR 教学大平台包含的教学对象被XR 技术充分赋能，具体表现为：课程对象可为用户创建认知、实训、考核等教学模式下的三维教学应用场景，提供课程知识的沉浸式教学体验；活动对象与任务对象都是在课程对象基础上创建的，同样为用户创建活动或任务的三维教学应用场景。每个人员对象都有对应的数字虚拟人表征，从而在纯虚拟的教学场景里，用户可以通过与协同人员的数字虚拟人的互动，实现异地用户之间的互动，而每个组织对象通过其包含的人员对象也关联到数字虚拟人。存档是用户在课程、活动、任务对应教学应用场景里进行教学体验时，某个时刻的场景状态的记录，而录像是对用户在教学应用场景状态的连续完整记录，调用存档可以还原某个时刻的教学体验状态，使用户可以继续原有的体验，调用录像可以还原用户整个教学体验过程。用户在课程、活动、任务的教学应用场景体验时，教学应用场景记录用户体验时长、各知识点掌握情况等学情数据，学情数据实时传输显示到教学平台场景。在此基础上，XR 教学平台的教学场域和边界得到延展，有助于实现规模化的个性化教育。

（二）呈现教学对象三维表征信息，聚合教学资源

呈现三维表征信息，能更完整更准确地表征各类型教学对象。如图1 所示，深职大XR 教学平台构建三维教学平台场景，教学平台场景中包含课程沙盘、活动沙盘、任务沙盘、人员沙盘、存档沙盘，各沙盘分别集中呈现对应类型的教学对象三维表征。对于课程对象，挑选其最具代表性的教学三维场景或模型及动画，经过缩放后以合适尺寸部署到课程沙盘上。活动对象与任务对象是在课程对象基础上构建的，包含相关课程对象里的三维教学应用场景，所以同样挑选最具代表性的教学应用场景或模型及动画，经过缩放后以合适尺寸部署到课程沙盘上。对于存档对象，把其存储的场景/模型及状态经过缩放后部署在存档沙盘上。对于录像对象，把录像对象包含的场景/模型经过缩放部署在录像沙盘上，并根据录像里记录的体验过程生成动画。对于人员对象，把其对应的数字虚拟人经过缩放后，部署到人员沙盘，每个数字虚拟人拥有预制的动作动画，例如：跑步、挥手等。各对象除了呈现三维表征信息之外，还会附加文字等信息。例如：每个人员对象的数字虚拟人，如果此人员是学生，平台场景还会通过文字标注其姓名、班级、专业等信息。每个沙盘都有分批显示对象的功能，通过触碰“上/下一批”按钮可以切换沙盘上显示的对象。另外，平台场景会优先显示与用户相关度高的教学对象。

（三）丰富互动方式，提升教学管理效果

除了可通过电脑、手机、平板等平面终端增加、删除对象，修改对象信息外，还可以在教学大平台虚拟场景里，沉浸式地通过手势点击与拖拽、虚拟键盘、虚拟鼠标等互动方式，进行增删修改对象的管理操作，并可通过沉浸式互动的方式，在平台场景中对教学活动进行干预。

（四）革新教学理念，打通教学实施全过程

课程、活动、任务对象都提供了进入到关联的教学应用场景的UI 按钮，用户点击按钮，教学平台将把用户切换到教学应用场景中。同样，点击存档的“读档”按钮，平台将为用户切换到存档的教学应用场景，并还原存档记录的场景状态；点击录像的“播放”按钮，平台将为用户切换到录像所记录的教学应用场景，并让用户身临其境地回看教学体验过程。对于多人协同的活动或任务，平台为用户生成教学协同沉浸式体验。用户还可以在平台人员沙盘选择人员对象，点击人员沙盘的“协同”按钮，进行多人协同。除此之外，平台还提供UI 进行各类型教学对象的新建、编辑、删除等管理活动操作。在此基础上，XR 教学平台充分聚焦学习过程，有助于促进学生对学习内容的主动建构和深层次理解，实现课堂教学的高位公平。

（五）多模态学情分析，赋能评价改革

深职大XR 教学平台场景支持利用数字技术对学生在平台的课堂学习、课后探究、自主实验、多人协同等多种学习场景中的注意力、语音、身体姿态等多模态数据进行采集，进而评估学生的学业水平、学习状态。在此基础上，XR 教学平台可以提供动态、精准的学情数据，通过教学评一致性设计，支持包容学生差异，实现全方位的学习激励。

二、下一代教学大平台的构件及功能

（一）系统硬件构成

高质量的XR 沉浸式互动体验对计算资源要求高，XR 眼镜/头盔自身有限的计算资源严重限制了XR 体验内容与质量，而XR 教学平台场景包含大量教学对象三维表征，对计算资源要求特别高。深职大基于云渲染技术构建下一代教学平台，破解XR 终端计算资源不足的性能瓶颈。如图2 所示，XR 教学平台系统硬件构成包含边缘云、无线网络、XR 眼镜/头盔终端。教学平台场景与教学应用场景运行在边缘云的渲染服务器上，用户的XR 终端通过无线网络传输定位与互动信息给教学应用场景或教学平台场景，教学应用场景或教学平台场景实时渲染生成的体验画面传输到XR 终端显示给用户看。边缘云提供的渲染与存储能力远大于XR 终端，理论上无上限，从而使深职大全校师生在校内随时随地通过5G、wifi6 等高性能无线网络，就可以使用常规XR 终端获得高性能的XR 教学应用与教学平台的沉浸式互动体验。

图2 XR 教学平台系统硬件构成

（二）系统软件构成

教学平台系统软件主要由用户接口模块、数据库、场景管理模块、教学平台场景、教学应用场景组成（如图3 所示）。其中，用户接口模块部署在每个用户的XR 终端上，而系统软件的其他组成部分都部署和运行在边缘云上。数据库存储了教学平台场景文件、各教学应用场景文件、各类型教学对象信息、学情数据。场景管理模块可根据指令，从数据库读取教学应用场景文件或教学平台场景文件，在边缘云的渲染服务器上运行并渲染教学平台场景或教学应用场景。教学应用场景或教学平台场景都需要接收用户接口发送过来的用户定位与互动信息，并对互动信息进行响应，根据用户定位信息渲染体验画面，体验画面传输到用户接口显示给用户看。

图3 XR 教学平台系统软件主要构成

（三）平台构建算法

1.构建教学平台场景呈现各类型教学对象三维信息

任意用户 pi，其ID（用户识别号）为，其用户接口的通信地址（例如IP 地址和端口号）为， pi通过其用户接口向场景管理模块发送进入教学平台场景指令，其中M0为“进入教学平台场景”指令的ID，场景管理模块接收到指令后，根据指令ID 号M0作如下响应：检索出一台有足够空闲计算资源的渲染服务器，此渲染服务器从数据库读取并带参数运行教学平台场景文件，生成一个包含多个教学对象沙盘但教学对象为空的教学平台场景实例。其中，每个教学对象沙盘集中呈现某一类型的教学对象，如图1 所示，教学平台场景中包含人员沙盘、课程沙盘、教学活动沙盘、教学任务沙盘等。然后从数据库读取各类型教学对象包含三维表征在内的信息与学情数据，对于每个教学对象，都分配一个对应类型的教学对象预制体实例，把其信息赋值给此预制体实例，并设置此预制体实例在对应沙盘上的位置，从而实现教学平台场景里的沙盘呈现教学对象的三维模型/场景等信息。根据用户 pi的接口通信地址，与 pi用户接口建立通信连接，对pi用户接口发送过来的互动消息进行响应，并根据 pi的定位信息渲染体验画面，把体验画面发送并显示给 pi，从而实现为用户 pi生成教学平台三维场景沉浸式互动体验，各类型教学对象的三维信息呈现给用户 pi查看与互动。

人员、课程、活动等对象简介或详情里的三维模型所构建的虚拟物体，以及课程、活动等对象简介或详情里的三维场景里虚拟物体，用户在教学管理平台场景可以直接和它们互动，包括选择、平移、放大/缩小虚拟物体的互动操作，还包括通过互动激活这些虚拟物体的动画等响应功能。例如：用户触碰人员对象里的人物模型，人物模型会挥手并发声。

2.平台管理功能的实现

教学平台场景提供了新建/删除教学对象、搜索对象、上一页/下一页分批显示教学对象、显示/隐藏对象详情、进入课程/任务/活动等XR 教学应用场景等互动响应功能。用户通过虚拟键盘、鼠标以及手势等互动工具进行管理操作，当平台场景实例接收到用户的互动输入后，会激活管理平台场景对应的互动响应功能。管理平台场景通过UI 控件新建／删除教学对象、搜索对象、上一页/下一页分批显示教学对象、显示/隐藏对象详情等互动功能采用常见的技术手段就能实现，在此不进行阐述。

用户在教学平台场景里，还可以与进行中的活动对象的三维场景互动，能对进行中的活动进行管理干预。具体实现方式为，对于任意进行中的活动，其活动ID 号用 G2表示，任意用户 pi的管理平台场景实例与活动G2的1 个活动场景实例建立通信连接，此活动场景实例用 s0表示， s0实时把场景里各虚拟物体位姿、动画等状态发送给教学平台场景实例，教学平台场景实例把接收到的虚拟物体位姿、动画等状态映射到ID 号为G2的活动对象的三维场景里对应虚拟物体上，从而实现了教学活动实况呈现在教学平台场景。下一步，用户在教学平台场景里与该活动对象的三维场景互动时，所产生的虚拟物体的位姿、动画等状态的变化逆映射回活动场景实例 s0，就实现了用户pi在管理平台场景实施对活动G2的管理干预。

3.教学实施与评价功能的实现

平台提供了多样化的教学实施通道。用户在平台场景里点击“开始课程学习”“参与教学活动”“完成教学任务”“调用存档”“观看录像”等教学实施按钮，都会从教学平台场景进入教学应用场景。实现方式具体如下：

任意用户pj，为其生成体验画面的教学平台场景实例用表示，pj在教学平台场景选择ID号为 ck的课程对象，点击“开始课程学习”按钮后，向场景管理模块发送指令，其中，为用户pj的ID，为pj用户接口的通信地址，M3为“开始课程学习”的命令ID号。场景管理模块接收到指令后，根据命令ID号M3进行响应：检索出一台有足够空闲计算资源的渲染服务器，此云渲染服务器，从数据库读取并带参数运行课程对象 ck的教学应用场景文件，生成此课程对象的教学应用场景实例sk,j，sk,j通信地址为Dk,j，sk,j根据通信地址，与pj用户接口建立通信连接，基于此通信连接， pj用户接口把用户实时位姿信息与互动操作信息发送给sk,j，sk,j对接收的互动信息进行响应，并根据用户实时位姿渲染体验画面传送显示给用户pj看。场景管理模块包含一个场景实例信息表，把场景实例sk,j的通信地址、用户ID、教学对象ID组成的数据项保存到此信息表。与此同时，场景管理模块销毁教学平台场景实例，停止传输显示教学平台场景画面给用户pj看，从而实现用户从教学平台场景进入课程对象的教学应用场景。

对于用户参与教学活动、完成教学任务、调用存档、观看录像，从教学平台场景进入这些对象的教学应用场景的实现方式与用户开始课程学习的实现方式类似，区别在于，活动或任务可能需要多人协同完成。对于ID 号为的活动或任务对象，此对象指定了人员集合需要协同参与完成此活动或任务，当集合A中任意人员pi进入对象对应的教学应用场景后，在场景管理模块保存的场景实例信息表中，根据对象ID号，检索出对象的其它场景实例通信地址，根据这些通信地址， pi的场景实例与对象 ck的其它场景实例建立通信连接，同步场景状态，实现活动或任务教学体验的多人协同。

另外，用户 pi在平台人员沙盘选择正在教学体验的人员对象pj，点击人员沙盘“协同”按钮，实现多人协同的实现方式为：首先，在场景实例信息表中，根据用户pj的ID 号，查询到用户pj此时体验的教学对象ID 号以及教学应用场景实例的地址Dk,j，场景管理模块检索出一台有足够空闲计算资源的渲染服务器，读取对象的教学应用场景文件并运行生成场景实例 sk,i，sk,i根据通信地址Dk,j，与pj的教学应用场景实例建立通信连接，同步场景状态，sk,i实时渲染体验画面并传输显示给用户 pi看，从而实现 pi与pj的教学体验协同。

基于XR 终端传感器数据采集功能与各教学应用场景里预设的学情数据采集功能，可以采集学生注意力情况、体验过程情况、知识点掌握、学习状态等多模态学情数据。采集到的学情数据会实时保存到云端的数据库，并实时更新到各用户教学平台场景实例的学情数据里形成教学评价。

三、下一代教学大平台的应用实践

XR 教学平台已经上线了智慧建筑、交通信号控制、展厅设计、发输电系统、供配电系统、建筑智能化设计、电动机、中药煎煮等21 门课程。如图4 所示，为了推广新一代教学大平台，本文作者与多位专业课教师合作开展了XR 示范教学。课前，教师在平台上发布课前教学任务，学生使用XR 终端在宿舍、校园广场、楼宇大厅或走廊上从教学平台场景进入教学任务场景，开展泛在的课前学习。课中，教师在教室组织学生开展XR 教学活动，聚焦于课程的重点与难点。课后，教师根据课中教学效果，发布课后教学任务，学生在校园内可以随时随地使用XR 终端去完成教学任务。在示范教学中，师生使用的XR终端为meta quest 2 无线VR 头盔，经过实测，当给无线头盔设定接收体验画面平均码率50Mb 每秒时，可以得到实时性与分辨率都很优良的XR沉浸式体验，但在此平均码率下，码率实际峰值达到了83Mb 每秒。多人在教室内同时开展XR 教学应用体验时，对无线网络压力非常大，以包含40 名学生的一个班级为例。当所有学生都进行XR教学体验时，理论上需要的带宽为3.32Gb。为了保障课中教学活动的开展，给单个教室配备了千兆5G 室分信号与内网光纤万兆wifi6 信号，但受限于wifi6 信号接收器的并发能力，实测教室内只能保障19名同学同时使用头盔进行XR 教学体验，所以课中教学要分批组织。

图4 基于XR 教学平台的教学实践

四、结语

深职大XR 教学平台为师生呈现了一种新的教学平台形态，充分激发了学生对XR 教学的兴趣，并取得了良好的示范效果。然而，目前XR终端的技术水平尚未完全成熟，普及度很低，多数学生对XR 终端的使用方式陌生，开展示范教学时需要预先为学生提供头盔使用的培训。但遗憾的是，当学生在使用过程中遇到问题时，通常需要由培训人员再戴上来查看问题所在。这一过程不仅耗时，还增加了培训的难度。此外，学生长时间使用头盔的意向并不强烈。由此，深职大XR 教学平台仍有较大的功能完善空间，包括使用通用人工智能进一步赋能教学平台，提供更多的智慧教学功能，支持大规模高素质的创新人才培养。随着XR 终端技术的不断完善并获得广泛认可，并伴随新技术手段降低XR 教学应用的开发成本，功能日益丰富的XR 教学平台终将崭露头角，成为下一代教学的主流选择。