赵青,芦旭熠,2,张逸涵,2,岳润璞,2,单桂华,2*
1.中国科学院计算机网络信息中心,北京 100083
2.中国科学院大学,北京 100049
我国现代化铁路的高质量快速发展,对确保铁路系统的良性运转、降低安全事故的发生概率提出了更高的要求。通过安全教育和培训,能够在专业性和规范性上进一步提高铁路从业人员的事故预防、应急处理和救援能力,从而整体上提升技术业务和安全素质,减少人为事故的发生几率。而虚拟现实的技术方法,能够利用计算机对铁路交通建设、运营中各种复杂情况进行系统模拟,提供交互性强、灵活度高的沉浸式培训应用,节省现场模拟的成本,模拟非正常情况实验,对铁路安全教育有着极其重要的意义。
虚拟现实(Virtual Reality: VR)通过计算机技术,模拟产生一个虚拟三维空间的世界,结合视觉、听觉、触觉等感官模拟,将用户与真实世界隔绝,构造一个完全虚拟的场景,使用者通过头盔、手柄、数据手套等设备与计算机进行交互,能够产生身临其境一般的感觉。因此VR 技术常被定义一种全新的人机接口技术,一种高端的影像显示技术,但随着计算机技术的不断发展,VR 技术已经集合了三维建模技术、网络通信技术、传感器技术等多种技术应用,有着更为而丰富的内涵。通常来说,一个VR 系统具有三个特性[1]:(1)沉浸感,即使用者对虚拟环境的逼真程度的感受;(2)交互性,即使用者使用交互设备与虚拟环境进行信息交互的特性;(3)想象性,即使用者对于虚拟环境的一种合理的想象的推理。早在1984年,美国就开始将VR 技术用于军方对宇航员和飞行驾驶员的模拟训练,此后VR 技术在研究和应用上都有不同程度技术积累与发展,进入21世纪,VR 技术的不断创新导致了相关产业快速崛起,VR+工业、VR+教育、VR+医疗等多个产业的融合成为研究者们探讨的主题和实验。在此背景下,VR技术在铁路教育中的应用成为必然趋势。
随着科技和社会的不断发展,虚拟现实技术已经在游戏娱乐与工业培训等多个领域涌现了成功案例,包括VR 游戏主题乐园、航空VR 训练系统、VR 医疗手术训练系统等。美国麻省理工学院和华盛顿大学华盛顿技术中心的人机界面技术实验室在VR仿真技术和组合应用方面进行了多种类型的研究,并将虚拟现实技术研究引入到教育领域。日本是世界领先的VR 技术研发国家之一,其研究重点是大规模VR 知识库的建设,并在虚拟现实的游戏方面也做了很多研究工作。中国在 1980年代引入 VR 技术,西安虚拟现实工程技术研究中心在国内率先开展VR实验,专注于VR 模拟和虚拟化制造研究。浙江大学设计了一个通过改进渐进式网格漫游算法构建基于桌面的虚拟系统,与以前的桌面系统相比,新系统允许更快的人机交互并提供更高的画质。西南交通大学在整合VR 技术进入轨道列车司机培训方面取得了一些进展[2]。中国科学院计算机网络信息中心先进交互式技术与应用发展部在智能交互分析技术方面开展了VR 关键技术研究与应用,研发了一系列针对工业生产、教育科普、科学研究等领域的VR 技术产品,包括应用于多人协作、产品检修等多种工业应用场景的工业协同交互系统,提供多人协同模块。如今,虚拟现实技术已经成熟,正在被用于军事、医疗、教育、娱乐和其他应用。
图1 VR 应用领域Fig.1 Application fields of VR technology
本文针对VR 技术在铁路安全教育中的应用进行了调研,阐述了现代化铁路高速发展下新的需求背景,梳理归纳了VR 技术在教育培训中的前沿应用,通过进一步分析铁路教育的发展、教育内容、教育方式,讨论了VR 教育培训运用在铁路安全教育的必要性,总结了VR 教育培训的优势,为后续相关研究提供指导。
交通运输的快速发展一定程度上激发和推动了铁路安全教育培训体系的建立和完善,引入虚拟现实技术的必要性在于对教育媒介以及培训设备的变革带来了新的思路,相对传统培训方式,VR 培训方式避免了信息的死记硬背,Schofield 等人 (2001) 提出虚拟现实模拟提供了改善安全相关的机会,如采矿培训,表明记忆安全信息的能力来自三维计算机世界将远大于来自书面的信息,同时VR 培训系统也避免了工人缺少参与机会的情况,给培训人员提供了具有自主性、沉浸性的体验[3]。我们以传统培训体系和VR 培训体系切入,讨论不同阶段的铁路安全教育发展。
图2 培训体系分类Fig.2 Classification of training system
传统培训体系,可分为纯文字、图文、视频、仿真系统这几类。基于纯文字材料的培训,即通过简单或复杂的文字描述来对作业流程进行说明,对人员进行指导和培训,这种方式一般优点是成本低,对于普遍识字的用户即可普及,但是缺点也显而易见,由于文字材料的用词表达的准确度存在偏差,学员的理解能力也存在差异,文字培训难以达到满意的效果。基于图文材料的培训是在单纯文字难以描述复杂性操作的基础上,选用大量的图片进行丰富培训材料,以结合文字进行更准确的培训教育,而图片则可以包括真实物体的照片、操作流程图、动作示意图等等,采用图文并茂的方式进行讲解培训,也更有趣味性。基于视频材料的培训,随着工业生产制造的复杂度加大,培训内容的难度也相应增大,静态的图文也难以满足作为培训素材的需要,而多媒体技术的发展、手机的普及使得视频介质成为传输信息的通用介质,采用视频进行培训的优势在于动态地讲解了操作的内容,保留了它的连贯性,允许学员同步操作、反复观看。基于三维仿真系统的培训,是通过计算机开发程序对相关人员进行更有针对性的培训和训练。这类系统的特点是通过三维建模还原真实场景,同时结合模拟仿真的技术开发培训系统,允许学员自主选择培训内容,进行针对性的训练。
当培训系统发展到三维仿真训练时,其实就已经开始搭建学习环境的情境性来帮助学员记忆培训内容了,同时也具有一定的交互性。而基于VR 系统的培训,则是在还原生产场景的基础上具有强交互性、高灵活度,基于VR 的培训体系与之前几种培训体系相比,它的突出特点在于极大还原了操作环境的空间信息,克服了仿真系统的三维模型只能在计算机的二维屏幕上输出这个缺点,同时赋予了学员进行交互的自由度。同时,VR 作为一种有效的工具,已被证明具备有效地提供更好的理解和可视化能力。例如,在建筑教育和培训中,学生可以通过感知不同的建筑空间3D 对象,而不是查看传统图纸。此外,教育培训使用传统的 3D 方法依赖于使用鼠标或键盘与计算机生成的结构形式。然而,在VR 环境中,直接的结果是交互式活动,例如拉和抓取,这意味着,在使用VR 进行培训和安全教育的过程中需要一定形式的输入来控制并与环境互动。
安全教育培训旨在通过合适的培训手段,使得人们在进行某些具有危险性的生产活动时,可以正确操作相关工具或正确完成工作流程,保证个人安全,并使得生产活动顺利进行。安全教育在高危行业得到众多研究者和从业者的关注,通过预先的操作培训、安全教育,可以大幅减少危险的发生。铁路是国民经济的大动脉,它的安全管理对运输效能、经济效率以及社会很多方面都有重要影响。因此,在铁路领域制定完善的安全教育培训体系是尤为重要的。
基于VR 技术的安全教育系统应实现3 个任务,分别是操作培训、场景模拟和设计原则。操作培训任务是指安全教育系统需要有使用户获得在危险场景下进行正确的安全操作或行为的意识和技能的能力,用户可以将在系统中学习的技能应用到现实场景中,并达到良好的规避或处理危险情景的效果。由于VR 安全教育系统虚拟环境的独特性,场景模拟任务就显得尤为重要。VR 安全教育系统需要在虚拟世界中构造一个与现实世界极其相似的场景,逼真的虚拟场景更容易让用户有代入感,并且场景中关键细节的模拟逼真度会在很大程度上影响用户的学习效果。设计原则任务是指VR 安全教育系统在最初的设计时需要遵从某些理论和原则,构建合适的安全教育指导体系,从而保证安全教育系统的可用性和教学效果。
多年以来,除了在应用上的进步,VR 领域还对控制器和其他类型的输入设备进行了许多引入、改进和重新设计,这些设备旨在与视频游戏和虚拟世界进行交互。从操纵杆、控制器和游戏板、方向盘和踏板,到鼠标和键盘等,输入设备经历了多次迭代[4]。Birk 等人[5]的调研结果显示控制器对玩家体验需求满意度的能力、自主性、相关性、沉浸感和直观控制存在影响。
头戴显示器的出现开拓了VR 技术可实现的应用范围,并推动了VR 安全教育领域的进步。Deb 等人[6]使用HTC Vive 头戴显示器和Unity 软件开发了一种新的行人模拟器。当参与者试图安全地穿过虚拟信号交叉口时,其可以对行人头部位置和方向进行跟踪。McComas 等人[7]也使用了头部追踪装置以确定头部运动,特别是检测儿童过马路前是否做出L-R-L 的动作。在铁路事故恢复培训场景,Xu 等人[8]开发了一个模拟器,设计一套特定任务的手势(由HTC Vive 追踪)来操作铁路起重机的摆动、变幅、吊装、伸长和移动等动作。用户实验结果表明,与传统手持式控制器相比,基于手势的控制器能够更高效、更易于处理复杂的交互。
与传统教学技术相比,新兴的 VR 技术将更好地满足培训人员的需要。通过在沉浸式的环境中使用 VR 技术,学生可以更快地理解抽象的概念,激发学习复杂过程的兴趣和动机。与此同时,VR 技术提供真实性、互动性和娱乐性的创新教学方法,也有助于提高课程的质量。
操作培训、场景模拟和设计原则作为3 个基本任务,是VR 技术应用于安全教育领域时首先要考虑的问题。我们对已经在VR 安全教育方面得到应用成果的行业领域进行总结,对3 个任务的具体内容进行充分阐述,并对进一步优化和发展的方向进行思考。
对从业人员在操作器械的培训可以提高使用熟练度,降低危险发生的可能性。在VR 发展的早期,由于VR 在安全教育方面的研究尚未展开以及硬件的限制,研究者们从简单的模拟入手,追求虚拟上的、与2D 不同的体验,能有操作感的VR 实现即认为成功。Qi-Zhong L 等人对于VR 在安全培训中的初步探索时没有盲目冒进,未设计复杂的VR 环境和复杂的作业机械,而是采用叉车这一具有典型代表性的简单作业机械,从而让工人可以较轻松地入手VR式安全培训[9]。在VR 环境中设计整个机械模型往往较为复杂,且带来不必要的工作量。Wang Z 等人在VR 中设计控制台和铁路前方景象[10],可设置障碍考验驾驶技术,这样的设计就能通过模拟驾驶达到训练功能。Marzano A 等人特别探讨了VR 中与装配和拆卸有关的部分,设计了VR_MATE 来满足可维护性和可组装性可用于设计铁路客车的组装[11]。
图3 模拟驾驶场景[10]Fig.3 Simulated driving scenario[10]
随着研究的不断深入,VR 在安全教育上不断扩展其应用范围,并注重与理论的结合,令设计有效且更令人信服。Papa S 等人通过设置不同的车辆仪表盘来进行多样化训练[12]。Zhang K 等人在设计VR 安全教育系统时结合教育理论,如建构主义理论、流式理论、游戏化学习、学习迁移等,结合知识与实践[13],结合VR 环境与传统学习模式中的优势方面,提升了系统的有效性。
在广度之上,研究的深度也得到更多研究者的重视。研究者开始回顾过去的设计,给将来提供指导,并关注更加细粒度的设计。Sim Z H 等人在VR 模拟时还原车间和车间内的机器、工具,让真实度提高,进一步减少意外发生的可能性[14]。在铁路安全方面,危险品铁路运输是其中一项需要关注的工作,运输危险品相对一般物品对于铁路工作人员有着更高的要求,而从实际中锻炼工人不仅是对生命的威胁,也对社会有着恶劣的影响。Ćwil M 等人对VR 在铁路模拟器方面的应用成果进行了三年的调查分析[15],调查不仅表明了VR 的有效性,同时发现使用者反馈数量较多的模拟控制器较数量少的模拟控制器差,原因则是驾驶训练任务变得更困难。Xu J 等人关注了手持控制器操作上的缺陷,提出了基于手势的铁路事故协同救援虚拟现实训练模拟器,可以更有效地处理复杂的交互[8]。除此之外,Xu J 等人同时允许多用户操作,协同工作,令训练环境更加逼真。为验证VR 中装配、拆卸的实际效能,Yang J 等人[2]通过对专业学生进行VR 学习环境和传统教学的比较实验验证了VR 在操作技能获得上的积极作用,有助于减轻学生的认知负荷。
当前VR 在各领域的安全教育方面都有了一定的应用,能够与理论结合进行设计,有对细粒度的探索,也有对过去研究的回顾,可以看出其发展的兴旺。但目前的研究缺乏了通用性的框架与平台,可扩展性差。每更改部分环境或应用场景,就得进行全盘重新的设计与实现,所耗费的精力是巨大的。
另一种培训模式是不单单对单一操作机械进行VR 模拟,而是通过设置整个VR 场景,对实体环境进行模拟。在核产业,任务往往是在放射性区域执行。在越短的时间内完成任务可以越有效地减少放射性的危害。早在2002年,Sebok A 等人将VR 式的安全培训引入对在放射性区域工作的人员的操作培训中,帮助新员工了解该区域的布局和辐射情况,并将VR 方式分为引导式和非引导式,并与传统的地图训练方法进行比较,证明了非引导式VR 训练的有效性[16]。
随着技术的发展,交互这一重要机制被引入VR安全培训的设计中。一系列研究[6-7,17]都采取让参与者在VR 场景中执行固定事件,通过追踪装置检测参与者行为,并给予即时反馈的方式让参与者获得安全意识。Zhao D 等人设计了一种方案,让使用者完成模拟场景中的所有交互培训事件,通过这些训练模拟,使用者可以在潜移默化中学习到相关技能并留下深刻印象[18]。此外,场景内的触发器是可重复的,使用者可以重复使用,以加强训练内容。
随着设备的更新和新设备的出现,研究者开始考虑不同设备与当前培训的适配性和有效性。Buttussi F 等人在考虑VR 安全培训时考虑了三种不同类型的VR 方式:桌面虚拟现实、窄视野HMD 和宽视野HMD[19],在检测其存在感与参与度时不仅考虑了使用后的即时感受,还进行了两周的跟踪调研,证明了VR 的展示方式影响着安全教育的程度。
铁路安全教育中,对于铁路事故的紧急救援也是重要的培训内容之一,而还原铁路事故救援场景的工程量大且成本较高,因此在VR 中进行铁路事故场景模拟是进行紧急救援培训的高效途径。如何让事故现场的场景更快地在VR 中重建是研究点之一。Nie Y 等人提出了一种基于图像的重建框架[20],基于改进的约束非线性最小二乘优化,如图4所示,该框架可以在短时间内自动对只有一张全景图的事故现场进行建模。救援人员可以使用集成的头戴式设备验证救援计划,帮助救援人员做出可靠的救援决策,减少列车事故造成的损失。
图4 原始图片和重建后的虚拟场景[20]Fig.4 Original images and reconstructed virtual scenes[20]
VR 安全培训在场景模拟上经历了初步还原、有效性研究、快速建模等多个历程,从不同角度切入增强该领域的研究广度和深度。目前的场景模拟后的使用对象仍然是小基数的专业人群,对于扩展性仍有更多研究的空间。
实现有效的VR 安全培训需要构建合适的安全教育系统的方法指导,在VR 中构建铁路安全教育系统,既要保证安全教育系统的完整性和教育效果,又要发扬VR 环境的优势,增强安全教育的趣味性、真实性、可靠性等。
首先,安全教育系统需要有基础的认知构建能力。在VR 环境中,认知构建能力可以通过使用户在高还原度的模拟场景中不断体验相关安全操作步骤和流程来构建在某种危险场景下的应对措施,在VR 环境中学习到的安全意识和技能可以自然地转移到现实中。例如行人安全中,针对儿童进行的穿越十字路口的VR 培训显示出VR 技术在学习行人安全技能方面的有效性[7]。该项目旨在教育和训练儿童安全穿越十字路口。具体而言,目标是确定儿童在虚拟环境中是否可以有效学习行人安全技能,以及在虚拟环境中学习的行人安全技能是否可以应用到现实世界中。软件还集成了一个反馈组件,给儿童予以相关提示和警告危险。结果表明,即使短暂接触VR 软件,儿童也可以学习到穿越十字路口所需的安全行为。相似的,Luke 等人[17]介绍了一个名为"Motion Rail"的VR 系统,用于培训儿童穿越铁路的安全行为,如图5所示。儿童需要使用头戴式VR设备和控制器来执行任务,他们将在 VR 环境中的显示屏上收到关于通过或阻塞的即时反馈。结果显示,儿童喜欢基于VR 的训练系统,并表现出相当大的学习兴趣,研究结果进一步强调了儿童能够从VR环境中抓取和保留信息。VR 被认为是传统引导训练方法的有效替代方案[21]。Angelia 等人[16]评估了不同的训练方法(地图训练、引导式VR 训练和非引导式VR 训练)的有效性,认为VR 在训练转移方面是有效的,其效果相当于或优于基于地图的培训。
图5 铁路虚拟场景和佩戴VR 头戴显示器的参与者[17]Fig.5 Railway virtual scenes and participants wearing VR headmounted displays[17]
而VR 环境中认知构建的过程可以采用各种不同的方式,使得认知构建过程更有趣味性,提高用户学习的积极性和有效性。近几年,通过基于VR技术的严肃游戏(Serious Game)来进行情景训练变得非常流行。严肃游戏是指在提供娱乐性的同时用于教育人们了解这些情景的游戏[22-23]。除了具有教育意义[24],严肃游戏还能够提供与虚拟环境的交互体验,并指导用户制定方案、使用他们的知识和技能[25]。Le 等人[26]提供了在线社交VR 系统,让学生进行角色扮演、对话学习和社交互动,进行建筑安全健康教育。Zhang K 等人[13]结合相关教育理论,构建灭火器、消防栓等模型进行情景再现教学。该系统引导学生探索和交互各种消防安全场景,并提供互动反馈以帮助纠正错误和构建认知。对于铁路安全培训,设计相应的游戏环节来情景再现铁路环境,可以增强培训过程的趣味性,使使用者愿意主动学习,提高学习效率。
其次,与传统培训相比,VR 技术具有可以提供个人反馈和更多情感参与的优势[24],在VR 安全教育系统中加入丰富的感官反馈可以增强真实感并吸引用户,使他们更认真地对待安全教育。压力和恐惧等情绪唤醒以及游戏元素带来的愉快体验,增强了用户的存在感和参与感[25]。Smith 等人[27]使用沉浸式VR 来帮助孩子们了解火灾危险和练习逃生技术。其采用游戏界面交互技术,建立了包含几种火灾危险的虚拟房屋。孩子们可以在虚拟环境中活动,并使用游戏手柄和识别器与虚拟物体互动。游戏中还添加了环境声音和互动技术,能够以更积极的方式吸引用户。
随着VR 安全教育系统在越来越多的领域得到应用,研究者们开始在更宏观的角度制定和评估安全教育系统构建时应考虑的准则和规范。在建筑安全与健康教育上,Le Q T 等人提出了在线社交虚拟现实系统框架[26],该框架包括三个方面:协同分布式安全学习用以了解事故发生的根本原因;风险检查和安全认知用以反思安全理论;基于游戏的主动安全学习用以提高实践能力。知识传播、知识反思和知识评估这三个模块属于宏观对安全教育系统的指导,在建设铁路安全教育系统时可以考虑以这三个方面作为指导。Haj-Bolouri A 等人根据行为设计调研(ADR)从铁路VR 安全教育案例的第一阶段,即问题制定、构建、干预和评估、反思和学习中探究蕴涵的VR 安全培训设计原则的特定领域含义[28]。四大特定原则包括风险感知、多模态反馈、安全认识和危害检查,它们要求在设计VR 环境时要提供参与者交互信号来指示安全等级,要基于参与者行为提供即时反馈和整体反馈,要基于参与者职业提供检查不安全条件的可能性。Çakiroğlu Ü 等人提出了基于VR 的行为技能训练(BST)并结合现场培训(IST)和评估构成了一套用以教授消防安全基本行为的安全教育系统[29]。该系统论证了在VR 环境中使用IST 支持BST 对于增强正确的行为是非常重要的。该结论同样可应用到铁路安全教育系统的构建当中。Zhang H 等人运用层次分析法(AHP)和模糊逻辑技术对虚拟现实矿山安全培训系统进行了综合评价,从而实现系统改进、保证培训效果[30]。该评价方法具有参考作用,可以评估其评价指标作为铁路安全教育系统评价的参考。
尽管已经有很多研究者在基于VR 技术的安全教育系统方面进行了尝试,但是还很少有足够完善和成熟的系统得到推广和应用。为了使VR 安全教育系统得到广泛的实际应用,需要制定完备的原则和规范,给予设计者指导,让VR 安全教育达到其应有的成效。让宏观的指导原则结合具体的设计内容,并辅以有效的评价体系,才能实现一个落地到实处的VR 铁路安全教育系统。
基于VR 的铁路安全教育系统具有高沉浸感、真实准确模拟、安全实用、无风险,低投入、可定制、可拓展等优点,能够针对不同培训内容、不同考核方式、不同培训群体搭建有效的培训系统。VR技术应用于安全教育培训,可以通过增强模拟环境的逼真度、设计游戏、增加多种感官反馈并提供多种互动技术来提高铁路安全培训的趣味性和有效性,在对用户进行操作培训和安全认知构建方面有着独特优势。同时,VR 技术的应用保证了在危险场景下进行培训的安全性。
VR 技术应用于铁路的安全教育培训时,应发挥出其体验式教育上独有的优势,对铁路安全防护、铁路交通事故应急处理、铁路交通事故救援、铁路安全监控等重点内容开展形象、直观的体验教学,实现日常作业主要内容要点的全覆盖,提高培训力度和观摩学习效率,学习正规的作业规范,强化安全关键风险控制,促进人员熟悉突发事件处理程序,增强员工安全责任意识,培养遵守管理标准与作业标准的良好习惯,为铁路职工相关教育领域提供一种全新的指导教育模式,从而加快教育效率,提高职工学习积极性,大幅降低工作风险。
在VR 技术不断成熟的同时,与之相似的新兴技术也在产生和蓬勃发展。增强现实(Augmented Reality,AR)技术是将虚拟信息加在真实环境中,来增强真实环境;混合现实(Mixed Reality,MR)将真实世界和虚拟世界混合在一起,来产生新的可视化环境,环境中同时包含了物理实体与虚拟信息。AR可以视为MR 的一种形式。在工业维护[31]、职业实践[32]、建筑安全[33]和制造培训[34]等领域,研究人员对AR 和MR 的应用进行了初步探索。与VR 相比,AR 和MR 拥有不同的教学功能,如叠加的文本插图、触觉手环、基于3D 视觉的跟踪等,它们有助于增强用户对培训任务的认知理解。此外,基于VR 的培训系统保真度较低,在某种程度上,场景或机器的还原还不够现实,无法完全取代传统的面对面培训;而AR 和MR 使得物理和数字对象共存并实时交互,大大减少建模所需时间,缩小用户的感知差距,并可以实现更高水平的保真度,从而使沉浸式数字培训更加切实。在铁路安全培训教育领域,可以对复杂场景以及需要更真实灵活交互的场景应用AR 和MR 技术。
元宇宙(Metaverse)是一种融合了多种新技术的新型互联网应用和社会形态,创造了一个真实世界的镜像,允许人们在另一个虚拟世界中玩耍、工作和社交。元宇宙应用于视频游戏、艺术、商业等众多领域,VR,AR,MR 是构建元宇宙的技术支柱之一,此外元宇宙还需要脑机接口、全息图像等技术来实现虚拟世界与现实世界的空间融合,因此元宇宙仍处于稳健发展阶段,在元宇宙中建设铁路安全教育培训可以拥有身临其境的体验,模拟场景逼真,促进对学习内容的理解,并且可以避免现实培训中的危险情景。
本文作者团队在海洋、天文、生物等领域有着丰富的可视化经验积累,并在这些领域实现了虚拟现实技术应用,如基于VR 技术的协同海洋涡旋可视化分析应用,多名用户可同时置身于模拟的海洋底部世界,并可协同交互操作海洋流线,进行实时同步观察。这些成功应用与实践说明VR 技术与可视化技术可以开创全新的学习培训情景,提供崭新的培训手段,为基于VR 的铁路安全培训奠定基础。
利益冲突声明
所有作者声明不存在利益冲突关系。