基于混合现实的道路工程车辆教学系统设计

谭登程， 白廷俊

（中国矿业大学 建筑与设计学院， 江苏 徐州 221116）

0 引言

近年来， 随着计算机三维能力的增强和传感设备的普及，混合现实技术取得了显著进步，特别是在教学等领域展现出广阔的发展前景[1]。 然而在工程机械领域，由于其操纵的复杂性特点[2]，目前还没有成熟的教学方案。 通过将混合现实技术与道路工程车辆教学系统结合， 可获得沉浸式的操作感受和逼真的环境体验， 从而提高教学效率和学生学习体验。

1 概述

混合现实（Mixed Reality，MR）将虚拟事物与真实世界融合到一个场景中，从而增强用户体验的真实感。它有三个主要的特点：一是虚实融合，将真实世界和虚拟事物在同一空间中展示；二是三维注册，将虚拟事物精准地与真实世界耦合；三是实时交互，实现人与真实世界及虚拟事物的实时交互。 同时人机交互也是混合现实的重要支撑技术，成为了近年来国内外研究的热点[3]。

随着关键技术的发展， 混合现实逐渐被应用多个领域。 由于其极佳的体验，使得混合现实技术在教育系统的设计与开发中具有广阔的前景[4]。 将混合现实技术引入到机械类课程教学中，通过视觉耦合增强交互体验，使学生身临其境地学习， 提高了学生视图解读的认知能力和工程实践的创新能力[5-6]。

2 用户调研与特征分析

2.1 用户调研

走访调研了徐工集团道路事业部以及多个道路施工项目，通过自然观察、半结构式访谈、问卷调查等研究方法， 了解了新手驾驶员对道路工程车辆操纵的认知程度和学习培训过程中的痛点与需求。

2.1.1 自然观察法

观察教学过程，着重梳理出不易懂、效率低、常出错的流程环节，在后续访谈过程中持续跟进。

（1）学生无法独立学习，易操作错误，需要有教师在身边指导。

（2）理论知识不易理解与记忆。

（3）演示复杂操作流程时需要多次重复。

2.1.2 半结构式访谈

制定访谈提纲，访谈了新手驾驶员20 名、教学师傅5名，了解教学体验，并结合观察法中梳理出的问题点进行有针对性的提问。

（1）教师认为模拟不同施工方案很必要。

（2）教学过程需要标准化的培训模式，减少人力成本。

（3）学生在学习过程中无法构建出清晰的操作场景。

（4）学生对教学背景理解不够深刻。

2.1.3 问卷调查

通过发放问卷的形式了解学生与教师在教学过程中对不同影响因素的重视程度和教学流程的期望优化方向。

（1）教学信息的传达效率低，对教学质量影响大。

（2）教学过程需增强趣味性，调动学员的学习积极性。

（3）现有教学手册不够直观，理解与记忆难度大。

（4）缺少画面感，实际操作时无法应对所有施工场景。

2.2 用户特征分析

结合用户访谈，分析学生用户生理、心理、认知、行为四个方面的特征， 为后续提出混合现实类工程车辆教学系统的设计原则提供支撑，见表1。

2.2.1 用户生理特征分析

视觉方面，用户对高饱和度色彩较为敏感，对高度抽象化的几何符号的分辨能力较弱。听觉方面，能准确判断出声源方向与大致距离，可以粗略区分出不同声音。触觉方面， 用户在驾驶过程中能有效辨别外界事物的震动变化。 嗅觉和味觉是用户感触外界事物味道属性的主要途径，但在本研究议题中相关性不大。

2.2.2 用户心理特征分析

用户多为25～35 岁的成熟男性，情感深刻、丰富、效果性强。 面对客观事物能够产生鲜明的情感，包括喜悦、苦恼、兴奋、厌烦、畏惧等基本情感，且情感能有效反作用影响到实际行动。 除基本情感外， 此类用户还具备荣誉感、责任感、成就感等丰富的社会情感。

2.2.3 用户认知特征分析

用户主要通过视觉通道感知外界信息， 依据事物的具体形象和变化来认识事物。 在思维模式上主要通过将现实事物映射到大脑中进行模拟复现， 来实现事物的理解与记忆。因此在道路工程车辆类的教学过程中，空间感能力越强的学生，认知与记忆的效率越高。

2.2.4 用户行为特征分析

学生用户的行为往往是优先操作难度低、回报快、方法明确的任务，缺少探索精神。这导致学生用户不能在多场景下应对问题，对未知的恐惧影响学习的全面性。

3 混合现实技术的道路工程车辆教学系统设计原则

基于用户调研和用户特征分析， 混合现实技术的工程车辆教学系统设计应该从灵活高效、可学习与可记忆、动态交互、情感化设计等方面加以考虑，满足学生用户的学习需求。

3.1 灵活高效性原则

现有道路工程车辆教学系统存在成本高和效率低的问题，因此灵活高效性是首要设计原则。利用混合现实技术将教学过程数字化、 标准化， 学生可以自主学习， 摆脱对场地和教师的依赖。 通过模拟不同的道路施工场景，学生可以体验多种施工方案，增强教学的灵活性。

在不同感官通道上高效传递信息可以提高学生认知效率。 视觉上，通过模拟第一视角的画面，让学生直观地感受到操作过程中的视觉变化。同时为避免视觉通道的信息拥堵， 在听觉和触觉上模拟施工环境并传递应急报警、操作提示等辅助信息，加强信息交换的效率，高效完成教学任务。

表1 用户特征分析及表现Tab.1 User characteristics analysis and performance

3.2 动态交互性原则

混合现实的教学系统最大的优势在于动态信息展示和虚拟训练，因此动态交互性是基本设计原则。 在信息展示方面，传统的静态信息与实际操作的动态变化相悖，采用混合现实的三维动画可以使教学展示与实际操作更加契合，提高人机交互效率。 同时利用混合现实技术模拟出操作后的效果，这种高仿真性降低了试错风险，有利于学生主动探索，开发创新能力。

3.3 可学习性与可记忆性原则

针对理解和记忆难度大的问题， 应着重考虑可学习性与可记忆性设计原则。 传统教学方式多以口述和静态图像的形式为主，学生需要在脑中构想出来操作画面，导致理解难度大；操作流程多且长，导致不易记忆。 因此可以利用混合现实帮助学生构建出操作画面， 减少信息翻译的过程； 再结合具象化图标和统一视觉规范减少记忆量，降低记忆难度。

在教学过程中加强场景的叙事性表达， 帮助学生更好地理解所学内容。同时配合听觉和触觉两个辅助通道，帮助学生沉浸到教学场景中，提高专注度。

3.4 情感化设计原则

学生在情感方面具备了成就感、荣誉感、责任感等丰富的情感， 因此情感化设计原则有助于提高教学系统用户体验。叙事性的案例可以引起学生的关注，以趣味性的案例为入口，让学生对教学背景产生兴趣，进而导向教学环节。在教学系统中加入成就模式，以此激发学生的成就感和荣誉感，从而产生学习欲望。在教学文案上加强情感色彩，通过激励的语气帮助学生面对困难、亲和的语气指导学生反复练习、严肃的语气辅助学生纠错整改，进而提升教学系统的亲和力。

4 设计实践

4.1 设计方案

针对用户特征，结合教学系统的设计原则，进行了机械单光轮压路机教学系统设计实践应用。 整体系统开发与设计方案如图1 所示。

图1 系统方案Fig.1 System solutions

在虚实融合方面， 利用Unity3D 平台完成三维注册跟踪与虚实场景耦合显示。 在用户界面形态方面， 使用3DUI 界面与头戴式显示设备HMD 结合的方式， 实现视觉信息的展示。在3D 交互技术方面，利用立体音响、震动座椅实现听觉与触觉反馈，通过数据手套、运动传感器实现手势识别和运动学交互。

4.2 原型设计与评估

利用3DMAX 构建驾驶室三维模型，并在Unity3D 平台进行模型与现实事物的校准。 选用“压路机操作教学”模块作为实践内容，制作动画效果，绘制3DUI 交互界面原型。 文案上结合情感化设计，添加学习完成度，并撰写情感化提示语。 利用PS 绘制施工场景，以实现多场景模拟练习。邀请6 名测试员进行原型测试，完成教学操作（见图3）。 经过访谈和主观满意度打分， 认为基于混合现实的道路工程车辆教学系统能够帮助学生提升学习体验感和认知程度，有效提高了教学质量和学习效率。 在实际应用中需要加强虚拟事物与现实的耦合准确度和交互的反馈流畅度。

图2 驾驶室三维模型Fig.2 3D model of cab

图3 原型测试Fig.3 Prototype test

5 结束语

将混合现实技术引入到道路工程车辆教学过程中，可以增强教学的互动体验感， 提升学生的学习效率和实践能力，激发学生的学习积极性。虽然现在混合现实技术还处在初步探索阶段， 但随着新兴技术的成熟，它将发挥出更大的魅力，未来混合现实将成为教育活动的重要形式。