基于HoloLens的数字化飞机增强现实教学平台应用

崔海青，吴晓东，魏士皓

（中国民航大学 电子信息与自动化学院，天津 300300）

一、引言

近年来，增强现实技术有着巨大进步，有越来越多的行业机构和企业开始进行增强现实技术的实际应用。微软公司在2015年推出跨时代的增强现实产品HoloLens，为增强现实的应用提供了有力的硬件支持。

机务教学中，学生不仅要学习大量的理论知识，还要对飞机的结构、拆装、维修进行练习和培训。由于技术和经济上的制约，不能大规模地在真实飞机上进行培训，而民航客机又是一个复杂的集合体。学生的数量和可供使用的教学资源存在矛盾，难以保证学员的练习时间，对相关的现象缺乏实际的操作经历，一定程度上打击了学生学习的积极性。如何让学生进行足够的操作练习以及对学生进行直观的讲解，让学生对民航飞机有全面而整体的认识是一个亟待解决的问题。

本文基于Hololens设备，开发了一套数字化飞机增强现实教学平台，能够为学生提供较为直观的增强现实教学训练环境，提升教学效果的同时，也能一定程度上提高学生学习的积极性。

二、教学平台功能结构

1.系统功能。HoloLens是由微软开发的一款便携式头戴全息计算机设备。该装置的前部装有定制的传感器和相关硬件，包括处理器、摄像机和微型投影设备，能够直接将图像投影到人眼之中，形成全息影像，并提供手势交互功能，让用户能够与数字全息影像进行互动。将其应用在虚拟教学中，不仅可以做到寓教于乐，而且可以为学生360°展示飞机结构，并且可以展示飞机的任意剖面图解，这些内容即便是在真实的飞机中也是难以展现的。在实际教学中，教师可以根据自己的教学内容，创建相应的三维教学资源，这些教学资源可以根据分类，安排在不同的教学演示模块下，学生通过HoloLens的交互功能，进入不同的教学模块。这样能够更好地结合不同专业教师的专业技能，为学生提供更准确的教学信息。发动机3D模型与现实世界的融合视景，如图1所示。

图1 发动机增强现实视景图

通过HoloLens，学生可以在现实场景之上创建全息场景和物体。全息场景还可以配合学生的手势、凝视以及语音来进行相应的操作，使学生可以直接与创建的物体进行交互。

2.系统结构。基于HoloLens的数字化飞机增强现实教学平台的系统结构如图2所示。平台的教学资源由相关专业的教师提供，通过3DS Max进行建模。建立好的模型导入Unity3D引擎中，结合微软官方提供的混合现实工具包Mixed Reality Toolkit（MRTK），能够快速开发针对微软HoloLens混合现实的应用程序。开发完成的工程，可以部署到HoloLens平台上。通过HoloLens的同步定位与地图构建（SLAM）功能进行环境建模，结合用户操作，完成增强现实的教学展示。

图2 飞机增强现实教学平台结构

三、飞机3D数字化模型的建立及优化

虽然HoloLens的应用潜力巨大，但是当前可利用的资源还是很贫乏的，在民航专业领域的资源就更少了。如果想要大规模地应用于民航教育领域，教学资源问题是急需解决的一个问题，需要建立全息的3D飞机数字化模型。本文主要介绍基于3DS Max对飞机各个模块进行建模。由于飞机的结构组件众多，复杂程度也十分高，三维飞机模型构造十分复杂，信息量巨大，建立精细模型的工作量太大，同时模型对计算机性能要求很高，不能直接加载到HoloLens中去。

为了解决这个问题，需要在满足教学要求的前提下对飞机模型进行适当的优化，简化不必要的细节，只对必要的飞机结构进行精细建模，并对数据进行压缩。对模型的优化主要采用LOD（Levels of Detail）技术，即多细节层次，包括生成、选择及切换三个主要部分，根据模型在当前环境所处的位置以及重要性，来决定对物体渲染的资源的分配，距离摄影机近的重要部分采用较高的显示精度，以达到较好的现实效果；同样的距离，摄像机较远同时重要性较低的部分采用较低的显示精度，以节约计算资源，提高操作的平滑度。

模型面数的优化包括模型面的精简、删除。模型片面的精简通过降低模型的段数来降低模型的面数，柱面通过降低高度段数和截面的精简达到面数的精简，曲线形状模型面数的精简通过调整材质的偏移值、角度等的参数，适度减少形状步幅和路径步幅参数，完成曲线形状模型面的精简。删除模型面包括删除模型之间的重叠面，删除模型底部看不见的面，删除物体之间相交的面。

图3 3Ds Max建模及优化

通过LOD和对模型减面，能够优化模型对硬件资源的消耗，有效提高模型在HoloLens上运行的效率和稳定性。

四、基于Unity3D的HoloLens开发

微软和Unity3D为HoloLens的开发提供了相关的工具包和开发环境，方便开发者开发基于HoloLens的应用。HoloLens上的输入交互与其他平台不同，主要是通过三个非传统交互方式：凝视、手势和语音，进行交互。使用微软官方提供的Mixed Reality Toolkit工具包，封装了很多常用的组件及脚本，能够方便地开发HoloLens设备的应用程序。MRTK工具包可以在Github上进行下载，将下载的unitypackage文件导入正在开发的HoloLens项目中，即可在项目中进行调用。如果没有HoloLens设备，也可通过Windows系统的Hyper-V功能，安装HoloLens模拟器进行开发。

Unity支持几乎所有的主流三维文件格式，能很方便地把3DS Max中导出的文件加载到项目工程中。使用MRTK工具包，对模型添加相关的交互响应。Unity3D的开发界面如图4所示。

图4 Unity3D的开发界面

一般为了保证在HoloLens场景中的高帧率，在项目设置中，会将质量设置到最佳性能，同时启用Virtual Reality support，Virtual Reality SDKs选择Windows Mixed Reality。在开发中，使用Unity 提供的Holographic Emulation功能，能够方便地实现程序的远程调试。发布输出时，需要进行相关的发布设置，在Build Settings中需要将平台调整为Universal Windows Platform，设置好其他参数，就能够进行构建了。最后，我们将编译导出的Visual Studio解决方案，部署到设备上，进行调试运行。

五、数字化飞机增强现实教学平台应用场景

HoloLens能够提供基于实物的3D全息视景叠加展示，让用户可以直观地看到数字模型。教师在对多人授课时，可以佩戴HoloLens眼镜，在讲解相关专业课程时，在HoloLens上调出相关模型，通过HoloLens自带的实时视频串流功能，将模型投影在教学屏幕上，可以让学生看到和教师一样的场景和视角。HoloLens相当于一个储存多个模型的教学用具，供教师在教学时随时调用。学生在课后时间，可以自由预约HoloLens设备的使用。学生可以对各种飞机的模型细节进行探索研究。通过交互功能，也可以将一部分教师需要讲解的知识点放到模型中，让学生自我学习。HoloLens生成的全息影像只有全息眼镜佩戴者才能看见，为了让旁观者能从其他地方看到HoloLens用户在HoloLens中看到的视景，微软提供了虚拟现实分享功能Spectator View，通过视频合成技术，使旁观者能从第三者的角度，看到全息影像，使用更好的相机，能生成更高的分辨率和更好的质量的图像。通过这一种方式，能够将教师在教学时对数字模型的讲解和交互录制下来，制作成教学视频，提供给学生进行自主学习。

六、结语

建立一个基于HoloLens的3D全息教学演示及教学资源建设平台，所有涉及空间结构、机械结构、操作面板、视景合成的相关专业课程，在已具有或者自行设计的3D模型支持下，都能够实现虚拟视景与现实视景的混合，并能够提供相应的教学资源生成发布功能。把虚拟仿真技术作为学生的认知工具，将其整合到学科教学中去，使学生形象地建立起客观世界，有效地提高实践教学质量，激发学生学习兴趣，真正提高学生的机务工程实践能力。可以为专业教师提供建立虚拟模型向混合视景转换的平台，更好地服务于专业教学，可以为国内其他教育、培训、科研机构提供全套的解决方案，或者教学资源。