基于HoloLens的民航发动机混合现实交互演示系统开发

冯丹琳

摘要：基于HoloLens实现发动机模型的混合现实交互演示，进而直观形象的对发动机结构、原理有更清楚的了解。通过三维建模软件对某型民航发动机模型进行轻量化处理，通过虚拟现实引擎对HoloLens进行开发。首先搭建HoloLens开发环境，然后对轻量化处理后的模型添加动画效果，然后把具有动画效果的发动机模型发布到HoloLens中，最后实现发动机模型与现实场景的交互演示。此方法对混合现实交互演示系统的开发设计具有重要参考意义，此系统可用于教学及相关培训，具有重要的实用价值。

关键词：发动机模型;轻量化;混合现实;HoloLens

中图分类号：TP391 文献标识码：A 文章编号：1007-9416（2018）11-0152-03

0 引言

近年来，混合现实（MR）技术是学术界的一个热点，将成为下一个重大通用计算平台。随着信息技术的发展，这些先进技术手段将逐步融入人们的生活，被越来越多的行业机构和企业用来改善生产和生活，未来几年将会实现飞速发展。它是在虚拟现实技术基础之上发展起来的一种新技术，也被称为增强现实（AR）。将计算机生成的虚拟环境、模型等信息叠加到真实场景中，实现对现实的增强，增加了体验者对现实环境的感知[1]。HoloLens是微软公司开发的一款头戴式增强现实装置，采用特殊定制的全息处理单元，能够在现实场景中显示全息图像的设备，而且可以完全独立使用，同时无需线缆连接、同步电脑或智能手机，实现对周边环境的快速扫描和空间匹配。这就确保了在真实世界表面放置或展现全息图形内容的准确性。另外，HoloLens平台操作系统是基于Windows10定制的，降低了研发成本，同时也提高了开发效率[2-4]。

发动机作为飞机的核心部件，具有重要的研究价值。通过三维建模软件3DSMax对建立的发动机模型进行轻量化处理，使得模型能够加载到虚拟现实引擎Unity中。在Unity中配置HoloLens開发的场景，然后对轻量化后的模型进行动画效果程序的设计，实现发动机虚化模型的缩放、移动、旋转、漫游等效果。最后把具有动画效果的模型发布到HoloLens中，实现发动机模型的交互演示。对混合现实交互演示系统的开发设计具有重要参考意义，同时可应用于教学及相关培训，具有重要实际应用价值。

1 混合现实交互技术

1.1 用户界面

混合现实的用户界面正在向高效、自然的方向发展。在MR中使用较多的用户界面形态包括：实物用户界面（TUI）、触控用户界面、三维用户界面（3DUI）、多通道用户界面和混合用户界面。

目前，TUI是MR领域应用得最多的交互方式，它是直接使用现实世界中的物体与计算机进行交互[5]，这种方式比较自然。触控用户界面是在图形用户界面的基础上，主要以触觉感知作为交互技术，例如手机、平板电脑等，都是用手通过屏幕与虚实物体交互。3DUI是在一个虚拟或现实的三维空间中与计算机进行交互，是由虚拟现实技术衍生而来的交互技术，可以在纯虚拟环境中观察世界、地形漫游、搜索与导航等。多通道用户界面是通过多种通道与计算机进行交互，输入方式有文字、语音、手势、视觉、听觉、嗅觉等。混合用户界面通过多种不同的交互设备进行交互[6]，交互平台更加灵活和多样化。

1.2 交互技术

混合现实中人机交互主要是实现用户自然高效地与虚实混合的内容进行交互，交互技术主要有手势识别技术、语音和声音交互技术、触觉反馈技术、眼动跟踪技术、生理计算技术等等。

手势识别技术是应用较多的交互方式，按照输入设备的不同，分为基于传感器和基于计算机视觉两种，可直接用手操作MR中的物体。语音交互是重要的交互方式，语音识别可以直接或作为额外的输入通道感知交互信息。触觉反馈技术是通过产生的力学信号反馈信息，通过触摸的方式感知实际或虚拟的力学信号。眼动跟踪技术通过眼睛注视的方向体现感兴趣的区域以及用户的心理和生理状态，通过眼睛注视进行的交互是较快的人机交互方式。生理计算是建立人类生理信息和计算机系统之间的接口的技术[7-9]。

2 开发实现

HoloLens是微软首个不受线缆限制的全息计算机设备，能够与数字内容更好的进行交互，并与周围真实环境中的全息影像互动。HoloLens对新一代的人机交互体验指明了方向，它可以代替大部分需要人与人之间进行实地交流的场景。首先通过三维建模软件对发动机模型进行精简面等轻量化处理，然后利用虚拟现实引擎添加动画效果，把处理好的发动机模型加载到Hololens中。使得HoloLens体验者能够看到由他自己周围的现实世界和系统提供的全息影像组合而成的景象，进行交互演示。开发过程如图1所示。

2.1 发动机模型轻量化

三维发动机模型是由多种信息有机地构成，其信息量大，造成模型对计算机性能要求很高，显示速度慢，不能直接加载到Hololens中去。为了解决这个问题，将建好的发动机模型平滑的加载到HoloLens中，可以对原始模型采取轻量化操作，过滤冗余信息，保留发动机模型必要的产品结构和显示信息等，并对数据进行简化和压缩。

模型轻量化采用细节层次技术，包括生成、选择及切换三个主要部分。将发动机模型设定不同的显示精度和显示细节，根据观察者视点与发动机模型之间的距离来使用不同的显示精度，以此达到快速交互模型的目的。3DSMax的操作环境如图2所示。

发动机模型面数的轻量化包括模型面的精简、删除。模型片面的精简通过降低模型的段数来降低模型的面数，柱面通过降低高度段数和截面的精简达到面数的精简，曲线形状模型面数的精简通过调整材质的偏移值、角度等的参数，适度减少形状步幅和路径步幅参数，完成曲线形状模型面的精简。删除发动机模型面包括删除发动机模型之间的重叠面，删除发动机模型底部看不见的面，删除物体之间相交的面。

2.2 基于Unity的HoloLens开发

在Unity中对HoloLens开发之前，需要配置相应的环境、资源加载。开发过程包括场景搭建，程序设计，发布输出。首先载入的开发工具包提供了封装好的常用的组件及脚本，HoloLens的主要交互方式为凝视、语音、和手势，构成了HoloLens的基本输入。然后设置当前场景，加载模型，Unity支持几乎所有的主流三维文件格式，把从3DSMax导出文件到项目工程资源文件夹后，Unity会立即刷新该资源，并将变化应用于整个项目。为模型添加刚体，使得凝视、语音、手势等触发让模型感知。设计缩放、移动、旋转等程序，加载到Unity的发动机模型上，使得模型具有相应的属性。发布输出时，进行相关的发布设置，选择发布平台，这里选择远程计算机，即HoloLens，并确定与计算机在同一个局域网内，最后调试程序，发布到HoloLens中。以移动的设计为例进行具体分析，开始移动前，保存发动机模型的原始位置，获取拖拽的总偏移量，设置发动机模型新的位置，手势移动事件处理接口，该事件会将返回自拖拽开始的总位移量。Unity中的开发环境如图3所示。

对发动机模型集成凝视、手势和语音三大特性，当摄像机凝视在全息对象时，表面出现可视化凝视组件，当手势被识别到时，会出现圆心或手指，然后添加事件响应，完成发动机的响应工作。可在Unity模式下运行调试，观察整个项目的运行结果，一切正常，即可发布到PC平台或Hololens中。在Unity中的视觉效果如图4所示。

3 结语

通过3DSMax三维建模软件对发动机模型处理，采用细节层次技术对原始模型采取轻量化操作，过滤冗余信息，保留发动机模型必要的产品结构和显示信息。在Unity3D中进行开发环境的搭建，发动机模型的导入，程序设计、调试等操作。进行了发动机模型的缩放、移动、旋转的程序设计，分别通过凝视、手势的操作实现。完成了整个项目的运行，运行结果符合正常效果，最后发布到Hololens中，实现了发动机模型混合现实交互演示。开发设计过程对混合现实交互演示系统的研究具有重要参考意义，开发的交互演示系统可应用于教学及相关培训方面，具有重要的实用价值。

参考文献

[1]赵文静，曹忠.基于增强现实的移动学习海外案例分析[J].现代教育技术，2017，27（3）：20-26.

[2]余艳红.增强现实技术的研究现状及发展趋势[J].湖南大众传媒职业技术学院学报，2016，16（1）：55-57.

[3]金榮深.基于HoLoLens的飞行仿真辅助视景系统设计[J].工业设计，2018（6）.

[4]刘向群，郭雪峰，钟威等. VR/AR/MR开发实践——基于Unity与UE4引擎[M].机械工业出版社，2017.

[5]吕春花，张凤军，武汇岳等.基于TUI的场景规划系统中的交互技术[J].计算机辅助设计与图形学学报，2009，21（1）：112-119.

[6]Zhou F， Duh H B L，Billinghurst M. Trends in augmented reality tracking， interaction and display： a review of ten years of ISMAR[C] //Proceedings of the 7th IEEE/ACM International Symposium on Mixed and Augmented Reality. Los Alamitos：IEEE Computer Society Press，2008：193-202.

[7]王西颖，戴国忠.面向虚拟现实的层次化交互手势建模与理解方法[J].计算机辅助设计与图形学学报，2007，19（10）：1334-1341.

[8]Irawati S，Green S， Billinghurst M，et al."Move the couch where？"： developing an augmented reality multimodal interface[C] //Proceedings of IEEE/ACM International Symposium on Mixed and Augmented Reality. Los Alamitos： IEEE Computer Society Press， 2006：183-186.

[9]Hayward V，Astley O R，Cruz-Hernandez M，et al.Haptic interfaces and devices[J].Sensor Review，2004，24（1）：16-29.

Development of Mixed Reality Interactive Demonstration System for Civil Aviation Engine Based on HoloLens

FENG Dan-lin

（College of Electronic Information and Automation， Civil Avation University of China， Tianjin  300300）

Abstract：Based on the implementation of the mixed reality interactive demonstration of the engine model by HoloLens， the engine structure and principle can be more clearly understood visually. Through 3D modeling software， a certain type of light weight is made on civil aviation engine model， to develop the HoloLens by virtual reality engine. The first is to set up HoloLens development environment， and the second is to add animation effects to treated model， and the third is to release the finished engine model to HoloLens， the last is to realize the interactive demonstration between engine model and real scene. This method has important reference significance for the development and design of mixed reality interactive demonstration system， which can be used in teaching and related training， and has important practical value.

Key words：engine model; light weight; mixed reality; holoLens