HoloLens混合现实技术在建筑行业中的应用研究

摘 要：虚拟现实技术的不断发展，衍生出增强现实技术和混合现实技术。HoloLens是混合现实的代表设备。随着BIM技术越来越多地应用于建筑行业，结合最新的HoloLens混合现实技术，给建筑行业带来许多新的应用研究领域：建筑方案可视化、模型设计协同化、施工过程信息化以及运营维护高效化。

关键词：混合现实；HoloLens；建筑行业；虚拟现实；增强现实

中图分类号：TP391.9；TU204 文献标识码：A 文章编号：2096-4706（2019）04-0147-03

Application Research of HoloLens Mixed Reality Technology in

Construction Industry

GONG Chibing

（Guangdong Polytechnic of Water Resources and Electric Engineering，Guangzhou 510925，China）

Abstract：The continuous development of virtual reality technology has spawned augmented reality technology and mixed reality technology. HoloLens is a representative device for mixed reality. With the increasing application of BIM technology in the construction industry，combined with the latest HoloLens mixed reality technology，it brings many new application research fields to the construction industry：architectural solution visualization，model design collaboration，construction process informatization as well as operation and maintenance with high efficiency.

Keywords：mixed reality；HoloLens；construction industry；virtual reality；augment reality

0 引 言

虛拟现实（Virtual Reality，VR）是通过计算机技术生成逼真的三维虚拟对象，构成包括听觉、视觉和触觉等集成的虚拟环境。用户在此虚拟环境之中，借助手柄等设备，与虚拟对象形成交互，从而产生亲临其境的感受。在VR之中，用户所感知的对象或者环境，都是计算机生成的“虚拟现实”。目前，虚拟现实技术已经广泛运用到许多领域。

VR技术在各项应用之中，主要包括建模、模拟和人机交互等过程。其中建模的工作量大、成本较高，虚拟对象或者环境的可信度有待加强等，因此，增强现实（Augmented Reality，AR）技术应运而生。AR技术，将计算机生成的虚拟物体或者信息，添加到真实的物理世界之中，从而实现对真实物理世界的增强。在AR技术中，由于虚拟对象只是用来增强现实，因此有效降低了三维建模的工作量。

混合现实（Mixed reality，MR），则是一种将真实世界和虚拟对象融合在同一视觉空间中，显示和交互的计算机增强现实技术。如果将真实环境和虚拟环境，分别位于一维坐标空间横轴的左端点和右端点，那么，AR位于横轴的左端区域，VR则位于横轴的右端区域，MR则位于除去左、右端点之外的中间连续区域[1]，因此，MR包含AR和VR，AR和VR均是MR的子集。

2015年1月，微软公司发布了一款名称为HoloLens的MR设备。HoloLens运行在Windows 10操作系统之上，包含一个中央处理单元（CPU），一个定制设计的全息处理单元（HPU），以及各种类型的传感器、光学透镜等，是全球第一个无线缆约束的全息计算机设备，用户可以与物理世界中的虚拟影像进行交互，具有更好的用户体验。HoloLens具有不受线缆限制、佩戴方便、便于使用等特点。用户在头戴HoloLens之后，首先需要扫描识别所在的真实空间，然后将虚拟场景融合到被扫描的真实空间之中。并通过手势、目光和语音与虚拟对象进行交互。

2016年8月，日本航空公司使用HoloLens培训飞机的发动机是如何工作的。将全息的发动机放置在被培训的人员面前，从而让被培训人员可以进入和研究发动机的不同部件。可以调整发动机的显示大小，甚至与实际大小一样。可以看到飞机的机械运转。最终减少培训成本。基于HoloLens的MR技术还应用于国外的许多其他行业，如游戏娱乐、医疗、汽车设计和培训等。

国内某些行业已经开始运用基于HoloLens的MR技术。在核电站的设备维修中[2]，采用HoloLens的MR设备，开发了包括交互、仿真、分析、指导和监督五个功能模块的核电站设备维修辅助系统。该系统可以指导维修人员行走到正确的位置维修操作，并实时监控，如果维修人员有错误操作，系统就会发出警告并指引如何改正错误，有效提高维修效率。在轨道交通行业的新产品设计过程中[3]，通过MR技术，可以数字化呈现完整或者部分的新产品，设计人员可以进入系统内部，分析、体验产品的结构是否合理，是否符合人性化的使用需求等，从而减少变更周期，降低成本，有效提高企业竞争力。

在肝脏切除手术中初步应用HoloLens[4]，在手术前获得磁共振检查数据，构建肝脏的三维模型，并在手术前利用HoloLens仔细查看肝脏的三维模型，完善术前的评估。在手术期间，将HoloLens中的三维肝脏模型与靶器官的肝脏精确匹配，便于指导肝脏的切除手术。

MR技术结合BIM技术，在建筑行业具有广泛的应用前景，对其中的应用领域进行研究具有重要意义。

1 虚拟现实、增强现实和混合现实技术概述

1.1 虚拟现实技术

VR技术具有3个特征，分别是沉浸（Immersion）、交互（Interaction）和构想（Imagination）。沉浸，指的是用户在虚拟的环境之中所感受到的真实程度；交互，指的是用户对虚拟对象的可操作性以及从虚拟环境得到的反馈程度；构想，则指的是用户在虚拟环境之中沉浸，获取新知识，启发思维。

VR的关键技术是：建模方法、表现技术和交互方式及设备。

在建模方法中，包括基于深度图像的建模。还包括材质光照建模法、体积光照模型、场的建模方法、基于物理的建模以及行为建模法等。

在表现技术上，包括视觉表现技术，如真实感光照计算、复 杂纹理映射、自然景物绘制、基于图像的绘制；听觉表现技术；力、触觉表现技术；嗅、味觉表现技术等。

在交互方式及设备上，包括场景显示方式及设备，如头盔式显示、桌面式显示、投影式显示、手持式显示、自由立体显示；力、触觉交互方式及设备，如力反馈操作杆、触觉数据手套；跟踪定位方式及设备：如有源跟踪定位、无缘跟踪定位；行走交互方式及设备，如踏板行走式交互、地面行走式交互、传动平台式行走交互等。

1.2 增强现实技术

AR技术是在真实环境中的正确位置，实时显示虚拟对象，包括文字、图片等三维对象信息，让用户感知。AR的關键技术是显示技术、跟踪和定位技术以及人机交互可视化技术。

目前AR的显示技术主要有三种，分别为头盔显示器、手持式显示器和投影显示器。投影显示器将虚拟对象投影到真实环境中，让用户感知对真实环境的增强。

跟踪和定位技术，指的是对使用者头部的跟踪和定位。对于头戴式头盔显示器而言，跟踪方式分为基于传感器的跟踪和基于视觉的跟踪。

人机交互和可视化技术，指的是用户与AR技术之间的交互方式、用户界面和虚拟对象的可视化。目前的交互方式分为手势、语音、数据手套等。

1.3 混合现实技术

MR技术将所需要的虚拟对象附加在真实世界中，融合真实世界和虚拟世界，是一种新的可视化环境。通过空间映射、全息投影技术、人机交互技术和传感技术，MR技术为用户提供半沉浸的环境体验，用户既能感知真实环境中的现实对象，又能感知虚拟对象，并与虚拟对象形成交互，有效增强了用户对真实世界的感知能力。

一般认为，MR技术与AR技术基本无差别。事实上，MR技术既包括AR技术，又包括VR技术，AR技术和VR技术是MR技术的子集。

在MR技术中，虚拟对象可以在整个用户的场景之中占少量部分，也就是说，真实世界的场景占主要部分，此时的MR与AR差别不大，随着虚拟对象的占比越来越大，此时的MR就会向VR过渡，最终成为VR。

2 混合现实技术在建筑行业中的应用

BIM技术越来越多地运用到建筑行业，结合MR技术，为建筑行业带来新的应用研究领域：建筑方案可视化、模型设计协同化、施工过程信息化以及运营维护高效化。

2.1 建筑方案可视化

基于HoloLens的MR技术运用于建筑行业，最大量、最容易的应用就是建筑方案的可视化演示。在工程投标之时，投标人与评标方可以佩戴HoloLens全息眼镜，浏览三维建筑方案，实现对选择部分的缩放、平移和旋转等操作[5]。以真实的尺寸呈现该建筑方案，业主可以浏览建筑内部的结构和细节，以及周边环境、光照效果等，可以更加全面地感受并了解物理环境中的建筑方案，对相关区域的建筑方案有整体的认知，以便正确评估该方案的优缺点。

具体实现的过程是：将通过BIM技术创建的Revit模型导出为FBX格式，然后将该FBX格式的文件导入到3D Max软件中，设置相关的材质和贴图，再通过导出的FBX格式文件，导入到Unity3D，在Unity3D中开发相关的交互功能，最后发布到HoloLens全息眼镜之中实现建筑方案的可视化演示。

有时建筑方案的可视化还需要在工地现场演示，这就需要实现虚拟的建筑方案与现场的实体构建准确匹配。可以在工地现场放置待识别的图像，利用Vuforia平台识别该图像，从而获得虚拟建筑方案的准确定位，在工地现场较为逼真地呈现将要实现的建筑方案。这种可视化方案，将传统的电脑屏幕转变到工地现场，可以更好地在真实环境之中，对建筑方案进行充分的交流和完善的评估。

2.2 模型设计协同化

目前一般是通过数字化的计算机图纸来实现建筑模型的设计，在传统设计过程中的许多交流通过文字和二维的图像来表达，不直观，让人费解，影响了设计人员之间的有效沟通。BIM技术的应用，让设计人员之间的交流，可以采用三维模型来呈现，信息表达充分，非常直观、容易理解。

对建筑结构的检查是高强度的、耗费时间的并且易受人为错误的影响。通过可视化的三维模型，设计人员能够直观地看到所有数字信息和物理信息，能够更快地交叉引用、报告和检查相关方面。

采用HoloLens的MR技术，多名设计人员佩戴HoloLens全息眼镜，在同一位置空间中，通过可视化的三维模型来交流模型的设计，通过对三维模型的交互操作，在沉浸式的环境中充分表达模型的设计理念。基于统一的后台BIM模型数据库，设计人员可以在线完成模型的创建、修改、删除等相关操作，实时更新BIM模型数据库，实现模型设计的协同化，极大提高模型的设计效率。

2.3 施工过程信息化

通过BIM与MR技术在施工过程中的信息化管理，能够持续改进施工过程的质量。

在施工过程中可以巡检工地现场，通过调用BIM数据库中的相关施工信息，与工地现场相比较，从而发现问题，以便做出正确、合理的决策，监督施工过程。另外，技术人员基于现场的施工数据，可以对BIM数据库中的相关施工信息进行修改、删除等操作，实时更新相关数据，实现施工过程管理与BIM数据库同步，相关人员能够及时发现和处理施工过程中出现的质量问题。这样就实现了施工过程信息的双向流通，通过BIM数据库中的相关施工信息，指导现场施工；通过HoloLens采集施工数据，反馈到BIM数据库中，使建筑模型不断优化，实现对施工过程的有效监控。

在施工现场，施工人员通过佩戴HoloLens全息眼镜，预先浏览管线等安装位置，可以比较容易地发现管道的碰撞问题以及布置的不合理等问题，以便及时修改施工方案。

在施工现场，施工人员通过佩戴HoloLens全息眼镜，亲身感受BIM模型交底，帮助施工人员理解施工工艺和施工方案，提高施工质量。

2.4 运营维护高效化

在项目竣工交付之后的试运行阶段，通过MR技术可以模拟项目的运行场景，培训相关员工的运营和维护。如消防应急演练的培训等。

在项目的运营维护阶段，BIM技术虽然让管理人员摆脱了繁杂的运营维护手册，相关数据通过直观的模型来呈现，有效提高了维护运营的效率[6]。但是这些数据没有进一步的交互功能，需要进一步挖掘利用。

基于HoloLens的MR技术，为BIM模型的数据和真实世界的交互提供了一个桥梁式的连接通道。如管道维修人员在维修过程中，佩戴HoloLens全息眼镜，通过查看BIM数据库中的模型数据，可以获得相关隐蔽的管道信息，并将这些隐蔽的管道以三维的形式较为准确地放置在真实空间中，方便维修人员进行维修。如电梯维修人员在电梯现场，通过HoloLens全息眼镜，浏览待维修的电梯设备信息和故障状态，就可以得到需要维修的详细步骤和指导建议，如遇到不能解决的问题之时，可以通过远程协助，将现场维修等画面实时传送到后台的工作人员，后台工作人员引导现场人员最终解决复杂的现场问题。

另外，维修人员通过HoloLens，可以移动巡检，采集相关传感器的数据，获得设备运行的状态数据，从而实时监控设备的运行状态。

参考文献：

[1] Milgram，Paul，Kishino，Fumio. Taxonomy of mixed reality visual displays [J].IEICE Transactions on Information and Systems，1994（12）：1321-1329.

[2] 李喆，陳佳宁，张林鍹.核电站设备维修中混合现实技术的应用研究 [J].计算机仿真，2018，35（5）：340-345.

[3] 汤卓慧，朱培毅.虚拟现实、增强现实和混合现实及其在轨道交通行业中的应用 [J].铁路通信信号工程技术，2016，13（5）：79-82.

[4] 石磊，罗涛，张理，等.HoloLens眼镜在肝癌切除手术中的初步应用 [J].中南大学学报（医学版），2018，43（5）：500-504.

[5] 邵兆通，何兵，初毅.混合现实技术在建筑工程中的应用研究 [J].土木建筑工程信息技术，2017，9（3）：43-46.

[6] 初毅，邵兆通，武涛.基于MR+BIM技术的信息化建筑工程应用探讨 [J].土木建筑工程信息技术，2017，9（5）：94-97.

作者简介：龚赤兵（1964-），男，汉族，湖北武汉人，副教授，研究方向：计算机应用。