移动增强现实应用及进展

潘志庚　高翔　丁丹丹

1 移动AR简介

虚拟现实（VR）是一种对现实世界的数字化模拟技术，包括对于环境的视觉、听觉、触觉等方面的感觉模拟。用户通过使用必要的交互设备，最终获得身临其境的感受。VR涉及多个学科，包括心理学、计算机科学、电子学、多媒体等，具有极强的学科交叉性，目前已经成为了科研中一种常用的辅助手段。VR 的典型特征，即沉浸感、交互性和构想性。沉浸感指的是用户在虚拟环境中，得到了视觉、听觉、嗅觉、味觉、触觉等多种感官刺激，仿佛身临其境的感受。交互性是指在VR环境中用户能够拥有人性化的人机交互方式和操作。构想性指的是通过前两个特性，用户能够根据环境变化和交互变化而激发出更大的创意和想法。图1是我们开发的虚拟健身系统。

增强现实（AR）是VR的技术拓展，它是一种将真实世界信息和虚拟世界信息“无缝”集成的新技术，将真实环境和虚拟物体实时地叠加到了同一个画面或空间中。AR强调的是现实世界叠加虚拟世界，从而实现“虚实结合”。移动AR技术是AR的一个分支。目前主要有传统移动AR技术和基于移动终端的移动AR技术两种。图2是我们开发的AR乐器虚拟教学系统。

传统移动AR技术主要依靠PC机、头盔显示器或者全球定位系统（GPS）、磁传感器等一些外接设备来完成系统。该类系统具有设备昂贵，不便于长期携带，维护成本较高等局限性。美国哥伦比亚大学研制的户外AR导航系统，也是世界上第一个移动AR系统。它使用视频透视式头盔显示器和方向跟踪器，用户身后的背包里面装有计算机、GPS以及无线电，手上是一个具有触摸笔的可触屏的手持设备。

而基于移动终端的移动AR技术近几年发展迅速，为人们的生活娱乐等带来极大的便捷和乐趣。图3所示为谷歌眼镜，是谷歌公司2012年4月发布的一款“AR”眼镜。它同智能手机一样，主要采用音频交互的方式，可以控制拍照、视频通话和导航以及网上冲浪、处理文字信息和电子邮件等。2013年11月12日，谷歌公司发布一系列新功能，包括搜索歌曲、扫描已保存播放列表，以及收听高保真音乐等。在某种程度上，谷歌眼镜改变了人们的生活方式。

移动AR技术最重要的特征是移动，它的应用场景更加广大，不仅仅只是局限在桌面上。因此移动AR技术将会是未来发展的主流趋势，尤其是基于移动终端的移动AR技术。虽然AR技术的应用在硬件设备以及发展形式上发生了变化，但是AR技术的关键问题和关键技术依然没有改变。而且，随着移动设备的硬件与软件条件越来越高端，移动AR技术也得到了迅飞猛进的发展。

2 移动AR的应用

移动AR的应用面很广，限于篇幅无法一一列举，重点介绍几类。

2.1教育与娱乐

相对于传统的教学方式来说，移动 AR 能帮助学生更加高效学习，直观的演示和生动的场景更是提升了知识吸收率和留存时长。早在 2001 年，Billinghurst 等人[1]发明了一种“魔法书（MagicBook）”（如图4所示），将可交互的数字内容覆盖到真实书本上，为读者提供了一种在真实书本和沉浸式虚拟环境的过渡效果。Dünser 在2007年[2]和2008[3]年分别做了实验证明魔法书确实能提升学生的阅读体验和复述效果。自此之后，AR图书开始大力发展，现在市面上已经有很多这样的产品。AR图书是将文本内容进行了增强，还有很多产品是将图形内容进行增强。Feng等人[5]发明的 MagicToon 可以将纸上的画转化成栩栩如生的卡通形象。通过简单便捷的点击拖拽交互即可编辑生成的 3D 模型。

Fonseca等人[6]观察学生用传统和移动 AR的方式去学习建筑学知识，发现学生用后者学习对“空间”的理解更深刻，直接导致他们的课程评估分数变高。可以看出：在需要立体模型或强交互的教学场景中，移动AR可以帮助人们更形象、直接地觀察3D结构，从而使学习更加有效。因此在天文学、化学、生物学、建筑学、工程学、设计和几何学等学科，移动AR都已经有类似的应用。Nguyen等人[7] 设计了一个用户可交互、可编辑的说明书，生动地教用户操作。

2.2 建筑工程

传统的建筑图或工程图通常都是2D 视图，从不同角度绘制的视图或电脑辅助设计建模视图等。2D 视图虽然利于工程计算，但是通常需要工程师有非常强的空间想象能力才能在脑海中构建出大致模型，3D 视图则有可能导致失真、比例不对和丢失了真实建筑的细节等问题。此外，这些工程制图大部分都需要专业人士去解读，不同的水平也容易产生误解。如果使用移动AR，这些问题都可以充分解决。Velasco等人[7]提出了一种在移动 AR中通过交互来规划建筑的设计方式。文献[8-9]评估了移动 AR 在建筑规划方面的优势，一致认为移动AR的直观性促进了决策制定和对规划的理解。不仅如此，通过结合传感器收集的数据、开发者提供的数据，可以将生成的各类3D模型叠加到现实场景中，使建筑规划、维护、勘探和装配都更加高效。

Schall等人[10]开发了一个手机应用，可以生成像X光一样的视图，用于展示建筑或设施内部的框架结构，帮助现场勘探人员之间观察建筑内部结构。Schall等人[11]还提供了一个增强现实的测绘工具，通过让有经验的工程师使用传统技术和完全没经验的工程师使用该系统进行对比，最后发现其在交互性方面胜过传统技术。Lee等人[12]开发了一个能快速搜索钻井日志并用增强现实可视化出来的系统。Kollatsch等人[13]则用增强现实可视化出了装配流水线相关的信息。此外移动 AR 在灾后（如地震）建筑勘察和检测方面也有应用。Behzadan等人[14]开发的视觉避撞系统可以帮助挖掘机操作员在工程实施时看到埋在建筑中的东西避免造成破坏或人员伤亡，如图 5所示。如图6所示，可在 AR 帮助下将先前存储的建筑物基线叠加到现在的建筑物上，实现对建筑物损坏程度的评估。

2.3 地理与导航endprint

導航一直是增强现实的一个重要应用。传统的导航都是在2D地图上，缺乏三维信息和对真实世界的感知。在移动 AR中，可以直接在视野中添加方向注释（箭头、路径跟随等）或一些必要的提示（交规、停车场位置等）， 如图 7所示。典型的应用有飞机飞行导航和汽车驾驶导航等。通过对视野内事物的识别和追踪，动态地将需要的信息图像叠加到真实场景上。除了交通方面，移动AR在旅游景点、博物馆、图书馆或商场的浏览和探索方面也有应用。这类导览式的应用都大同小异，如博物馆中，参观者可以通过移动AR和工艺品进行转动等交互，更好地观察工艺品的全貌，还可以通过AR展示出工艺品的数据信息等[4]。商场中可以直接通过移动AR展示商品的信息，不用亲自动手去货架上查看，甚至可以在移动 AR 中比货。

2.4 医疗

移动 AR 可以将电子计算机断层扫描（CT）或磁共振成像（MRI）等医学三维重建得到的虚拟模型图像融合到病人相应的部位、器官，使医生的视角得到增强[15]，在看到真实身体部位的同时，还能看到器官内部的具体信息。这对于医学手术计划制定、手术演练、手术教学和术前对话等都提供了巨大的便利。典型的工作有用移动AR帮助验尸[16]，通过将 CT 图像叠加到尸体上，可以保证法医在不丢失真实伤口信息的情况下，观察分析肉眼不可见的内伤，而且不会对尸体造成破坏，从而保护了证据（如图 8所示）。Soeiro等人[17]开发了一款增强现实 Android 应用来指导医生进行经颅磁刺激技术（TMS）治疗。其中增强现实部分用来显示虚拟的病人脑模型，以便医生了解目前病人脑中的脉冲变化。Hansen等人[18]开发了一种减少三维规划模型复杂性的视觉算法，将 3D 模型更好地可视化到真实器官上，并在外科手术中运用。

3 移动AR的应用前景

3.1 移动AR的商业应用模式

根据网易科技报道[19]，移动AR技术的应用前景多种多样。虽然目前有很多顶尖的AR企业提供一系列的产品、服务和更多其他的东西，但归纳起来基本上属于5种基本类型的公司，他们“钱”景无限。提供的技术产品或服务（也称为商业模式）如表1所示。

3.2 移动AR的市场预测

根据VR网报道[20]，AR/VR已经成为一个双速前进的市场，其中移动AR在2021年的安装基数将超过2017年总AR/VR市场的2倍。苹果ARKit、谷歌ARCore和Facebook Camera Effects平台的推出改变了整个市场的轨迹，到2018年有可能获得9亿安装基数。Digi-Capital已经彻底修改了关于AR/VR市场的分析和预测报告。

l由于移动AR的出现，VR的市场潜力减弱，移动AR在未来将支配AR/VR市场；

l智能手机仍然是AR/VR的未来，但可能需要10年时间才能成为一个大众消费市场；

l直到第2代VR一体机（无需连接PC或移动设备）在2019—2020年期间爆发之前，高端VR的发展可能不会提速；

l由于头显厂商和开发者正在转向移动AR，到2021年，移动AR的安装基数将增长至30亿以上；

l智能眼镜、高端VR和移动VR的组合在同一时间段内可能达到1亿（即每个平台数千万），这使得移动AR的安装基数超出所有AR/VR头显的25倍以上。

在2021年，主导AR/VR安装基数的移动AR将占据总市场营收的2/3。移动AR软件的体量跟总移动市场的体量接近，尽管每用户平均收入（ARPU）较低，但巨大的用户基数将能带来高增长和高盈利。得益于硬件销售，智能眼镜、高端VR和移动VR的ARPU更高，但较小的安装基数限制了其非硬件营收的潜力。在2018年，移动AR的营收将达到智能眼镜的4.8倍，高端VR的1.3倍，以及移动VR的1.5倍；而2021年将增长至智能眼镜的3.9倍，高端VR的4.8倍，以及移动VR的9.6倍。

鉴于移动AR的安装基数和转换率的提高，电子商务在2021年可能成为AR/VR的最大营收来源。Houzz已经通过移动AR实现了11倍的销售转换，所以移动AR电子商务可以进一步巩固亚马逊，eBay和阿里巴巴的主导地位。硬件销售（特别是消费类智能眼镜和第二代高级VR一体机）为第二营收来源；其次是广告、游戏和非游戏应用收入。AR将成为企业/B2B营收的主要驱动驱动，而视频和线下娱乐（主题公园）营收则处于较低水平。

4 结束语

从前面的介绍可知，移动AR的应用已经扩展到我们生活的多个方面。AR和VR的发展一开始受5G网络的限制。5G网络被视为解锁市场机会的关键，拥有低延迟、高可靠和网络统一性的优势，能够应付VR和AR对网络日益增长的速度和容量的需求。对于移动AR应用扩展的速度以及应用的广度，让我们拭目以待。

参考文献

[1] BILLINGHURST M， HIROKAZU K， POUPYREV I. The Magicbook： A Transitional AR Interface[J]. Computers & Graphics， 25（5）：745-753， 2001

[2] DUNSER A， HORNECKER E. Lessons from an AR Book Study[C]//In Proceedings of the 1st International Conference on Tangible and Embedded interaction. USA：ACM， 2007： 179-182

[3] DUNSER A. Supporting Low Ability Readers with Interactive Augmented Reality[J]. Annual Review of Cyber Therapy and Telemedicine， 2008， 12（1）：41-48， 2008endprint

[4] WHITE M， LIAROKAPIS F， DARCY J， et al. Augmented Reality for Museum Artefact Visualization[C]//Proceedings of Irish Workshop on Computer Graphics， Eurographics Ireland Chapter. UK： Northern Ireland， 2003：75-80， 2003

[5] FENG L， YANG X， XIAO S. MagicToon： A 2D-to-3D Creative Cartoon Modeling System with Mobile AR[C]//Virtual Reality. USA：IEEE， 2017：195-204

[6] FONSECA D， VILLAGRASA S， MARTI N， et al. Visualization Methods in Architecture Education Using 3D Virtual Models and Augmented Reality in Mobile and Social Networks[J]. Procedia - Social and Behavioral Sciences， 2013， 93（1）：1337-1343

[7] VELASCO R， BRAKKE A P， CHAVARRO D. Computer-Aided Architectural Design Futures[M]. The Next City - New Technologies and the Future of the Built Environment. Germany： Springer-Verlag

[8] OLSSON T D， SSAVISALO A T， HAKKARAINE M， et al. User Evaluation of Mobile Augmented Reality in Architectural Planning[J].eWork and eBusiness in Architecture， Engineering and Construction， Gudnason G. & Scherer R. （Eds.）， 2001：203-211. DOI：10.1201/b12516-116

[9] LEE G A， DUNSER A， KIM S， et al. Cityviewar： A Mobile Outdoor AR Application for City Visualization[C]// In Mixed and Augmented Reality （ISMAR-AMH）， 2012 IEEE International Sympo- sium on. USA：IEEE， 2012： 57-64

[10] SCHALL G， MENDEZ E， KRUIJFF E， et al. Handheld Augmented Reality for Underground Infrastructure Visualization[J]. Personal & Ubiquitous Computing， 2009， 13（4）：281-291

[11] SCHALL G， ZOLLMANN S， REITMAYR G. Smart Vidente： Advances in Mobile Augmented Reality for Interactive Visualization of Under- Ground Infrastructure[J]. Personal & Ubiquitous Computing， 2013， 17（7）：1533-1549

[12] LEE S， SUH J， PARK H D. BoreholeAR： A Mobile Tablet Application for Effective Borehole Database Visualization Using an Augmented Reality Technology[J]. Computers & Geosciences， 2015， 76：41-49

[13] KOLLATCH C， SCHUMANN M， KLIMANT P， et al. Mobile Augmented Reality Based Monitoring of Assembly Lines [J]. Procedia Cirp， 2014， 23：246-251

[14] BEHZADAN A H， DONG S， KAMAT V R. Augmented Reality Visualization： A Review of Civil Infrastructure System Applications[J]. Advanced Engineering Informatics， 2015， 29（2）：252-267

[15] 張军毅， 罗述谦. 医学增强现实建模方法研究[J]. 系统仿真学报， 2009， 21（12）：3658-3661

[16] KILGUS T， HEIM E， HAASE S， et al. Mobile Markerless Augmented Reality and Its Application in Forensic Medicine [J]. International Journal of Computer Assisted Radiology & Surgery， 2015， 10（5）：573-586

[17] SOEIRO J， CLAUDIO A P， CARMO M B， et al. Mobile Solution for Brain Visualization Using Augmented and Virtual Reality[C]//International Conference Information Visualisation.USA： IEEE， 2016：124-129.DOI：10.1109/IV.2016.18

[18] HANSEN C， WIEFERICH J， RITTER F， et al. Illustrative Visualization of 3D Planning Models for Augmented Reality in Liver Surgery[J]. International Journal of Computer Assisted Radiology & Surgery， 2010， 5（2）：133-141

[19] 移动AR才是未来？细数AR公司的五种商业模式.（2016-11-01）[2017-11-10].http：//tech.163.com/16/1101/13/C4PR76NP00097U7U.html

[20] 移动AR未来将支配AR/VR市场.（2017-10-10）[2017-11-10].https：//www.hiavr.com/news/industry/40232.htmlendprint