关于增强现实技术潜在发展方向的思考

乔秀全　任沛　商彦磊

随着近两年支付宝“扫福集福卡”、基于位置的增强现实（AR）红包、QQ AR传递奥运火炬等活动的开展，AR与虚拟现实（VR）作为一种新型计算机视觉技术逐渐进入人们的视线，从学术界到产业界，AR/VR都成为了非常值得关注的热点。人们的生活由于AR/VR的出现而在慢慢发生着改变，并且这种改变还在不断地深入与扩大。我们可以预见的是，在未来的生活中，AR/VR将具有极其广阔的发展空间与应用前景，并且将会成为5G的一种杀手级应用。

1 对AR/VR技术发展的

思考

AR[1]是一种将真实世界信息和虚拟世界信息无缝集成的新技术，是把原本在现实世界的一定时间空间范围内很难体验到的实体信息，通过计算机视觉等科学技术，应用到真实世界，被人类感官所感知，从而达到超越现实的感官体验。通过AR技术，真实的环境和虚拟的物体实时叠加到了同一个画面或空间。

VR[2]则是综合利用计算机图形系统和各种现实及控制等接口设备，在计算机上生成的、可交互的三维环境中提供沉浸感觉的技术，通过提供使用者关于视觉、听觉、触觉等感官的模拟，让使用者如同身临其境一般，可以及时、没有限制地观察三维空间内的事物。

1.1 AR/VR具有广泛的应用场景

AR/VR作为一种新的视觉交互技术，将带动一大批新的产业发展模式。在教育领域，通过VR技术，可以实现沉浸式的教学方式，寓教于乐；通过AR技术，可以更加形象生动地展现书本中的内容，从而大大增加阅读的互动性与趣味性。在文化旅游及展览领域，通过VR技术可以打造数字化旅游景点，使用户足不出户就可以遍览天下美景；而AR技术在展览领域可以实现规划效果与真实场景的叠加，大大便利了市政建设规划任务。在娱乐领域，VR游戏、VR视频、AR游戏等也为人们提供了一种全新的娱乐休闲的方式。在工业制造领域，通过AR可以将多种辅助信息显示给用户；而VR则可以帮助企业更好地训练工人。

1.2 AR/VR的历史尝试与发展

虽然AR/VR是在近两年内才得以井喷式的发展，但其起源甚至可以追溯到现代计算机技术的诞生之际。著名计算机科学家、图灵奖获得者伊万·萨瑟兰（Ivan Sutherland）在1968年发明的头戴式显示器能够将简单线框图转换为3D效果的图像，这种头戴式显示器（HMD）在结构上与现在的各种AR/VR产品也惊人的相似。1998年，AR技术第1次被成功应用于实时直播，Sportvision作为当时体育转播图文包装和运动数据追踪领域的领先公司，开发了1st & Ten系统，从此开启了AR的应用与探索之路。

1.3 AR/VR具有极强的发展潜力

AR/VR技术离不开硬件设备的发展。VR 讲究的是沉浸感、交互性和构想性，构想性的关键在内容设计，而沉浸感和交互性的关键则在于硬件实现。AR讲究的是现实世界叠加虚拟世界，从而实现“虚实结合”，显示技术与感知技术都是有待解决的重要问题。包括Oculus、Google、SONY、HTC、Samsung、Microsoft、百度、阿里巴巴、腾讯、乐视、爱奇艺、优酷等在内的多家公司已经开始参与从事VR/AR的相关研发，仅在2015年内就涌现出了100多家VR/AR的硬件厂商，其中不乏各大手机终端厂商。尽管目前的AR/VR行业仍然处于起步阶段，但依据Digi Capital预测，至2020年，全球AR与AR市场规模将达到1 500亿美元；BI Intelligence则统计，2020年仅头戴式VR硬件设备市场规模将达到28亿美元。AR/VR市场巨大的潜力吸引了越来越多的厂商、研究机構参与到了AR/VR软件、硬件的研发浪潮之中。

1.4 目前提供AR的两种主要形式

（1）配备专门的AR/VR设备（比如AR/VR头盔或者AR/VR眼镜）：这是一种极其重量级的解决方案：一方面因为设备的费用相对较贵，如Oculus Rift（VR设备）的消费成本约为1 500美元，微软推出的全息眼镜HoloLens、SONY推出的Morpheus头盔、Samsung推出的Gear VR头戴设备都由于其高额的成本，其推广范围大大受到了限制；而专用的AR/VR设备的另外一个缺陷在于其较差的便携性，用户对于AR/VR的使用范围受限，大大局限了AR/VR的应用范围与场景；因此，通过AR/VR近几年的发展历程，可以看出，基于专用设备的AR/VR应用推广遇到了很大的障碍，还无法大规模、普适化地应用起来，目前更多的是在非常垂直的领域和特定的场合提供此类AR/VR体验。事实上，给用户增添个额外的设备，是很有挑战性的事情，3D电视的市场经验证明：哪怕只是多增加一副3D眼镜，对于内容消费来说都是巨大的障碍。因此，AR设备的便捷化、轻量化，嵌入用户的日常生活用品是一个必然的趋势。

（2）基于智能手机终端的AR APP应用：随着智能手机终端计算、存储等能力的不断提升，使得基于智能手机终端的AR应用成为可能。利用APP调用智能手机摄像头，从而对物理世界进行识别，并叠加虚拟信息，从而达到增强现实的目的。目前，基于APP的AR服务提供目前也有两种形式：

·一种是专门的、独立的、离线的APP形式。所有AR的功能（包括开启摄像头、图像识别、目标跟踪和动画渲染等）都在手机终端来完成；在这种模式下，AR服务中所涉及到的计算需求都要在本地进行，其特点在于实时跟踪快，用户体验好；但这种模式下，用户需要下载专门的APP，应用推广的成本比较高；另外，单纯依靠智能终端进行计算，AR服务的功能将大大受到受限（如识别图片数量、种类、精确度等能力）。

·另一种则是采用“云+端”的模式，如支付宝、聚划算、QQ AR等服务，借助云端强大的计算能力，可以精确识别更多的图片，但与此同时，由于网络传输时延的增大，要做到实时的识别与跟踪难度很大，因而无法为用户提供优良的AR体验。endprint

目前看来，基于专用AR设备的应用提供模式太过重量级，无法大规模、普适化推广与应用；而基于智能手机终端APP形式的AR应用，对于每个APP而言，又都是一个个独立封闭的孤岛，信息只局限于该APP的用户，难以跨平台提供普适化的AR服务，无法触及更多受众群体。另外一个致命问题在于AR应用的下载与安装。AR服务的体验必须依托于特定的应用软件，从而导致了服务体验的门槛过高，并不方便用户的使用。总体来说，跨平台地提供普适化的AR应用是目前AR提供技术存在的最大的一个问题。因此，需要提供一种轻量级、跨平台的AR应用解决方案，使用户不需要下载专门的APP或者不局限于某个具体的APP，就可获得AR体验，从而推动基于移动智能终端的AR大规模移动化、普适化应用。

2 Web AR是普适化AR

发展的转折点

目前，AR技术出现了一种新的动向。这主要归功于伟大的WWW之父——蒂姆伯纳斯.李（2016年图灵奖得主），他在20世纪90年代所发明的Web天然地具备了跨平台的特性。现有的很多APP是支持移动智能终端浏览器（HTML5）网页的，比如微信、QQ、微博、今日头条等，因此如果提供基于Web的AR应用，那么用户不用下载专门的APP，只需要利用通用的Web浏览器或者这些内在支持HTML5网页的APP就可以体验AR服务。Web天然的普适特性将为AR/VR的应用提供一条更加便捷的传播方式。目前，越来越多的厂商开始关注原生支持AR/VR服务的智能终端硬件设备组件，这也给基于普适化的Mobile Web AR应用带来了很大的机遇。因此，基于Web的AR技术，特别是基于移动智能终端的Mobile Web AR技术，开始逐渐萌芽，为实现AR应用的大规模、跨平台的传播和分享奠定了基础，为解决AR的普适化应用难题提供了一种新的研究方向和技术可能。

然而，Mobile Web AR目前所面临的技术难题主要有以下3点。

（1）目前Mobile Web AR还处于技术的萌芽状态，现有的生态环境和技术条件、网络支撑等都还不是很成熟，无法完全发挥出它的全部潜力。比如：Web浏览器计算能力很弱，无法像现有的APP一样，在移动终端就完成全部AR的功能；参考现在基于独立APP的AR的实现方式，想要完全利用前端JavaScript技术来完成全部AR的工作，包括图像采集、特征点提取、图像匹配、动画渲染等，功能非常受限，目前只能识别简单的基于标识的图片（即基于Marker的AR技术），不足以支持自然图片和实物（即Markerless图像/实物）在前端的实时计算和识别；另外，由于JavaScript的弱计算能力，造成AR服务非常严重的卡顿现象，严重影响AR服务的用户体验。因此，只靠纯前端的方式，目前看来基本上还行不通，无法大规模商用。这也就意味着更多的计算功能需要放到云端服务器来完成，也就是所谓的“云+端”的实现模式。但这时候，网络的通信时延就成了很大的一个问题，现有的网络环境又很难满足AR技术在自动跟踪和识别方面的实时性和低延时的苛刻要求。

（2）浏览器的功能和性能差异比较大。现在手机终端上有多种不同的浏览器，如百度浏览器、360浏览器、QQ浏览器、Chrome浏览器、Safari浏览器、火狐浏览器、UC浏览器等，除此之外，还有一些APP应用内嵌了简化版的浏览器功能模块（如微信、微博、QQ等），因此对于众多浏览器的适配工作也比较复杂。然而，与原生提供AR服务的APP相比，手机浏览器的功能要弱化很多，较大的3D动画模型和VR场景的加载和运行都会比较慢，直接影响了用户的业务体验；另外，Web网页不具备直接调用很多手机底层资源的权限，这也就给AR服务的提供带来了很大程度上的不便。

（3）内容制作和适配的问题也是Web AR普及所面临的一大难题。现有的大部分3D建模工具对基于Web的3D呈现兼容性较差，很多工具导出的模型无法直接加載使用。另外一个关键的问题就是用户与动画模型的交互技术现在也不成熟，使得用户在Web AR应用体验的过程中娱乐性和趣味性无法很好地得到体现。

3 Mobile Web AR：一种轻

量级、普适化的AR技术

面对Web AR应用轻量化和普适化的拦路虎，我们团队经过无数次的技术攻关，在Mobile Web AR方面取得了技术性突破。首次成功研制了一套完整的、具有自主知识产权的、基于HTML5的、能够支持自然图片和实物识别功能的Web增强现实技术，超前性地采用了面向Web的“端计算+边缘计算+云计算”无缝协同的分布式AR实现方案，利用边缘服务器来提供即时的复杂计算能力，利用云服务器来保存实时性要求比较低的、与大量业务运营相关的数据和逻辑，解决当前Web增强现实面临的浏览器能力弱、图像计算量大、扩展性不好、实时性低的技术难题。基于Web AR技术，用户可以利用网页超链接机制将AR的功能嵌入到各种Web网页中，并且能够方便地进行转发、分享和传播，让用户不再受限于专门的APP 就能获得AR体验，开启了一个全新的、基于Web的AR应用新时代。

如图1所示，Mobile Web AR技术可以灵活地嵌入到微信公众号中，用户只需要关注特定的公众号，通过点选公众号中的菜单栏选项即可体验AR技术，程序将通过调取手机摄像头进行图像的采集、云端图像识别，以及在微信浏览器下进行3D模型的加载与渲染等一系列操作，方便快捷地为互联网用户带来轻量级、普适化的AR体验。

4 5G网络为AR/VR的

大规模商用提供了机会

4G改变生活，5G[3-4]改变社会。5G网络将会带来更高的速率、更宽的带宽，能够充分满足消费者高带宽、低延时等更高的业务体验需求。同时，5G在网络的整体设计中也将会采用一些全新的设计思路，比如软件定义网络（SDN）/网络功能虚拟化（NFV）/网络切片技术，从而可以根据业务需求来灵活动态地调整网络资源，进而满足不同业务类型的需求；设备到设备（D2D）的自组织通信使得终端与终端之间就可以直接进行数据传输和内容分享；移动边缘计算（MEC）[5]技术使得计算和存储等功能进一步下沉到网络的边缘，在更靠近用户的地方运行，进一步满足了低延时类的应用需求，避免了核心网络的传输时延，对时延敏感的AR、自动驾驶、工业物联网等应用将会在5G网络中得到更好的支持。endprint

4.1 5G网络下AR/VR的机遇与挑战

5G到来之后，很多新型应用将会出现并大规模普及。AR/VR具有高带宽、低延时、计算量大的特点；高清的VR视频每秒容量都高达百兆，现有4G网络下，移动用户很难进行流畅的体验，只能对视频进行压缩，或者采用将球形全景图转换成立方体切片逐步加载的方式来进行处理；而AR对实时性和计算的要求更高，需要对目标进行实时识别和自动跟踪，若所有计算都从云端服务器进行处理，则网络时延将会是一个很大的挑战。然而，5G网络具有的新特点，能够很好地满足消费者对超高清视频、AR/VR、自动驾驶等高带宽、低延时的业务体验需求，可以说AR/VR将是5G的一种杀手级应用。

4.2 5G网络下Mobile Web AR的

机遇与挑战

相比较于AR/VR专用设备或者基于APP的AR/VR应用，Mobile Web AR理论上更加依赖于通信网络的支持。由于Web前端计算能力弱，很多的工作需要在云端服务器来进行。在现有网络环境下，可以在各地计算中心通过部署边缘服务器来进行处理，但边缘服务器的部署和管理都将浪费巨大的人力和物力。5G时代，有了统一的移动边缘服务，应用提供商就能够很方便地进行全网的按需灵活部署和动态迁移，解决现在Mobile Web AR所面临的時延和带宽问题。

Mobile Web AR技术能真正提供一种移动化、跨平台、普适化的AR服务，可以应用到各行各业，包括：城市规划宣传、文化旅游行业、博物馆、房地产行业、大型企业、连锁酒店行业、连锁餐饮行业、大型商场超市、商贸城、大型展会、广告营销行业等。AR/VR将不仅是一次视觉技术的革命，更是一次生活方式的巨大转变。

目前，AR/VR还在进一步发展中，生态链尚不成熟。因此，AR/VR相关产业链（硬件设备、软件平台、内容制作工具、应用开发商等多方面）需要先形成产业联盟，共同推进协同合作。在此基础上，还应制订相关标准，通过标准来进行互联互通，让产业生态链上的各个环节无缝协作，这样才能开展大规模的AR/VR产业化应用，形成一个良好的产业生态链。

5 结束语

5G的低延迟、高吞吐量、D2D、多输入多输出（MIMO），以及边缘计算等新的技术，将推动AR/VR的快速发展，而Web AR/VR轻量级和良好的跨平台性将极大地提升用户的使用体验，从而产生更多更丰富的AR/VR应用，并带来更多的业务和技术创新。目前Web AR的研究仍然处在初级阶段，存在诸多待解决的问题，这需要学术界和产业界共同努力，在算法、协议、标准、Web 3D内容、产业链等方面完善和创新。

致谢

Mobile Web AR的成功实现与应用，离不开团队老师和同学们的辛苦努力。感谢研究生张鹏、闫浩然、郭佳豪、徐言、宋丽敏以及任沛博士、南国顺博士等同学的辛勤付出，对他们谨致谢意！

参考文献

[1] KARHU A， HEIKKINEN A， KOSKELA T. Towards Augmented Reality Applications in A Mobile Web Context[C]// International Conference on Next Generation Mobile Apps， Services and Technologies. USA： IEEE， 2014：1-6. DOI： 10.1109/NGMAST.2014.36

[2] VINCE J. Virtual Reality Systems[M].New York： ACM Press/Addison-Wesley Publishing Co.， 1995

[3] AGIWAL M， ROY A， SAXENA N. Next Generation 5G Wireless Networks： A Comprehensive Survey[J]. IEEE Communications Surveys & Tutorials， 2016， 18（3）： 1617-1655. DOI： 10.1109/COMST.2016.2532458

[4] FOUKAS X， PATOUNAS G， ELMOKASHFI A， et al. Network Slicing in 5G： Survey and Challenges[J]. IEEE Communications Magazine， 2017， 55（5）： 94-100. DOI： 10.1109/MCOM.2017.1600951

[5] TRAN T X， HAJISAMI A， PANDEY P， et al. Collaborative Mobile Edge Computing in 5G Networks： New Paradigms， Scenarios， and Challenges[J]. IEEE Communications Magazine， 2017， 55（4）： 54-61. DOI： 10.1109/MCOM.2017.1600863endprint