VR/AR应用场景及关键技术综述

徐硕+孟坤+李淑琴+丁濛+邬丽君

摘要： 关键词： 中图分类号： 文献标志码： A文章编号： 2095-2163（2017）06-0028-04

Abstract： Virtual Reality and Augmented Reality， as a link between the digital world and the real scene， have become one of the core technologies of immersive digital applications， and immersive digital applications are bound to explode with the support of related devices. This paper introduces the existing application scenarios and equipment configuration， analyzes and summarizes the key technology， implementation mode and potential scientific problems of data acquisition， data transmission， real-time interaction and case reconstruction.

0引言

2016年，针对下一代智能计算平台，国内外兴起一场史无前例的虚拟现实[1]（Virtual Reality，VR）“嘉年华”。追溯原因可知，其一，是二维到三维技术的转变；其二，虚拟现实/增强现实（Argument Reality，AR）将成为智能手机之后下一代个人计算和信息通信平台，甚至可以完全替代其他移动设备。因此，本文系统地总结了VR/AR应用场景和设备形态发展状况，并从数据采集、传输、交互与情形实时再现等方面对涉及的关键技术和实现方式进行剖析。

1虚拟现实/增强现实

1.1虚拟现实/增强现实概念

虚拟现实是由计算机视觉、仿真技术、人机交互等多种信息技术演变发展而来的新型计算机技术。通过将视觉与现实世界隔离开，借助显示设备，使人能够穿越沉浸于一个完全的虚拟世界。所谓增强现实，是将虚拟信息叠加在以识别物为基准的某个位置，并可实时交互虚拟信息，以此增强视觉效果。作为上述两者的结合产物，混合现实（Mixed Reality，MR），是将现实与虚拟世界合并后形成数字与物理对象共存的、可交互的全新可视化环境。

1.2VR/AR的技术分类

目前，VR/AR技术主要分为桌面式、分布式、沉浸式和增强式四种，如表1所示。

1）轻量级VR。即依托移动设备的头戴式VR，无独立的計算与存储配件及显示设备，沉浸效果较差，但成本较低，易携带。

2）基于PC的VR。是将PC作为计算和存储设备进行有线连接的头戴式设备，结构较复杂，但具备独立的显示屏，沉浸感较好。

3）独立式VR。内置CPU/GPU、显示屏等部件，能够独立运行。迄今尚未成熟，但有望成为未来的主流设备形态。

输入设备目前主要包含：动作捕捉器、位置跟踪器、眼动仪等。

2VR/AR的常见应用

2.1游戏娱乐类

游戏是VR技术重要突破口，也是以最轻松的方式认识和学习新事物的一种良好渠道。目前，以头戴式设备（HMD）为主的沉浸式游戏模式已掀起了业界热潮。已有不少公司发布了各类虚拟现实游戏及相关设备，从根本上改变了传统的键鼠/手柄操作模式。其中，Oculus在FPS射击游戏上的成果获得较强吸引力，如图1所示。

HMD这种即时跟踪，能够通过调整用户游戏视角，完善游戏体验的模式，弥补3D游戏沉浸感的不足。虽然多数游戏依然处于探索阶段，但随着时间的推移，VR/AR游戏势必受到为数众多年轻人的推崇与追捧。

在影视娱乐方面，VR技术的应用场景经历了本地视频改造、VR动画展示、及借助360°全景摄像、双目摄像等设备，通过拼接算法制作UGC影视等多个过程。在电影领域，更多地采用VR技术拍摄的影片进入大众视野。

2.2商业服务类

2.2.1数字科技馆/博物馆

在数字科技馆/博物馆方面，最初，从参与者通过键鼠操作浏览预制的虚拟场景和展物到利用3D眼镜等穿戴式设备实现人机互动，更好地体验“身临其境”的感觉[2]。部分学者认为，以3D VR为基础，通过简单的展现和描述物品的模式不如传统网站以叙事的方式更有利于对文化内容的学习和理解。最终，通过建立云端3D 虚拟展览馆，借助虚拟人物和游戏的方式营造文化遗产的学习环境的方式赢得了专家的肯定。在增强交互性的同时，也达到传播知识的目的[3]。

目前，国内外已建立了一系列大型虚拟博物馆，如阿伽门农博物馆、大英博物馆、奥运博物馆等。这些场馆的出现成功解决了实体博物馆时间、空间、交互的限制，有效缩短了展品的更新周期，是检验新技术，促进国际性交流、学术研究的重要科普方式。

2.2.2军事模拟训练

VR技术是被NASA和相关军事部门最早应用于美军军事作战领域的高端技术，其具体应用主要体现在：基于VR和MR环境的单兵模拟训练[4]、多军种联合虚拟仿真演习（如图2所示），即通过网络采取虚拟实体与分布式虚拟战场结合的无缝交互环境模拟训练[5]，并拓展了一系列新应用，如：高新武器研发与设计、信息网络虚拟战等[6]。

未来VR 技术模拟训练则将向分布式模拟训练方式转变；将游戏融入军事训练；在虚拟现实中加入全息影像技术，以借助LVC[7]实现未来作战系统。不难看出，现代军事的发展将会更多地依托于高端技术，随着VR等新型技术的连续涌现，将有利于削减军事成本开支，降低实战演练中的不必要伤亡，提高战斗效率。endprint

2.2.3医学仿真训练

VR技术在医学方面的需求堪称庞大，而且医学诊疗中面临的众多疑难杂症对VR技术的快速发展则提供了强劲动力。目前，在人体结构数字化、虚拟手术训练、辅助教学[8]、远程协作[9]、康复治疗等方面，VR技术已得到成熟及深入的发展应用。

其中，虚拟手术训练是VR在医学领域的主流重要应用。将VR与三维可视化系统结合，在交互式虚拟环境中表示各种器官、组织等信息，能够为医学人员提供自主学习和评估的功能。同时，低成本的VR系统在为新手医生锤炼和增强手术技巧方面已成为任何一家医疗机构的不错选择[10]。虚拟手术训练可以辅助医生定制合理的手术方案，减少手术伤害，提高手术成功率。

2.3生活服务类

2.3.1旅游

随着人们生活需求的不断增高，旅游已经成为生活中必不可少的组成部分。时下，VR技术在旅游中的应用也逐渐呈现成熟发展态势。

起初，虚拟旅游将VR结合地理信息系统、全景技术生成全景旅游景点模型，实现无交互的虚拟漫游[11]。随着多媒体、3D建模技术的发展，基于Web 3D的虚拟旅游系统得以研发问世，借此用户足不出户即可对模拟构建的3D历史景观或现存景观做到选取任意路线，并以任意角度观赏、浏览，同时还具有较强的交互性[12]。这些功能应用均有效提升了用户的临场感，并降低了旅游成本，保障了安全。

2.3.2智能家居

智能家居作为智能空间的典型代表，已成为虚拟现实应用的重点领域。目前主要以Web3D结合无线传感器网络，通过传感器采集室内物体的湿温等数据，由可穿戴医疗传感器采集用户实时的体征信息构建智能家居模型，以此实时获取室内的信息，进而控制智能家居设备[13]。

3基于VR/AR的关键技术

3.1数据采集与优化传输技术

数据获取通常采用直接采样技术的方式，这里仅限三维场景中事物。如针对光照、火焰、动态地形等自然现象的数据获取多采用如下3种方法 [14] ：

1）利用全向相机拍摄高动态、多维度的图像。

2）利用高速摄像机进行实时跟踪拍摄。

3）利用激光设备进行时变数据的多维可控捕获。

数据传输的机制是网络中的节点在消息等待发送时，首先计算出消息自身的传输概率，然后获得通信范围内其他节点的消息转发概率，随后将消息转发到所有转发概率大于自身传输概率的节点。

为优化数据传输技术，满足低功耗、低延迟、高效率等特点，保证数据传输的可靠性，文献[15]提出基于容忍延迟的面向消息的覆盖层体系结构的不同转发概率的动态数据转发策略，但这种数据传输机制存在明显的高延迟和高中断缺陷。

3.2交互与情形实时再现技术

3.2.1触/力觉反馈技术

在VR应用中，交互接触方式可分为力觉反馈和触觉反馈两种，内容阐释如下[16]：

1）力觉反馈。是指借助操作控制杆的反作用力效果将虚拟物体的运动轨迹转换成真实物体的机械运动，使用户享受到真实的力觉感知体验。

2）触觉反馈。是通过手戴3D数据手套获取手掌和手指的形态、温度等信息，来满足用户对虚拟物体的移动、抓取、触摸等操作。PlayStation VR是基于手套形态的交互设备，手套的每根手指都集成柔性压力传感器，通过传感器收集的数据进行手势识别，并将其转换为相应指令决策控制输入。

3.2.2跟踪定位方式

跟踪定位方式分为有源和无源两类，对其可做解析分述如下：

1）有源跟踪定位方法。是一种利用声波、电磁波位置跟踪器发射不同源，通过测量不同源的时间差、相位差、耦合度来推定被跟踪对象的空间方位。上述跟踪方式虽然在精度、成本上各具优势，但易受到周围场景的干扰。另一种是光学位置跟踪方式[17]，利用环境光或跟踪器光源发出的光的投影确定被跟踪对象的方位。

2）无源定位跟踪。是利用加速器和陀螺构成惯性传感器，分别获取转动角度与移动位置的变化。通过高频的刷新率来获得实时定位。

3.2.3高效可靠的渲染技术

目前，多数VR渲染引擎均为明确直接地渲染两遍。有学者采用降低API调用次数的优化方法加快渲染速度，相比左、右眼整个场景先后渲染两次，仅对每个物体提交两次渲染，而且借助Instancing 技术，只提交一次数据，一个物体只渲染一次，能够优势提升渲染效果[18-19]。

3.2.4逼真的显示方式

当前场景显示设备以头戴式显示设备（HMD）为主，其中的非透视式HMD是目前消费级VR产品的首选，通过对用户的头部和其它部位的动作捕捉，将三维场景呈现在显示器上，给予用户一种沉浸感。而透视式HMD则是AR系统的选择，其与VR设备的区别就在于，前端需要增加获取真实环境的数据采集设备，将现实情境与生成的虚拟情境合成后才能提交呈现给用户。

4结束语

过去几年，VR/AR在理论研究、关键技术创新、应用拓展等方面取得了突破性成果。未來，随着VR/AR技术的不断进步，在电子商务、电视直播、社交等领域，有望突破时空约束，用户可通过“化身”的表现来改善性格，甚至进行“全球购物”，给用户带来更充沛的临场感。为实现上述目标期许，在一些关键技术与理论支撑上，后续研究仍然面临着巨大的挑战。

参考文献：

[1] 赵沁平. 虚拟现实综述[J]. 中国科学（F辑：信息科学）， 2009，39 （1）：2-46.

[2] HAYASHI M， BACHELDER S， NAKAJIMA M，et al. A new virtual museum equipped with automatic video content generator[C]//International Conference onCyberworlds（CW）. Santander， Spain：IEEE，2014：377-383.endprint

[3] PETRIDIS P， DUNWELL I， LIAROKAPIS F， et al. The Herbert virtual museum[J]. Journal of Electrical and Computer Engineering，2013，2013：1-8.

[4] SADAGIC A. Next generation of physical training environments： Bringing in sensor systems and virtual reality technologies[M]// SCHMORROW D D， FIDOPIASTIS C M. Foundations of Augmented Cognition. AC 2013. Lecture Notes in Computer Science， Berlin/Heidelberg：Springer， 2013， 8027：717-726.

[5] AN Xing， LI Gang， XU Linwei，et al. A survey on application of virtual reality technology in U.S military simulation training [J]. Electronic Optics & Control， 2011， 18（10）：42-46.

[6] LELE A. Virtual reality and its military utility[J]. Journal of Ambient Intelligenceand Humanized Computing， 2013， 4（1）：17-26.

[7] NEWENDORP B J， NOON C， HOLUB J， et al. Configuring virtual reality displays in a mixedreality environment for LVC training[C]//ASME 2011 World Conference on Innovative Virtual Reality. Milan， Italy：AMSE， 2011：423-430.

[8] FALAH J， KHAN S， ALFALAH T， et al. Virtual reality medical training system for anatomy education[C]//Science and Information Conference（SAI）. London， UK：IEEE， 2014：752-758.

[9] MI Shaohua， HOU Zengguang， YANG Fan. An 3D interactive virtual reality software toolkit for minimally invasive vascular surgery[C]//IEEE International Conference on Mechatronics and Automation（ICMA）. Tianjin， China：IEEE， 2014：588-593.

[10]PARK C H， WILSON K L， HOWARD A M. Pilot study：Supplementing surgical training for medical students using a low-cost virtual reality simulator[C]// IEEE 27th International Symposium on Computerbased Medical Systems. Washington， DC， USA：IEEE， 2014：125-127.

[11]JIANG Wenyan， ZHU Xiaohu， CHEN Chen. Research progress of virtual tourism[J]. Science & Technology Review， 2007， 25（14）：53-57.

[12]TAN Yunlan， JIA Jinyuan， PENG Shuo，et al. Survey on some key technologies of virtual tourism system based on Web3D[J]. Journal of System Simulation， 2014， 26（7）：1541-1548.

[13]HU Wenshan， ZHOU Hong， LIN Chaoyang， et al. Design of Webbased smart home with 3D virtural reality interface[C]// 2012 UKACC International Conference on Control. Cardiff：IEEE， 2012：223-228.

[14]赵沁平. 自然现象的数据获取与模拟[J]. 中国科学：信息科学， 2011， 41（4）：385-419.

[15]XU Fulong， LIU Ming， GONG Haigang， et al. Relative distanceaware data delivery scheme for delay tolerant mobile sensor networks[J]. Journal of Software， 2010， 21（3）：490-504.

[16]BARE B， MARTIN J， SELLS P， et al. Method and system for disambiguation of augmented reality tracking databases： US，027333[P]. 2014-09-25.

[17]BLASCOVICH J， BAILENSON J. 虛拟现实：从阿凡达到永生[M]. 辛江，译. 北京：科学出版社，2015.

[18]KAPLANYAN A S， HILL S， PATNEY A， et al. Filtering distributions of normals for shading antialiasing[C]//Proceedings of High Performance Graphics. Switzerland ：Eurographics Association， 2016：151-162.

[19]DUPUY J， HEITZ E， IEHL J C， et al. Linear efficient antialiased displacement and reflectance mapping[J]. Acm Transactions on GraphicsProceedings of ACM Siggeraph Asia， 2013， 2013， 32（6）：1-11.endprint