增强现实技术简述

朱 杰

中国美术学院上海设计学院，上海 201203

增强虚拟现实技术（Augmented Reality，AR）通过计算机实时产生三维信息来增强人对真实世界的感知。虽然来源于虚拟现实技术(Virtual Reality，VR)，但AR的伟大之处在于把计算机、网络和用户都带回了真实世界。它利用计算机系统产生现实环境中并不存在的虚拟信息，这些虚拟信息可被用户以视觉、听觉、触觉、嗅觉等各种方式感知，成为周围真实环境的组成部分。

1 简介

上世纪90年代初期，波音公司的Tom Caudell和同事最早提出了“增强现实（以下简称AR）”。在他们设计的系统中，把由简单线条绘制的布线路径和文字等提示信息，实时地叠加在机械师的头盔显示器上，而这些信息则可以帮助机械师一步一步地完成拆卸过程。AR系统的目标就是这样，借助光电显示技术、交互技术、计算机图形技术和可视化技术等，产生现实环境中不存在的虚拟对象，并通过注册技术将虚拟对象准确地“放置”在真实环境中，使用户处于一种融合的环境中，不能区分真实和虚拟，用户所感知到的只是一个真实和虚拟相融合的唯一存在的世界，并能与之交互。

AR是一个多学科交叉的新兴研究领域，该领域的权威学者北卡大学Ronald Azuma提出 AR系统包含三个内容：真实世界和虚拟世界的信息集成，即虚实融合；具有实时交互性；三维尺度空间中定位增添虚拟物体，即三维跟踪注册。其中，尤以实时的人机交互最为重要，因为沉浸感和感知的增强皆源于此。人机交互是一门包括计算机视觉、心理学、人工智能等多学科交叉的技术，随着传感器、力反馈等硬件设备的发展，以及对人的个体差异、感知研究以及认知科学的发展，人机交互已成为世界各国信息产业竞争的一项关键技术，并逐渐实现向“以用户为中心”的转变。

另一种定义是1994年保罗•米尔格拉姆（Paul Milgram）和岸野文郎（Fumio Kishino）提出的现实-虚拟连续统（Milgram's Reality-Virtuality Continuum）。他们将真实环境和虚拟环境分别作为连续统的两端，位于它们中间的被称为“混合实境（Mixed Reality）”。其中靠近真实环境的是增强现实（Augmented Reality），靠近虚拟环境的则是扩增虚境（Augmented Virtuality）。

2 技术原理

2.1 显示技术

用于AR 的显示器有头盔显示器( Head-Mounted Displays, HMD) , 手持显示器( Hand-Held Displays) 和投影显示器( Pro jection Displa ys) 。

2.2 跟踪和定位技术

为了交互, AR 需要进行定位, 因而准确地跟踪用户的位置和视域方向是十分重要的。 对于室内环境, 通常预先在已知的位置上放置基准的标记, 通过跟踪这些标记跟踪真实对象,从而扩大跟踪范围。 目前在准备好的室内环境中, 能够实现鲁棒性定位。 对于室外、移动的AR 应用, 一般使用GPS 或Dead Reckoning 技术跟踪计算对象在户外的实时位置。 但这也有很大的局限性， 如GPS 需要天空能见度很高。另外，还可以跟踪可见的自然特征( 如环境中已有的、不变对象)。 如果有环境数据库, 那么就可以根据跟踪可见的水平轮廓或已绘制的周围建筑物的预知视图, 与视频进行匹配。另外， 给定有限的一组已知特征点, 跟踪系统能够自动地选择和测量环境中新的特征点。但是， 目前这些方法还不支持实时运行, 而更适于特效和后期制作的应用。

完全控制定位错误比较困难， 因为应用需要的精确度越高, 引起错误的源就越多. 我们把这种源分成两类: 静态的和动态的。 静态源是指当用户的视点和环境中的物体保持静止时引发的错误, 主要有: 光学的变形, 跟踪系统误差, 机械误差和视觉参数误差。 动态源是指错误由用户的视点或环境中的物体移动引起的, 主要是延迟错误和预测位置错误。

2.3 界面和可视化

2.3.1 错误估计的可视化

AR 系统定位错误很难避免, 解决的方法有两个: 一是根据预测的跟踪和测量错误, 在屏幕中可视化地显示一块区域,以绘制对象。 二是当绘制被真实对象遮挡的虚拟对象时, 沿着遮挡区域的边缘, 逐渐地淡出隐藏的虚拟对象, 使定位错误减少。

2.3.2 数据密度..

如果用大量的虚拟信息增强真实世界, 那么显示就会变得混乱和不易读。 Julier使用基于空间交互模型, 把所显示的信息量减少到最小, 只在视图中保留重要的信息。

2.3.3 真实感绘制

在AR 应用中, 改善虚拟对象绘制质量的关键是能够自动获取环境的光照和反射信息。 目前有三个方法: 使用模型估计光照参数, 基于图像的绘制, 以及动态范围的光照获取。

2.3.4 调节现实

为了删除真实对象系统必须能够分割场景中的单独对象Lepet it论述了一个半自动的方法, 通过轮廓区分对象和它们在场景中的位置, 在某些情况下, 无需对环境进行3D 重构, 就能够插入虚拟对象以及删除真实对象。

2.4 标定技术

为了生成准确的定位, AR 系统需要进行大量的标定. 测量的值包括: 摄像机参数, 视域范围, 传感器的偏移, 对象定位以及变形等. 目前AR 标定使用摄像机标定原理, 以及许多手动AR 标定技术. 避免进行标定的一个方法是开发标定自由的绘制器. Kutulako s 和Vallino提出基于弱透视投影模型的标定自由AR 方法, Seo 和Hong把这个方法扩展到覆盖弱透视投影, 支持传统的光照技术。 另外, 为了减少标定需要,必须自动标定, 这需要使用冗余的传感器信息, 自动地测量和补偿变化的标定参数。

3 特点及优点

3.1 特点

3.1.1 Combines real and virtual（虚实结合）

虚拟现实技术依靠三维软件构建出虚拟世界，通过各种输出方式让人在软件所创建的世界里有非同寻常的体验，好的虚拟现实作品具备浸没感、交互性和构想性。而AR技术，将这种特性带回真实世界，让计算机创造出来的虚拟世界与真实世界合为一体，带来前所未有的感官冲击。

3.1.2 Interactive in real time（即时交互）

即时交互是虚拟现实的主要特点，源于虚拟现实的AR技术同样具备这一特点。实时的三维交互是构建优秀虚拟环境的基础。同时，AR系统的即时交互与现实环境结合在一起，效果要优于依靠硬件环境的虚拟现实。

3.1.3 Registered in 3-D（3D定位）

AR技术与真实环境相结合主要体现在所读出的3D模型可以由目标图片或物体来控制移动旋转，以及通过更多的方式来做更多的交互。AR技术区别于目前相当流行的二维码技术的重要一点，二维码对于手机、摄像头之类的读取设备有严格的角度和距离要求，而AR系统在同样的问题上则自由很多。

3.2 优点

AR系统的优点主要包含两方面：

1）AR技术能够实现虚拟事物和真实环境的结合，让真实世界和虚拟物体共存；

2）AR实现虚拟世界和真实世界的实时同步，满足用户在现实世界中真实地感受虚拟空间中模拟的事物，增强用户体验效果。

4 硬件

4.1 显示设备

4.1.1 头罩式装置HMD（Head-Mounted Display）

技术大概分成光学式（Optical）与影像（Video）两种，前者是一种透明装置，使用者可以直接透过这层看到真实世界的影像，然后会有一些另外的投影装置把虚拟影像投射在这层透明装置上。另外一种是不透明装置，使用者看到的是由电脑处理好、已虚实结合的影像。

图1

4.1.2 智能手机

最近几年开始流行起来的智能手机，改变了AR的样貌。头戴式的HMD还是太麻烦了，而智能手机同时具备电脑计算能力、录影、影像显示，还有GPS、网路连线、触控、倾斜度侦测等等的额外功能，价格也逐渐平民化，于是在智能手机为平台的AR研究越来越多。

图2

4.2 摄像头

Occipital联合创始人Vikas Reddy在邮件访谈中谈到，AR技术尚未发挥出它全部的潜力。这是由于目前追踪和测绘现实的技术水平有限。但Reddy预测，随着计算机视觉算法和硬件设备的发展，摄像头将成为最重要的传感器和输入设备，这不仅仅是AR实景技术方面的趋势，也是整个计算机产业的趋势。

图3

4.3 传感器

在AR系统中众多的传感器是实现交互的硬件基础。运用比较多的是红外传感器、压力传感器、温度传感器、光电传感器等，比较具有代表性的例子是微软开发的基于XBOX 360的Kinect。Kinect是微软在2009年6月2日的E3大展上正式公布的XBOX360体感周边外设，它彻底颠覆了游戏的单一操作，使人机互动的理念更加彻底的展现出来。

图4

4.4 存储传输

作为承载系统主体文件和承接输入设备及输出设备的重要中转站，AR系统对于计算机的硬件要求相对较高。

4.5 操控设备

虚拟现实系统与AR系统基于展示内容的特点会有针对性的操控设备。目前运用比较多的是数据手套与头部跟踪设备，其中头部跟踪设备主要是眼镜和头盔。数据手套主要依靠在指关节处的传感器来识别各种手势，不同的手势分别代表各种指令会让系统作出相应的反应。头部跟踪设备主要依靠电磁感应技术或红外捕捉技术，都是通过识别头部运动来达到控制目的，其中红外捕捉技术的敏感度与刷新率要优于电磁感应技术，谷歌新推出的谷歌眼镜就运用了该技术。

图5

5 应用现状及展望

5.1 谷歌眼镜

图6

谷歌眼镜(Google Project Glass)是由谷歌公司于2012年4月发布的一款“拓展现实”眼镜，它具有和智能手机一样的功能，可以通过声音控制拍照，视频通话和辨明方向以及上网、处理文字信息和电子邮件等。

硅谷的未来可穿戴设备资深研究人员迈克尔•莱候德（Michael Liebhold）预计，下一步的技术突破将是模糊现实世界和虚拟世界的界限。Google眼镜所代表的可穿戴式设备将成为科技界的“下一件大事情”。用布林的话说，在沟通的终极形式里，技术应当是隐形的。Google眼镜展示了未来的一种形态，它可能是我们未来搜索的入口，革新互联网和现实中人际交流的方式。“当技术开始隐身时，我们将不再受技术的限制。可穿戴电脑技术可以让我们不再从4英寸屏幕中去窥探生活。我们再也不用时不时地看看手机，相反的，这些可穿戴设备会回望着我们。”

5.2 IPhone Apps

1） “纽约近在咫尺”：这款应用让你发现一个你从未发现的纽约。只要将镜头对准纽约街头的指路牌，相关街道的信息与真实画面叠加让你对每条街道都“一览无遗”，保证不会让你在“大苹果”中迷路。当然你换个城市就需要换一个当地版本。

图7

2） “全景透视”：这是一款很有意思的AR应用，它用二维图形以具有透视感的画面为你提供关于你所在地的四周地理信息，例如告诉你周围有几座山峰以及他们的名字，让你在野外露营的时候不至于迷失。

图8

3） “增强虚拟现实指南针”：这款应用不仅可以告诉你方向，还可以告诉你所处的经纬度以及计算你的营地与目的地之间的距离。

图9

4） “机器人视角”：一款为iPhone设计的AR应用，让你在街上走着就能看到想要的商业、餐饮与服务设施的信息。对于中国的朋友来说就可以不用拨打电话导航热线了。

图10

5） “百科全书”这款AR应用基于维基百科信息库。当你到一座名城游历，只需要拿出手机，用摄像头对准感兴趣的建筑和物体，屏幕就会出现有关的介绍和背景资料。

图11

5.3 未来展望

5.3.1 空间计算

Occipital 的创始人 Vikas Eddy 认为，相机已成为采集信息量最大的传感器，但受一些计算机视觉算法和移动设备硬件的限制，目前增强现实技术的潜力还远远没有发挥出来。随着这两个问题的逐渐改善，我们所能体验到的视觉空间将得到极大延展——从设备屏幕上解脱出来。

5.3.2 互动游戏

Sharky the Beaver是由Sphero刚刚推出的游戏，首席执行官Paul Berberian认为现实和虚拟的结合游戏将是一种完全不同的体验。在这款游戏中，用户通过蓝牙设备控制一个球型机器人，在屏幕上这个球型机器人显示为小海狸的形象，用户会看到小海狸Shaky在自己身边跳来跳去，还可以喂它吃蛋糕。通过创造两个数据流，用户可以无缝穿梭于真实和虚拟世界。这款游戏也可以作为软件开发包工具（SDK）供开发人员使用，其结果很可能会产生一个形象库，用户可以通过球型机器人控制不同形象。

5.3.3 感知人脑

InteraXon推出了一款脑电波感应头带，佩戴上这款头戴，用户可以通过脑电波来控制窗帘以及灯光。首席技术官Chris Aimone认为，设备通过智能的方式感知人脑将带来巨大的方便，比如根据人的意识自动调节信息的显示，根据人的心情给出生活建议。这种技术与增强实现的结合可以让设备更好地感知用户的状态，从而使得增强现实技术更加实用。

5.3.4 交互提升

Geoloqi的联合创始人Amber Case认为，只要使用增强实现技术创作内容、动画的障碍降低，增强实现就会变得有趣起来，从而交互将发生实质的改变。大片中悬浮在房间里的菜单界面，如果能将其实现将是一个巨大的飞跃。未来AR技术的发展应更多着眼于日常的切实有用的应用。

[1]崔振明著，孔红艳译.有无之间----虚拟现实的哲学探险.北京大学出版社，2007：1-2.

[2][法]莫里斯·梅洛-庞蒂著，姜志辉译.知觉现象学.商务印书馆，1997：155.