增强现实技术发展及应用综述

吴帆张亮

摘要：增强现实技术是人机交互技术发展的一个全新方向。系统综述了增强现实技术的国内外研究现状，并详细介绍了增强现实系统中的中的关键技术，包括三维空间注册技术、人机交互技术和3D展现技术。然后对当前增强现实技术在数字营销、数字出版、移动导览、科教以及设计仿真和物联网领域的应用进行阐述，并分析了各种应用实现中的难点问题。最后，对增强现实技术的进一步研究进行了展望。

关键词：增强现实；三维空间注册；人机交互；3D展现

中图分类号：TP391.9 文献标识码：A 文章编号：1009-3044（2012）34-8319-07

1概述

自从波音公司的研究员ThomasCaudell在1990年创造了增强现实（AugmentedReality）这一词汇[1]，越来越多的国际知名科研机构、高校和企业投入到对增强现实技术的基础研究上，并发表了大量论文与科研成果，论证其作为人机交互技术的可行性以及创新性，研究其核心实现算法。随着计算机软硬件计算能力的提高，增强现实技术已经逐步从实验室理论研究阶段开始转入大众与行业应用阶段，并作为数字世界与现实世界无缝融合的桥梁，为人们提供了认知与体验周围事物的全新方式，被美国时代周刊、高德纳（Gartner）咨询公司等权威机构列为未来十大最有前景的技术之一。

目前对于增强现实有两种通用的定义。一是北卡大学RonaldAzuma于1997年提出的，他认为增强现实包括三个方面的内容：虚拟物与现实结合、实时和三维[2]。而另一种定义是1994年保罗·米尔格拉姆（PaulMilgram）和岸野文郎（FumioKishino）提出的现实-虚拟现实连续体（Reality-VirtualityContinuum）[3]，如图1所示。他们将真实环境和虚拟环境分别作为连续体的两端，位于它们中间的被称为“混合实境（MixedReality）”。其中靠近真实环境的是增强现实（AugmentedReality），靠近虚拟环境的则是扩增虚境（AugmentedVirtuality）。

这两种定义都揭示了增强现实作为创新人机交互所特有的技术优势：虚实结合以及实时自然交互。综合以上两种定义，可将增强现实技术定义为：将虚拟三维模型动画、视频、文字、图片等数字信息实时叠加显示到真实场景中，并与现实物体或者使用者实现自然互动的创新的人机交互技术。与现有的虚拟现实（VirtualReality）技术相比，增强现实技术由于实现了虚实融合，并提供了更加自然的交互能力，为人们提供了认知与体验周围事物的全新方式，是适用范围更广的人机交互基础技术。

2国内外研究现状

国外专注于增强现实技术的高校与科研机构一般将重点放在技术核心部分的算法、人机交互方式、软硬件基础平台的研究上，其中比较著名的有美国西雅图华盛顿大学的HumanInterfaceTechnologyLab，其支持研究的ARToolkit开源项目是业内最早的基于矩形识别标识进行三维空间注册的成熟增强现实引擎[4]；瑞士洛桑理工学院的ComputerVisionLaboratory，其基于自然平面图像与立体物体识别追踪的三维注册算法被公认为代表业内的领先水平[5]；新加坡国立大学的InteractiveMultimediaLab，专注于基于增强现实技术的人机交互技术的研究[6]；德国宝马实验室，正在研究并开发的增强现实辅助汽车机械维修项目，目标是实现基于可穿戴计算机的第一视角增强现实方案[7]。

与此同时，一些技术公司则将成熟的核心技术与特定行业需求结合进行产品开发。其中在业内比较有影响力的包括：美国的ARToolworks公司，拥有ARToolkit引擎的版权并将其软件开发库进行商业化发布[8]；新加坡的MXR公司[9]，开发出面向科教领域的wlzCards和wlzQubes产品平台以及结合增强现实技术的建筑设计外观、内部结构互动展示平台；德国Metaio公司，拥有自主研发的基于各种平面图像识别追踪技术的跨平台增强现实解决方案Unifeye，应用于展会广告、设计展示、工业仿真、原型展示、移动应用等大众与专业领域[10]；法国的TotalImmersion公司[11]，开发了完整的D'Fusion跨平台增强现实解决方案，支持专业领域的增强现实应用。

国内涉足增强现实技术的高校和科研机构较少，主要有北京理工大学光电信息技术与颜色工程研究所、浙江大学浙江大学计算机辅助设计与图形学国家重点实验室、电子科技大学移动计算研究中心等，专注技术研发的公司有北京触角科技有限公司等。

3增强现实应用的关键技术

增强现实应用为了实现虚拟与现实场景无缝融合的人机交互体验，主要依赖于三维空间注册技术、人机交互技术和3D展现技术这三个关键技术。

3.1三维空间注册技术

三维空间注册技术即通过对显示场景中的图像或物体进行追踪和定位，通过计算虚拟世界与现实世界坐标系的对应关系，实现将虚拟物体按照正确的空间透视关系叠加到现实场景确定位置。目前可基于光学或深度摄相机的图像实时识别追踪和基于传感器的物体运动追踪两种实现方式。

3.1.1基于图像识别追踪的三维空间注册

基于图像识别追踪的三维空间注册技术可使用光学摄像机对平面识别标识图像的特征点提取，或使用深度摄像机对现实物体的立体轮廓及距离进行识别追踪。这两种方式都可以实时计算虚拟与现实世界坐标系对应关系，并将虚拟物体准确叠加到现实场景中的平面识别标识或者物体上。目前通过光学摄像机可实现平面矩形图案、二维编码、自然图像以及立体物体的实时识别追踪；通过深度摄像机（如微软的Kinect摄像头）可以实现人体骨骼、轮廓与动作的识别追踪。

基于图像识别追踪的三维空间注册技术，适用于不需要特殊硬件辅助的增强现实应用，使用者只需要拥有安装摄像头的电脑、手持移动设备对准现实场景中的平面图像或者物体就可以获得增强现实展示体验。但此技术对识别追踪的速度、准确性、环境光的适应能力以及对多识别标识同时追踪的容错能力有极高的要求，用以确保增强现实应用的稳定性。目前用于提高基于图像识别追踪增强现实应用性能的主要方法包括：使用图像分割与光流法（opticalflow）相结合，实现对快速运动模糊图像中识别标识的高效与准确的运动捕捉[12]；使用位移与旋转运动平滑过滤器减少图像识别误差带来的抖动影响；通过对现实环境亮度的实时检测并对图像亮度阈值进行相应调整实现对不同光线条件的自适应能力[13]；通过平面自然图像特征点的离线（offline）与在线实时（online）训练提取提高自然图像识别的速度与适应性[14]；为支持应用的跨平台能力，对无浮点运算能力移动平台设备的算法优化以提高移动平台的图像识别追踪计算速度[15]。

3.1.2基于传感器实现物体运动追踪的三维空间注册

基于传感器实现物体运动追踪的三维空间注册是将三自由度（3DOF）或者六自由度（6DOF）的运动追踪传感器与摄像机或者现实物体绑定，通过实时的摄像机或者物体的姿态与位置的捕捉来准确计算出需要叠加的数字虚拟物体的相对空间位置。物体姿态的捕捉一般通过带陀螺仪的姿态传感器、电子罗盘、重力加速计等传感器来实现。物体位置的追踪一般通过卫星定位（GPS）或者移动基站辅助的定位（AGPS）技术，全新一代的智能手机平台，如Android或者iOS，都有利用内置GPS结合姿态传感器开发室外低精度的位置相关增强现实应用的能力。在特定环境，如无GPS信号的室内，为实现更精确的物体位置追踪，一般会采用无线信号空间定位系统，以及精度更高的运动姿态捕捉传感器。这种基于高精度运动捕捉传感器的三维空间注册方式，由于不受环境光线的限制并且精度更高，适用于一些比较专业的增强现实应用，比如与头戴显示设备结合的虚拟仿真，以及与摄像机摇臂运动捕捉结合的电视台现场实时视频特效等。

3.1.3结合图像识别追踪与传感器运动追踪的混合三维注册算法

在硬件条件允许的情况下，结合图像识别与传感器运动捕捉技术的混合三位空间注册算法，可以充分发挥两种技术各自的优势，提高增强现实应用的稳定性与环境适应性。

混合三维注册算法的流程图入图2所示。

摄像机视频帧捕捉后，首先进行基于图像特征点提取的识别标识识别（recognition）或追踪（track）。如果图象识别追踪成功，即预定义识别标识的特征点可以在视频图像中被准确定位，则可以通过标定了内外参数的摄像机参数计算出用于准确叠加3D虚拟模型的空间变换矩阵；若识别追踪失败，则通过6DOF运动传感器追踪当前视频帧摄像机的位置与姿态变化，并结合之前一帧已知的3D虚拟模型空间变换矩阵计算当前视频帧对应新的空间变换矩阵。3D渲染引擎在视频帧图像之上通过计算出的空间变换矩阵移动3D模型或者动画并叠加显示，以实现虚实结合的展示效果。

3.2人机交互技术

传统的人机交互手段，如鼠标，由于是二维平面空间的操作方式，并不能很好的适应增强现实这种需要在现实三维空间进行人机互动的全新应用场景。而人体动作捕捉或手势识别这种全新的三维空间交互技术，能够以更准确的方式让使用者在现实场景中实现与虚拟物体的互动，同时辅助逐渐成熟的语音识别、3D虚拟环绕声、虚拟触感反馈等多模态交互技术，实现了更自然的虚实融合的人机交互方式。

在专业的增强现实应用领域，人体动作捕捉与手势识别功能一般由光学动作捕捉设备与数据手套设备辅助，以满足准确的三位空间位置追踪需求（图3）。同时配合集成摄像机的增强现实头戴显示设备（see-throughHMD），实现第一视角的交互体验[16]。同时随着基于深度摄像机技术的体感设备（如微软的Kinect体感设备）的普及，用于娱乐或互动体验展示的增强现实应用开始更多的结合这种精度较低的动作捕捉设备，以实现三维空间的虚实互动能力[17]。

在软件的图形交互界面的实现上，由于增强现实技术独特的虚实融合的三维展示效果，传统的2D平面界面表现方式也被扩展到更加自然的3D空间交互方式，并与现实场景和物体有更紧密直观的关联。同时，在同一个现实场景的多人协作与互动增强现实应用，将需要更复杂的数据同步与展示交互方式[18]。

结合使用3D虚拟环绕声的虚拟物体增强现实声音技术与虚拟触感反馈技术，也是进一步提高增强现实应用自然交互体验的技术方向[19]。

3.33D展现技术

一个典型的增强现实应用，除了依赖各种基于识别追踪算法的三维空间注册实现以外，为了达到逼真的虚实融合的三维展现效果，一个高效率的3D实时软件渲染引擎以及各种辅助的3D展现设备也是必不可少的。图4是一个增强现实应用的系统结构图，展示了应用、增强现实开发库、3D渲染引擎以及各种硬件设备之间的互相依赖关系。

现在主流的开源或者商用3D实时渲染或游戏引擎，可以充分利用新一代CPU以及图像GPU的多核运算能力，达到实时逼真的现实场景内虚拟物体的3D渲染效果。同时，配合摄像机实景光线追踪结果实时运算各种光影动态效果，应用于虚拟物体之上，以提升虚实融合的展现能力。主流的3D引擎，一般都集成有完整的3D虚拟环绕声实现库、物理特效（虚拟物体的重力、碰撞、粒子等物理效果仿真）实现库，可以直接被增强现实应用于提高人机交互体验以及虚拟物体在现实场景的运动仿真[20]。

用于增强现实应用显示的硬件设备，除了一般的屏幕以外，还可以使用安装有摄像机的增强现实头戴显示设备，实现透视（see-through）的第一视角观看效果。新的增强现实头戴显示设备一般都集成有双摄像头，以及双目显示器，实现现实与虚拟场景融合的立体显示效果。除了这种基于摄像机视频捕捉到双目显示器的视频透视（videosee-through）头戴显示设备，透过将叠加的虚拟物体和数字信息直接投影到光学眼镜片的光学透视（opticalsee-through）头戴显示设备也是未来增强现实头戴显示设备便携化的发展趋势。

4增强现实技术的应用领域

4.1数字营销

增强现实技术为数字营销开拓了全新的模式，能够让消费者以全新的视角去发现、了解并体验各种产品。例如，在移动设备上实现通过手机屏幕中将各种数字虚拟准确叠加在周边实景物体上，以达到用户兴趣与位置信息相关的商品销售、促销活动的精确“窄告”推送；在产品展厅、展会或者产品推广网站上，将产品3D模型通过叠加在宣传册或展台上来展示产品外观及功能，增进消费者对产品细节准确全方位的了解；基于人体识别及动作捕捉技术的产品体验类增强现实应用，则可以让消费者在店内或者网站上基于自己的身体影像实时体验虚拟服装、眼镜、首饰等产品的试穿试戴效果，帮助快速定位适合自己的款式。此领域开发应解决的关键核心技术包括：

1）基于人脸或人体轮廓与动作的实时识别追踪，用于解决结合特殊身体部位的三维空间注册问题，以实现用于虚拟3D服装、眼镜、发型的增强现实试戴应用；

2）核心图像识别追踪算法的Web与移动平台的算法移植，用于适用全平台数字营销方案；

3）减少现实技术，用于实现将识别追踪的各种识别标识从画面中去除并替换为周围材质效果的功能，提升虚拟产品叠加的融合效果。

4.2数字出版

将增强现实技术与传统平面印刷品结合，把3D模型、动画或者视频叠加到印刷品上与读者互动，实现读物内容跃然纸上的全新阅读体验；将增强现实技术结合当前快速发展的数字出版平台，基于后置摄像头的手持阅读设备，实现将3D模型或者动画叠加到读者身边的现实环境中，并通过第一视角观看互动，把电子读物的多媒体体验上升到了一个全新的层次。此领域开发应解决的关键核心技术包括：

1）三维空间注册算法的手持设备移植；

2）与主流数字出版软件平台的集成，以实现让读者在阅读与增强现实体验之间快速自由的切换；

3）增强现实出版内容制作工具，以方便内容制作商独自开发与读物结合的增强现实多媒体内容。

4.3科教

科技展馆为了以寓教于乐的方式吸引游客，越来越多的开始利用增强现实技术带来的安全逼真的交互体验以及虚实结合的场景展现能力，提升展项的真实感、娱乐性与互动体验。适用于包括结合人体动作捕捉的科学模拟实验、结合识别标识卡片的物体认知与游戏问答以及使用增强现实观景机的历史场景复原等。同时，增强现实技术也是课件制作或辅助教材试验的全新手段。

其中，用于实现虚实融合大场景展示的增强现实观景机开发应解决的关键核心技术包括：

1）使用高精度3DOF传感器的摄像机运动捕捉，以实现观景机可转动观景视角内的实时三维空间注册；

2）摄像机变焦控制及其光学镜头内外参校准参数的应用自动调整；

3）双摄像机结合双目显示的立体增强现实展示技术；

4）现实大场景地形、地貌的虚拟重建，用于正确表现虚拟物体在地面上的正确姿态以及与实景物体的遮挡关系；

5）产品在外观与结构上的一体设计，以适应室内或室外条件长时间使用的可靠性需求。

4.4移动导览

PereyResearch&Consulting预测，至2012年全球使用基于增强现实技术的移动应用用户将会由2010年的60万猛增至1.5-2亿用户。而JuniperResearch预测仅基于移动应用相关的增强现实技术2014年就将创造7亿3千万美元价值的市场。

在新一代移动智能手机上，基于地理位置信息的增强现实应用，以虚实结合的能力为游客提供了认知周围景观的全新视角。文字、语音、视频介绍、历史图片、遗迹复原动画等多种多媒体信息，都可以与现实景观实时融合展示，为游客带来传统数字地图导航软件不能提供的互动应用体验。此领域开发应解决的关键核心技术包括：

1）基于移动平台内置GPS及传感器的6DOF运动追踪的三维空间注册算法；

2）图像识别追踪三维空间注册算法的手持设备移植与优化；

3）固定位置识别标识追踪或无线WiFi信号辅助的室内定位技术，用于解决室内缺少GPS信号情况下移动平台的定位问题；

4）结合运计算的服务器端的现实场景图像实时识别追踪技术；

5）触控小尺寸屏幕上的增强现实人机交互界面设计。

4.5设计与仿真

传统的基于虚拟现实技术辅助的设计与仿真应用，受限于虚拟现实的展现和交互方式，不能逼真的表现设计作品或者仿真设备在现实环境的真实比例大小，以及与真实场景融合的效果，并且缺乏人与虚拟模型自然互动的能力。利用增强现实技术，结合可穿戴硬件平台，可以实现以第一视角在实景中展示设计作品或仿真设备的外观，并通过自然方式与虚拟模型进行人机互动，有效的解决了虚拟现实技术存在的这些问题，是辅助工业设计、服装设计、装潢设计、建筑设计以及设备仿真的全新方向。此领域开发应解决的关键核心技术包括：

1）结合摄像机的双目头戴显示设备的集成，以实现see-through的增强现实观看效果；

2）基于动作捕捉硬件的人头及人体动作的实时追踪，用于支持第一视角的三维空间注册以及与实景中虚拟物体的精确交互；

3）人机交互界面以及交互方式的研发，以适用于结合可穿戴硬件平台的增强现实应用；

4）与虚拟物体交互的触感、力感的模拟。

4.6物联网

物联网技术将附加数字属性的物体，连接到互联网上，而增强现实技术提供将附加在物体上的数字属性可视化，并提供与人自然交互的能力。因此当物联网与增强现实技术结合时，可以实现将可定位的电子标签（RFID）以增强现实方式，通过移动终端或者监控系统进行数字信息可视化管理，实现了人与数字化物联网之间全新的无缝交互模式[21]。此领域开发应解决的关键核心技术包括：

1）基于RFID定位的三维空间注册技术[22]；

2）物联网信息的三维空间搜索、显示与交互技术；

5结束语

该文对于增强现实技术的研究和应用进行了综述，介绍了该技术的最新研究现状，并阐述了研究中的一些关键技术，总结了其应用领域和技术难点。可以看出，增强现实技术已逐步从研究领域走向应用领域。目前的研究必将推动增强现实技术的进一步发展。相信不久的将来，AR会有更广泛的应用，这将使人们和计算机之间能够更加自然和有效的交互。

参考文献：

[1]Tomcaudell.ARatboeing[EB/OL].[2012-02-06].http：//www.ipo.tue.nl/homepages/mrauterb/presentations/HCI-history/tsld096.

[2]Azuma，RonaldT.ASurveyofAugmentedReality[J].TeleoperatorsandVirtualEnviron-ments，1997，6（4）：355-385.

[3]PaulMilgram，FumioKishino.ATaxonomyofMixedRealityVisulaDisplay[J].IEICETransactionsonInfomationSystems，1994，77（12）.

[4]SuzanneWeghors.AugmentedTangibleMolecularMoels[EB/OL].[2012-02-06].http：//www.hitl.washington.edu/projects/scripp.

[5]V.Lepetit.VisionBased3DTrackingwithApplicationstoAugmentedReality[EB/OL].[2012-02-06].http：//cvlab.epfl.ch/research/completed/realtime_trackin.

[6]SyedOmerGilani，StevenZhou.WhatYouWriteIsWhatYouGet：ANovelMixedRealityInterface[EB/OL].[2012-02-06].http：//www.iml.org.s

[7]BMW.BMWresearchprojects-virtualworldmeetsreaity.[EB/OL].[2012-02-06].http：//www.bmw.com/com/en/owners/service/augmented_reality_introduction

[8]ARToolworksInc.ARToolKitforQuest3D.ARToolKitforQuest3D[EB/OL].[2012-02-06].http：//www.artoolworks.com/products/integrated/quest3

[9]MXRCorporation.wIzCardsPlatformOverview.[EB/OL].[2012-02-06].http：//www.mxrcorp.com/index.php？option=com_content&view=category&layout=blog&id=71&Itemid=1

[10]MetaioGmbH.TheEngineersofAugmentedReality[EB/OL].[2012-02-06].http：//www.metaio.com/company/technolog

[11]TotalImmersion.DFusionStudioSuit.[EB/OL].[2012-02-06].http：//www.t-immersion.com/prod-ucts/dfusion-sui

[12]JonathanMooser，SuyaYou，UlrichNeumann.Real-TimeObjectTrackingforAugmentedRealityCombiningGraphCutsandOpticalFlow[J].6thIEEEandACMInternationalSymposiumonMixedandAugmentedReality，2007：145-150.

[13]YuanTian，TaoGuan，ChengWang.Real-TimeOcclusionHandlinginAugmentedRealityBasedonanObjectTrackingApproach[J].IEEEComputerGraphicsandAp-plications，2010，10（4）：2885-2900.

[14]BjarneFiskerJensen，JacobSlothLaursen，JacobBoesenMadsenandThomasWisbechPedersen.SimplifyingRealTimeLightSourceTrackingandCredibleShadowGenerationforAugmentedRealityusingARToolkit[J].Medialogy，2010.

[15]WagnerD，SchmalstiegD，Graz.MakingAugmentedRealityPracticalonMobilePhones[J].IEEEComputerGraphicsandApplications，2009，9（4）：6-9.

[16]PetersenN，StrickerD.Continuousnaturaluserinterface：Reducingthegapbetweenrealanddigitalworld[C]//8thIEEEInternationalSymposiumonMixedandAugmentedReality，2009：23-2.

[17]ABigdelou，T.Benz，L.SchwarzN.NavabSimultaneousCategoricalandSpatio-Temporal3DGesturesUsingKinect[C]//IEEESymposiumon3DUserInterfaces，2012：53-56.

[18]QIUYAN.TangibleUserInterfacesforAugmentedReality[D].Singapore，NationalUniversityofSingapore，2004.

[19]JakaSodnik，SasoTomazic.Spatial[C]//Proceedingsofthe18thAustraliaconferenceonComputer-HumanInteraction.

[20]HannesKaufmann，BerndMeyer.Simulatingeducationalphysicalexperimentsinaugmentedreality[C]//ACMSIGGRAPHASIA，2008.

[21]KunkelS，BieberR.AconceptforinfrastructureindependentlocalizationandaugmentedrealityvisualizationofRFIDtags[C]//IEEEMTT-SInternationalMicrowaveWorkshoponWirelessSensingLocalPositioningandRFID，2009.

[22]GarciaMaciasJ，A.Alvaez-LozanoJ，Estrada-MartinezP，Aviles-LopezE.BrowsingtheIn-ternetofThingswithSentientVisors[J].Computer，2011，44（5）：46-52.