增强现实及其在导航与位置服务中的应用

刘经南，高柯夫

（1.武汉大学 卫星导航研究中心，湖北 武汉 430079）

增强现实技术的目的是将真实世界中蕴含的信息数据，与人们目视的场景实时融合，以增强对真实世界的认识。根据定义，增强现实通常包括3个方面内容[1]：虚拟和现实结合；实时与环境互动；定位配准，真实与虚拟全方位匹配。增强现实可视作现实与虚拟的连续统一[2]，无缝对接和信息深度服务，其基本流程如图1所示。

图1 增强现实系统基本流程

图2 基于增强现实的报纸[3]

美国麻省理工学院（MIT）已将气象数据通过图像识别和定位配准方式动态投影到报纸地图中对应的位置，如图2所示。目前，位置服务（LBS）仅做到表层街景的应用，与街景的感知内容设备，如摄像头、多媒体、麦克风等无关。增强现实的LBS服务可直接利用多视角摄像头等感知设备做到道路建筑辨识、肢体动作控制、社会信息推送，并实时叠加各类多媒体信息内容，效果直观，内容丰富，更能满足人们的生活需求。目前在Android、iPhone以及Windows Phone等手机平台上，已经出现了不少采用增强现实技术的应用程序，并开始在泛在测绘的场景分析中展开应用。

1 技术发展历程

增强现实的研究最早可以追溯到1968年，美国MIT的Ivan Sutherland 教授研制出世界上第一台光学透明头戴式显示器[6]，用于实时显示计算机图形。20世纪70、80年代，增强现实技术研究在美国空军、NASA、MIT、北卡罗来纳大学等研究机构展开。到了20世纪90年代初期，波音公司的Tom Caudell和他的同事在设计的辅助布线系统中首次提出了“增强现实”这一名词[7]。在他们设计的系统中，把由简单线条绘制的布线路径和文字提示信息实时叠加在机械师的视野中，以助其完成拆卸过程，减少日常工作中出错的概率。

1993年，美国加州大学的J. Loomis开发了听觉增强的户外导航系统[8]，辅助盲人进行语音导航。1997年，美国哥伦比亚大学Steven Feiner等人开发了首个移动增强现实系统Touring Machine[9]，用于校园导航，如图3所示。用户通过穿透式头戴显示屏，在真实的图书馆上同步显示相关的介绍信息，其移动计算交由背负的电脑，并连入校园无线网络。2001年，希腊INTRACO电信的Vlahakis等人开发了基于移动增强现实的文化遗产导航系统[10]，用户通过GPS定位及无线通信，在真实的历史遗址上感受虚实融合的建筑复原模型。2002年，奥地利格拉兹工业大学Michael Kalkusch等人开发了基于移动增强现实的室内标记定位系统[11]。2006年，诺基亚研究院的MARA（Mobile Augmented Reality Applications）项目[12]，首次在配备传感器和摄像机的手机上实现了移动增强现实应用。

图3 Touring Machine工作示意图[13]

2007年以来，随着iPhone对手机的重定义，手机应用的可能性得到极大释放，出现了大量基于移动增强现实的位置服务应用。例如，Wikitude能让用户使用手机辨识附近的饭店、商场、地标等信息，用户也可以实时发表关于景点的评价；Layar的功能更强大，能够引导用户找到附近的ATM机或在当前位置上叠加有关建筑的历史信息和照片。2个应用都是通过手持设备的GNSS模块和电子罗盘，定位计算当前位置及手机摄像头朝向，通过无线通信网络获取兴趣点的相关信息，再将信息叠加、配准到手机屏幕中，以达到虚实融合的效果。

2010年11月，微软推出3D摄影机Kinect，利用光编码技术，获得空间中不同距离的衍射斑点，以对空间进行标记，从而确定其中物体的位置。欧美出现了很多基于Kinect的应用，如在线试衣导购系统[14]，如图4所示，将衣服图片与摄影机中的人像配准，用户可以实时查看衣服上身效果。

图4 基于Kinect的增强现实导购系统[15]

2011年3月，台湾工研院将基于图像的建模方法和增强现实技术应用到3D电视中[16]，采用相机阵列捕获物体信息，重建物体三维模型，在具有预定义标注点的实拍场景中实现虚拟三维模型与真实场景的融合，开辟了电视技术发展的一个新方向。

2012年9月，诺基亚增强现实应用City Lens正式登陆Windows Phone应用市场，如图5所示，City Lens 会通过增强现实接口为用户实时显示镜头中的餐馆、商场、机构及景点的基本信息，并分别给予评价和推荐。

图5 City Lens手机界面[17]

目前国内增强现实技术的相关研究主要集中在高校和科研院所。北京理工大学光学系对增强现实的头戴式显示器进行了研究[18]，完成了对圆明园景观的数字重建。浙江大学和Intel合作实现了增强现实环境下的自然人手3D交互[19]。国内许多船舶、航空航天等军工单位以及汽车企业都建立了大型虚拟现实环境和增强现实系统，但其设备成本相对较高。总体来说，增强现实技术在国内具有很大的发展空间。

2 关键技术

增强现实技术的研究范围十分广泛，涉及诸如信号处理、计算机图形和图像处理、模式识别、人机交互和心理学、移动计算、计算机网络、云计算、大数据、信息获取和信息可视化，以及新型显示器和传感器的设计等各个领域。

2.1 显示技术

增强现实的显示技术是信息可视化的基础，目前对个人使用多采用头戴式显示器。头戴式显示器主要分2类，一种是头戴式视频显示器，在眼镜上提供2个屏幕分别给左右眼观赏，只要分别给两边不同的信号即可成像，其缺点在于仅供单一观众观赏，且造价高，头盔重；另一种是穿戴式光学显示器，2012年发布的Google Glass就属于这一类。如图6所示，其眼镜的右半部，包括摄像头、触控板、麦克风、陀螺仪、加速度计、GPS、Wi-Fi、蓝牙及处理器模块。根据不同需要，在目镜上可以显示距离、方向、地图和导航信息。

图6 Google Glass功能架构及显示界面[20]

2013年初的开发版Google Glass很可能还将采用类似全息投影的技术[21]，将图像投射到Google Glass透明的目镜上。更为轻便的还有基于增强现实的隐形眼镜。华盛顿大学的研究团队将天线、无线接收器、控制电路和LED集成到一枚隐形眼镜中[22]，这种隐形眼镜显示屏由一个远程射频发射器供电，镜片上有一个5 mm长的天线，用于接收10 cm外由发射器发射的千兆赫范围内的无线电射频能量，不过目前显示屏的分辨率还仅为单像素水平。

还有空间显示技术，即用数字投影仪将虚拟信息直接投射在真实场景上，如图7所示，电话拨号盘被直接投影到人手上，以实现拨号功能。数字投影仪的投影内容一般由强大的处理单元计算和控制,不仅要考虑现实场景的凹凸表面，还要保证不同角度下的投影真实性。

图7 基于空间显示技术的电话拨号键盘[3]

全息显示技术是一种可供多人同时使用的真三维显示技术，是显示技术未来发展的重要方向。其原理是利用光束的衍射与干涉效应，记录并再现物体的光强与相位的三维显示，目前主要应用于小范围场景的三维显示。2012年北京车展，丰田发布采用全息投影技术的概念车Fun-Vii[23]，用全息投影生成一位行车助手，如同真人一样通过语音与驾驶者交流并提供导航信息。

2.2 图像识别和特征提取技术

图像识别和特征提取在增强现实应用中是一项将图像或视频配准到实体上以实现虚实融合的重要技术。识别图像主要使用模式识别技术（模板匹配、边缘检测等），识别出预先定义好的标记、物体或基准点，然后根据其偏移和转动角度计算相应标记的坐标转换矩阵，将标记的特征信息预存，在采集的视频流中查找标记并确定其方位，然后将虚拟图像与标记配准，实现虚实融合。

实景中的自然图像识别，则通过对所摄图像进行解析，识别出场景的目标物体，再在其上叠加相关信息。该类识别不需要特定标记，通过解析图像建立虚拟坐标，能够很自然地进行虚实融合，但对图像实时处理能力要求高，且受环境及目标实时状态的影响，错误率较高，目前仅适用于简单场景。

在目标识别过程中，对自然场景及目标物体的外观图像抽象是一项很重要的任务。所谓的抽象即寻找出一些具有代表性特征的关键点。图像特征提取就是以一定的算法加以排列描述，使得同一特征点出现在不同帧时，能够迅速检测并识别。其一般步骤，如图8所示，通过对处理后的原始图像进行特征检测及形式化描述，按类别对其分类，综合得出识别结果。

图8 物体识别的基本步骤

2.3 定位配准技术

定位配准实际上就是将计算机生成的虚拟物体和真实环境中影像“对齐”的过程。定位必须先确定虚拟物体与观察者之间的关系，然后对目标物体进行识别，计算摄像机相对于目标物体的位置和姿态，确定虚拟物体在图像平面的渲染位置，再通过正确的几何投影将虚拟物体配准到观察者的视野中。

对目标物体进行配准，涉及到图像坐标系、相机坐标系和世界坐标系等之间的坐标变换。我们建立一个坐标系，如图9所示，其坐标原点设为相机的光心C=（0,0,0），X-Y平面和相机的像平面平行，且像平面在相机坐标系中的表达式为Z=f，此坐标系称为相机坐标系{O, Xc , Yc , Zc}。

图9 相机的针孔模型

计算机中处理的数字图像都是以像素为单位的。而在相机坐标系中，三维物体是以物理单位定义的，经透视变换后形成的图像中的点也是物理单位的。因此，存在以物理单位表示的图像坐标系和数字图像系的坐标转换。

以物理单位表示的图像坐标系与相机坐标系之间的变换又称为透视投影，它是从三维到两维的变换，也是相机成像过程中的核心变换。

日常生活中，人们依靠多种感官（如视觉、听觉、触觉及重力感应等）信息，维持自身的方向感。定位配准过程同样需要进行大量的标定，测量值包括摄像机参数、视域范围、传感器的偏移、对象定位以及变形等。

目前的配准手段主要有3类：①基于传感器硬件，采用红外线、RFID、超宽带、电磁、超声波、惯导等感知设备，确定传感器和信号源之间的相对距离，其优点在于实时性高；②基于机器视觉，对摄入的图像数据进行识别，检测出目标物体，获取摄像机相对于目标物体的姿态，并根据摄像机内部参数，计算投影模型，最后渲染虚拟物体，其中涉及到图像识别技术和摄像机姿态定位技术，其优势在于成本低；③基于无线网络，即利用通信网络、Wi-Fi、广播网络等进行检测和定位。

2.4 GNSS及其与定向器件组合的辅助定位技术

GNSS系统为增强现实提供绝对定位。GNSS与Sensor结合，即通过GNSS取得经纬度和高程，通过地磁电子指南针取得方向和倾斜角度，最后根据这些位置信息提供信息服务并叠加显示在终端上。此种辅助定位方式适合于移动终端上的应用，目前的Android手机和iPhone等都已具备硬件装置。在泛在测绘应用中的增强现实，则采用高精度的实时GNSS定位和高精度定向技术，如网络RTK和GNSS惯导器件的紧组合或超紧组合设备以完成辅助定位。

3 应用领域

电影行业是最早采用增强现实技术的领域之一，利用增强现实技术，使得导演能够形象化地预览虚拟场景，并直接看到影视最终的拍摄效果。在电视制作领域，通过增强现实技术可以在播放电视节目时，将相关信息实时叠加到画面指定位置，如游泳比赛时（见图10），将世界纪录、比赛成绩、选手信息实时叠加到对应泳道上，使得数据更实时，信息更直观，目前已在赛事直播、文艺演出中广泛采用。

图10 基于增强现实技术的赛事直播[24]

增强现实技术应用在教育领域，使得符合学生自身特点的个性化教学过程得以展开。学生可以根据自身的需求和薄弱环节自主学习，从而实现教育质量的提升。例如，索尼将要发布的增强现实外设Wonder Book[25]被设计得像一本真正的书，用户通过动作控制器创建与操纵数字画面，如挥挥手，就会将其转换成一个围绕图书的动画效果，以此达到与图书互动的效果。所有的动作都由摄像头记录并识别，互动的效果将同步显示在电视屏幕上。

在工业辅助设计领域，借助增强现实技术可以更加直观、高效，低成本地对工业设计的效果进行评估分析；在工业维修领域，将多种辅助信息以增强现实的方式呈现给用户，包括虚拟仪表面板、设备内部结构、设备零件图及维修工序等，有望改变制造业职工的培训模式。在军事领域早已广泛使用增强现实技术，进行辅助驾驶、单兵作战训练、战场环境分析等训练活动。在医疗领域，医生借助增强现实技术，可以轻松地进行手术部位的精准定位，图11所示为德国癌症研究中心采用增强现实的App应用辅助外科手术。在古迹复原和数字化文化遗产保护领域，文化古迹的信息以增强现实的方式提供给参观者，用户不仅可以看到古迹的文字解说，还能看到遗址上残缺部分的虚拟重构，图12所示为由伦敦博物馆推出的增强现实手机应用。用户可以使用GNSS定位，把手机对准目标建筑，系统会匹配出该建筑几十年前的样子。

图11 增强现实辅助的外科手术[26]

图12 伦敦博物馆的“Street Museum”应用[27]

4 在导航及位置服务中的应用

导航及位置服务泛指一切以移动设备地理位置和移动网络为基础构成的信息综合服务，是当前信息服务业的重要组成部分。增强现实技术在导航中的应用，最早出现于车载导航中。类似于战斗机中抬头式显示器的原理，很多车厂都在其高端车型中将简单的地图和导航信息显示在驾驶员一侧的挡风玻璃前的半透明屏幕上，但其缺点是信息单一，无法与所处环境交互。

随着智能手机的迅速普及，位置服务已经成为移动互联网的标准配置[29]。人们对手机依赖性的提高，也使得增强现实技术向移动终端发展，为位置服务带来个性化的深度服务。其使用摄像头、GNSS定位模块，结合电子地图向移动终端实时更新位置数据，通过基于增强现实的视觉、听觉提示向用户传达方位，通过挖掘人们的使用行为和偏好，向移动终端推送兴趣信息。其深度服务在于通过与SoLoMo[29]结合，实现移动互联网、社交网络与位置服务的深度融合，增强人与人的社交场景感知。

增强现实技术在移动终端上的应用，除了要具备传统增强现实的虚实结合、实时交互和定位配准外，还需要具备较高的自由移动性，不会因为环境因素而只能固定在一个较小范围内活动，这对终端的计算性能提出了较高要求。而目前高性能智能手机的普及，使得嵌入式实时视觉追踪和识别成为可能。同时电子地图平台逐步从简单2D模式向关联信息和图像的3D模式转变，使得基于地图平台的非结构化大数据信息的获取成为可能。

目前，位置服务应用都在界面上显示电子地图，对于使用者而言，看见了电子地图，接着再看眼前的实景，需要在心里进行整合，才能明白地图上所绘出的某条路线是所看到的哪一条，还无法做到“知行合一”。而基于增强现实的位置服务应用，则弥补了这种不便，使用者只需将摄像头对准兴趣地点、建筑或街道，即可在界面上实时看到兴趣信息。

为真正做到“知行合一”，建立关联信息的3D实景模型是必不可少的。通过移动测绘系统对路面数据进行采集，可以建立3D实景数据模型，实现真正的全三维实景导航。该系统通常由定位定姿系统(POS)、激光扫描仪与全景相机(panoramic camera)、工业相机(CCD)、工业化计算机系统组成，不仅可以采集街景数据，还可以采集道路、标线、标牌、街边建筑物，甚至井盖等所有能看到的地理信息数据，进一步扩展了泛在测绘[30]的范畴。Google于2007年推出的街景功能，如图13所示。

图13 Google街景数据的泛在式采集[31]

首先将采集到的街景数据（如图14所示）保存到服务器端的街景图像库，并建立索引；然后在现有2D电子地图的基础上（如图15所示），利用摄影、LiDAR及SAR等方式获取景物图像、位置、纹理、高程、景深等多维数据，再通过数据分割、影像匹配、特征提取和几何建模等方法，对城市建筑进行3D建模，如图16所示。

图14 街景全景图像数据[32]

图15 2D电子地图[32]

图16 3D城市建筑模型[33]

用户使用时，摄像头捕捉到的图像信息经过图像识别和特征提取，连同位置数据，借助通信网络传到街景图像数据库中进行检索，再和3D城市建筑模型进行配准，就可以把路网信息、兴趣点数据、交通信息、街道导航信息等数据逐层精确显示在对应的街道、建筑物上了。

目前，不少移动增强现实已应用于旅游，以提供实时的自主导游。如App应用Triposo[34]，根据用户的情况将最相关的景点信息介绍给用户，当用户在新城市游走时，会在用户的前面高亮显示首个目的地，用户就可以准确无误地到达了；App 应用Museum[35]，为大型场馆提供室内移动增强现实服务，向游客推送实时的展示信息；应用ARNav[36]，最大的特色是采用了增强现实技术的三维立体导航，用户可以在屏幕上看到三维导引标记，只需穿过一个个标记方框，就可以到达目的地。

5 在泛在测绘中的应用

泛在测绘是指用户在任何地点、任何时间为认知环境与人的关系而创建和使用地图的活动。强调以人为本，以用户为中心，以使用者的需求为地图的主要信息来创建实时、动态的测绘产品。由此衍生出泛在定位的概念，即用户在泛在测绘的过程中，利用多种感知技术来感知目标位置、环境及其变化的活动。在泛在测绘概念的基础之上，利用泛在定位和多种资源创建用户感兴趣的目标和有关用户自身的实时动态场景地图，则称为泛在地图。泛在地图的产生是由技术牵引和学科牵引共同构建的。

增强现实技术将在泛在测绘中得到广泛的应用。例如，上文提到的三维实景导航服务；在市政建设规划领域，采用增强现实技术将规划效果实地放样到真实场景中，就可以获得规划的直观效果。未来还将出现全站仪与增强现实技术的结合，用于建筑放样及人工物体形变监测，如图17所示。

图17 基于增强现实的实景放样图[37]

随着增强现实的发展和未来新需求的出现，道路或建筑物上的每一个字符都可能成为泛在测绘的内容，从而成为现实世界地理索引的一部分。每个人都可以有一张自己的兴趣点地图。泛在测绘可以将每个人不同时间获取的兴趣点地图通过多次交互后融合，借助增强现实技术处理成兴趣点丰富、具有时间标记、且能不断更新的泛在地图，从而为每个人提供个性化的深度服务。

6 结 语

增强现实作为实现LBS个性化深度服务的重要手段，未来将重点在多媒体增强、时空定位增强及个性化服务增强等方面进一步发展。

1）多媒体增强：随着生物-纳米技术、自组装、纳米制造和微机电系统的发展，从视觉、听觉到姿态，感官增强技术将不断创新，如眼动轨迹分析技术、体感技术、智能语音输入、空间显示及全息显示技术等，将以整体的形式把增强信息融入到现实世界中，为用户呈现一个立体、全方位、浸入式的增强现实场景，让用户可以跟着“感觉” 走。

2）时空定位增强：随着计算性能的提升，定位精度和方法的改进，通信能力的增强及摩尔定律的效用，使得长时间、高性能、高可靠的全时空定位增强成为可能，有条件提供更实时、更精准、更无缝的深度服务，大大提高服务的粘度，改变用户认知世界的模式，让用户跟着“认知” 走。

3）个性化服务增强：随着基于位置的社会感知、大数据时代的个人信息挖掘等技术的发展，使得基于用户行为模式的个性化移动增强现实服务应用成为可能，相同位置的增强服务内容将会因人的兴趣不同而变化，让用户跟着“兴趣”走。

同时，位置数据与物理实体的融合/混合表达客观世界，将促成新测绘标准的研究和诞生。越来越逼真的3D显示技术将是研究的前沿，并带动光学、材料科学、信息科学及认知科学的发展。

增强现实将成为智能手机的标准配置、公众投资热点和新的经济增长点。增强现实面对政府、行业、企业及公众不同的需求，将有不同的表达方式及虚实融合方式，形成从硬件、软件、数据采集到3D测绘的大跨度产业链，从而提供丰富的创新空间，带来大量的就业机会。增强现实技术的应用将是测绘和导航位置服务提升自己服务能力，实现智能化的又一次机遇。

[1]Azuma R. A Survey of Augmented Reality Presence[J]Teleoperators and Virtual Environments, 1997:355–385

[2]Milgram P, Kishino A F. Taxonomy of Mixed Reality Visual Displays [J].IEEE Transactions on Information and Systems,1994, (12):1 321-1 329

[3]http://www.ted.com/talks/pranav_mistry_the_thrilling_potential_of_sixthsense_technology.html

[4]http://www.36kr.com/p/148106.html

[5]http://telecom.chinabyte.com/156/11840156.shtml

[6]Sutherland I E.A Head-mounted Three Dimensional Display[C].Fall Joint Computer conference, 1968

[7]Tom Caudell. AR at Boeing [EB/OL]. http://www.ipo.tue.nl/homepages/mrauterb/presentations/HCI-history/tsld096.htm,1990

[8]Loomis J, Golledge R, Klatzky R. Personal Guidance System for the Visually Impaired Using GPS, GIS, and VR Technologies[C].Proceedings of Conference on Virtual Reality and Persons with Disabilities, 1993 :17-18

[9]Feiner S, MacIntyre B, Höllerer T, et al. A Touring Machine:Prototyping 3D Mobile Augmented Reality Systems for Exploring the Urban Environment[C].Proceedings of First IEEE International Symposium on Wearable Computers (ISWC '97),Cambridge MA, 1997

[10]Vlahakis V, Karigiannis J. Archeoguide: First Results of an Augmented Reality, Mobile Computing System in Cultural Heritage Sites[C].Proceedings of Virtual Reality, Archaeology,and Cultural Heritage International Symposium (VAST01), 2001

[11]Kalkusch M, Lidy T, Knapp M, et al. Schmalstieg, Structured Visual Markers for Indoor Path-finding[C].Proceedings of the First IEEE International Workshop on ARToolKit (ART02),2002

[12]Markus Kahari, David J,Murphy. MARA-sensor Based Augmented Reality System for Mobile ImagingIn[C]. Proc.ISMAR 2006,New York, USA,2006:67-73

[13]http://graphics.cs.columbia.edu/projects/mars

[14]http://www.36kr.com/p/24864.html

[15]http://techblog.orl.ucla.edu/?p=291

[16]Jeng T R, Huang D R, Liu K C, et al. New 3D Image Technologies Developed in Taiwan [J]. IEEE Transactions on Magnetics, 2011, 47(3): 663-668

[17]http://www.thinkdigit.com/Apps/Nokia-introduces-City-Lens-augmented-reality-app_10878.html

[18]陈靖,王涌天,林精敦,等.基于增强现实技术的圆明园景观数字重现[J].系统仿真学报，2010(2):424-428

[19]孙超,张明敏,李扬,等.增强现实环境下的人手自然交互[J].计算机辅助设计与图形学学报，2011(4):697-704

[20]http://www.travopia.com/2012/04/how-googles-projectglass-is-going-to.html

[21]http://www.36kr.com/p/123619.html

[22]http://www.leiphone.com/ar-contact-lense.html

[23]http://www.chexun.com/2012-04-16/100715332_2.html

[24]http://2012.sohu.com/20120805/n349865160.shtml

[25]http://www.36kr.com/p/115797.html

[26]http://medicalaugmentedreality.com/2012/03/mobile-medicalaugmented-reality-app-for-the-apple-ipad-interview-withprof-hans-peter-meinzer/

[27]http://www.museumoflondon.org.uk/Resources/app/you-arehere-app/home.html

[28]刘经南,郭迟,彭瑞卿.移动互联网时代的位置服务[J].中国计算机学会通讯，2011(12):40-49

[29]http://zh.wikipedia.org/wiki/SoLoMo

[30]刘经南.泛在测绘与泛在定位的概念与发展[J].数字通信世界，2011(S1):28-30

[31]http://network.pconline.com.cn/news/1210/3046185_all.html

[32]http://cens.ucla.edu/～mhr/cs219/presentations/cs219_Outdoors_Augmented_Reality_on_Mobile_Phone.ppt

[33]http://vision.cs.uiuc.edu/～vhedau2/Publications/3dimpvt2012_3dcity_modeling.pdf

[34]http://www.36kr.com/p/107490.html

[35]http://mashable.com/2010/07/29/american-museum-ofnatural-history-app

[36]http://www.36kr.com/p/107490.html

[37]http://www.metaio.com/uploads/tx_templavoila/IMG-eng_layout_plan-010.jpg