基于AR技术在南京明故宫遗址数字化复原的技术研究

摘 要：增强现实（Augmented Reality，简称“AR”）是通过真实的世界与虚拟现实技术相叠加和“缝合”来刺激人的感官去感受这个世界。阐述了明故宫复原技术中要利用的三种增强现实系组成形式，即定点监控式、光学透视式、视频透视式以及增强现实利用的最关键的组成部分进行了分析。

关键词：AR技术；明故宫数字化复原；三维跟踪注册技术

1 AR技术的概述

增强现实（Augmented Reality，简称“AR”）[1]在台湾也被称为扩增现实，是虚拟现实（Virtual Reality）随着科技发展延伸出来的一种新的领域。1997年，第一次提出了学术界认同的增强现实的定义。增强现实是一种环境，它同时包括了真实世界和虚拟世界，它是一种通过实时地计算摄影机影像的方位并加上相应图像的技术，这种技术的目标是在显示屏幕上把虚拟世界叠加、融合在现实世界并进行互动。增强现实的最终目的是通过加强人的听觉、视觉、触觉、嗅觉等感官感受，让用户真实世界能力变强，最后进行真实世界和虚拟现实世界的切换，达到以假乱真的视觉效果。最早增强现实技术运用在发达国家，二十世纪九十年代已经有了初步的研究，目前，其主要运用在军事、医疗、工业、古迹复原和数字化遗产保护等各个领域。

2 增强现实系统的关键部分

2.1 增强现实基础系统

增强现实系统的最基本的组成部分主要有[2]：（1）真实的场景图像的获取；（2）图像最后的融合；（3）显示器设备的显示；（4）3D虚拟对象的数据库；（5）实时3D转换和渲染等环节。这也是增强现实最常用的基本流程中的方式之一。

2.2 增强现实关键组成部分

根据增强现实的系统的流程，我们不难发现三维跟踪注册信息的定位和显示虚实融合是增强现实最为关键的组成部分。

三维跟踪注册技术主要分为三种途径[3]：（1）计算机视觉上的三维跟踪注册技术；（2）硬件设备上的三维跟踪注册技术；（3）计算机和硬件设备两种途径的三维跟踪注册技术。现在较为流行也比较常见的途径主要是基于计算机视觉上的三维跟踪注册技术，其中包括有、无标点的跟踪注册。而基于计算机视觉上的三维跟踪注册技术是系统在真實场景的中的视频图像序列的每一帧中，并以此来显示目标对象的图像所在的帧为位置关系，通过对目标对象的图像所在帧的特征进行有特征点检测、识别匹配与实时场景跟踪的方法来实时获取摄像机与真实场景环境的位置坐标关系，并以此来更新虚拟三维图像到真实环境中目标图像的坐标关系来进行实时的转换和渲染，然后进行实时的两者真实和虚拟融合后的图像，最终实现三维计算机视觉上的展示“真实”场景。

增强现实系统中的三维跟踪注册是需要三维虚拟对象并准确叠加、融合在现实环境中的关键性技术，在这个流程中，增强现实系统通过摄像机捕获真实场景真实图像来获取真实场景实时的坐标信息，三维跟踪注册的坐标数据等信息直接来源于摄像机镜头对图像信息的捕获，但如果摄像机镜头的内部参数不准确，将会造成严重影响三维注册信息的匹配精度，甚至可能会导致注册信息获取的失败。所以，要进行增强现实系统的摄像头的内部和外部参数的谨慎设定，以免影响整体的注册信息的失败。换而言之，也就是增强系统的三维注册技术最重要的部分就是确定内部和外部参数这个过程。

而显示设备主要是基于增强现实技术对南京数字化明故宫的研究，主要有手持定点观察式；手持数据PDA式；可穿戴式HMD式这三种显示展示方式，穿戴HMD式有两种视频图像表现类型分别是光学透视式和视频透视式[4]。

3 南京明故宫数字复原增强现实系统

南京明故宫自我国明朝开国皇帝朱元璋在位期间修建的宫殿，前后修建时间约为二十余年，在中世纪曾被称为“世界第一宫殿”。古今中外闻名的南京在这块历史文化肥沃的土地上，应该盛开最厚重的花朵。因此，应该把握优势，握得先机。南京明故宫数字化复原该研究，据调查现实至今未有真正开发启动该项目的实施，一直处于空缺的状态。明故宫历史遗迹至今遗留少之又少，而实体复原废力、废金，略显不切实际，而基于AR技术的数字化南京明故宫复原既便于保存又可以根据增强现实的娱乐性特点拉动南京旅游行业的市场生机与活力。目前，参观者只能通过图片来了解南京明故宫的曾经的辉煌历史历程。而利用AR技术，不仅可以再现明故宫的恢宏壮观，展示中华文明的博大精深，而且可以让人们更能潜移默化的接触到时代科技的发展带来的变化，是发展文化旅游产业的未来的一个趋势和动力，与废墟下的石础相比较而言更能给参观者带来深刻视觉上的享受和体验。基于增强现实技术对南京数字化明故宫的研究，主要有三种不同的增强现实的户外系统： 定点观察式；手持可移动式；可穿戴头盔式。

3.1 定点观察式户外增强现实系统

定点式观察式户外增强现实系统运用在南京明故宫遗址的现场，如在奉天门、谨身殿遗址周围，定点观察式户外增强现实系统的位置是固定的，定点观察式户外增强现实系统具有系统稳定性能好，易被人群接受，推广较容易。运用实时的单用户旋转镜筒式选定宫殿遗址的部分石础等遗址上的虚拟三维景物模型，通过镜头焦点调整、光线的亮度调节、真实世界和虚拟世界的切换、仿真现场的声音、视频进行实时现场进行融合。

其系统结构主要有三个部分组成，分别是硬件跟踪注册设备、虚拟三维景物数据库、CCD电荷耦合摄像头、二自由度转向台、计算机中转工作站以及光学系统等。CCD电荷耦合摄像头和硬件跟踪注册设备处于固定的转向台上，转向台可以旋转和俯仰两个角度。

南京明故宫遗址数字化复原定点观察式AR系统工作流程，首先通过摄像头的传感器感应捕捉真实场景的图像和方位信息；然后通过计算机中转站使真实场景和虚拟三维数据库进行叠加和融合匹配关联的图像信息；最后通过光学系统原理制作出的LCD观景台上观看最终的视觉明故宫的现代技术和历史的完美缝合。

3.2 手持可移动式增强现实系统

手持可移动式增强现实系统，主要是借助移动设备终端显示虚拟和真实融合后的增强现实的景象。移动设备终端主要是指可以进行视频捕捉和识别真实场景的手持PDA、智能手机等设备。由于系统涉及到全球跟踪定位、无线通信、位置的计算和服务，首先南京明故宫遗址现场要确保参观人数足够的无线速度，以及具有该识别摄像头功能的智能手机以此代替CCD电荷耦合摄像头的功能性能。游客利用现场提供的智能手机、手持PDA首先对准的真实场景明故宫的遗址，进行图像获取和显示，通过无线传输到后台的网络服务器上。然后网络服务器运算运用三维仿真数据库筛选匹配图像注册的信息进行最终的信息相互缝合和叠加，最后将信息又通过无线传回游客手持PDA显示器上。

在获取三维仿真数据库和真实场景数据库的环节上，可以利用时下最热门的APP下载提供客户端，将硬件手机或平板上的摄像功能和软件的场景识别功能二者相铺相成最后达到方便便捷让游客可以自助筛选每一个遗址（下转第页）（上接第页）的看点。APP运用界面设计可以具有多种功能性，例如在APP运用中可以定时推送、普及明故宫的历史人文信息即便于游客理解也可以增加游客对增强现实的最终效果的反馈；还可以在运用中将视听环节板块添加进去，使用户更加贴切真实场景视觉感受。此外可以开发具有互动性的娱乐性和互动性的游戏增加趣味性能。手持可移动式增强现实系统虽然具有经济、实惠、方便的优点，但也存在着匹配速度延迟等问题，在实践中仍需要不断完善和解决。

3.3 可穿戴头盔式增强现实系统

南京明故宫遗址复原利用可穿戴头盔式增强现实系统（Head-mounted displays，简称HMD），HMD式增强现实系统，其突出优势主要表现在参观者可以在遗址任意行走移动。其视觉震撼效果列于三系统之首，原因归结于可穿戴式头盔，将视觉、听觉的融合与真实场景的感官体验上更具有完美的虚拟与真实场景的融合视觉效果。其工作原理主要分为视频透视和光学透视两种类型。

视频透视原理，头盔显示器是主要是由CCD电荷耦合摄像头制作而成，其原理与定点观察户外增强现实系统最大的不同之处也就是是否具有移动性，相识之处也就是通过摄像头进行捕捉真实景物的方位信息，进行三维跟踪注册信息获取，最后利用计算机中转站进行转换和筛选数据在该过程也就是需要的就是所谓的三维虚拟数据库和真实场景的数据匹配和融合的过程。而光学透视可以在利用HMD式系统观察时可以通过人眼直接观察真实场景现场。根据三维注册信息的投影和渲染后的三维场景，经过三维光学图形图像的融合器件与真实场景的光学路线的融合，左后呈现在用户的眼前。虽然利用光学透视式原理，可穿戴头盔式增强现实系统具有简单、视觉分辨率较高、视觉误差下等优点，但是制作起来成本高、价格偏高、进度要求高、视野也相对较狭窄等美中不足之处。目前，在南京明故宫遗址的复原上可以在一些建筑结构简单、比较小的一些场景又具有代表性的遗址进行有选择性的运用该项技术。

4 结论和展望

目前，南京明故宫数字化复原还处于未被实际实施增强现实开发方案当中，这一缺口有待实际性的项目开发。增强现实技术不僅对南京遗产保护具有不可替代的作用，又对南京当地旅游服务性行业具有不可低估的经济效益，同时展示了中华文化的民族魅力，向整个世界挥舞着中国科学技术的进步和发展的旗帜。在未来增强现实系统将会成为文物保护行业成为一种发展趋势，值得更多的博物馆和文物保护中心借鉴运用。

参考文献：

[1] 增强现实技术[DB/OL] .互动百科， http：//baike.baidu.com/

link？url=B-s1uuFOnVDYkokkQ_HYlrgH2z9XdH7YltXjozgMvnLBgAKlYcnj9i41z6svTzbaSNCsSj07UVfhZovdhpOEOK.

[2] 王涌天，郑伟，刘越，常军.基于增强现实技术圆明园现场数字重建[J].

[3] 施琦，王涌天，陈靖.一种基于视觉的增强现实三维注册算法[J].中国图像图形学报，2002，7（7）：679-683.

[4] 姚京频.基于AR技术的南京明故宫遗址数字化复原[J].人间.