增强现实技术在吴地文化遗产中的应用开发

金 益，张 量，刘尚尚

(苏州市职业大学 计算机工程学院，江苏 苏州 215104)

中国长江中下游流域的吴地文化作为浩瀚灿烂的华夏文化的重要一角，其特征与内涵十分丰富。泰伯开创吴文化，将中原文明与荆蛮本土文明整合，提升了整个太湖流域的文明发展水平，加速了吴地文明的发展进程[1]。吴文化遗产是吴地文明的见证和民族精神的财富，弥足珍贵。加强对吴地文化遗产资源的保护，有利于延续遗产文脉，传承吴地文明。

随着社会的快速发展和人们生活水平的不断提高，增强现实(augmented reality，AR)技术在各行各业中得到广泛应用，其价值也愈发突显。AR技术借助于信息技术、传感技术、计算机视觉技术以及多媒体技术，把文字、图形、动画、声音、视频、虚拟三维物体等数字信息准确地叠加到用户所要体验的真实环境中，增强用户对真实环境的感知[2-3]。我国历史文化悠久，随着时代的发展，吴文化的传统工艺、神话故事、戏曲动画等文化成果却渐渐淡出人们的视野，苏州虎丘泥人苦无人传承，喜爱昆曲的人也越来越少。将吴地文化与AR技术相结合，从用户体验角度出发，将吴文化遗产中的信息以多感官、多层次、立体化的方式呈现给人们，使用户仿佛置身于虚拟吴地场景中，感受身临其境的意境。同时通过交互操作对吴文化中典型的历史文化遗产进行多角度、全方位地审视与体验。

1 设计目标与功能概述

项目依托苏州市职业大学吴文化园，采用AR技术将吴地文化中典型的历史文化遗产(古城墙、桃花坞木刻、大运河等)进行立体地展示。

1) 现实场景识别。通过图像识别技术或UE4、Vuforia平台技术，对现实场景中的物体进行识别。

2) 虚拟空间定位。运用Slam技术实现特征点检测并完成空间定位，通过ARKit平台技术，对现实世界动态物体的六轴(X、Y、Z轴的位移及其旋转)变化进行动态跟踪。实现对“古城墙”“平江图浮雕”等物体的实时定位。

3) AR融合。将相应的虚拟数字信息准确地与现实世界中识别到的物体进行叠加与融合，并精确地拼合到现实的明信片实体上，以得到身临其境、虚实融合的沉浸感。AR融合展示明信片如图1所示。

4) AR展示的文创产品设计。设计、创作能够将AR技术的优势和吴地文化的历史巧妙地结合。项目组设计创作的“千年平江”系列明信片，如图2所示。体验者可以通过手机或者平板电脑摄像系统，获得虚拟和现实相融合，富有沉浸感的数字吴文化体验，真正实现将“吴文化”带回家。

图1 AR融合展示明信片

图2 “千年平江”系列明信片

2 设计方案与技术路线

项目采用“ARKit + Vuforia + UE4”框架。UE4支持谷歌ARCore，统一了ARCore和苹果ARKit框架的摄像机性能[5]。目前，UE4支持ARCore的预览，Android设备中的谷歌ARSDK，苹果设备中的ARKit[9]。

2.1 项目配置与准备

要制作基于Apple ARKit的项目，必须先满足以下前提条件：支持ARKit的虚幻引擎，要确保使用正确的Xcode版本，在虚幻引擎中创建一个针对移动平台的新项目。打开此项目，从插件菜单中启用试验性Apple ARKit插件。如果是基于GitHub源代码进行操作，在提示时可能需要构建该插件来启用这项支持。在“编辑”＞“插件”(Edit ＞ Plugins)下方启用ARKit插件，然后重新启动编辑器。启用ARKit插件后，转至“项目设置”＞“iOS”(Project Settings＞iOS)。

2.2 物体与对象建模

模型重建部分可以分为两种。第一种是物体建模，如图3所示，只要有照片或者数据，就可以进行手工建模。第二种是对象建模，如图4所示，在这种情况下，可以利用多角度拍照生成模型。Reality Capture是一套非常强大的3D模型制作软件，它可以从普通的图片和扫描图像中直接提取3D模型，并对3D模型进行全方位地处理和编辑，让其变得更加完美，每小时可提取数千张图片，另外还可以接入照相机、无人机等设备，轻松制作3D模型。

图3 物体建模

图4 对象建模

2.3 现实融合与交互开发

1) 摄像机设置。需要的只是一个包含专用Apple ARKit摄像机组件的Pawn class。当在设备上运行时，这个摄像机组件会随现实世界地移动进行虚拟地移动。

2) Passthrough设置。Passthrough能让我们从iPhone或iPad背面的摄像机中获取信息，然后将其用作虚拟内容的背景，进一步增强虚拟内容的现实感。下面两个步骤概括了Passthrough摄像机设置的基本要点：①添加一个纹理取样节点，引用刚刚创建的ARKit纹理，然后将其插到材质的自发光通道中。添加一个屏幕位置坐标节点，然后将其插到ARKit纹理的UV输入上。②向场景中添加一个球形网格，并将其调整到足以包含所有内容，然后应用新创建的材质。这将用作天空盒，并用来渲染该球体中的内容在摄像机中呈现的影像。

3) 平面检测与交互。平面检测可以使ARKit在现实世界中找到平面，然后用这些平面来承放虚拟内容。例如：如果你在做一只虚拟的猫，平面检测可以帮助你找到猫四处跑动的地板。在设备移动的过程中会自动进行平面检测，并在ARKit摄像机组件上以触摸输入的形式使用检测到的多个平面。如果找到一个平面，便能访问在Apple ARKit点击测试结果中找到的转换信息，以处理与现实世界位置的交互逻辑，具体如图5所示。

图5 平面检测与交互

3 结论

本研究论述了AR技术在传承吴地文化遗产方面的应用开发。结合ARKit的虚拟空间追踪技术、Vuforia物体识别技术以及UE4次世代动画技术的快速开发模式，可以在最少代码量的基础上，快速地实施项目开发，并且可以不受单个平台技术更新瓶颈的约束。同时，方案避免了开发过程中各模块人员沟通困难的缺点。因此，能够有效地缩短创作周期，节约开发成本。