基于视觉跟踪的沉浸式数字旅游系统设计

石路云

【摘 要】随着现代旅游的发展，以增强现实为基础的虚拟旅游得到了广泛应用，促使文化旅游产品得到推广和应用。针对增强现实技术在文化旅游资源方面的应用，沉浸式数字旅游系统以旅游特色明信片为基础，结合基于SIFT自然特征的增强现实技术，在真实的明信片上叠加虚拟场景以达到虚实融合的效果。同时，利用Unity3D处理在移动设备上的触控操作，实现单指旋转、双指缩放等交互操作，最后达到能够在真实场景中对数字文化内容进行智能交互的效果。

【关键词】增强现实；尺度不变特征变换；数字旅游

中图分类号： TP391.41 文献标识码： A 文章编号： 2095-2457（2018）11-0011-004

DOI：10.19694/j.cnki.issn2095-2457.2018.11.004

【Abstract】With the development of modern tourism，virtual tourism based on augmented reality has been widely applied，which has promoted the promotion and application of cultural tourism products.In view of the application of augmented reality technology in cultural tourism resources， immersive digital tourism system is based on the postcard with the characteristic of tourism，combined with augmented reality technology based on SIFT natural features，adding virtual scenes to real postcards，to achieve integration of virtual and real.At the same time，using Unity3D to handle the touch operation on the mobile device，realize the interactive operation of single finger rotation and double finger zoom， and finally achieve the effect of intelligent interaction of digital culture content in real scene.

【Key words】Augmented reality；Scale invariant feature transform （SIFT）；Digital tourism

0 引言

增強现实（Augmented Reality，简称AR）是一种基于虚拟现实发展的新技术，是透过摄影机影像的位置及角度精算并加上图像分析技术，在屏幕上把虚拟世界套在现实世界中的技术，这种虚实结合的技术可以支持对各种信息的可视化解释和表现，并能实现用户与其之间的交互。增强现实技术因为其虚拟和真实相结合的特点，具有广阔的应用前景，并在工业设计、医疗技术、军事训练等领域得到了广泛的应用[1]。

随着现代旅游业的发展，以增强现实为基础的虚拟旅游得到了广泛应用。在国内，主要有利用增强现实技术重建圆明园景观，基于增强现实技术的虚拟雕塑实景显示，非物质文化遗产内容的博物馆数字化展示等方面的应用；在国外，有德国Metaio机构开发的基于文化旅游资源的AR互动杂志，日本公司结合增强现实技术开发的旅游景点纪念读本，东京大学的“虚拟飞鸟京”等等应用[2]。旅游文化是现代旅游不可或缺的组成部分，同时也是旅游发展趋势的主导，因此基于增强现实技术的文化旅游资源开发，能够促使文化旅游产品得到推广和应用[3]，具有非常广阔的发展前景。

使用增强现实技术将虚拟场景实时叠加在相关的文化旅游商品、手工艺品和其他现实环境中是一种新的开发思路和技术应用方法。AR文化旅游商品能够将景区的特色文化以可交互模型、视频等形式传递给用户，使得用户能够直接参与互动，更直观地感受景区文化内涵。因此本文运用增强现实技术设计介绍旅游景点、历史文化的旅游特色明信片，以移动智能终端为载体，游客们通过下载APP，再通过APP扫描明信片便能在智能终端上再现旅游景点的3D模型[3]，并能在智能终端上展示其历史文化的宣传片，同时游客们也能与3D模型进行交互，达到了能够在真实场景中对数字文化内容进行智能交互的效果。

1 基于视觉跟踪的沉浸式数字旅游系统设计

系统是在明信片的基础上，以绵阳本地特色景区越王楼为例，将明信片作为目标图像，结合增强现实技术与Unity3D平台开发，将虚拟的越王楼主楼模型及宣传视频叠加到真实的明信片上，实现对现实的增强。

该系统以移动智能终端为载体，用户进入系统后，系统会自动打开摄像头，当识别到目标图像（即具越王楼特色的明信片）后，系统会在目标图像中心渲染出一个越王楼主楼的模型，同时在目标图像下方会渲染出一个播放视频的按钮，表明系统已经识别到目标图像。在交互方面，用户用手指触摸屏幕，手指向左右移动，越王楼主楼模型也会对应向左右旋转；用户用两根手指触摸屏幕，聚拢两根手指则是缩小模型，散开两根手指则是放大模型；另外，点击目标图像下方的视频播放按钮则会播放越王楼宣传视频。

该系统首先对越王楼景区进行实地考察，利用3D Studio Max建立越王楼主楼模型，然后以Unity3D作为开发平台，结合增强现实开发技术，将虚拟的越王楼模型叠加到真实的明信片上，最后利用Unity单指与双指Touch事件捕获实现与模型的交互。系统整体框架如图1。

2 增强现实技术基本架构

该数字旅游系统是基于视觉跟踪，在增强现实识别与展示方面必须保证高准确率、高效率以及高稳定性，以保证系统的可靠性。

增强现实，简单地来说，就是在真实的场景的基础上覆盖虚拟的影像。本文研究的增强现实系统是基于视觉的跟踪注册技术，通过普通的摄像头就能够实现对真实场景中关键帧的跟踪和定位[4]。系统主要通过SIFT算子进行特征提取与匹配，主要由以下环节组成[5]：（1）获得真实场景图像；（2）特征提取与描述；（3）特征匹配；（4）计算变换矩阵；（5）虚实场景融合。

系统首先对目标图像进行SIFT关键点检测，并生成特征描述向量，再通过摄像头获取真实的场景图像进行特征点提取并描述，然后和目标图像的关键特征向量进行匹配，估计目标图像和真实的场景图像之间的单应性变换[5]，计算变换矩阵，从而更新真实场景的位置和姿态估计。最后，在此基础上将虚拟场景叠加到真实场景上，实现虚实融合，达到对现实增强的效果。所以在实现增强现实的整个流程中，最关键的技术在于目标的识别与跟踪，即SIFT目标检测和跟踪算法，其实现过程可用图2表示。

SIFT（Scale-invariant feature transform）算法是由David G.Lowe提出的一种从图像中提取独特不变特征的方法[6]。该算法提取的特征对于图像尺度和旋转具有不变性，并在光照变化和三维相机视点变化的情况下具有部分的不变性。主要分为以下步骤：

2.1 特征提取

SIFT算法是通过在图像的多尺度空间查找其特征关键点，首先需要建立高斯尺度空间，由于LOG算子（Laplacian of Gaussian，高斯拉普拉斯函数）具有真正的尺度不变性，同时DOG（Difference of Gaussian，高斯差分函数）与LOG近似，所以可以利用DOG算子来构建图像的尺度空间，也能达到降低计算量的效果。尺度空间是利用尺度可变的高斯函数与输入图像卷积得到：

不同尺度空间相减即可得到DOG尺度空间，达到了降低计算量的效果。在构建DOG尺度空间之后，利用DOG尺度空间计算极值点，同时通过对DOG尺度空间函数进行曲线拟合以精确关键点的尺度和位置，进而提高匹配的稳定性。然后基于图像局部的梯度方向，分配给每个关键点位置一个或多个方向，最后就确定了每个关键点的位置、尺度和方向。后面对图像的操作会相对于关键点的位置、尺度和方向进行变换（平移、缩放和旋转），因此确定了每个关键点的位置、尺度和方向就为这些变换提供了不变性。

2.2 生成特征描述子

在通过特征提取寻找好特征关键点后，需要利用特征關键点处邻域内的像素信息来对特征关键点进行描述，即生成特征向量，以提高匹配的高效性和稳定性。首先需要确定特征点主方向，采用梯度直方图统计法对特征关键点处邻域采样，并用直方图统计邻域像素的梯度方向，由梯度直方图峰值表示的方向就是特征处邻域梯度的主方向，即特征点主方向。之后，为了确保特征向量具有旋转不变性，需要将坐标移至特征点主方向，并且计算特征点邻域内（以特征点为中心取16×16像素点的邻域作为采样窗口）各个像素点的梯度大小和方向。

完成以上步骤后，接下来就是生成特征描述子。可用图3表示生成特征描述子的过程，图左部分的中央的圆点为当前特征点位置，每个小格代表特征点处邻域内的一个像素点，箭头长度用于表示像素点梯度大小，箭头方向用于表示像素点梯度方向，再进行高斯加权。然后计算每个4×4的像素小块上8个方向的梯度方向直方图，计算每个梯度方向的值的总和，即形成一个种子点，每个种子点都有8个方向的向量，一共16个种子点，如图右部分，即特征描述子采用4×4×8=128维向量表示[7]。最后，将128维向量规范化，SIFT特征向量生成。

2.3 特征匹配

目标图像和通过摄像头获取的关键帧图像的SIFT特征向量集合生成后，则需要完成两者之间的特征匹配。此处利用特征点的特征向量的欧式距离来度量目标图像和关键帧图像中特征点的相似性。最后，利用基于特征点最近邻和次近邻距离比的BBF搜索算法搜索SIFT特征点的最近邻点[8]。

3 模型交互方案

为了使用户能够与虚拟景象进行交互，本文中利用Unity3D处理在移动设备上的触控操作。基于iOS和Android设备能够支持多点触控，在Unity3D中可以通过Input类中的touch实现与模型的交互，即通过对单指和双指touch事件的捕获来对模型做出相应的角度或者大小的调整。

移动智能设备可以追踪许多与触摸屏上的触摸有关的不同数据，包括触摸所处的阶段（例如，触摸开始、触摸中或者是触摸结束）、触摸的位置以及触摸是单点触摸或者是多点触摸。相应地，在Unity3D中，可以通过Input.touches属性集合访问在最近一帧中在屏幕上触摸的每一根手指的状态数据。表1中列出了该系统中用到的与触摸相关的API（Application Programming Interface，应用程序编程接口）。

表1 与触摸相关的API

在本文中，主要定义了两种交互操作。一种是单指滑动模型的操作，另一种是双指触控缩放模型的操作。具体逻辑如下流程图。

4 系统结果与分析

根据本文的思路，以Unity3D作为开发平台，结合增强现实开发技术，完成了基于视觉跟踪的沉浸式数字旅游系统。该系统以APP的形式搭载在智能移动设备上，如图5，将该系统搭载在手机上的运行结果。

该系统能够以增强现实技术展现较为真实的越王楼主楼，并支持触摸点击、单指旋转、双指缩放等交互。系统适用于安装有Android 4.0以上或iOS 8.0以上系统的智能移动设备，系统的识别距离、识别速度以及识别的稳定性都能够满足需求，同时也支持对目标图像的局部识别。除此之外，该系统在测试设备上的运行平均帧率大于60 FPS，满足手机应用流畅性标准。

5 结束语

针对增强现实技术在文化旅游资源方面的应用，本文以明信片为基础，结合增强现实技术与Unity3D平台构建基于视觉跟踪的沉浸式数字旅游系统，将虚拟场景叠加到真实的明信片上，将本地文化特色以数字化的形式传递给受众，实现了增强现实与文化旅游的良好结合；此外，友好的交互设计也使得用户能够参与互动，直观地感受景区文化内涵，让用户感受到一种在文化消费过程中的快乐。随着增强现实技术的加入，结合明信片，通过动画、视频等数字化的形式增加了用户的交互式体验，带给消费者崭新的视觉体验，同时也呈现出了更多的创新。

【参考文献】

[1]王涌天，郑伟，刘越，等.基于增强现实技术的圆明园现场数字重建[J].科技导报，2006，24（3）：36-40.

[2]余日季，唐存琛，胡书山.基于AR技术的文化旅游商品创新设计与开发研究[J].艺术百家，2013（4）：181-185.

[3]魏三强，王兵.AR技术在非物质文化遗产及文化旅游业中的应用[J].江汉大学學报：社会科学版，2016，44（4）：364-368.

[4]肖慧，陆奎.基于SIFT自然特征的AR系统研究和实现[J].计算机应用与软件，2014（5）：244-246.

[5]邵文坚.面向增强现实的目标检测和跟踪算法研究[D]. 西安电子科技大学，2014.

[6]Lowe D G.Distinctive Image Features from Scale-Invariant Keypoints[J].International Journal of Computer Vision，2004，60（2）：91-110.

[7]松子茶.尺度不变特征变换（SIFT）特征提取分析[EB/OL].https：//blog.csdn.net/songzitea/article/details/13627823， 2013-11-25.

[8]Friedman J H，Bentley J L，Finkel R A.An Algorithm for Finding Best Matches in Logarithmic Time[J].Acm Transactions on Mathematical Software，1977，3（3）：209-226.