基于移动增强现实的产品互动展示系统设计

宋燕燕秦军

（中国传媒大学南广学院南京211172）

基于移动增强现实的产品互动展示系统设计

宋燕燕秦军

（中国传媒大学南广学院南京211172）

通过对实时跟踪定位、图形注册、显示等关键技术的研究，提出一种基于移动增强现实的产品互动展示方法并进行设计。阐述了系统工作流程设计和功能设计，对基于设计的技术方案进行实例研究，实现跟踪定位、交互展示等功能。选择Android平台移动终端进行发布，增强现实系统程序最终以互动3D展示的形式呈现。利用移动平台构建了能实时采集现场真实信息并与虚拟图像进行融合的完整体系。增强现实技术以各种形式应用于互动展示中，降低了展示成本，增加了展示的趣味性。

增强现实；互动展示；移动平台；跟踪定位；图形注册

Class NumberTP391

1 概述

增强现实（Augmented Reality，AR）也称为混合现实，是指利用计算机技术，将虚拟的物体实时地叠加到一个真实画面或空间，形成具有实时交互的三维图像画面，给用户带来更真实的体验与感受［1～2］。增强现实由于其在真实环境和虚拟环境中起到了一个连续体的作用，其相关的应用提供了一个新的人机交互方式。在世界范围内，增强现实技术正在受到越来越多研究者的关注，国内越来越多的开发者利用增强现实技术制作出了能够改变人们生活的设备以及应用程序［3～4］。增强现实技术在日常生活的应用场景中存在着巨大的潜力，将来会有更多的利用增强现实技术的产品出现在我们的生活中。增强现实技术扩展了产品展示方法，通过计算机立体化、生动化、全方位地呈现，从而营造更具真实感的交互情境，构建更有效的展示环境，同时可以降低产品展示成本，增强产品展示的效果。

随着计算机软硬件技术的迅猛发展，移动终端设备功能的集成化为开发移动增强现实系统奠定了基础，利用移动平台实时采集现场图像并与虚拟对象进行融合，使得产品三维动态展示更加友好和智能。本设计利用增强现实技术解决产品互动展示领域的相关技术问题，拓展了产品展示的新思路，通过虚拟图形渲染、实景采集跟踪定位、图形注册、显示等技术实现产品的实时三维虚拟展示。该研究对于增强现实技术在产品展示领域中的应用提供了实际参考价值。

2 增强现实关键技术

增强现实技术以虚拟现实技术为基础，但两者有所区别。虚拟现实是指完全由计算机对现实世界进行模拟，形成虚拟空间，用户通过自然交互设备获得具沉浸感的体验；而增强现实则是强调计算机生成的信息与实景相融合，计算机生成的信息可以极大程度上扩充真实场景的信息量，从而为人们的生产生活带来便利［5］。

增强现实功能的实现，完整框架一般有四个部分，分别是：虚拟图形渲染模块，实景采集跟踪模块，计算机图形注册模块和显示模块。如图1所示。

图1 增强现实功能框架

产品互动展示涉及的关键技术有：实时跟踪定位、图形注册、显示等。

2.1 实时跟踪

增强现实技术应用于产品展示的技术优势之一在于实时交互性。为了实现良好的交互，系统需要进行定位，以确定使用者的观察点和计算机生成的虚拟对象在三维空间中的准确位置［6］。跟踪技术是决定增强现实系统整体性能的关键点，进行实时跟踪采集真实场景图像中虚拟物体的目标位置或区域是第一任务，由此可以定位摄像机相对于真实场景的位置，所以说跟踪性能的好坏对于整个增强现实系统是非常重要的。跟踪传感器技术主要包括磁场跟踪、声学跟踪、光学跟踪以及惯性跟踪。本文利用特征点检测的方法和实现原理，把摄像头采集到的图像，使用FAST算法计算出其有可能的特征角点，再通过检测子特征的快速提取，得到特征点，建立一种相机坐标系和世界坐标系之间的转换关系，最后将3D虚拟物体与现实世界的图像进行叠加合成显示。

2.2 图形注册

开发者需要借助增强现实的跟踪作用，实时检测观察者的位置、视角，从而重建坐标系。目前主流的基于计算机视觉的图形注册方法主要有两种：一是基于平面标识的，二是基于立体标识［7～8］。其中，基于平面标识物的注册系统，是将特殊标识添加到背景环境中，利用计算机视觉技术进行识别，并找到标识与摄像机、屏幕的位置关系，从而准确地进行三维定位。该方法虽然算法简单、计算速度快，但存在识别死角。本次开发采用基于立体标识的方法，其中涉及到摄像机坐标系、标识物坐标系、屏幕坐标系的空间转换等。

2.3 显示

互动展示系统的开发需针对人类视觉进行设计，以图形图像作为主要输出媒介。增强现实系统所采用的显示技术主要可以通过透视式头盔显示器、手持式显示器、普通显示器等来实现［9］。本次开发将通过移动终端摄像头摄得的真实环境影像与计算机生成的虚拟场景影像进行合成，然后在移动终端显示器上进行输出，并产生实时交互。

3 系统总体设计

本项目开发基于Windows平台，主要是考虑到目前Windows系统的普及性，并能够为学习者提供友好的、更具趣味性的程序享受。选择Android平台移动终端进行系统发布平台，增强现实系统程序最终以互动3D展示的形式呈现。通过增强现实的图像识别技术在移动终端同时显示摄像头拍摄的真实影像和通过计算机生产的虚拟三维影像，并提供实时交互，使欣赏者从被动接收信息变成主动获取信息［10～11］。

3.1 流程设计

系统总体设计遵循科学研究的一般步骤，在需求分析阶段进行系统的功能需求分析和可行性分析，在概要设计阶段明确系统的总体目标，系统的体系结构，功能模块的设计以及界面的概要设计。详细设计阶段进行系统的实现，完成程序的主体，包括环境配置、数据准备、界面实现和功能实现等，并通过验证与测试来完善系统。设计流程图如图2所示。

3.2 功能设计

该系统针对全球著名玩具厂商乐高（Lego）公司产品实现了“Lego AR”的产品互动展示系统，突破传统的购物方法，通过使用智能手机扫扫描产品外包装就可以在显示屏上实时的看到该产品的3D展示以及产品介绍、产品图片和视频等信息，从而使消费者更全面直观的购买到自己心仪的产品。功能模块设计图如图3所示。

图2 设计流程图

图3 功能模块图

3.3 界面设计

该系统可以实现界面上的跳转，打开应用后会进入载入界面，提示有关应用使用信息，并等待场景选择界面的加载。采用蓝色扁平化的极简风格设计，主菜单栏包括产品简介、包装信息、视频播放、精彩照片和返回主页等功能。界面右上方的功能按键分别是屏幕截图、音乐开关和退出程序。界面左上方能看到LOGO，中间区域则是手机摄像头所拍摄到的实景画面，当摄像头拍摄到产品包装盒上的画面时将会进行实时跟踪识别。产品的3D增强现实识别界面和其他界面有相应的返回功能。

4 系统开发实践

基于增强现实技术的产品互动展示系统的开发过程包括：首先进行跟踪定位，制作立体图形，识别图形，将图形注册为标识等；其次进行视音频资源开发整合，包括建立三维模型，绑定识别物与模型，制作GUI界面等；最后，利用Unity3D引擎设置交互，实现虚拟信息与真实景象的匹配与结合，并在Android移动平台上完成发布［12～13］。

4.1 跟踪定位

本实例选取的Vuforia开发包能使用计算机图像技术计算摄像机和标识之间的相对位置，从而实现将3D虚拟对象叠加到识别物上。一共提供四种识别物类型供选择，包括Single image，Cuboid，Cylinder，3D Object，本系统中采用Single image作为识别物，如图4所示。

图4 识别物类型

4.2 资源整合

在三维建模工具中建立需要用到的模型，由于移动终端处理大型程序能力的限制，注意要对模型进行优化，比如减少模型面数和贴图文件大小，从而减少模型文件大小［14］。模型导出为FBX格式的文件，将模型放入场景中，调整位置使其放在ImageTarget预制物的上面，要保证模型大小比Image-Target小，由于需要放多个识别的预制物，所以每一个预制物体的名字需要区分。

所有音频和视频素材在其他编辑软件中进行剪辑，如在Premiere中完成视频素材的剪辑，在Audition中完成音频素材的剪辑，并完成相应格式的转换。

本系统中的GUI界面包括载入页面、场景跳转页面和识别页面等。主要通过OnGUI函数来实现界面的布局，设置图像材质，绘制按钮等。

4.3 设置交互

在增强现实编辑环境中导入标识、导入模型、设置触发动作，主要使用C#语言和UGUI插件进行程序设计，包括场景的加载切换，摄像头的实时跟踪对焦，模型的触控旋转和放大缩小，音乐的播放，画面截屏以及UI界面设计等功能。

如通过手指的滑动在屏幕上实现3D模型的放大缩小以及旋转的效果。其主要逻辑思想为：首先定义缩放和滑动系数值，然后判断若检测到1个手指的滑动触摸，则对模型进行x轴上的旋转；若检测到大于1个手指的滑动触摸，则对模型进行大小的缩放功能。部分代码如下：

if（Input.touchCount>1）//触摸数量为多点触摸

if（Input.GetTouch（0）.phase==TouchPhase.Moved||Input.GetTouch（1）.phase==TouchPhase.Moved）//前两只手指为触摸类型

Vector2 tempPosition1=Input.GetTouch（0）.position；

Vector2 tempPosition2=Input.GetTouch（1）.position；

if（isEnlage（oldPosition1，oldPosition2，tempPosition1，tempPosition2））//计算出当前两点的位置

if（distance>3）

distance-=0.5f；//放大系数限制

else

if（distance<23）

distance+=0.5f；//缩小系数限制

如通过调用系统的

Application.CaptureScreenshot（）函数实现截图功能。

4.4 运行结果

本应用程序是发布于Android平台，由于三维的计算需要较高配置的手机。首先粗略的试验识别，可以看出系统实现了预定功能，能够进行场景的跳转，模型的识别跟踪，放大缩小旋转和截图功能。

对结果影响最大的是照明程度和识别距离，分别对多组识别图在两组光照和两组距离下进行比较试验。结果表明光照良好的情况下，远距离和近距离都能得到较好的识别效果。

图5 运行测试结果

5 结语

本文从产品展示的角度讨论了增强现实关键技术及其在产品互动展示中的应用，重点对实时跟踪定位技术进行了原理分析，并选择玩具这一类型实现了产品互动展示系统，给用户带来身临其境的沉浸式体验，使产品展示更加生动化，更具趣味性。将增强现实技术与实际相结合制作出触手可及的应用，这有利于增强现实技术的普及，也有利于这一技术今后的发展，具有一定的现实意义。增强现实技术正在改变着人类传统的生活方式，结合增强现实场景、三维数据与现实世界创建的增强现实应用带来前所未有的体验。

基于增强现实技术的应用也存在瓶颈，比如实景融合方面的瑕疵，虽然是实时渲染，但是在灯光的渲染上需要消耗过多机器性能；还有识别上的不够精确；在云识别方面，由于网络速度限制，会对识别造成影响等。但是相信随着科技的发展，这些问题最终会得到完美的解决。

［1］倪晓赞，郑建荣，周炜.增强现实系统软件平台的设计与实现［J］.计算机工程与设计，2009，30（9）：2297-2300.

NI Xiaoyun，ZHENG Jianrong，ZHOU Wei.Design and Implementation of Augmented Reality Software System［J］. ComputerEngineeringandDesign，2009，30（9）：2297-2300.

［2］周见光，石刚，马小虎.增强现实系统中的虚拟交互方法［J］.计算机工程，2012（1）：251-252，255.

ZHOU Jianguang，SHI Gang，MA Xiaohu.Virtual Interactive Method in Augmented Reality System［J］.Computer Engineering，2012（1）：251-252，255.

［3］郭昌达.增强现实三维配准技术方法研究［D］.郑州：解放军信息工程大学，2013.

GUO Changda.Research on the Method of Augmented Reality 3D Registration［D］.Zhengzhou：The PLA Information Engineering University，2013.

［4］程志，金义富.基于手机的增强现实及其移动学习应用［J］.电化教育研究，2013（2）：66-70.

CHENG Zhi，JIN Yifu.Augmented Reality and Mobile Learning Application Based on Mobile Phone［J］.E-Education Research，2013（2）：66-70.

［5］司占军，李文霞，顾翀.增强现实在印刷品中的应用研究［J］.包装工程，2014（9）：133-137.

SI Zhanjun，LI Wenxia，GU Chong.The Application of Augmented Reality in Printed Matter［J］.Package Engineering，2014（9）：133-137.

［6］P Ceravolo，M Anisetti，E Damiani.Augmented Reality Technologies Systems and Applications［J］.Multimedia tools and applications，2011，51：341-370.

［7］冉洋，朱飞，陈康.虚拟现实及增强现实技术在工业设计中的应用［J］.激光杂志，2010，31（1）：4-6.

RAN Yang，ZHU Fei，CHEN Kang.Virtual and Augmented Reality Applications in Industrial Design［J］.Laser Journal，2010，31（1）：4-6.

［8］常勇，薛立明，姜淑芳.智能手机增强现实关键技术研究［J］.计算机工程与应用，2011，47（15）：69-71.

CHANG Yong，XUE Liming，JIANG Shufang.Research on Key Technology of Smart Phone Augmented Reality system［J］.Computer Engineering and Application，2011，47（15）：69-71.

［9］Wikipedia.Augmented reality［OL］.http：//en.wikipedia. org/wiki/Augmented_reality，2012.

［10］罗永东，张淑军.一种基于Unity3D的移动增强现实自动导览方法［J］.计算机与数字工程，2015（11）：2024-2028.

LUO Yongdong，ZHANG Shujun.An Automatic Navigation Method of Mobile Augmented Reality Based on Unity3D［J］.Computer&Digital Engineering，2015（11）：2024-2028.

［11］李然，隋毅，孙仁诚.手持设备增强现实开发平台研究及应用［J］.计算机仿真，2010（1）：253-256，300.

LI Ran，SUI Yi，SUN Rencheng.Research and Application of an Augmented Reality Development Platform on Hand Device［J］.Computer Simulation，2010（1）：253-256，300.

［12］Billinghurst M，Hakkarainen M，Woodward C.Augmented assembly using a mobile phone［C］//IEEE International Symposium on Mixed and Augmented Reality（ISMAR 2008）.Cambridge，UK，Sep 2008：167-168.

［13］Chen W C，Xiong Y G，Gao J，et al.Efficient Extraction of Robust Image Features on Mobile Devices［C］//IEEE/ ACM International Symposium on Mixed and Augmented Reality，2007.

［14］李东旭，江澄，刘海峰.体感技术驱动下的图书馆应用平台架构创新与体验革命［J］.大学图书馆学报，2012，30（5）：14-19.

LI Dongxu，JIANG Cheng，LIU Haifeng.The Somatosensory Technology-Driven Library Application Platform：Infrastructure Innovation and Experience Revolution［J］. Journal of Academic Libraries，2012，30（5）：14-19.

Product Interactive Exhibition System Design Based on Mobile AR

SONG YanyanQIN Jun
（Nanguang College，Communication University of China，Nanjing211172）

A product interactive display method based on mobile augmented reality was proposed.The key technologies such as real-time tracking，graphical registration and display were researched.The design of the system work flow and function was described，and the design of the technical scheme was studied，and the function of tracking and interactive display was realized.Select the Android platform mobile terminals，Augmented reality system program eventually was displayed in the form of interactive 3D display.The system used mobile platform to complete real-time collection of real information in disaster areas and fuses real and virtual images.AR technology could be applied in product exhibition in various forms.It did reduce the cost of product exhibition，and increase the exhibition of interest.

AR，interactive exhibition，mobile platform，tracking，graphical registration

TP391

10.3969/j.issn.1672-9722.2017.06.042

2016年12月8日，

2017年1月29日

江苏省高校自然科学研究面上项目（编号：15KJD520007，14KJD520011）；江苏省高校哲学社会科学研究项目（编号：2015SJD324）资助。

宋燕燕，女，硕士，讲师，研究方向：多媒体技术，虚拟现实技术。秦军，女，教授，研究方向：多媒体技术。