移动端AR多媒体作品的交互设计语汇研究

张雯 付琳 周睿

关键词：增强现实技术 交互设计 移动端AR多媒体作品 用户体验 虚拟影像

引言

从多媒体艺术设计这一行业诞生至今的40年里，多媒体艺术设计随着媒体时代的发展经历了四次的革新浪潮，从最早的线下以光盘为载体的时代，到第一次互联网风暴，多媒体艺术与网络结合的线上表现形式，再到移动互联网时代的到来，多媒体艺术与移动媒介的结合，到如今人工智能时代的到来，多媒体艺术与各类终端、传感器、交互技术的结合。但无论多媒体作品的承载终端如何变化，发布形式是什么，表现方法是什么，多媒体艺术设计的核心始终是交互设计，即为了传递信息创建和表达的交互式应用体系。当前AR技术的广泛商业应用，促使多媒体交互设计语汇发展改变，呈现了更真实的交互表现。尤其是与移动端结合，物理世界与信息世界联系得更加紧密，这将是下一代智能交互与显示平台的主流方式。

一、从技术驱动的媒介交互体验嬗变

用户通过与多媒体交互系统之间的互动引发作品发生变化，从而感受变化带来的体验。用户与作品之间的关键或根本都是交互行为的设计，即用户使用什么样的动作触发热区产生变化，而行为带来的体验是能引起使用者愉悦和满意的。这个过程可以分解为使用者发生行为，行为之后触发变化，变化之后产生的心理感受，这三部分是多媒体交互设计的全过程。随着人工智能技术的发展，各种交互技术如虚拟现实技术、增强现实技术、体感捕捉技术、语音识别技术、图像识别技术等融入，使多媒体交互行为回归本真，交互方式趋于空间化，交互体验更加真实、新奇和丰富，实现了综合感官的体验感受。

增强现实技术在移动端设备上的应用就叫移动增强现实技术。随着移动设备的计算处理能力、高性能摄像头、GPS、网络通信、陀螺仪、传感器等技术的提升，很好地实现了移动端虚拟影像呈现、实时定位、即时交互、信息传输等功能，为增强现实在移动端的应用提供了技术支持。当前增强现实应用主要是视觉增强现实，核心在于虚拟信息和真实世界在物理空间中的匹配以及可视化。以智能手机为代表的移动端设备，是视觉增强现实技术天然的开发载体，这是移动端得天独厚的硬件优势。移动端AR多媒体作品，将数字端的虚拟的景象与真实的环境进行叠加，增强用户与数字虚拟对象的真实交互感受，极大丰富了多媒体作品的交互表现，提升作品的交互体验感，是目前多媒体交互设计的重要技术应用。

二、移动端AR多媒体作品的交互特点

（一）以内容为先，交互表现要适合作品内容

上个世纪90年代比尔盖茨提出“内容为王”，优质的内容是吸引用户最本质的要素。一部优秀的多媒体作品首先要有完整的内容，内容是文化，是灵感的来源，“形式追随内容”。交互设计是多媒体艺术的核心特点，但交互表现不能脱离作品内容，一定是从作品内容出发，设计适合内容的交互形式，这样才能更好地传递作品信息。例如移动端交互游戏最常用形式是“找不同”“拼图”“比大小”“接东西”等，一部介绍动植物的面向儿童的科普类多媒体作品，应用“拼图”游戏来熟悉和体验作品内容是较为合适的。但不是任何主题、不同受众人群都适合这样的交互形式，如若是一部面向书画爱好者的介绍中国画艺术的多媒体作品，以上的交互形式就不适合了。

增强现实技术也是一样，要以更有效地传递信息，提升交互效果为目的，而不是为了应用而应用。增强现实技术是将虚拟景象与真实场景叠加融合而增强交互体验的真实感，其过程充满了自然的肢体交互行为、即时性的交互过程和沉浸式的体验感，因此增强现实技术适合空间体验感强、行为交互多和感官体验强烈的作品。例如我院多媒体艺术设计专业师生自主研发的移动端交互作品《怪哉》，这是一部介绍中国志怪文化的作品，以唐代志怪小说《酉阳杂俎》为内容依托，以解密式游戏推动故事情节的展开。作品在实体空间设置道具，通过增强现实交互方式解密每一个环节，使情节和交互方式完美结合，让用户沉浸在志怪文化的氛围中，体验了光怪陆离的鬼怪世界（如图1）。

（二）增强现实技術提升多媒体作品的交互体验

增强现实技术给用户带来了打破时间、空间的限制，创建了虚拟与真实结合的立体空间，增强了虚拟对象的真实性，让用户在这个空间中随时随地的与虚拟对象进行即时互动，以最自然的交互方式与之互动，以最便捷的方式获取信息的设计体验。

1. 打破界屏幕的显示方式

增强现实技术利用摄像头、传感器、实时计算和匹配技术，将虚拟的景象出现在一个真实的环境中，使用户在物理世界里与虚拟对象进行互动，打破了数字信息在屏幕内的显示方式，打破了时间、空间的限制。虽然这个“立体空间”不是完全真实的物理空间，是透过数字端显示屏幕看到的真实空间，增强现实技术是将虚拟对象与数字端设备开启的摄像头所显示的物理空间进行位置匹配，但就是因为这个实时显示的“真实空间”，增强了虚拟对象在真实空间的感觉，使观者产生感觉联想，在心理上产生如同真实空间的交互体验感。这是视觉增强现实类产品最基本和突出的特点，如图2所示，用户通过IKEA Now App选择一款家具，打开手机摄像头取景家庭环境的某个区域，被选好的家具就会放置在家里的真实环境中。

2. 回归自然的交互行为

人工智能时代的交互特点是回归本真、自然的交互方式，肢体的、语音的、视觉的甚至嗅觉的。增强现实技术打破屏幕的显示状态，已经将交互行为引向了空间，肢体行为是其主要的交互方式。用户以肢体方式与虚拟对象在“立体空间”进行即时互动，增强了身临其境的交互体验感。例如目前已经很成熟的AR绘本、AR卡片、AR玩具、博物馆AR展品、AR拍照等，产品形式是通过图像识别将虚拟对象在立体空间显示，用户在三维空间中与之进行肢体交互（如图3）。

3. 沉浸心流的交互感受

增强现实技术是一种全新的人机交互技术，其增强现实的交互体验感是其立命之本，虚拟影像与真实空间的结合都是为了给用户带来更加真实的交互体验感。增强现实空间中的交互方式和交互反馈的自然化表现，使用户高沉浸性的感受其中，多种感官感知功能被综合调动，实现了用户交互意图与多通道感官体验的结合。例如作品《怪哉》中，AR在真实空间中将触发后的反馈与环境、音效结合起来，使用户沉浸在虚拟与真实带来的紧张和刺激中（如图4）。5C8F148E-E448-4D93-B607-8796433F5E33

4. 实体端与软端的融合

从技术上来说基于识别技术的增强现实，识别虚拟影像第一步要有能触发增强现实影像显示的机制即图形识别，通过扫描图案、二维码等来调出虚拟影像。这个触发为设计增添了一个实体端设计，一般作者会根据作品主题，设计图像信息或者三维实物。而实体端设计不仅成为了软端的触发点，反过来又为作品增加了实体交互过程或者新的交互环节。作品《怪哉》中将真实道具作为软端增强现实的识别端，而这些真实道具，使作品具有实物交互过程，通过钥匙打开宝盒，找到三枚钱币等这样的过程，增加了作品的沉浸体验感，使用户在志怪文化的氛围中不断饶有兴趣的寻找答案（如图5）。

三、多媒体AR交互语汇重构

AR技术的三大特点是三维注册（跟踪注册技术）、虚拟现实融合显示、人机交互。其工作原理概括来说就是通过摄像头和传感器采集数据，将虚拟景象与真实场景中的相对位置进行匹配，用户再通过AR设备进行人机交互，实现增强现实的交互操作。其中AR技术的核心是三维注册，要实现虚拟信息和真实场景的无缝叠加，就要将虚拟信息与真实环境在三维空间位置进行匹配，这包括虚拟对象在真实空间的位置定位和使用者在物理空间中的位置跟踪。跟踪注册技术首先通过检测需要“增强”对象的轮廓和物体特征点，自动生成二维或三维坐标信息，同时通过图像采集模块采集真实环境的数据，将虚拟对象坐标系与真实场景数据进行坐标系对齐，并进行虚拟场景与现实场景的融合计算。

由于以上技术特点，增强现实技术最大的交互表现就是虚拟现实融合显示特点，而空间化的显示状态也使交互行为趋于自然，信息显示的立体可视化。当前视觉增强现实技术已经很成熟，而随着各种传感器和交互技术的发展，增強现实技术在视觉显示上会追求更高的准确性和自然化，并且语音、肢体、眼动甚至脑动等交互行为也会加入其中，交互反馈和信息呈现将更加自然、真实和即时，增强现实技术将全方位调动用户感官、多通道融合性的体验和感受AR交互。

四、以AR交互语汇为核心的移动端多媒体设计实践

（一）作品选题介绍

《小小折纸家》是我院师生自主开发的一部面向儿童的，介绍折纸艺术的移动端AR作品。折纸是一项传承已久的民间艺术，也是一款适合儿童动手的手工游戏。伟大的教育家苏霍姆林斯基说“儿童的智慧在手上”，折纸正式通过手的动作来开发孩子的智力。这个过程不光锻炼了动手能力，还发挥了孩子丰富的想象力，是一项很好的锻炼和开发儿童大脑的寓教于乐的手工技艺。

《小小折纸家》作品界面以Low Poly的复古未来派风格设计，交互设计上的最大特点是增强现实技术的应用。折纸艺术实操性极高，尤其一些造型复杂的折纸，传统的图文介绍方式要想将这个过程展示清楚是比较困难的，因此作品首先借助数字媒体的图、文、声、像的多媒体方式，动态的展示方式能比较清楚的展现折纸的过程。在此基础上借助增强现实技术，“增强”数字端折纸影像显示的真实性，在真实空间中立体的显示折纸视频和三维造型的动物，让用户更加清晰、直观、身临其境地观看到折纸的每一个步奏，如同在眼前发生的一样。同时还将移动端应用和实体端绘本结合，实体端绘本是软端增强现实的识别端，也是一本相册，还能将实物折纸通过摄像头抓取识别于软端“回忆录”中保存，完美地将虚拟数字端与实体绘本结合。

（二）作品受众介绍

作品以6-9岁儿童为受众对象。通过问卷调查法和访谈法定量和定性的分析儿童的心理特点和对增强现实产品的期望。本课题共发放30份问卷和访谈了15名儿童，得出以下结论。

（1）这个年龄的儿童处于语言表达、行为能力的黄金发展期，在心理上开始具有极强的自我意识，期望能独立完成和自己做主，甚至是非常期望能不受家长的制约，去独自面对世界，这也是他们好奇心和探索心理的表现。

（2）这个年龄的儿童已经具有一定的阅读能力和表达意识，希望自我探索和自主参与，他们可以理解和操作作品内容，并且一定的难度设置对他们来说更具吸引力，新技术的交互体验也会让孩子们更兴奋。

（3）儿童期望数字技术可以带来神秘而新奇的交互体验，增强现实的虚拟形象的“真实化”显示是儿童期望的方式。

（4）对于数字化虚拟的形象，儿童期望能与之进行互动，这会让儿童更加惊奇和喜爱。

（三）作品软端交互流程

创作数字端应用系统的第一步是规划信息构架，信息框架是对作品内容的顺理和归纳，是作品交互流程的依据。作品选择动物为折纸对象，分为“动物园”“我的动物园”和“回忆录”三部分。“动物园”板块里又分为7个动物场馆，按类型将动物分布在各类场馆内，点击动物即可跳出两个选项，一为基本的图文展示其折纸过程，二是每个动物对应的增强现实折纸视频教程。孩子跟随教学完成折纸之后，方可解锁下一个折纸内容。而折好的折纸可以进行拍照拾取保存到“回忆录”板块中，同时也会出现在“我的动物园”中，如图6。

（四）作品软端界面设计

作品界面是Low Poly的复古未来派风格，这种风格很适合表达折纸艺术，色彩鲜亮，符合儿童审美心理。作品设计了场景式界面，虚拟了一个动物园场景，将动物按类型分布在园区中（如图7-8）。园区场景和每个动物都以三维软件创建（如图9），立体的Low Poly形象给人以唯美、逼真的效果。三维动物可以在这个虚拟立体空间中漫游，这种动态变化的视觉效果很容易吸引儿童的注意力，并且三维模型的创建是增强现实交互设计实现的基础。

（五）AR交互的实体端设计

实体端绘本的设计不仅是AR交互的触发端，也很好地发挥了实体端本身的作用提升作品的交互体验感。首先以实体端绘本书作为移动端增强现实的识别端，通过扫描实体端绘本中的动物形象，触发动物的增强现实显示;第二，实体端绘本的真实互动感是数字端不可比拟的优势，儿童亲手翻阅书本的过程是最自然的阅读状态，儿童折好折纸之后，把这些动物折纸保存在这本绘本中，如同相册一样是一种永久的真实的记忆;最后还能将折纸通过摄像头抓取识别于软端“回忆录”中保存，很好地将虚拟数字端与实体绘本结合，取长补短，良好的交互体验性也增强了作品趣味性（如图10）。5C8F148E-E448-4D93-B607-8796433F5E33

（六）作品增强现实交互效果设计

进入作品二级界面动物园区中，点击动物形象，跳出选择“视频教学”按钮，此时会出现一个扫描界面，儿童在绘本上找到相应的动物，镜头对准其扫描会自动识别出相应的动物模型，在真实空间中可以看到一个增强现实的三维动物模型，随着手指点击方向左右行走，两指扩展即随之放大缩小（如图11）。再点击此动物即可进入增强现实折纸视频（如图12），儿童可以看到折纸的每一个步骤，向左滑动查看下一步，向右滑动是向前翻看一步。

增强现实技术的应用是本作品最大的交互特点，它充分抓住了儿童注意力，吸引儿童好奇心和探索心理，使作品具有极强的视觉直观性和交互体验感。

（七）作品增强现实交互技术实现

作品中增强现实技术的应用有三个层次，第一，三维动物形象在真实空间中的立体呈现。第二，折纸视频过程在真实空间中的立体呈现。第三，儿童跟随视频完成的折纸作品，通过软端识别又可保存于软端系统中。

从技术上來说，识别虚拟影像第一步要有能触发增强现实影像显示的机制即图形识别。作品借用了实体端绘本中的动物形象，以这些图像作为识别通道，扫描图形而触发虚拟影像，通过屏幕可以看到在真实空间出现的虚拟三维动物。并可以与这些虚拟形象进行放大、缩小以及转变行走方向的交互变化。折纸视频的触发是通过点击设置好的“视频教学”按钮，将折纸过程按照步骤录制成一段段有透明通道的视频，实现增强现实视频显示，再通过点击下一步来观看完整视频。最后软端的反拾取就是打开摄像头进行图像拍摄，再合成到数字端场景中。

落实到软件上来说，作品中场景和动物造型的三维模型是通过三维软件C4D创建，增强现实技术是通过软件Unity实现。三维模型在导入Unity软件时通常会出现“穿层”问题，这需要在三维建模软件中设定模型层级，并且修改其轴心问题，导成FBX格式再导入Unity中。而制作会走动的动物的时，为了减少“穿层”问题，我们更多会应用3D MAX软件来制作，应用骨骼插件“CAT”，这个插件里有很多现有的动物骨骼预设，将动作与动物模型进行绑定，通过调整盘骨将动物模型与骨骼对齐。折纸步骤视频是通过视频拍摄和视频剪辑软件进行编辑。当增强现实的模型和步骤视频制作完成，接下来就要实现增强现实交互设计了。在制作之前需要在Unity里下载一个插件“Vuforia”，这个插件是专门制作增强现实交互设计的。首先需要一个被识别物和一个识别出来的内容，这次的识别物是绘本上的动物图片，所识别出来的内容是动物模型和折纸视频。在Vuforia中创建AR Camera，在素材里面添加Vuforia Image，将识别的内容文件导入工程里面，再创建Emptp将动物模型文件和视频文件拖入到Emptp的属性里，即可完成增强现实制作。

（八）作品总结

作品《小小折纸家》是一部面对6-9岁儿童的移动端应用和实体端绘本相结合的AR交互作品。作品最大的设计特点是增强现实交互设计，通过“增强”的虚拟影像来提升作品的交互体验感，并与实体端绘本完美结合，为受众提供了极好的参与感和交互体验。是一部内容完整，界面视觉良好，交互表现有深度的优秀的数字媒体作品。

结语

增强现实技术使真实环境和虚拟对象实时的叠加到同一个画面或空间存在，两种信息相互补充、叠加，打破空间、时间的限制，让用户随时随地获取和查看信息，体验虚拟与真实的融合。移动增强现实是增强现实技术热门的应用方向，随着智能手机用户群的不断扩大，移动增强现实产品市场也会越来越大。毫无疑问，增强现实技术将会是实现未来人工智能时代的重要技术基础，而移动互联网和增强现实技术的结合将为人类迎来一个线上线下无缝衔接的全新体验。5C8F148E-E448-4D93-B607-8796433F5E33