虚拟现实动画中的交互设计与多感官体验的研究

胡军强

（福建江夏学院设计与创意学院，福建 福州 350108）

1 引言

近年来，对虚拟现实动画的研究和设计迅速吸引着越来越多的研究者和开发团队，随着虚拟眼镜、虚拟手套、虚拟外衣等各种虚拟交互设备的普及，基于肢体感触等自然交互系统已经超越了键盘、鼠标等指令类的交互形式。虽然虚拟交互设备在虚拟现实动画中已经广泛应用，但是自然交互方式和多感官体验在虚拟现实动画中仍然缺乏成熟的实践应用和理论研究。

在国外，基于虚拟现实技术和交互设备的虚拟现实动画（以下简称“VR动画”）作品不断涌现，比如知名度较高的《Henry》《Pearl》等短片既有完整的故事情节，也有深入的交互设计与感官体验设计。在VR动画的感官体验设计中，大多创作者从视觉、听觉、触觉角度去设计感官体验，却很少从嗅觉、味觉角度设计，融合各种感官的综合体验设计就更少。多感官交互的兴起给VR动画创作带来新的表达形式，它会给观众带来综合性的感官体验，也是一个VR动画创作手段的挑战。

2 VR动画中的“交互-感知”模式

在动画艺术发展过程中，新技术的应用都能为动画创作带来前所未有的改变。从摄影摄像技术、分层绘制技术、无纸二维数字技术、三维数字动画技术，直到最近几年逐渐兴起的虚拟现实技术，每一种新技术的出现，都在一定程度上改变了动画艺术的呈现形式[1]。随着虚拟现实技术和虚拟终端设备的逐渐完善，动画创作跨越了从简单数字化绘制到交互与感官体验设计的多维度。这类动画（即VR动画）可以让观众沉浸在逼真的虚拟环境中，通过虚拟终端设备本能地感知到动画中的交互，体验动画中视、听、触、嗅、味等多种感官反馈。在借鉴和参考以前学者的成果上[2]，将VR动画中的“交互-感知”模式绘制如图1所示。

图1 VR动画的“交互-感知”模式

VR动画中的交互重点研究符合观众习惯的交互方式，以提高观众对动画作品的欣赏与体验层次。传统人机交互主要通过鼠标、键盘及操纵杆等设备实现控制动画的播放进程和简单交互。而基于虚拟现实技术和设备的VR动画交互方式是以真实世界中的观众为中心，通过VR交互设备与虚拟世界进行自然交互，以视听影像、体感、味道、气味等多通道呈现交互信息，使观众得到融合多种感官（视觉、听觉、触觉、味觉、嗅觉）的体验。

3 VR动画中的自然交互形式

“自然交互”是指将个人在平时生活中常用到的交流方式与技能应用到虚拟环境交互中，与虚拟世界中的对象进行交流[3]。早期观众在欣赏动画时，可以通过鼠标、键盘或手柄去控制动画播放，甚至是深入交互改变剧情。这个时期的观众需要学习并理解点击鼠标、敲键盘输入信息、手柄摇动等抽象的交互方式，哪种行为代表哪种类型的交互等等，这个必定让观众无法全身心地去体验动画，影响观影体验效果。而自然式交互是在根据个人的生活习性，个人大脑能够判断在执行某些特定动作后一定会收到的某些固定反馈的交互。这类凭日常习惯与经验便可以进行的交互动作，减少了大脑思考和下指令的时间，而更像是个人本能的条件反射，使观众体验效果更佳，沉浸感更强。

目前经常应用的自然交互手段主要有第六感设备、追影技术、多点触控、语音识别、眼球追踪、增强现实、人脸识别、体感操作等。在真实世界中，与界面触摸是很自然的交互方式，运用触摸技术会让观众觉得与屏幕的交互更加直接，操控感更好，因此很多VR动画通过触摸屏进行人机交互。另外，体感交互是利用深度相机等捕获用户的表情与语音信息、肢体的运动轨迹，通过“获取-识别-处理-表达”等一系列操作完成自然的人机交互，目前已经在各种VR动画创作中得到了一定程度的应用。

4 VR动画的交互策略

VR动画中使用哪种交互手段、在哪个故事节点使用交互、如何用好交互是所有VR动画创作者必须面临的交互策略问题。这里“交互”不一定得具体的某项触发情节变化的节点，它从广义上指的是能够促使动画故事、场景与观众间产生的互动与联系的某些设置，在交互形式上包括眼神交互、肢体移动、剧情分支等，观众能够和电影产生紧密的联系，甚至能够决定剧情的发展和结局。近两年出现了大量优秀的VR动画作品，其中的交互设计策略亟需进行理论梳理，从而发现新的规律。因此，根据VR动画的交互策略和效果，大致分为轻交互和重交互两大类。

4.1 轻交互VR动画

轻交互VR动画中，交互情节设置较为简单。创作者直接让观众化身为动画中的某一个角色，以旁观者的身份参与动画故事中，也可以旁观者的角度去体验故事情节，但是基本不可能改变剧情的发展和结局。《Invasion！》这部VR动画短片中，数个外星人试图摧毁地球，但其阴谋被两只小兔子挫败，而其中一只兔子正是作为观众的你。观众体验过程中，会看到自己变成一只毛茸茸的小胖兔，并能与观众进行眼神交流。将观众化身为动画角色，观众以角色的视角来体验强烈的如临其境的生理感受和参与故事进展的心理愉悦感。

另外一种，观众以漫游者的身份去浏览故事环境。比如，《Allumette》这部动画以CG渲染，加入了轻微的互动，观众能四处走动，凑近去看自己感兴趣的地方，从任何角度观看虚拟世界，能够更加亲近体验故事中小女孩和母亲之间爱的温情。

4.2 重交互VR动画

在重交互VR动画中，设计者更多从感官体验的角度去设计交互，让观众可以从不同的感官去体验动画故事。《Raising a Rukus》这部动画短片的交互体现在可分支剧情上，巧妙的是，观众眼神注视的方向在不经意间就选择了故事走向——在某个节点注视一个角色就跟着这个角色走，其实同时还有另一个角色的故事在上演。

VR是一种动画媒体，具有电影的同理心、游戏的机制。VR动画与观众身份转变很可能会消解目前动画与游戏的界限，最终形成一个介于虚拟与真实世界之间的娱乐体验内容[4]。Google Spotlight Stories的另一部作品《虫虫之夜》（Buggy Night,2015）具有完整的类似于游戏的故事情节。动画故事讲述树林里住着五只虫子，观众需要在树林里通过不同视角去寻找隐藏的虫子。当观众找到虫子，其视线落在虫子身上时，虫子数量就会减少，其它虫子也会被惊吓到而逃离。如此反复，直到所有的虫子被观众找到，故事才结束。这类似于游戏中抓怪物的模式，只是交互的方式由鼠标键盘变成更自然的视觉交互，更适合于不同游戏交互方式的小孩去体验。

4.3 交互触发元素

不同的故事内容会有不同的场景元素，创作者可以有意识地添加能推动故事发展的交互元素，尽可能设计成与众不同的视觉效果以吸引观众的注意。在VR动画中常用到的交互触发元素有物件、场景、声音[5]。

自主探索是指VR动画中引导观众自主观察，从而触动剧情的一种叙事模式。比如在《迷失》里，当场景全部展现时，会给予观众大概几十秒的时间去熟悉动画体验的环境。该片会在某些重要的情节中通过飞鸟动画或语音提示引导观众的视线。反之，如果观众不依据情节中的引导去观看，故事则无法正常展开下去。

5 VR动画的交互反馈

新媒体动画中的交互得到更多的视听感受，也有少量的触觉感受。但VR动画多数是建立虚拟立体的场景，在交互后，受众得到视觉、听觉、触觉甚至是嗅觉、味觉的感受，反馈这些信息的方式主要有手、足、语言、眼神、表情等，接收信息的感官通道主要有眼（视觉）、（耳）听觉、（肢体）触觉、（鼻）嗅觉、（舌）味觉等[6]。

例如著名导演Alejandro G.Iñárritu执导的VR电影《肉与沙》（Carne y Arena），受众在体验《肉与沙》之前会被带进一个铺满沙子的空房间。影片开始，令人紧张的灯光、不断响起的警报渲染出令人紧张的气氛，影片预留了大量的时间，一步步引领观众走入故事的主线。随着故事内容的推进，房间地面会产生震动，带给人极强的颠簸起伏感，让观众体验到难民逃生的心酸。虚拟现实影像中的观众，身份从单一的欣赏者变成多维的参与者，并且在未来的虚拟现实影像中，观众将会从视觉、听觉、嗅觉、触觉、味觉等感观维度全方位、深度沉浸参与影像艺术[7]。

6 结语

VR动画的交互式叙事设计尚处于探索阶段，尽管有很多困难，但我们应该迎难而上努力从技术和理论上去寻找解决方法[8]。创作者不应拘泥于传统的叙事方式，而应在叙事的基础上尝试更多的自然交互形式，毕竟让观众体验一个好的故事才是VR动画创作的初衷。虽然虚拟现实动画产业尚处于发展的初期阶段，但是该产业必定会随着自然交互技术与感官体验技术的革新和创作者叙事设计实践和理论水平的提升，产生更加完善的作品，观众将从中获得更加自然的交互体验和情感体验。