交互方式对VR 电影观众沉浸感影响的研究——从“手柄交互”到“裸手交互”

张一凡 郭大卫

河北师范大学新闻传播学院，河北石家庄 050000

VR 即Virtual Reality,意为虚拟现实。VR 电影即虚拟现实电影，是指运用虚拟现实技术制作形成的全景三维立体影像。相较于以往的电影叙事，VR 电影一个明显的变化在于侧重点从“故事和讲述转移到世界与交互”：“世界”从以往“故事的背景”转变到“被置于前景”；“动词”时态从以往的“过去时”的既定转变为“现在进行时”的互动[1]。因此，“沉浸”与“交互”是VR 电影最直观的特征。VR 电影通过专门的VR 设备将观众带入到虚拟的电影世界，在视觉和听觉上给观众带来身临其境的沉浸式体验，同时“交互”将观众与虚拟世界联系在一起，也正是由于VR电影的交互性给了观众更加沉浸的观影体验。因此，“交互”是VR 电影中非常重要的一个环节，不同的交互方式也会给观众带来不同的沉浸体验。

1 VR 电影中的人机交互方式

自第一台计算机ENIAC 诞生以来，诸如传感影院（Sensorama）、第一款VR 头盔“达摩克利斯之剑”等这些对人机交互方式的探索从未停止。随着科技的发展，通过几十吨重的设备进行人机交互的时代已经成为历史，轻便化、大众化和商业化的人机交互方式逐渐成为主流。人机交互设备轻便化的势头起源于20 世纪：NASA 于1985 年开发了LCD 头戴显示器，极大地轻便了VR 交互的硬件环境，随后任天堂推出了第一台商业性VR 眼镜游戏机，让VR 交互设备第一次应用于商业民用领域，此后各种追求轻便化的人机交互设备如雨后春笋般出现。VR 中的人机交互方式是指观众与虚拟环境之间的信息交流和互动方式。到目前为止，VR 中比较主流的人机交互方式分为两种，即“手柄交互”和“裸手交互”（Bare-Hand Interaction, BHI），同时这两种交互方式也主要应用在VR 电影中。

1.1 “手柄交互”

“手柄交互”主要通过各种传感器感知用户的手势和动作，之后再将其转化为计算机指令，常见的传感器包括加速度计、陀螺仪、磁力计等，通过感知手柄位置、姿态等信息，运用软件处理这些信息，以识别用户的手势和动作。当前商用领域主流的VR 手柄包括Oculus Touch、PlayStation Move、HTC Vive 手柄等三种。其中受众最为广泛的Oculus Touch 手柄发展到现在经历了多次升级换代，从初代的Oculus Touch 到第二代，再到第三代以及最新的Touch Pro，其外形逐渐轻量化、小巧化，设计也从“有环”过渡到“无环”（图1）。

图1 Oculus Touch 手柄进化图

1.2 “裸手交互”

2009 年，澳大利亚国家信息通信技术中心的Cheng 提出了另一种人机交互思路，即使用单个摄像头让用户与大屏幕进行交互的技术。在这种情况下，用户无需佩戴任何装备即可通过摄影机拍摄的画面实现人机交互[2]。微软注意到了这种交互思路，于同年提出了3D 体感摄影机“Project Natal”计划，让不佩戴任何设备的“裸手交互”成为可能，为之后的红外测定深度（Time of Flight, ToF）摄像头设备的出现奠定了基础。2010 年，为实现“裸手”人机交互，微软以“Project Natal”为基础，专门开发了三台基于ToF 技术的摄像头设备Kinect V1、Kinect V2、Azure Kinect。前两台设备主要应用于配套微软的游戏机Xbox，以提供良好的交互体验；Azure Kinect 则脱离了游戏产业，转而应用于工业开发和医疗环境等领域。与此同时，手机环境也开始大量提倡应用基于摄像头的“裸手交互”解决方案：三星电子美国研发中心的Kim 在论文中表述了用户可以将手伸至移动显示设备（手机、平板电脑）后方来进行操作的交互方法[3]；谷歌、苹果等智能手机生产厂家也纷纷研发出应用了ToF 技术的手机摄像头，使用户可以通过手机摄像头进行裸手状态下的人机交互；华为P30 Pro 和Mate 30 Pro 等智能手机产品也可以通过手机中的ToF 摄像头远程操控手机功能。但是从用户体验来看，这种远程操作更像是一种噱头，究其原因，计算机技术的进步速度和交互设计的发展速度并不匹配，因此尚未出现有助于提升用户体验的交互设计。2018 年，剑桥大学Dudley 提出头戴式显示器（Head-Mounted Display, HMD）在增强现实（AR）交互过程中可实现三维绘图，但是相较于HMD，基于未使用穿戴设备的“裸手交互”既给了用户自由，又保留了用户和物理环境的交互能力，是优于以HMD 来实现AR 人机交互的手段[4]。这一观点同样也给VR技术中的交互方式提供了一个新思路。

如今不少VR 电影、游戏或应用已经开始引入更高精度的手势交互，用户渐渐开始可以通过VR 头显设备实现虚拟世界中的“裸手”操作，以双手创造“魔法”。就像电影《头号玩家》中的角色在“绿洲世界”中控制虚拟人物是不需要手柄及任何HMD 的，角色只需通过移动双手来判断自己与虚拟世界的拟真度和交互尺度。在VR 观影中，当HMD 能够逐渐摆脱传统手柄的束缚，让用户能实现更加自然地进行手势交互与应用体验时，或许才使观众真正拥有走出电影、走进现实的机会。

2 间离效果：VR 观影中“手柄交互”的不足

间离效果是由德国戏剧家布莱希特提出的美学概念，又称“陌生化效果”。布莱希特认为，间离的过程就是人为地使主体与已熟知的事物疏远的过程[5]。“观众保持着进行评价的间隔，从而有可能理解所表演的东西的真正含义。从不充分的理解，经过不理解的震惊，达到真正的理解”[6]。不难看出，布莱希特主张的间离效果和观影沉浸是相悖的。本节尝试借助布莱希特提出的间离效果概念对VR 观影中“手柄交互”对观众沉浸感的打破这一问题进行分析。

根据笔者不完全统计，VR 电影发展至今大致可以分为两类：一类是360°全景视频，这种视频是通过360°全景相机将现实世界如实记录下来，观众在观看期间可以通过控制手柄或旋转头部来调整画面角度，以观察周围环境，还可以放大画面来近距离观看电影中的某一主体事物，例如全景看房视频。其电影化应用可参考风景纪录片或通过手持、固定360°全景相机拍摄而成的剧情短片，但这类VR 影片的交互性并不明显。另一类VR 电影是指动画技术制作的交互式VR 电影，即由计算机生成图像（Computergenerated Imagery, CGI）技术制作而成。除了讲述情节外，这类VR 电影还将交互融入剧情之中，使观众进入独特的“交互式沉浸”中[7]，VR 交互动画影片《纸鹤》即属于这一类型。作品中融合了爵士乐、交响乐、钢琴曲等多种风格音乐形式，其特点在于体验“互动音乐奇观”。在影片开头，观众可以使用手柄随着小男孩的手风琴弹奏挥动双手，不同的挥动轨迹会在影片中形成不同轨迹的光束；在小男孩发现妹妹被困在另一个世界时，观众可以通过扩大和缩小双手动作幅度，近距离观看或远观另一个世界的景象。这与360°全景视频中的观看方式相似，但不同在于，随着观众的互动，《纸鹤》这类交互式VR 电影的画面也会受到不同程度的影响；影片结尾，观众可通过手柄触碰光束上的点，“亲自”演奏一段乐章，体验方式与游戏《节奏大师》类似。这些交互设计的目的是辅助观众更好地融入到VR 电影中去，从而进一步提升沉浸感，但目前观看完整影片后的综合体验感不尽如人意。由于“身处”影片中VR 世界的观众无法时刻关注到自己双手的位置和手柄情况，当观众在挥动双手过程中，两个手柄撞到一起时，易产生“拉回现实”的间离效果。类似的“互动剧场游戏”作品还有《A.D.2047》，但笔者通过试玩发现该作品也存在一些交互缺陷和画面质量问题：游戏开始时会在主角桌上出现游戏中的手柄按键提示（图2），且在使用这些按键时，经常出现手部数据拾取失败的情况，甚至在拾取过程中还会出现物品无意掉落的几率，并且游戏中人物移动的方式是通过点击画面中出现的虚拟人影来进行移动。这些情况导致玩家在与游戏交互时体验不佳。此外，由于优化不足，游戏画面显示不够清晰，帧率较低，流畅度不佳等问题也遭遇诸多批评。

图2 《A.D.2047》手柄按键提示

VR 电影将主要精力聚焦于视听体验，因此通常选用体验效果优秀的头显设备作为输出介质，但在输入设备的选择上目前依然采用以手柄为代表的传统媒介。手柄的高“抽象性”表现，使我们在真实世界所做出的动作有别于虚拟角色的动作或在虚拟世界中所做的动作，而针对手柄按键、功能的系统性学习也会反向影响观众置身于角色体验时的行为。当现实世界和虚拟世界动作不一致程度越高，观众交互方式就越抽象，相应的学习成本越高，投入到高度沉浸状态的耗时也就越长[8]（图3）。

图3 VR 中学习成本对沉浸度的影响

电影中的真实感并不等于真实，如果要在观影期间产生间离效果，首先电影中的某一事物必须符合现实世界中观众对这一事物的生活经验，由此才能将观众从电影中“间离”出来。在用手柄配合VR观影时，进行各种交互动作时手柄会带给观众一种真实感，从而借由这种真实感短暂进入到观影沉浸状态。但手柄的体积限制以及抽象的交互方式又时刻提醒着观众这种真实感并不意味着真实，此时形成一种无意的间离效果得以将观众从沉浸状态中抽离出来。

3 “身体在场”的重塑：“裸手交互”对VR观影沉浸感的提升

3.1 “身体在场”的重塑

作为能够引起情感活动和美感的存在形式，并且能够自由传达出创作主体情感以及对生活的思考和感受，艺术作品需要关注主体内容和表现形式两个方面，即表现什么和如何表现。受众通过不同的艺术作品感知艺术主体内容，获得审美愉悦的同时进入沉浸状态。沉浸感并没有一个统一的定义，它既属于心理学中“感觉”与“体验”的范畴，特指一种忘我的专注状态与神情，而在传播交流方面，沉浸感的发生一般是以“身体在场”为前提，即感官身临其境地感知，并在其与环境的相互浸染后所激发的一种专注其中的感觉与体验[9]。黄心渊教授将虚拟现实中的沉浸概括为生理沉浸和心理沉浸两种[8]。生理沉浸体现在人类的感官层面，即基本的视觉、听觉感受等。VR 技术通过360°的画面、3D 环绕立体的声音以及不同的交互动作使观众达到了类似于现实世界中的情境，赋予了观众更大的生理沉浸感。心理沉浸归属于认知层面，其出现早于生理沉浸。在早期，绘画、音乐、雕塑等传统艺术作品给受众带来的生理沉浸感很少，艺术创作者需要通过创作出更优质的艺术作品以使受众达到心理沉浸，而良好的生理沉浸会促使受众更快达成心理沉浸。因此，根据技术特点，黄心渊教授将虚拟现实的传播称为“生理沉浸式传播”。基于这一观点，笔者认为“裸手交互”技术在虚拟现实“生理沉浸式传播”的基础上，通过加强观众“身体在场”的幻觉，进而实现虚拟现实传播中的心理沉浸感。

作为传播学中长期关注的对象，身体的“在场”和“缺席”也成为学者们热议的话题。大众传播学将身体看作是固着于特定时空的消极因素，因为信息的远距离传播必须要打破身体的束缚[10]。各类印刷媒体和电视、无线电广播、电影等电子媒体让受众足不出户就可以获取万里以外传播而来的信息。随着虚拟现实、人工智能（AI）等概念的出现，重新激活了基于身体领域的研究。所谓“在场”是指主体在场，也就是“身体在场”。对于身体而言，“在场”是一种存在状态，也是身体与身体、身体与周围场的一种关系。“身体在场”就意味着能够对“在场”的事物产生影响，甚至能够直接操纵、改变“在场”或周围的事物[11]。刘明洋等将“身体参与传播活动的完整度”作为媒介形态的划分标准，提出“身体媒介”“无身体媒介”“身体化媒介”及“类身体媒介”四个阶段的论断：“身体媒介”时代的身体是肉身的在场，“无身体媒介”时代的身体处于缺席或隐退的位置，“身体化媒介”时代的身体是虚拟在场（身体不直接出现，但发挥系统功能），“类身体媒介”时代的身体是技术真实下的虚拟在场（与“身体媒介”时代有着相同或近似相同的认知经验，但肉身无需真正接触）[12]。基于此，作为媒介的VR 应归类于“类身体媒介”。在VR出现前的媒介时代，观众在欣赏艺术作品时的心理时空延伸和身体在场是一个“鱼和熊掌不可兼得”的情况。而VR 凭借对现实的高度仿真，在现实时空之外创造了另外一个虚拟世界。VR 电影带来的沉浸式体验营造了一个比传统影院更封闭的观影情境，或者说观影空间已然被影像空间所吞噬，用户体验是直接走进了虚拟的电影世界，实现了身体于影像中的“在场”[13]。但事实上，互动式VR 电影中的“身体在场”其实是一种矛盾的现象：一方面在传播中缺少真实身体的存在；另一方面通过VR 技术的连接，能够使身体实现在虚拟世界中的“身体在场”。从这一角度出发，虚拟现实中的“身体在场”虽然是一种虚假的幻觉，但从感官反应来看，观众依然可以通过身体动作与虚拟世界产生交互，VR 技术实际上是重塑了观众“身体在场”的幻觉。“人机交融”“多维感知”“虚拟化身”等新兴的数字技术创造出了“技术身体”“虚拟身体”“远程身体”等“后人类”的人工身体形态，拓宽了身体的边界，丰富了“身体在场”的含义[14]。虚拟现实技术打破了“身体”的边界，身体“在场”和“缺席”的问题变得失去了原来的意义，所谓“在场”和“缺席”探讨的是身体“有”还是“无”，但是经由VR 技术转换的“化身”既可以说“有”，也可以说“无”[15]。我们人类的真实肉体不再是评判“在场”与“缺席”的唯一因素。现实世界的真实身体通过VR技术连接虚拟世界中的虚拟身体,由此形成了一种身体在场的重塑，即“虚拟在场”。

相较于“手柄交互”的高度交互抽象性带给观众虚假的身体记忆而言，“裸手交互”技术使观众在虚拟环境中的行为，更加适配于观众在真实世界的身体动作，在虚拟空间中还原出观众在真实世界的感受，更加强化了这种“身体在场”的幻觉。在拥有沉浸空间和多模态互动的VR 电影场域中，观众通过“身体在场”被赋予了故事中的“他者”身份，并以第一人称视角扮演角色，这种视角下的“他我”和现实世界中的“真我”在身体空间、肢体运动、身体感知层面有一定的重合性，更有助于将沉浸、临场和体验的感觉投射到我们的认知中[16]。“裸手交互”技术将这种认知感觉发挥到一个新高度。虽然我们并不是身处现实世界中，但是通过VR 技术营造的360°虚拟世界以及“裸手交互”技术带给观众的真实生活经验，在认知上欺骗了观众心理，赋予了观众极大的临场感，仿佛在现实世界中一样，让观众不去察觉VR 世界的虚拟性而沉浸在其中，达到一种忘我的状态。瑞士苏黎世大学的研究人员开发了名为“Birdly”的逼真鸟类飞行体验项目（图4）。这一项目的设计与“裸手交互”对观影沉浸感的提升方式存在类似。项目中体验者佩戴头显设备，俯卧在一个支撑平台上，体验者看到的画面是以鸟类在天上飞行的视角，身体通过按压和上抬平台两侧的支撑板模拟鸟类挥舞翅膀的动作，从而控制虚拟飞鸟在虚拟世界的翱翔。

图4 “Birdly”实验项目

3.2 “热媒介”属性的强化

在《理解媒介》一书中，马歇尔·麦克卢汉提出媒介有冷媒介与热媒介之分，这一观点是麦克卢汉最具争议性的创见之一，有人甚至认为，冷热媒介的概念矛盾重重、漏洞百出，不足为重[17]。麦克卢汉阐述了“冷热媒介”区分的基本原理：“‘热媒介’只延伸一种感觉，具有‘高清晰度’”“热媒介要求的参与度低；冷媒介要求的参与度高，要求接收者完成的信息多。”[18]其区分“冷热媒介”的主要标准立足点在于感官。“感官对媒介作出的回应”是指媒介调动我们感知的方式[18]。在麦克卢汉的理论中，“清晰度”是指感官的作用强度；“参与度”不是思想的参与，而是感官的参与[19],这有助于更好地理解冷热媒介。

热媒介通过对感官的压倒性吸引力，将观众带入一种“麻木”状态[20]。其对感官的延伸是单一的、高强度的、线性的、分裂的，这种作用最终促进了生活中的专门化和分割性[19]。当人们使用“热媒介”时，就已经被媒介定义了唯一的切入方式，“热媒介”带来的信息是清晰明确的，人们不需要调用身体其他感官去“参与”，只需按照它规定的参与方式参与即可，这就是“热媒介”的高清晰度、低参与度。由此便能很好地解释电影是高清晰度的“热媒介”：正常情况下，电影开始前观众会坐到座位上，等着电影开场；开场后，观众聚精会神，并沉浸于电影放映的故事。作为“热媒介”，电影对观众的干预十分显著。低清晰度、高参与度的“冷媒介”，如电视，要求受众分散注意力，不是调用一个或两个感官，而是一个感官系统[21]。

观众在观看VR 电影时，从传统的二维平面步入三维全景视频中去，尽管在观影过程中存在交互性，但这种交互是存在于预先设定好的电影规则之内，其目的便是为了营造临场感从而提升观众观影的沉浸体验。无论是电影还是VR 电影都符合“热媒介”的属性，但它们又同时调动了观众的多重感官。这似乎与“热媒介”的定义不同，但其与“冷媒介”的区别在于，电影感官调动的“动力”来自影片本身对观众多重感官的激发，从而减少了观众自身对各种感官想象的驱动“负担”[7]。而VR 电影将观众的多重感官“延伸”到了一个更高的高度，使体验者更容易沉浸于VR 电影传递的情境信息流，因此更易于实现相对深度的沉浸状态。“手柄交互”的抽象交互性则会使观众对手部感官想象的驱动“负担”加重，从而对观影沉浸感有一定减弱；“裸手交互”使观众在进行交互时更加专注，只需要根据自己的生活经验便可完成交互，进一步强化“身体在场”的幻觉。

4 结语

VR 技术是通过构建3D 虚拟环境制造出身临其境的体验，即沉浸式体验，但沉浸感并不是VR 技术独有的，传统平台的游戏同样也在追求沉浸感。所谓的沉浸感其实就是真实感，一部电影或一部互动剧场游戏越趋于真实，那么它能给观众或体验者带来的沉浸感就越强。真实感可以通过很多方式来体现，比如更自然的对话、更合理的场景设计、更沉迷的玩法设计等，其中有一个可以直接提高真实感的方式，就是用画面、声音、气味等虚拟资产替代真实资产传送给人的感官，让人误以为在真实世界中，这也正是VR 技术的强项。“裸手交互”在一定程度上提高了虚拟资产的协同性，尽可能确保观众所有感官获取的信息一致，从而大幅提升沉浸感。

但“裸手交互”技术也存在一定缺陷，如手部追踪困难、触觉反馈缺失等，这也是阻挡该技术更广泛应用的最大障碍。值得注意的是，近年来各界都在努力寻求相应的解决方法。为了解决手部追踪丢失的问题，李仕等人提出了一种创新的方法，即基于二次坐标转换的3D 手势坐标映射。这种方法通过将手部骨骼节点的3D 坐标转换到视点坐标系上，再通过坐标转换获取手部节点在真实场景中的实时坐标。通过虚实映射，用户可以使用裸手驱动系统端的虚拟手进行人机交互。系统基于识别到的手势信息向用户提供实时反馈，从而实现在大场景下的人机“裸手交互”[22]。在触觉反馈优化方面，英国公司Ultraleap 将超声波技术应用于虚拟现实触觉，将超声波转化为虚拟触摸的感觉。这种技术使用户能够在虚拟环境中体验触摸的沉浸式感觉，有效弥补了触觉反馈的缺失。这些新兴技术以及理论的出现为“裸手交互”技术的后续发展提供了一定的理论与实践基础。未来，不仅在VR 领域、电影领域，作为目前最自然的人机交互方式，“裸手交互”定能为人们的生活提供更多便利，从方方面面提升体验。❖