基于MR的电子游戏交互设计策略研究

邱钰 章立

摘要：文章通过分析《碎片》，尝试归纳和总结MR游戏的相关特征，思考MR技术在电子游戏领域的应用问题，思考的核心点集中在MR技术为游戏交互带来的影响和改变，及混合现实技术与游戏玩法、场景构建、虚拟角色的关系，并尝试提出MR交互模式在游戏设计中关于场景建构、感官体验、交互流程、交互界面、交互方式方面的应用策略。

关键词：混合现实；电子游戏；交互设计；虚拟场景建构

中图分类号：TP317 文献标识码：A 文章编号：1004-9436（2022）11-00-05

混合现实技术是新媒体技术中的一员，其应用领域正逐渐扩展。如何合理运用混合现实技术，成为艺术探索的方向。在艺术领域，混合现实涉及物理空间和幻想空间的关系问题，混合现实技术旨在构建虚实结合且可交互的新型空间［1］。基于混合现实技术的电子游戏通过空间映射的方式，使游戏环境由虚拟状态延伸到玩家所处的真实空间，拓展了电子游戏的交互维度。在混合的新空间中，虚景和实景、虚拟角色和玩家、玩家和虚拟影像之间的交互成为新的游戏玩法。因此，探究混合现实游戏的设计理念和交互特征，能为混合现实游戏的创作实践提供理论支持。

1 混合现实游戏概述

混合现实技术简称MR，是虚拟现实技术（VR）和增强现实技术（AR）的进一步发展。这一概念最早出现于1994年发表的论文《混合现实视频显示的分类法》中，文章提出“虚拟连续体”概念，MR是处于真实与虚拟之间，包括AR与AV（增强虚拟）在内的连续空间。MR将现实世界与虚拟世界融合，使真实世界和虚拟物体呈现在同一视觉空间中。如今，混合现实的应用程序不局限于显示系统，还包括环境理解、自然交互、空间音效、物理和虚拟空间的位置追踪与定位、MR空间的3D资产协作等。

在游戏领域，混合游戏的技术基础是MR。MR游戏是指在MR支持下的游戏品类［2］。与MR游戏相比，传统的电子游戏缺乏玩家与现实世界的互动，人与人的互动从面对面的方式转变为隔着屏幕的间接方式，而MR游戏尝试在保留电脑游戏给人带来愉悦感的同时恢复与物理世界的自然交互。表1整理了市面上现有的MR相关技术与设备，梳理其功能与技术特征，并整理了相关设备能运行的游戏案例。

由表1可知，除头戴式显示设备外，部分应用于移动端的AR技术已经实现MR技术的核心功能，即真实场景和虚拟影像之间存在遮挡关系，因此文章将AR Kit与AR Core列入混合现实的技术范畴。

2 MR交互模式的特征

梳理混合现实技术的交互特征，有利于全面理解《碎片》的游戏场景建构和游戏玩法，并为MR电子游戏交互设计策略提供理论依据。

2.1 信息的实时交互

MR通过感知技术，使用户在体验过程中，通过手动、眼动、语音、手柄或其他输入方式，实现高效率的交互行为，并实时获取视觉、听觉、触觉等反馈信息。MR融合了自然交互方式，更符合用户的认知和行为逻辑，系统反馈也更具真实性和及时性。

2.2 对用户行为和环境构成的充分理解

MR通过空间映射的方式扫描并识别环境的几何构成空间，深入理解现实空间中环境光、物理空间构成等信息，以此作为构建混合空间的基础。同时，通过信息输入识别用户在现实空间中的具体位置，将其在真实空间中的运动转换为虚拟世界中的运动，可以充分理解用户的行为。

2.3 虚景与实景融合

MR作为沟通现实与虚拟的桥梁，将真实影像和虚拟影像在同一视觉空间内显示，虚景与实景融合，可以带给用户虚拟影像在真实世界客观存在的感觉。虚拟影像的空间锚定技术明确了影像的前后位置、遮挡关系；光线估计技术能塑造光照一致性、几何一致性等，给予用户身临其境之感［3］。

2.4 信息的呈现方式由二维平面延伸到三维空间

MR突破了传统人机交互模式的限制。信息呈现的方式不再局限于传统的二维界面，而是转变为有现实空间坐标的三维影像；信息读取的方式不再仅依靠传统媒介或隔着屏幕观看，它扩展了影像的展示空间和展示方式，提高了信息读取效率和理解效率。

2.5 多感官结合的信息引导方式

MR作为新兴技术，在系统使用方面须详细引导用户，使用户认识并体会到MR系统的特殊之处。与传统人机交互不同，手势、眼动、语音等自然交互成为MR的信息输入方式，而MR系统也可以为用户提供视觉、听觉、触觉等多感官反馈。

3 《碎片》游戏交互机制分析

3.1 《碎片》游戏

《碎片》是一款发布于微软全息眼镜上的MR游戏，游戏题材以解谜为主。在游戏中，玩家作为一名具有记忆调查能力的侦探，被卷入一起突发的绑架案中，进入记忆构成的犯罪现场，收集证据，抽丝剥茧，实现调查目标，一步步解开谜题，找出幕后黑手，最终将罪犯绳之以法。

《碎片》的游戏场景主要有3个，分别是“空中会议”“记忆”“取证实验室”（见图1）。“空中会议”是虚拟角色线上集会的场景，主要用于推进游戏剧情。在“记忆”场景中，游戏提取角色记忆实现情景再现，玩家通过仔细观察、寻找及分析线索或使用各种工具推进调查结果，以获得凶手身份信息和位置信息。在“取证实验室”场景中，玩家需要把在“记忆”场景中得到的线索在交互地图上作出选择，通过“过滤器”层层筛选目标人物所在地、罪犯、密码等。

3.2 《碎片》游戏场景构建

3.2.1 基于現实空间构造游戏场景

混合现实技术借助先进的图像处理技术和显示设备，创造具备虚实融合特征的可视化环境，将影像嵌入真实空间中［4］。借助微软全息眼镜，《碎片》分析已经扫描的现实空间，识别构成现实空间的墙面、地面、天花板、突出的表面，并根据空间规模和各部分构成面积的大小，配置虚拟场景影像。

3.2.2 区域化游戏虚拟场景的视觉元素

现实空间会根据玩家所处地理位置的改变而变化，为适配不同空间，游戏虚拟场景不能制作整体且固定的虚拟数字影像，须对整体游戏场景作区域划分，并分区投射到现实空间中。

《碎片》将构成游戏虚拟场景的视觉元素作区域划分，在此基础上使现实空间与游戏空间一一对应，这种立体环绕式游戏场景能迅速将玩家带入特定的游戏环境中。同时，《碎片》每映射一个新的现实空间，其虚拟影像的位置和内容就会改变，进而影响游戏角色动作、游戏线索位置等，虽然游戏情节基本保持不变，但是现实空间和依据现实空间搭建的虚拟空间具有唯一对应性，这种特性创造了无限个性化的互动体验。

3.3 《碎片》游戏玩法

3.3.1 真实空间扫描和记录

图2是《碎片》扫描真实空间的流程图，在正式进入游戏前，会扫描玩家所处的现实环境，并存储数据，玩家再次登录时可以跳过扫描阶段直接选择已存储的空间数据，这些空间数据会影响游戏虚拟影像的生成。

3.3.2 玩家与虚拟影像的实时交互

《碎片》从第一人称视角出发，涉及大量角色间的配合调查，因此玩家的沉浸体验十分重要。

在游戏中，玩家与虚拟影像的实时互动主要体现在以下三个方面。其一，在“空中会议”游戏场景中，虚拟角色的动作并非一成不变，角色可以根据现有物理环境选择相应姿势出现在场景中，即虚拟角色可以与场景中的家具产生互动，这种表现方式能增强玩家对虚拟角色真实存在的感受。其二，在虚拟角色与玩家交流时，虚拟角色的面朝方向和目光会跟随玩家移动，使玩家较容易代入交流对象角色中。其三，当玩家与虚拟影像产生交集时，影像会分解为碎片化的状态，并在交集消失后回归正常状态。

3.3.3 视听引导

在混合现实游戏中，信息分布在空间内的各个角落，而人的视线范围相对于整个游戏空间而言比较有限，因此会出现两个问题：其一，游戏提示信息或虚拟影像脱离玩家的视线范围；其二，游戏玩家现有位置与虚拟影像生成位置重叠。

《碎片》通过对玩家的视线引导、位置引导、语音引导，能有效避免以上两个问题。视线引导的主要目标是通过引导玩家的注视方向，使提示信息或游戏目标出现在玩家的视野中；位置引导是通过指引玩家行进到指定位置，以获取游戏最佳视角；语音引导可以作为游戏辅助提示，同时能提高信息的接收效率，推动游戏进程。

3.3.4 游戏交互中的视觉反馈

当游戏场景放置于真实空间时，交互方式以注视、手势、语音为主，游戏反馈变得尤为重要。

以《碎片》游戏的可交互物体和游戏文字信息的视觉反馈为例。玩家的注视点靠近可交互的物体时，光标有一定的吸附感；注视点划过可交互的物体时，光标会附着在物体表面；注视点与可交互的物体产生交集时，平面光标会变为立体光标，并围绕物体运动。玩家手势点击可交互的虚拟物体时，物体会放大，将细节呈现在玩家面前，并处于悬浮状态，跟随玩家视线落点移动。当玩家观察虚拟物体的细节时，其视线会触发隐藏线索，并弹出文字解释和语音提示。当玩家解读大段的文字时，游戏会对关键词作高亮标注和延伸提示。

3.3.5 自然交互体验

微软全息眼镜主要通过注视与手势或注视与语音的组合展开交互操作。注视是玩家与虚拟影像展开交互的第一步，用来确定玩家的交互目标；在语音交互方面，游戏按键上的文案可以作为语言指令被玩家激活。

在《碎片》中，操作无人机是唯一需要双手操作的环节。玩家通过操作，使虚拟无人机躲避物理和虚拟障碍物，玩家的注视点可以控制无人机的位置，但不改变距离，而敲击左手会使无人机接近玩家，敲击右手会使无人机远离玩家。在这个游戏环节，《碎片》建立了一套相对于玩家位置的移动系统，以模仿现实中无人机或遥控飞机的操控。

《碎片》借助自然交互，提高了游戏交互体验和游戏信息传播的效率，弱化了对交互设备的感知。游戏任务栏与游戏道具栏以三维面板的形式贴合场景墙面或隐藏，减少了不必要的界面元素。

3.3.6 贴近现实的玩法工具

《碎片》以解谜为主要游戏题材，以投射“记忆”影像的方式讲述剧情，因此有大量调查取证的环节。《碎片》提供的探索道具是玩家在日常生活中熟知的痕迹检测工具，包括X射线探测器、紫外线探测器、声音探测器、热量探测器等。使用工具时的画面视觉效果也贴合实际工具的使用效果，并在此基础上对音波、残留热量这类无形事物进行可视化表现。在寻找和调查游戏线索方面，游戏线索附着的物品通常是玩家熟悉的事物，如车票、笔记、捕鼠器、相框等。虽然游戏设定是对“记忆场景”的调查推理，但是调查过程更贴近现实调查取证的流程。

3.3.7 嵌套小游戏

《碎片》共有11个关卡，游戏体量较大，且游戏流程较单一，因此在解谜的过程中，《碎片》将还原破损物品的环节设计为拼图游戏，将血液分析与物质分析环节设计为消消乐类型的小游戏，将潜入敌方阵营的环节设计为无人机操纵游戏，识别密码环节借用了视错觉的艺术表现方式等，丰富了游戏的玩法，可以使玩家保持对游戏的兴趣。

3.4 MR交互模式在《碎片》游戏体验中的作用

3.4.1 扩充玩家的感知维度

MR的交互模式将游戏元素以文本、图像、视频、模型等方式呈现在三维空间中，信息与影像在空间中有了具体位置。由于空间的遮挡和视线范围的限制，玩家在探索过程中的位置不断变化，产生了与物理空间和虚拟空间的双重交互，扩展了游戏空间，充分调动了玩家的聽觉感官和视觉感官。

3.4.2 拓展玩家的认知深度

MR的交互模式可以突破时间和空间的限制，拓展游戏互动的范围和深度，提升游戏探索的自由度和沉浸感，潜移默化地深化玩家对游戏空间的了解和提高对游戏的兴趣。在《碎片》中，游戏角色根据真实空间自然地坐在某个位置，为玩家提供游戏线索，在一定程度上满足了玩家与角色面对面交流的需求，这是传统游戏无法带给玩家的游戏体验。

4 MR游戏交互设计策略

通过分析《碎片》游戏的交互机制，可以得知《碎片》在场景建构、游戏引导、游戏交互三个方面与传统游戏有显著差异。文章结合MR交互模式的特征，尝试从空间建构、交互界面、交互流程、游戏引导、游戏玩法五个方面提出对应的MR游戏交互设计策略。

4.1 合理运用现实环境的几何空间建构游戏场景

以微软全息眼镜为例，现实环境的几何空间建构是指设备通过同步定位和映射（SLAM）算法，从摄像头深度数据中实时重建三维场景，模型数据以几何面片的形式对真实环境进行可视化显示。因此游戏玩家所处的环境不同，MR游戏所显示的游戏空间也会不同。MR游戏须适配不同规格的现实环境，游戏创作者需要对整体几何空间作区域划分，并对游戏视觉资源作优先级划分，区分必要元素与氛围元素，界定游戏适配的现实空间极值。

4.2 简化交互流程，提高游戏引导效率

MR并未广泛应用于游戏领域，部分玩家对MR游戏依然陌生，因此须在保证游戏玩法引导的同时，提升玩家的游戏体验，简化初始关卡的交互流程，将游戏教学与游戏背景融入游戏剧情中，以语音提示或视觉指示的方式替代文字弹窗，降低玩家的认知成本。

4.3 调动多感官的游戏引导与反馈

在玩MR游戏时，身体活动是玩家学习游戏规则的重要方式，信息更容易通过感官交互进入玩家的认知记忆［5］。因此在指引玩家的过程中，应注意结合玩家的视线、动作、位置展开引导，同时保证游戏视觉系统和听觉系统的及时反馈，在此基础上注重反馈形式的多样化。

4.4 基于空间与自然交互的游戏交互界面设计

平面化的游戏菜单与图标在增强交互过程的准确性的同时，削弱了交互的直接性。因此在MR游戏的交互系统中，参与交互的游戏视觉元素应更多地与现实空间结合，减少不必要的游戏界面，降低玩家的认知负荷，弱化玩家对交互设备的感知，允许用自然的方法体验游戏。

基于空间与自然交互的游戏交互界面设计主要体现在以下两个方面：其一，游戏任务栏、道具栏、菜单栏、三维面板的形式贴合在场景表面；其二，通过玩家手势触发交互界面，游戏道具按照其功能装备在玩家角色身上，通过手势完成交互，或通过语音输入跳过界面显示直接完成选择。

4.5 丰富游戏玩法

按照游戏目标分类，电子游戏可以分为娱乐游戏和功能游戏。无论哪种电子游戏，游戏性都是游戏娱乐体验的关键。但MR游戏流程相对于传统电子游戏而言较单一［6］。如微软全息眼镜设备上的MR软件主要分为三类，即環境增强式、环境融合式、虚拟空间式，MR游戏玩法在此类软件基础上演变。目前，MR游戏提升玩家游戏体验的方法相对较少，应在保证游戏核心目标不变的情况下，通过改变游戏环节的先后顺序或小游戏的方式，打破单一的游戏交互流程。

5 结语

自电子游戏诞生以来，各种游戏类型如雨后春笋般层出不穷，游戏的交互方式也不断更新，在媒体融合时代背景下，电子游戏不断融合其他媒介形式。随着MR逐渐进入大众视野，游戏创作的方式发生了变化。《碎片》作为最早的一批混合现实游戏，无疑展示了解谜类电子游戏新的演绎方式，换言之，合理地将混合现实技术运用于游戏设计中，能为游戏创作者提供更广阔的想象空间和展示空间，有利于拓宽游戏的创作领域。

参考文献：

［1］ 黄鸣奋.艺术与混合现实［J］.东南大学学报（哲学社会科学版），2008（6）：74-78.

［2］ 黄鸣奋.多元共生、赋魅效果与混合现实：科幻影视视野中的游戏［J］.中国文艺评论，2017（5）：25-35.

［3］ 黄进，韩冬奇，陈毅能，等.混合现实中的人机交互综述［J］.计算机辅助设计与图形学学报，2016，28（6）：869-880.

［4］ 陈宝权，秦学英.混合现实中的虚实融合与人机智能交融［J］.中国科学：信息科学，2016，46（12）：1737-1747.

［5］ 黄红涛，孟红娟，左明章，等.混合现实环境中具身交互如何促进科学概念理解［J］.现代远程教育研究，2018（6）：28-36.

［6］ 吴小金，王巨文，韩静华.科普类教育游戏设计策略研究及开发实践［J］.设计，2020，33（20）：129-131.

作者简介：邱钰（1998—），女，山东泰安人，硕士在读，研究方向：混合现实。

章立（1971—），男，江苏无锡人，硕士，副教授，系本文通讯作者，研究方向：虚拟现实、交互设计。