面向混合现实的人机界面设计研究

颜克彤， 邵 将， 刘 珂

（中国矿业大学， 江苏 徐州 221116）

0 引言

近年来， 随着计算机技术和信息控制理论的发展与突破， 基于混合现实 （Mixed Reality， MR） 技术的交互界面逐渐成为研究热点， 广泛应用于医学图像、 航空航天、 控制系统、 教育教学等领域。 借助混合现实系统信息， 既能有效提高系统性能， 也能扩展用户的认知能力， 辅助人类决策， 提高解决问题的能力。 在混合现实系统中， 多源、 实时、 动态的海量信息最终是以交互界面的形式呈现给用户， 交互界面信息的可视化呈现， 对于混合现实系统的功效、 可用性以及用户获取信息的效率都有着举足轻重的作用， 已成为信息科学、 智能科学、 系统科学、 工效学等学科和领域共同关注的问题。如何在混合现实界面中科学呈现数据信息， 使用户更好的观察现实信息、 搜索信息、 获取信息， 更有效的实现信息的识别、 判断并做出正确决策已经成为了混合现实界面的可视化呈现研究的焦点问题。 尤其在军事领域、航空航天领域， 不仅需要用户在复杂繁多的信息中找到目标， 还要求精准、 快速做出决策， 因此， 对混合现实系统界面进行研究， 并提出界面信息呈现准则与界面设计原则， 是十分必要的。

1 混合现实定义

提及混合现实， 就会想到虚拟现实 （Virtual Reality，VR）和增强现实（Augmented Reality，AR），三者相互区别又相互联系。 混合现实是在虚拟现实与增强现实基础上的进一步发展。 虚拟现实呈现的是一个三维的虚拟空间， 用户看到的是虚拟的空间。 增强现实是把虚拟信息叠加到真实空间内， 既有虚拟空间又有真实世界， 而混合现实是真实世界与虚拟世界的无缝连接， 在现实世界、 虚拟世界和用户之间搭起了一个交互反馈的信息回路。对于混合现实的定义，Milgram 等[1]提出“虚拟连续统一体”的概念， 解释了虚拟现实、 增强现实与混合现实三者之间的区别与联系， 并对MR 概念做出了定义。 在连续体的一端显示真实环境， 在另一端显示虚拟环境， 而MR 是在这两个极端之间的部分。 可以看出， 混合现实是包含增强现实与虚拟现实以及之间的所有组合。

2 混合现实及界面相关研究

随着混合现实技术的发展， 越来越多的学者针对混合现实展开了相关研究。李畅等[2]针对航天员混合现实系统舱内环境智能理解任务的需求， 构建了一种航天员混合现实空间场景理解原型系统架构， 提出了基于深度学习的空间场景理解方法， 并通过实验验证了方法的有效性。 李喆等[3]基于微软HoloLens 混合现实设备，提出了利用混合现实技术的核电站设备维修辅助系统解决方案。张馨文[4]提出博物馆混合现实导览系统界面呈现原则，并实现了一套基于用户行为引导功能的混合现实博物馆导览系统。 张旭辉等[5]借助HoloLens 设计了一种基于混合现实的矿用设备维修指导系统， 维修人员可通过视线跟踪、语音交互、手势识别等方式与HoloLens 交互。 纪连恩等[6]研发了一个基于混合现实界面的下颌运动仿真系统，使用户可以与其进行多感知系统交互。 Ko 等[7]在之前的可用性相关研究的基础上， 提出了智能手机AR 应用的可用性原则，并进行了可用性测试，以验证可用性原则的适用性。 Dυ··nser 等[8]结合一些已知的以用户为中心的设计原则和AR 系统的需求总结了8 个较为通用的AR 界面设计原则。黄进等[9]总结了混合现实中使用最多的几种用户界面形态，分别为实物用户界面（TUI）、触控用户界面、3D 用户界面、 多通道用户界面与混合用户界面。 但是，在实际应用中这些界面之间会有交集，很难划分清楚这几种界面。 目前国内外混合现实技术的研究热点主要集中于核心的算法与软硬件系统平台等方向， 较少针对混合现实用户界面信息呈现及其界面设计原则的研究，因此，本文以混合现实人机界面为研究对象，重点分析其界面特点，得出适用于混合现实系统界面的设计原则。

3 混合现实界面特点

从信息科学的角度，混合现实是一种多层次、多源的数据处理过程，系统对来自不同信息源的数据进行检测、识别、跟踪、映射等处理，从而能够获得比单信息源数据更详细、更精确的推理。虚实融合、实时交互、三维注册是混合现实的主要特征[10]。 用户通过混合现实界面交互可以更好地实时获取事物（包括实体、关系和时间）的认识或相关知识，以促进有效决策。相比较传统数字界面使用情境的单一性、局限性，交互方式的固定性，可视化呈现的低维性，混合现实界面信息在数据来源上具有多源性；在信息特征上具有实时性、动态性；在信息呈现方式上具有重叠性、多维性、空间性。

但是相比较传统数字界面， 混合现实界面受限于软硬件平台技术与用户的视觉认知，通常呈现低分辨率性、视场局限性、易干扰性等特征，造成目前混合现实界面在多源信息融合、虚实信息叠加、色彩饱和度、背景亮度控制、 信息提示形式、 图标符号语义等方面存在标准不统一、呈现不科学、用户认知负荷过载等设计问题。因此，研究混合现实界面信息呈现方式与界面设计原则具有重要意义。

4 混合现实界面设计原则

用户需要借助混合现实交互界面进行实时交互、自然交互，因此在混合现实情境下，其界面信息呈现需要充分考虑到混合现实技术的虚实结合的呈现特点和混合现实自然行为的人机交互方式。 传统的用户界面设计原则虽然可以用在混合现实界面设计中，但是范围较为广泛，还是应在传统界面设计原则基础之上， 结合混合现实界面的虚实融合和软硬件技术的限制等特点， 提出面向混合现实系统的界面设计原则。 结合已有混合现实与界面设计研究基础，针对混合现实界面特点，主要总结出以下六点MR 界面设计原则。

（1）一致性。混合现实界面信息呈现首先应保持界面风格、界面视觉要素的一致性，相同类别或者任务的交互方式也要保持一致性，不能让用户感到困惑或者歧义。界面设计还要考虑用户的认知特性和认知习惯， 与用户认知保持一致，从而使用户快速上手，减少学习成本。另外，在多通道用户界面中，还要保持各个通道（视觉、听觉、触觉等） 之间的一致性， 让用户在不同通道得到的反馈一致，避免产生混乱。

（2）可辨性。传统数字界面的可视化呈现只是停留在数据的可视化阶段， 而混合现实系统界面的可视化呈现需要上升到数据挖掘与知识发现过程可视化的层次，界面中所呈现的数据信息结构需要与实景进行重叠匹配，因此要考虑混合现实界面信息的遮蔽关系， 其信息呈现要具有可辨性。首先界面信息结构层次要分明，目标信息呈现要突出，与其余信息有所区别，方便用户搜索查找；其次界面信息不能遮盖或干扰实景， 不仅要能够协助用户观察， 还要能够让用户在虚实信息中快速准确的分辨出来。

（3）简洁性。混合现实界面可视化呈现不同于传统数字界面，其信息是多源和动态的，根据用户的需求，界面需要在海量数据信息中只呈现与当前现实情境相匹配的信息，并且有时要求用户快速做出决策，因此，在界面设计时要尽量简洁，目标呈现方式尽量突出，便于用户查找以便精准决策。另外界面之间的层级跳转方式要简洁，跳转数目要精简，保证用户交互过程中的流畅度，提高用户体验。

（4）容错性。混合现实技术可以将现实世界与虚拟世界融合在一起，相比传统界面，用户与界面进行交互时可能会造成出错。 另外，作为一种新兴的人机交互技术，混合现实还取决于硬件设备与交互方式， 硬件设备的不稳定性也会造成误差与不准确性，因此，混合现实界面设计时应考虑一定的容错性， 从而让用户有更好地用户体验与沉浸感。

（5）易学性。 混合现实技术的发展与成熟，促进了其界面范式与交互技术的发展。 在MR 下，用户可以通过手势、语音、眼动跟踪、触觉等不同的交互技术进行交互。在未来，用户可能会使用更新颖更先进的交互技术，在更新迭代较快的情境下， 界面设计与交互方式更要易于用户学习，减轻用户的学习负担，这样才能使用户更能接受和使用MR 界面，实现实时交互、自然交互。

（6）低负荷性。这里的低负荷包括用户的认知负荷和体力负荷。在混合现实界面中，不合理的信息呈现方式会增加用户的外在认知负荷， 用户在界面交互过程中尽可能的减少认知资源的消耗， 避免不必要的信息跨层和跨域搜索，以提高混合现实系统的人机交互效率。界面信息的设计还要符合用户的经验和认知习惯， 让界面设计去适应人，减轻用户的内在认知负荷。 另外，有些混合现实场景的实现还需依托一些穿戴设备， 会造成一定的生理负荷，在界面交互方式上也要尽量减轻用户的生理负担。

5 结束语

混合现实技术已经广泛应用于各个领域， 但是研究的重点主要集中于技术层面， 很少关注混合现实交互界面设计研究。文章以混合现实交互界面为对象，结合混合现实相关研究及已有界面设计基础， 针对混合现实界面特点，提出六点混合现实界面设计原则。虽然硬件设备与交互技术会导致不同的MR 系统界面有所差异， 但是在界面和交互方面还是具有一些相同的特性， 在研究具体的MR 界面信息呈现方式和界面设计时，较为通用的MR界面设计原则可为具体MR 界面设计提供一定的参考和借鉴。