增强现实中的空间深度感知问题

陈东义

多年来，对头戴式增强现实（AR）的研究得到了诸如手持式AR和投影摄像机系统等新平台研究的补充。随着手机应用的快速发展，AR应用概念已逐渐成为市场新兴增长点。然而，研究人员和从业者仍在尝试解决AR设计开发中的许多根本问题。目前，众多研究人员正在解决由跟踪注册算法引起的定位精度问题，但在AR应用中正确地感知仍然是AR应用中的一个关键挑战。这些障碍可以追溯到增强显示中相互关联的深度感知和照明感知问题，或是与环境感知有关的问题。这些问题均可能会导致场景感知失真和深度感知失真的情况。虽然其中的一些问题源于技术限制，然而许多是由于有限的理解或显示信息方法的不足所造成的。

感觉刺激的识别和解释是一个复杂的构造过程。我们经常从观察到的环境中获得不同的线索，并尝试匹配那些线索。线索提示可以是互相重叠，或者是互相冲突的。其中重要的是，不正确的感知通常是线索提示冲突的结果。在文中，我们仅关注与视觉感知相关的问题，而忽略与其他感知的相互作用。感知问题涉及对生成的虚拟世界以及现实世界在观察和解释时出现的一些问题，不仅可能由真实信息和虚拟信息的组合引起，也可能源自于现实世界本身的表现。

针对深度感知失真的问题，目前的研究大多是针对深度相关线索进行修正以达到增强的目的。Christoph等人[1]通过增加景深和选择性的局部對比度提升来对单目深度线索进行增强。Athena等人[2]指出运动视差等动态透视线索能够提升深度感知。Chiuhsiang等人[3]调查了使用立体眼镜观看近场增强现实虚拟目标的中心距离感知精度，指出当目标是垂直放置，靠近观察者位置并且目标间隔较小时精度会有提高。Ernst等人[4]详细探讨了增强现实应用过程中与感知相关的问题，并按各种感知类别给出了总结。Chen等人[5]给出了一种感知导向的深度线索增强方法，该方法展示了一种非线性视差映射，能增加观察者关注的深度范围。刘自强[6]研究了增强现实中深度一致性问题，并提出了一种基于双目摄像机的深度计算方法来解决深度一致性问题。郑毅[7]则介绍了增强现实应用中存在的虚实遮挡问题。相比前述工作，文中我们提供了一种感知问题分类方法，将信息增强作为一个感知理解管道从而对各个环节分别组织阐述，图1给出了感知理解管道中存在的影响因素的分层关系。

1 增强现实中感知问题的

来源

我们可以从影响感知的因素入手，了解增强显示时用户对内容不正确感知的几个问题。对于某一些任务，不正确的增强现实感觉可能没有影响，而对于其他一些任务，这类问题是至关重要的。这些问题大致可分为3类：

（1）场景扭曲和抽象。场景增强可能会出现扭曲和部分抽象变形，使得对象识别、尺寸感知、对象分割或对象内部关系的感知变得困难。

（2）深度失真和物体排序。与上一个问题相关，不正确的深度解释是AR应用程序中最常见的感知问题。AR中的深度是指第一人称视角，视野中的物体与重叠的信息之间在空间关系上的解释和相互作用。深度失真和物体排序问题使用户无法正确地将重叠的信息匹配到现实的世界中。

（3）能见度。用户可能无法查看内容本身，主要是由屏幕问题引起的，例如：屏幕大小、屏幕反射和亮度，或环境干扰中颜色和纹理图案。

AR中的目标是将真实世界对象和数字内容之间在感知上正确连接，正确地解释真实和虚拟对象之间的空间关系。不正确的深度感知是AR应用程序中最常见的感知问题，妨碍了第一人称视角下视图中的真实对象与叠加（嵌入）信息之间的空间关系理解。

1.1 增强叠加

增强是指在光学图像或视频图像上注册数字内容，并可能因技术水平限制而产生一系列相关的深度感知问题。

（1）注册错误。精确注册依赖于跟踪设备的正确定位和方向信息（姿势）。当前的手机具有相对不精确的位置和方位传感器，导致跟踪精度和方向测量存在显著漂移。所需的跟踪精度取决于所观察对象的环境和距离要求：较低精度跟踪对于距离较远的大型环境中的物体可能是可以接受的，即使产生偏移也不太明显，而对增强设备附近物体准确地增强则显得较为困难。

（2）视觉遮挡。物体视觉上被遮挡。与遮挡相关的主要问题是前景和背景的分割不正确：需要在特定对象后面呈现对象，而不是出现在特定对象的前面，否则会导致不正确的深度排序，使得对象看起来像它们不属于当前场景。自AR出现以来，研究人员试图使遮挡或隐形物体再次可见，主要是利用称为X射线视觉的叠加显示技术，允许用户通过前面的对象来查看遮挡对象。然而，X射线视觉也容易发生深度排序问题，因为重叠的顺序是相反的。

（3）层间干扰。环境物体的排列组合模式会限制增强感知和识别。根据环境背景和增强后的特征，感知干扰可能发生在图形相交或者是视觉合并的地方，并因此导致前景背景的视觉解释问题。这些特征受到图案的方向、透明度、密度和规律性以及使用的颜色方案的影响。另外，前景背景图案问题与在多层AR系统中发生的问题有关，其中多层AR是指多个虚拟对象被渲染在彼此之上。这带来的问题是容易出现层间干扰，这取决于虚拟对象的数量及各自的不透明度。一旦层数太大，对象可能会重叠，这可能会降低环境增强信息的可读性。

（4）渲染质量。渲染质量定义了屏幕上显示数字对象的保真度。在保真度和数字再现图形中的深度判断之间没有发现直接的关系。除了渲染质量之外，照明可以影响增强物体的保真度及其正确的感知。在分辨率和清晰度之间的差异可能导致不正确的立体感知。

1.2 显示装置

显示装置向用户显示增强的环境，并且像其他阶段一样可以引起空间感知问题。大多数问题可能与屏幕相关联，但是还有一些问题来自于处理器和图形单元。

（1）立体显示。主要存在于头戴显示器（HWD），典型的问题包括实际和预设瞳孔间距的差异、视力和对比效应，对齐和校准问题以及与瞳孔汇聚有关的问题。然而，当使用HWD来查看完全人工合成的虚拟环境时出现的一些感知问题可以用AR来减轻。目前来说，立体显示问题对于手持设备和投影摄像机系统来说还不重要。endprint

（2）视野角（FOV）。FOV是指可观察世界的角度。在视频透视显示中，FOV显然限制了现实世界中可以看到多少内容。尽管人类视网膜视觉分辨率不到1°，但人类还依赖于非焦点的视力，而有限的FOV使许多视觉任务变得非常困难。目前研究来看有限的FOV不一定会导致深度估计错误。在光学透视和手持设备中，问题则变得更加复杂，因为信息空间不再是统一的。人类具有超过180°的水平FOV，而视频透视HWD通常支持30°～100°水平FOV（尽管有些达到近180°）。光学透视显示器和手持设备使用相对较小的FOV。在一些光学透视显示器中，光学器件无框架或被非常薄的框架包围，用户可以观察现实世界中FOV的大部分，而不是重叠的图形：用户以正确的尺度看现实世界两部分。同样，大多数手持式视频浏览显示器允许用户查看显示器边框周围的真实世界。然而，在这些显示器中，相机使用的宽FOV镜头与显示器中心的偏移相结合，通常会在小且不正确缩放的增强视图中产生明显感知差异。

（3）角度偏移。HWD是直接放置在眼睛的前方，因此在被观察的现实世界和被看见的增强显示之间通常存在相对小的角度偏移。这种偏移还会通过由连接到显示器的相机引起可能的进一步偏移强化。根据设备重量，此角度偏移量可能会随着时间的推移动态增加。偏移影响了用户对增强后真实世界的间接观察。这种问题也可以称之为对齐问题，用户不能很容易地直接看到現实世界中内容之间的关系，以及在屏幕显示时两者的比较关系，这需要用户经历一个困难的心理旋转和缩放适应过程。另外，相机相对于显示器的角度和放置位置可能会使视角偏移进一步出现恶化。

（4）显示属性。当与环境光混合时，显示亮度和对比度会影响内容的可视性。显示亮度是指显示器的亮度，大约在250～500烛光/平方米（cd/m2）之间变化。对比度可以由显示能够产生的最亮颜色（白色）的亮度与最暗颜色（黑色）的亮度的比率来表示。特别是在户外应用中，由于环境光的影响，显示器对比度受到很大限制，环境光将降低显示屏的对比度，这导致人类视觉系统无法区分更细微的颜色。

（5）色彩保真。在AR中，色彩保真度是指现实世界与屏幕上显示的颜色相似度。而在打印介质中，不同设备的颜色表示之间存在标准转换，目前的做法通常不涉及采样的真实世界颜色之间的映射。色彩空间转换使用色域映射方法将颜色转换为可在给定设备上显示的范围。自然色彩的全系列不能忠实地表现在现有的显示器上，特别是不能再现高度饱和的色彩。这可能扭曲基于颜色的感知线索，并影响对颜色编码信息的解释。户外环境中的色彩保真度是一个非常复杂的问题。更改户外条件会影响光学透视显示器，因为在视频透视显示器中，现实世界和重叠式显示在相同的色域中。在投影机相机系统中，投影面上的纹理变化可能会干扰色彩表现。

（6）镜面反射。反射是扰乱AR内容感知最重要的影响因素。在HWD中，闪亮的物体可能会扰乱感知。在具有暴露屏幕的手持AR系统中，内容可能几乎看不见，这通常取决于环境条件，例如朝向太阳或人造灯的亮度和方向以及被反射的物体之间的相对观察位置。反射也引入了多个视差平面的问题，因为反射物体通常与屏幕内容不同。当内容投射在镜面反射面上时，投影机相机系统中的反射也是一个问题。

（7）系统延迟。延迟涉及捕获或显示内容的延迟，并且直接取决于显示设备能够产生的每秒帧数。大多数情况下取决于处理器和图形卡的性能，并与内容的复杂性直接相关。硬件性能可能会影响内容的捕获和渲染质量。延迟包括动态注册延迟、相机图像更新和渲染覆盖延迟。延迟影响用户与内容的直接互动。延迟对正在观看的内容的感知影响较小，例如：许多AR应用程序涉及静态或至少缓慢变化的内容，渲染速度对这类内容影响程度较小。依赖于快速图形生成（如游戏）或依赖于重叠图形的灵巧运动类应用程序的可用性也存在受到延迟引起的感知限制的影响。

1.3 用户感知

用户是感知流水线的最后阶段，受到各种平台的不同影响。

（1）个人差异。在显示屏幕上呈现的数字内容的最终感知受到用户之间个体差异的高度影响。这些差异可能需要对我们表示信息的方式进行明显的修改，例如图标或文本。个体差异体现在用户感知细节的能力，包括眼睛视力、色觉能力和空间分辨能力等差异。

（2）深度提示。深度线索在解释增强内容中起着至关重要的作用。图形深度线索是图像中的特征，给人以物体的不同深度的印象。这些线索包括遮挡、视野中的高度、相对尺寸、空中视角、相对密度、相对亮度和阴影。动态深度提示可以通过视点位置动态变化而获得深度信息，例如相对运动视差和运动视角。生理深度提示来自眼睛的肌肉控制系统，包括会聚（相反方向的眼睛旋转以固定在一定深度）、调焦（通过改变眼睛的晶状体形状来抵消模糊）和瞳孔直径（通过改变眼睛的景深来抵消模糊，但是也受环境照明水平的影响）。最后，双目视差通过组合由眼睛提供的场景的两个水平偏移视图来提供深度线索。在所有这些深度线索中，遮挡是最主要的，这驱动了AR中最普遍的深度提示问题：空间距离上不正确的深度排序。当只有有限数量的深度线索可用时，这个问题变得更加成问题，这可能导致物体深度不足，甚至出现矛盾。

（3）视差平面。现实世界和虚拟物体都会有不同的双目差异，并导致与视差平面和视差区域相关的知觉问题。在双视AR系统的中，经常会出现深度差异：增强信息存在于一个区域，而现实世界存在另一个区域。由于这些区域处于不同的焦点深度，所以用户可能需要在这些区域之间持续地切换其聚焦（眼睛旋转）来比较内容，或者因为注意力被吸引到其他区域。此外，在HWD中，在视锥的前平面中呈现的用户界面元素与实际AR内容之间可能存在深度偏移。当用户经常需要使用界面时，会导致这些不同深度平面之间的定期切换，这将导致视觉疲劳。

（4）瞳孔调节。立体显示器的用户通常会遇到所谓的会聚调节冲突。当眼睛收敛于提供给左眼和右眼两个空间偏移视图中的观察物体时，就会发生这种冲突。人类视觉系统一般具有容忍这种不匹配的能力，但深度感知会被扭曲。在单视镜和投影摄像机系统中，所有内容都在单一深度平面上显示和观看，因此不存在这个问题（以损失会聚调节深度线索为代价）。投影机相机系统可能没有焦平面（差异）问题。然而，由于除激光投影机之外的所有焦点都具有固定的焦点深度，因此不同的多个非连续深度面将产生深度感知问题。endprint

2 增强现实中感知问题的

解决思路

研究人员提出了各种方法来解决增强现实中感知渠道的问题。在本节中，我们概述除用户之外的主要解决思路。

2.1 环境分析

物体在杂乱场景中的增强通常需要使用一种视觉辅助机制，来对物体进行独特的增强绑定。具体来说，当增强信息重叠在几个对象上时，正确的对象布局判断可以辅助正确的增强叠加，可以使用计算机视觉分析方法来分离前景和背景层。增强也可能需要一些颜色上的拮抗，以避免增强信息与被覆盖物体的出现视觉融合现象。然而，如果对象颜色发生改变，则对象和增强信息可能会出现分离的情况。

2.2 捕获设备

捕获受到镜头和摄像机参数两者的限制。然而，解决由镜头引起的问题通常很困难，目前只有少数解决方案存在。对于广角镜头，观察者不一定会注意到广角引入的扭曲，而双重视图条件下真实世界的视图可以纠正包括由低分辨率引起的线索提示之间的潜在冲突。然而，双重观图的情况会增加视差平面切换和认知负荷，并且当对象快速移动时无效。

2.3 增强提示

对于与遮挡对象相关的问题，大多数研究人员通过避免对象裁剪来纠正深度排序问题。此外，已经出现了许多技术能够改善被遮挡对象的X射线可视化。正确的光照渲染也有助于与遮挡物体相关的深度排序，例如使用阴影信息能够提供重要的深度提示。正确的光照渲染也可以使场景深度更加可信，防止增强的虚拟物体看起来像一个突兀的平面模型。此外，可以使用诸如网格或深度标签（距离指示器）的人造深度提示来直接向用户提供深度线索判别。

2.4 显示设备

目前的显示技术水平不断提高，预计将出现新的显示技术，以更好地应对亮度和对比度问题。尽管显示内容在阳光充足的条件下还难以清晰呈现，但目前显示技术经常使用背光和抗反射涂层使内容更加可见。可以通过增加涂层来最小化反射光，但这也可能降低屏幕的亮度。类似地，在HWD壳体的内部应避免设计反射表面。匹配环境光照的动态范围同样是一个问题。飞机中使用的平视显示器可以匹配该动态范围，并且基于激光的显示技术具有匹配该动态范围的应用潜力，但是目前还没有被广泛使用。

3 结束语

文章中，我们概述了主流AR平台上影响用户正确感知增强信息的主要问题来源，特别是影响空间深度感知的一些因素。總而言之，除去对内容主体增强，如何使用户在感知上也获得正确的增强仍然是一个困难的问题，并对AR平台的用户体验构成了潜在困扰。从技术和方法看，还有很大的改进空间。由于涉及到人的主观感受，通过改进的硬件和软件来实现感知正确的增强是非常具有挑战性的研究方向。相关技术平台开发也是未来研究的基础方向。endprint