头戴式增强现实显示设备技术综述

王文晓张 谦徐国祥

（1.国家知识产权局专利局专利审查协作河南中心电学发明审查部，河南 郑州 450000；2.国家知识产权局专利局专利审查协作北京中心电学发明审查部，北京 100000）

头戴式增强现实显示设备技术综述

王文晓1张 谦1徐国祥2

（1.国家知识产权局专利局专利审查协作河南中心电学发明审查部，河南 郑州 450000；2.国家知识产权局专利局专利审查协作北京中心电学发明审查部，北京 100000）

随着增强现实（AR）技术的逐渐成熟，头戴式显示设备将会是增强现实显示设备中最具有市场前景的交互界面呈现设备。基于此，主要论述AR显示设备的基本类型，重点介绍头戴式（Head-Attached）显示设备的分类、运作原理及相关的代表产品，最后对当前最新的头戴式AR显示设备的产品进行总结，并给出几个需要解决的问题。

虚拟现实；增强现实；混合显示；3D

虚拟现实（Virtual Reality，以下简称VR）技术最早在20世纪80年代提出，利用计算机生成的虚拟多源信息进行融合交互式的三维动态视景和实体行为的系统仿真，使用户在该虚拟环境中与物体进行沉浸式行交互。随后在VR技术的基础上又出现了多种VR增强技术。在20世纪90年代设计一个辅助布线系统时，波音公司的考德尔及其同事首次提出［1］：通过实时地计算摄影机影像的位置及角度并加上相应图像的技术，将虚拟环境与现实环境进行匹配合成以实现增强，这种使三维虚拟对象叠加到真实世界显示的技术称为增强现实（Augmented Re⁃ality，以下简称AR）。

保罗·米尔格拉姆（Paul Milgmm）和岸野文郎（Fumio Kishino）于1994年提出：现实-虚拟连续统（Milgmn’s Re⁃ality-Virtuality Continuum），将现实世界（Real Environ⁃ment，以下简称RE）和VR分别作为连续统的两端，位于它们中间的统称为“混合实境（Mixed Reality,以下简称MR）”，靠近真实环境的是AR，靠近虚拟环境的则是扩增虚境（Augmented Virtuality，以下简称AV）。

本文主要论述了AR显示设备的基本类型，重点介绍头戴式（Head-Attached）显示设备的分类、运作原理及相关的代表产品，最后对当前最新的头戴式AR显示设备的产品进行总结，并给出几个需要解决的问题。

1 AR显示设备的分类

Bimber和Raskar按AR图像的形成位置不同，将AR显示设备分为头戴式（Head-Attached）、手持式（Hand-Held）和空间式（Spatial）3种。

1.1 头戴式（Head-attached）显示设备

也称作近眼显示设备（Near-Eye Display，NED），包括视网膜扫描显示（Retinal Scan Display，以下简称RSD）、头戴式显示器（Head-Mounted Display，以下简称HMD）、头戴式投影显示器（Head-Mounted Projector，以下简称HMP）3种主要形态，属于可穿戴式显示设备，固定在人体头部，通过相应的光学组件使得虚拟图像可以叠加显示在肉眼观察的真实物体（Real Object）上，从而实现AR效果。

头戴式显示设备受限于体积、成本及相关技术等方面的因素，目前还存在有重量大、舒适性差、续航时间短等缺陷，相关研究主要集中在优化系统性能和能耗、改善光学组件结构与重量、提高使用舒适度等方面。

1.2 手持式（Hand-held）显示设备

手持式AR显示设备借用手持式移动终端（如手机、平板电脑等）的显示屏幕作为AR图像的显示设备；或者采用带有分束器（Beam Aplitter）的手持镜等设备通过光学合成器融合反射图形，在投影面上显示AR图像；近年来，Raskar等人还提出将投影机作一种手电筒，以交互的方式生成虚拟物体并直接投射到真实物体上，可以应用于建筑的维护等工作中。

手持式显示设备所生成的图像可以在手臂伸展的范围内自由移动，显然需要占用至少一只手，将会对使用者的操作与控制带来不便。在使用移动终端显示屏幕作为AR显示设备时，还对移动终端自身的性能和能耗都提出了较高的要求，在当前高密度二次电池技术没有突破性进展的情况下尚未得到很好的解决。

1.3 空间式（Spatial）显示设备

空间式显示设备通过多种技术使得用户可以直接参与到三维空间中的AR交互中，具体包括有基于屏幕的视频穿透显示、空间光学穿透显示和基于投影的空间显示等。

空间式显示设备由于其体积庞大，只能应用于固定显示领域，缺乏沉浸式体验，但对于演示三维模型等应用具有突出的优势，目前该技术还处于研究状态，尚未进入广泛的商业化应用。

2 头戴式AR显示设备

依据图像生成技术可以将头戴式AR显示设备分为三类：利用低功率激光将图像直接透射到视网膜的视网膜显示技术RSD、利用设置在眼睛前方的微型显示器的头戴式显示器HMD，以及使用微型投影仪或透射式LCD使得生成的图像可以同时叠加显示在真实环境上的头戴式投影显示器HMP。

2.1 视网膜扫描显示（RSD）

视网膜扫描技术的研究源自于20世纪80年代初由Webb R所设计的扫描激光检眼镜（Scanning Laser Oph⁃thalmoscope，以下简称SLO）。SLO采用特殊设计的扫描装置控制激光束按照时序扫描以实现对人眼视网膜的均匀照明，通过对眼底反射光进行探测成像以重构二维的视网膜图像，该系统已广泛应用于医学获取眼底的视网膜图像［2］。

目前应用RSD技术的主要有Magic Leap公司的头戴式AR显示设备（尚未有明确产品名称）及Avegant公司的头戴式VR显示设备Glyph等。

MagicLeap公司成立于2011年，是一家位于美国的增强现实公司，2014年MagicLeap公司联合华盛顿大学的研究人员共同申请了发明名称为超高分辨率扫描光纤显示系统，这种扫描光纤显示的技术优势在于分辨率相当高，并且可以通过图象调制实现光场（Light Field）的显示效果。但是，其依然存在较为明显的技术缺陷，光源调制系统过于复杂导致其很难实现可移动化，据称其附加设备可能同冰箱一样大小，显然离产品成熟面向市场还具有一定的距离。

2.2 头戴式显示器（HMD）

HMD是目前最常见的AR显示设备，一般分为光学透射式（Optical See-Through，以下简称OST）头盔和视频透视式（Video See-Through，以下简称VST）头盔。OST是指用户可以直接透过透明镜片看到真实世界，并通过反射或投影方式看到虚拟环境或对象；而VST则是指将头盔上集成摄像头采集的外部图像与虚拟场景相合成，然后输出到用户眼前的小屏幕上。

2.2.1 VST头盔。应用于AR的VST头盔是在原单纯的HMD显示器上进一步结合了摄像头和相关图像技术而得来的。应用于AR的VST头盔利用设置在头盔上的摄像头拍摄现实世界的图像，与虚拟图像合并后将混合图像显示在头盔内，为用户提供临场感，该技术已经比较成熟，市场应用比较广泛，当前市场中的代表产品有Sony Playstation VR、Oculus Rift、HTC Vive等。

VST头盔的优点是技术成熟可靠，视网膜显示屏（Retina）和相关传感器技术已经相当成熟。然而，由于该类型技术依靠于对现实世界的拍摄-识别-转换的过程，无法做到极高的真实度，影响交互效果，同时无法很好地解决重量问题和续航，导致佩戴舒适感差，容易造成VR脸（即长时间佩戴该设备导致双眼周围部分会产生明显压痕），并且易引起3D眩晕等症状。

2.2.2 OST头盔。OST头盔是基于平视显示器（Head Up Display，以下简称HUD）技术延伸和发展得来的。HUD是目前普遍运用在航空器上的飞行辅助仪器，也可以理解为最早的AR显示设备。OST利用了HUD的投影原理，利用特定角度的半透镜或者透明液晶显示器反射投影仪投射的虚拟图像，人眼通过半透镜或者透明液晶显示器就可以同时观察到现实世界和虚拟图像。

谷歌眼镜已经将体积和重量尽可能缩小，然而因为显示原理的限制，会导致用户长时间观看显示图像信息后视觉疲劳，显示的图像信息不够真实，同时由于大幅度缩小体积的原因导致谷歌眼镜的显示范围非常小（仅在视线中心上方的一小块区域），因此也几乎丧失了AR系统的交互功能，仅仅能提供显示提示信息的功能，因此市场接受度很低，谷歌公司已经于2015年1月19日停止了该项目的所有研究工作。

2.3 头戴式投影显示器（HMP）

HMP最大的特点是使用了覆盖于整个视线范围内的透明轻薄的光波导元件，投影光束经过光束分离器（Beam Splitter）后照射到全反射表面（Retro-reflective Sur⁃faces）的光波导后反射进入人眼，因此投影图像与现实世界叠加在一起，共同组成了AR显示画面。

以微软公司的Hololens全息眼镜（http://www.micro⁃soft.com/microsoft-hololens）为例，Hololens是美国微软公司于2015年1月22日与Windows 10共同发布的全新产品，是微软公司基于美国奥斯特豪特集团有限公司（Os⁃terhout Group，INC）的一系列相关技术而进一步优化整合的产物。

该产品包括有两组深度相机、一组手势相机、两组显示镜片及麦克风等相关传感器，可以侦测并创建环境模型，识别环境中的可交互对象，并在用户视线范围内展现一幅栩栩如生的混合图像，各种传感器可以追踪用户的移动，通过层叠的彩色镜片创建可以从不同角度进行交互的对象，使用声控或者手势控制与交互对象产生任何的交互动作，同时该设备作为一个完整的设备而无需连接到任何计算机主机中即可使用。

由于Hololens也使用了透射式镜片，为了解决鬼影现象，可以在透镜靠近现实世界一侧设置可以区域阻光的材料，如电致变色透镜、透明式液晶、电子墨水等，使得在需要显示高对比度或纯色区域时得到较好的效果。

通过基于深度识别的SLAM（实时定位与地图构建）技术，通过发射IR光线投射网格或条纹图案到场景当中，检测变形的图案来分析、确定目标或物体上特定位置的物理距离，通过2组不同朝向的深度相机，可以创建超过人眼视线范围的环境模型，以提前预测人体动作。用户也可以通过光学手势识别系统来主动输入操作命令，与交互物体产生交互。在左右双眼旁各设置一个眼睛跟踪相机，通过识别肉眼反射的红外光线来跟踪眼球指向，通过处理单元分析视线焦点来对虚拟图像进行显示调整。基于陀螺仪、加速度计或磁力计的数据来细化或更新设备（或用户）的位置和取向数据，以确定潜在的视角。

Hololens可以说是当前最成熟、最完善的AR显示设备，同时也是一个完整的AR系统，虽然受限于成本和重量，目前的版本还存在有视角优先、虚拟图像质量不高、系统性能不足等问题。但是，微软公司的一系列专利文件证明，随着技术的不断进步，这些问题都随之迎刃而解，毋庸置疑Hololens在短时间内是最好的AR设备。

3 结语

综合以上技术原理及产品技术的分析来看，当前唯一实现了量产的产品只有微软公司的Hololens，并已经开始就商业化应用开展各类应用程序，其实现了在一个轻便头戴式眼镜形态的独立设备中，常规续航时间5.5h，高负荷续航时间2.5h，可以与任何支持WiFi或蓝牙通讯的设备进行联网的高度成熟系统，具有佩戴舒适、显示延迟低、支持手势操作等功能，已经与MagicLeap公司的概念化产品产生了巨大的差距。MagicLeap公司的产品虽然具有比3D显示效果更佳的优势，但由于其自身的原理导致其很难微型化，不利于其消费产品的推广和使用。在可以预计的短期时间内，微软公司的Hololens将成为增强现实技术的最佳交互界面。

［1］朱淼良，姚远，蒋云良.增强现实综述［J］.中国图像图形学报，2004（7）：767-774.

［2］呼新荣，刘英，王健，等.基于视网膜扫描的头戴显示器研究现状［J］.红外与激光工程，2014（3）：871-878.

Review of Head-Attached Augmented Reality Display Devices

Wang Wenxiao1Zhang Qian1Xu Guoxiang2
（1.Patent Examination Cooperation Center of the Patent Office，SIPO，Henan，Department of Electrical Invention and Examination，Zhengzhou Henan 450000；2.Patent Examination Cooperation Center of the Patent Office，SIPO，Beijing，Department of Electrical Invention and Examination，Beijing 100000）

With the gradual maturity of augmented reality(AR)technology,the head mounted display device will be the most promising interactive interface presentation device in reality display devices.Based on this,this paper main⁃ly discussed the basic types of AR display equipment,the classification,operation principle and the related represen⁃tative products of the head wearing type(Head-Attached)display device were mainly introduced.At last,the prod⁃ucts of the latest AR display device were summarized,and some problems that need to be solved were also given.

virtual reality；augmented reality；mixed display；3D

TN873

A

1003-5168(2016)09-0090-03

2016-08-19

王文晓（1985-），男，本科，助理研究员，审查员，研究方向：计算机输入输出设备与技术，防伪印刷技术，静态存储器驱动电路技术等领域发明专利申请实质审查；张谦（1979-），男，本科，副研究员，部门主任，研究方向：电学领域发明专利申请实质审查（等同于第一作者）。