应用于舱外航天服的增强现实显示技术

张海军， 龙 尤， 耿云飞， 孙路通

（1.天津大学精密测试技术及仪器国家重点实验室，天津大学微纳制造实验室， 天津 300072； 2.中国航空工业集团公司洛阳电光设备研究所， 洛阳 471009； 3.光电控制技术重点实验室， 洛阳 471009）

1 引言

随着载人航天技术的发展，出舱活动任务越来越复杂，出舱时间也越来越长，航天员需要完成维修、考察和探索性试验等工作。 为同时满足出舱活动和在轨生活的双重需求，航天员操作程序的复杂度也越来越高，需要在平时训练和出舱活动中快速掌握操作过程。 头盔显示器作为一种近眼显示设备，能够将航天员需要的信息直接显示在其视野范围内，解放航天员双手，进而对航天员模拟训练和出舱活动提供帮助。

20 世纪80 年代，NASA 便对可安装在航天服上的头盔显示器开展了相关研究，美国洛克希德工程与科学公司研究并交付给NASA 一套样机，受限于当时的技术水平，无法满足低功耗需求，且安装体积较大，给航天员头部活动带来限制，因此该方案并未正式应用。 之后，包括ESA 在内的多家国外航天机构也对航天员头盔显示器开展了探索研究。

随着近年太空出舱活动的增加，基于增强现实显示技术的头盔显示器在航天领域的应用越发得到研究人员的重视。 朱秀庆等提出在未来星际航行和长期在轨任务中，由于通讯延迟和在轨时间延长的影响，地面指控系统对航天员的支持受到不同程度制约，需要提高航天员自主获取信息支持的能力，而增强现实技术被认为是解决这一问题的可行手段。

本文介绍了增强现实显示技术的发展及类型，分析对比了袖口清单、身体显示模块和头盔显示器等舱外航天服显示技术，对舱外航天服头盔显示器在未来的发展做出了展望。

2 增强现实显示技术

2.1 技术简介

增强现实显示技术是随着虚拟现实的发展而产生的，与传统的虚拟现实不同，增强现实显示所呈现的环境主体是真实的，计算机产生的虚拟信息叠加于真实环境中，具有虚实融合、实时交互和辅助增强等特点，是对真实环境的一种补充和增强。 虚拟现实是一种完全浸入状态，视觉甚至听觉感知都来源于系统输入，而增强现实可以保持使用者对真实环境的感知，因而具备更优的感知优势。 增强现实显示技术最早可追溯到20 世纪20 年代末，为了满足当时士兵们对作战的需求，基于三点一线原理将枪械瞄准镜和小型枪械集成在士兵头部，并通过嘴部进行扳机发射，图1（a）为其构想图，这也被认为是现代增强现实头戴显示设备的雏形。 除了军事领域外，增强现实显示技术在装配操作、设备维修、娱乐和民用航空等领域也有广泛的应用前景，如图1（b）、（c）所示。

图1 增强现实技术的应用Fig.1 Application of augmented reality technology

2.2 增强现实显示系统类型

常见的增强现实显示技术按照显示方式的不同分为以下几类：

1）护目镜式。 增强现实型头盔显示器于20世纪60 年代首先出现在美国，军用机载头盔显示器是增强现实显示技术的典型应用，近些年被广泛应用于战斗机中，能够为飞行员提供瞄准显示信息，是一种先进、高效的机载瞄准显示设备，如图2（a）所示。 其光学原理是利用准直光学系统，将飞行和武器瞄准信息投影到头盔护目镜上，实现与外景叠加显示。 由于具有观察瞄准范围大、瞄准迅速、增强现实显示等优点，越来越受到各国空军的重视。 大量的模拟和飞行试验表明，使用头盔显示器能大幅度减少导弹截获目标的时间，能提高飞行员态势感知和全天候作战能力，能显著提高飞机的近距作战效能。 这种机载头盔显示器目前绝大多数均采用护目镜式投影结构，如图2（b）所示。

图2 头盔显示器及光路示意图Fig.2 Helmet⁃mounted display and diagram of opti⁃cal system

2）半透半反棱镜式。 早期初代的增强现实显示器通过在人眼前放置一个半透半反棱镜，使用微型投影仪发出图像光束，经过棱镜反射至人眼，同时外部环境光可以通过半透的棱镜折射后直接进入到人眼，从而达到增强现实显示的目的。Google Glass 采用的便是此类光学系统，如图3所示。

图3 基于半透半反棱镜的AR HMD 光学系统Fig.3 Optical system of AR HMD based on semi⁃transparent and semi⁃reflective prism

3）自由曲面棱镜式。 为了进一步减小光学系统体积并提高显示质量，1998 年Okuyama 等最早提出一种基于自由曲面的棱镜式光学结构。得益于自由曲面出众的像差校正能力，实现了单片自由曲面元件产生4 个有效光学面的紧凑布局。 这种自由曲面棱镜形式的光学系统也是当今主流增强现实显示设备中常用的一种类型，图4是其光路示意图。

图4 自由曲面棱镜光路示意图Fig.4 Optical path of freeform prism

4）波导式。 除了以上传统的光学系统类型之外，还有一类应用于增强现实显示的显示系统——波导式显示系统，其基本原理如图5 所示。 微型投影光机发出光束，从耦入区域耦合至波导板，并以全反射形式在其中传播至耦出区域，最终投射至观察者眼中。 其中，耦入耦出区域根据具体技术路线的不同可以采用反射镜、棱镜、表面浮雕光栅和体全息光栅等。 根据波导基底与耦合区实现方式的不同，波导显示又分为几何光波导和衍射光波导2 种类型。 几何光波导原理简单，且设计思路、制备技术均较为成熟明确，是目前市场增强现实波导显示技术的主流之一。 衍射光波导更多依赖于光的衍射效应，设计过程更为复杂，该技术需要具备更为成熟的微纳加工制造与大批量制造技术，是近年来较为新型的技术之一，其成熟度相较于几何光波导也存在一定差距。对比于传统的几何光学显示，波导显示可以做到更轻、更薄，体积更小。 但对比基于自由曲面的显示系统，波导显示在显示画面质量上还有一定差距，且受限于材料和工艺的要求，制造成本高昂，良品率低，这使其在性能和大规模制造上存在一定差距。 表1 对以上几种显示方式进行了总结与优缺点比较。

图5 波导式显示系统Fig.5 Optical waveguide display system

表1 增强现实显示方式对比Table 1 Comparison of augmented reality displays

随着航天员舱内外活动日益复杂，除了基本的太空行走，还涉及航天设备的维修以及以后的火星登陆等太空活动，按照目前的方式通常需要边翻阅操作手册边进行作业，这种方式效率低、容易出错，对人员的能力素养和经验技巧要求较高，因此亟需一种新的显示方案。 增强现实显示技术被认为是最具潜力的解决方案，增强现实显示技术在现有显示方式的基础上将信息与真实外景叠加，极大地简化了原有的操作方式。 凭借此优势可进一步提升航天员太空作业时的效率和安全性。 增强现实型头戴显示设备是增强现实技术中产生时间早、发展速度快且适用范围广的一类典型应用，当今许多基于现实实景与虚拟信息相叠加的显示都属于增强现实头戴显示设备的范畴。

3 舱外航天服显示技术

3.1 袖口清单

当前航天员主要通过纸质飞行手册、电子手册或与地面控制中心通话的方式获得在轨任务操作指导信息。 前2 种方式使得航天员视线必须在操作设备和手册之间来回切换，且至少有一只手翻页，对于失重状态下的航天员，这增加了身体的不稳定性，也增加了眼和手的操作负担，从而使工作效率降低；而通讯设备普遍存在通讯延迟，影响航天员的实时操作，以上方式均不能满足复杂任务需求。

基于上述现状，各国开展了相应的研究工作，其中NASA 采用在航天服左臂上佩戴袖口清单，如图6（a）所示，清单中携带相关操作信息。 但由于显示信息有限，使用繁琐，作用有限，同时还需要航天员手臂加以辅助才能显示，不能实现信息显示和工作同时进行，限制了其应用。 为了支持NASA 的下一代航天服开发工作，Honeywell 公司开发集成了OLED 的下一代手腕显示器，如图6（b）所示，但仍然没有解决视野频繁切换、观察不便等问题。

图6 袖口清单显示设备Fig.6 Display device for cuff checklist

3.2 显示控制模块

显示控制模块（Display and Control Module，DCM）是一种可实现舱外航天服信息显示的设备。 该装置放置在航天员身体胸部前上方，含少量数字、字母信息，仅用于特定操作。 这种方式存在观看角度不舒服、字体小、对比度低、透过头盔罩远距离观看外面的信息较难分辨、容易受到环境眩光影响等缺点，应用也较受限，如图7 所示。

图7 显示控制模块［11］Fig.7 Display and Control Module （DCM）［11］

3.3 航天服头盔显示器

基于袖口清单、OLED 腕表、身体显示控制模块的固有缺陷，NASA 始终在寻找更优的解决方案，并最终将目光锁定在头盔显示器（Helmet⁃Mounted Display， HMD ） 上。 1984 ～1991 年，NASA 开展了多型航天服头盔显示器的研究，并完成了4 种头盔显示器原型样机的研制，如图8 所示。 但由于4 种方案均采用了舱外航天服盔体外部投影显示方式，导致头盔体积大、显示易受外部极端环境影响等问题，这4 种设计最终未能实施应用。 但通过研究认为，头盔显示方式完全可以实现无需人手参与的信息显示与控制，同时也对头盔显示器提出了如下需求：

图8 早期HMD 样机示意图［12-14］Fig.8 Picture of early HMD prototype［12-14］

1）显示：固定视角观察；

2）图像源：高分辨率彩色LCD；

3）图像位置：相对水平视线45°上方；

4）分辨率：不小于640×480；

5）视场：不小于12°对角线；

6）成像距离：约0.9 m；

7）体积：小巧。

2001 年，Carr 等提出了一种将微型显示系统安装在普通眼镜上，实现近眼显示的方案，该方案整体功耗小于15 W，并考虑到纯氧环境的安全性，提出了最大电流限制的要求，即在29.6 kPa气压下最大电流不可超过500 mA。 显示方式为右目单目显示，且整个显示区域位于正常目视前方水平向上10°～20°的范围内，如图9（a）所示。但是由于安装在头盔内部靠近人眼的位置，使得头部右转方向受限。

2002 年，Hanmilton Sundstrand 公司的舱外航天服头盔显示器采用了Micro⁃Optical 公司640×480 分辨率的彩色VGA 显示，视场为16°的眼镜式显示器，如图9（b）所示。 显示器位于头盔内部，可绕旋转轴，根据不同航天员的眼位进行环绕式旋转，但因过于贴近眼睛部位，同样存在对头部转动限制的问题。

图9 显示方案Fig.9 Display scheme

2004 年，NASA 联合马里兰大学进行了人机界面领域的研究，在I⁃Suit 航天服内头盔支架上安装了一个头盔显示器，如图10 所示。 该显示器拥有640×480 的分辨率，其视场大小相当于在距离人眼50 ～70 cm 的视野前方有一副17 in的显示器。 相比眼镜式不再需要佩戴，只有在需要时才去观看，不影响正常的主视野。 NASA 对其进行了测试和评价，试用者认为头盔显示器显示比袖口清单或者通过语音方式传达信息更加有效，进一步确认了在未来舱外航天服上采用先进信息系统的必要性。

图10 I⁃Suit 头盔显示器［17］Fig.10 I⁃Suit helmet⁃mounted display［17］

2006 年，ESA 提出了一种单目头戴显示方案，采用OLED 为图像源，10 mm 厚的聚碳酸酯自由曲面光学棱镜作为中继光学系统，如图11 所示。 该系统视场为20°×14.5°（对角线视场约25°），分辨率为852×600，重量小于100 g，出瞳直径为7 mm，眼距为30 mm，彩色显示，亮度为400 cd／m。 这种方案显示器距离人眼太近，且会影响前方视野，与辅助显示而不影响正常观察视角的需求存在矛盾。

图11 ESA 设计的HMD 示意图［1］Fig.11 Schematic diagram of HMD designed by ESA［1］

2010 年，NASA 重新启动了舱外航天服头盔显示器的开发，提出了可供太空飞船驾驶舱使用的显示器。 抬头显示器（Head up Display， HUD）和头盔显示器作为一类别被列入规划中，如图12所示。 NASA 并给出2 种显示技术方案：①按照之前的设想，头盔显示器安装在航天服内，只负责显示一些重要通知内容，并且得益于技术的发展，此种方案的头盔显示器可以非常小巧，亦不会遮挡航天员正常使用时的视野；②将整个头盔显示器置于航天服面罩外，采用不可透视的显示方式，此方案要求头盔显示器将包括通讯信息在内的外景图像同步显示到航天员眼前。 第2 种方案更像是一种虚拟现实显示技术，但无论哪种方案，NASA 特别强调未来头盔显示器将侧重于登月活动探索时的操作。

图12 NASA 对航天显示器的规划［18］Fig.12 NASA’s plan for displays［18］

2011 年，NASA 和Honeywell 联合研发一套可以对航天服头盔显示器进行测试的设备系统，该系统可模拟太空环境，对包括头盔显示器的生命支持信息显示、图片显示、视频显示和导航画面信息显示等功能进行模拟测试，如图13 所示，目的是进一步推动在舱外活动上使用头盔显示器技术。 2013 年，NASA 提出开发的下一代航天服采用头盔显示器，将为航天员提供更加丰富的信息，使乘员更加自主。

图13 HMD 测试平台［19］Fig.13 Testbed platform for HMD［19］

2019 年，NASA 为了解决未来在月球上停留时间延长，提高航天员自主权的问题，通过了在未来航天服的头盔中加入中眼距显示（Heads⁃in Display， HID）的初步设计审查，明确了一种适用于航天服的显示技术，以区别于近眼显示和平视显示。 2020 年，NASA 发布了航天员健康和舱外活动路线图，其中明确了联合增强现实视觉信息系统（Joint Augmented Reality Visual Informatics System， JARVIS）、头盔显示器和潜水员增强视觉设备等技术发展的需求。

中国在舱外航天服头盔显示器方面也开展了一些研究工作，第1 代舱外航天服采用了OLED微显示器，并根据头盔内部空间布局设计了紧密贴合盔体包络的光学系统。 姚丽坤等研究了一款应用于舱外航天服的折反式单目头盔显示系统，可为航天员提供清晰的文字和图像显示，OLED 显示分辨率为852×600，视场23°，出瞳距离为45 mm，出瞳直径为10 mm，畸变4.87%，亮度≥150 cd／m，如图14 所示。 该光学系统布置在航天员右目的前上方，航天员通过右眼观察光学系统投射的显示画面，需要观察时微微抬起头部即可，不需要观察时可以平视外面罩。

图14 装配效果图［23］Fig.14 Diagram of mounted effect［23］

为了适应未来更加复杂和繁重的太空任务需求，需要新技术来支持和优化航天员工作，特别是开发新的信息显示系统，改善上述航天服头盔显示器存在的缺点和问题，提高航天员在太空中的工作能力。 表2 是当前舱外航天服显示方式的优缺点比较。

表2 舱外航天服显示技术对比Table 2 Comparison of display technologies in EVA space suits

航天与航空许多技术同源，尤其是在显示技术方面。 如图15 所示，航天员身着航天服，战斗机飞行员佩戴头盔，航天服的面罩相当于战斗机飞行员的护目镜，航天员大部分也是飞行员出身，可以快速适应护目镜头盔显示方式，同时航空头盔显示器是一种中眼距显示系统，符合NASA 对头盔显示器的论证需求。 因此将航空头盔显示器技术应用于舱外服显示具备技术转化潜力。

图15 头盔显示器对比示意图Fig.15 Comparison diagram of helmet⁃mounted display

4 小结

未来空间飞行在探索月球、火星或其他目标的过程中通过头盔显示器提供彩色文字、图片、视频等信息，将具有更好的态势感知能力和更直观的显示体验。 为了满足月球／火星人居舱、漫游车以及采矿作业等各种应用需求，未来的头盔显示器将采用模块化的设计思路，易拆卸安装，实现便携通用，从而减少发射总质量，降低发射成本。 同时，为了使航天员长时间使用具备更好的人机工效体验感，未来将继续在显示模块小型化设计方面努力，使其存在于无形之中，实现对头部任意转动无妨碍。

增强现实型头盔显示器将是未来舱外航天服的关键部件，在载人航天工程中的太空维修、太空辅助显示等领域有着广阔的应用前景。 眼镜式显示方案的显示部件距离人眼太近，使得头部转动受限，同时还存在安全风险，会分散主显示或外目标信息注意力。 基于航天服的面罩显示是一种中眼距显示方案，头部转动空间更大，安全性得到提升，是未来舱外航天服显示技术的发展趋势。

航空机载头盔显示器与舱外航天服头盔显示器技术同源，通过技术移植可实现舱外航天服头盔显示器的快速研制，可为中国下一代载人航天工程实践提供技术支撑。