增强现实技术在载人航天工程中的潜在应用

郑 耀 谢 天 解利军 杜昌平 潘海斌

（浙江大学航空航天学院）

1 引言

增强现实（Augmented Reality,AR）最早可以追溯到上世纪60年代Sutherland[1]首次用透视式头盔显示器（Head-Mounted Display,HMD）展现三维物体。到本世纪初，增强现实技术逐渐发展成为一个重要的科学研究领域。它借助计算机图形技术和可视化技术生成现实环境中并不存在的虚拟对象，通过跟踪注册技术将虚拟对象准确地“放置”在真实环境中，然后借助显示设备或者人机交互设备将虚拟对象与真实环境在感官上融为一体。在Milgram[2]定义的虚实环境集概念中，增强现实是混合现实（Mixed Reality,MR）的子集（图1）。它与增强虚拟（Augmented Virtuality,AV）和虚拟现实（Virtual Environment,VE）最大的不同，就是它所呈现的环境主体是真实的而非虚拟的。在增强现实中，计算机产生的虚拟物体只是在局部区域叠加于真实场景之中，具有虚实融合、实时交互和辅助增强等特点[3]。

图1 Milgram的虚实集定义[2]

40年来，各国研究者除了在跟踪技术、显示技术、交互技术这三个增强现实的支撑技术上不断突破外，增强现实的应用领域也在被不断扩展[4]。目前，增强现实技术的应用范围已经逐步从桌面展示、电脑游戏等小型室内环境，向工厂车间、户外等大的应用环境延伸。诸如波音公司[17]、美国陆军[18]等，都已将增强现实技术作为主导技术用于大型航空和军械设备的维修诱导系统。

在我国载人航天工程的许多实践（例如太空维修和大时延遥操作等）中，如果对增强现实技术加以研究、发展和利用，必然可以发挥其独特的作用。

2 增强现实的支撑技术

2.1 跟踪注册技术

虚拟物体在现实场景中是否能完美融合，意味着观察者在改变自身位置和观察角度的同时，观察中的虚拟物体能否融洽地与现实场景保持一致。要实现这个目标，首先必须明确虚拟物体将要合并到现实场景的准确位置，其次要实时地检测观察者在场景中的位置、视角，甚至是运动方向，然后才能计算出该时刻虚拟物体应该具备的显示方式，同时按照观察者的视场重建坐标系。这个过程就是跟踪注册（Tracking Techniques），目前常用的方法可以分为以下三种[4]：

（1）基于传感器的跟踪注册技术

基于传感器的跟踪注册技术（Sensor-Based Tracking Techniques）是在观察者头部安装跟踪器来探测和跟踪真实环境中目标的位置和方向。这类跟踪器包括电磁跟踪器、超声波定位器、惯性跟踪器、测距仪、全球定位系统等，相应的技术各有优缺点，在文献［5］中已有详尽的介绍。

（2）基于视觉的跟踪注册技术

基于视觉的跟踪注册技术（Vision-Based Tracking Techniques）是通过对一幅或多幅视频图像的图像处理，来计算获得固定在观察者头部的摄像机在真实场景中的位置和姿态。此类方法又分为基于特征（Feature-Based）和基于模型（Model-Based）两种，其中后者最为常用，通常为各向互异的规则图案（图2）。

因为其易开发性和鲁棒性，基于计算机视觉的注册技术的研究在增强现实领域一直处于主导地位。依据对 ISMAR（International Symposium on Mixed and Augmented Reality）国际会议论文的统计，近十年来该会议接收的有关跟踪注册技术的论文中，基于视觉的注册技术的研究占80%以上[4]。

（3）混合跟踪注册技术

在某些特殊的增强现实场景中，仅用基于视觉的跟踪注册难以达到鲁棒的注册效果，因此需要一些基于传感器的跟踪注册技术的辅助。混合跟踪注册技术（Hybrid Tracking Techniques）就是指基于视觉和基于传感器共存的跟踪注册技术。

2.2 显示技术

如何简单便捷地让用户感知现实场景和虚拟物体的融合，是显示技术所必须解决的问题。目前的增强现实系统主要使用透视式头盔显示器，而透视式头盔显示器又分为光学透视式头盔显示器（Optical See-Through HMD）和视频透视式头盔显示器（Video See-Through HMD）两种。图3是这两种头盔显示器的原理结构图。

图3 透视式头盔显示器原理图[16]

其中，光学透视式头盔显示器通过半透明镜片可以直接观察到真实场景，虚拟物体通过镜片上方的显示器投影至镜片上，形成虚实叠加。这类显示器可以实时观察到真实场景，但虚实间由于处理时差会产生一定的时滞。而视频透视式头盔显示器会将拍摄到的真实场景与虚拟物体合成完整后才播放出来，虚实间保持同步，没有时滞。

目前在增强现实的应用领域中，生产透视式头盔显示器最著名的几家公司包括Sony公司[2]、Micro－Vision 公司[9]、MicroOptical公司[10]和 Minolta 公司[11]等[12]，他们的部分产品如图4所示。

2.3 交互技术

在增强现实的应用中，人们常常渴望最自然的交互方法，比如可以“触摸”到虚拟物体，可以随意拿起放下，并且感觉到虚拟物体的硬软轻重等。但实际上，要实现这样的交互是较为困难的。

目前常用的交互工具包括手势识别、语音识别、力反馈设备、数据手套、六自由度鼠标、特制标志等。这些工具都需要在数据库中预先设定各种命令对应的动作，以便在系统识别时对照先验知识来进行操作。它们有各自的应用环境，针对不同的应用要求有不同的组合。

图4 透视式头盔显示器实例

近几年提出的凝视交互[8]是一个具有重要应用意义的交互方式。其硬件设备比普通HMD多了一个眼追踪器，使设备可以检测到观察者所凝视的方向，然后针对凝视的区域执行相应的操作或给出用户可能感兴趣的信息。这一技术在维修诱导、户外环游等应用环境中必将带来一次革新。因为根据用户的凝视来判断用户想要获取的知识是十分合理且高效的，比以往将所有信息同时呈现在视野或需要借助别的设备来选取信息的做法，明显简洁和便利许多。

3 在载人航天工程中的潜在应用

3.1 维修诱导

航天设备往往都是结构复杂的大型机电系统，其拆装和维修十分困难，不仅费用昂贵，而且对维修人员要求极高。在现有复杂的地面维修中，维修人员往往都是一边翻阅纸质文件或查看电子手册，一边对照设备进行维修。这种方式效率低下，易受环境影响，出错率高，而且过于依赖专业维修人员的个人技能和经验。这种方法在地面操作中就已存在不小隐患，更加难以适应太空维修的各种苛刻环境。

因此，基于增强现实的维修诱导系统应运而生。如上文所述，增强现实技术借助计算机图形学和可视化技术，可以在现实环境中融入原本不存在的虚拟对象。这样，针对维修或装配，增强现实可以智能化地提供诱导信息，比如提供观察者视野中各部件的具体信息（图5），提供当前步骤应该执行的操作提示（图 6）等。

图5 维修诱导实例——各部件信息提示[17]

在这种条件下，操作者不需精通太多领域的专业维修知识，也不需繁琐的翻阅其他任何说明文件，只需在增强现实的诱导提示下就可正确无误地完成维修任务。这种基于增强现实的数字化维修受外界环境的干扰较小，所需设备简单、性能稳定、携带方便，将是太空维修的不二之选。

图6 维修诱导实例——操作提示[18]

图7是增强现实维修诱导系统的数据流框图，整个系统包括三大子系统，分别为交互系统、增强现实系统、智能信息提供系统。

交互系统由运动感知模块、运动感知数据库、命令解释模块、命令数据库组成。其中运动感知模块用于监测和获取用户的运动类交互式输入，读取数据手套、眼动检测仪、空间鼠标、移动键盘等外设的数据，通过与运动感知数据库的对比识别解析出交互指令，发送给命令解释模块。命令解释模块处理运动感知模块发出的交互指令和维修人员发出的语音命令，然后将这两者转换为对维修操作指导内容的请求。

图7 增强现实维修诱导系统数据流框图

增强现实系统由场景分析模块、虚拟场景数据库、信息增强模块组成。其中场景分析模块能够持续地跟踪维修场景的变化，并对维修人员所处的真实场景进行分析，解释来自用户所处真实环境的变化，进行环境相关数据如位置、视点位置等的更新，为系统提供用户所在场景的变化数据。信息增强模块完成整个维修诱导系统的信息输出，将工作流控制模块提供的虚拟信息叠加到对维修人员所在的真实环境中。

智能信息提供系统由信息获取模块、工作流控制模块、技术资料数据库和案例/知识数据库组成。其中信息获取模块根据场景分析结果和工作流请求指令，面向具体的维修任务，从维修资料数据库和案例／知识数据库中获取与维修场景相关的技术资料，并对获取的信息进行处理；它所提取与场景变化相适应的虚拟信息，可为控制模块提供依据。工作流控制模块作为整个维修诱导系统的核心，具有两个功能：一是对维修诱导流程进行控制，对输入信息进行响应，对输出信息进行管理，对整个系统进行维护；二是处理各个模块之间可能的冲突，保证系统的正常运作。

整个系统以工作流控制模块为核心，以命令解释模块和运动感知模块为数据输入，以信息增强模块为输出，通过场景分析模块和信息获取模块的辅助，完成整个增强现实维修诱导过程。

这一由三个子系统紧密有序分工合作所形成的工作框架，可适用于绝大多数的应用环境。基于此框架的增强现实维修诱导、操作指导或是训练等，在载人航天工程的未来实践中，将能有效地提高工作效率、缩小培训周期、减少人为差错，因此具有非常现实的潜在应用价值。

3.2 遥操作

在载人航天工程中，遥操作是一种广泛采用的控制技术，它使操作者能在危险环境或人类无法进入的环境中，进行指挥作业并安全完成作业任务。但远距离通信导致的时延问题一直是遥操作系统的研究难点和热点。

过大的时延很容易引起控制系统的不稳定，进而大大降低系统的可操作性。研究表明，当延迟大于0.25s时，操作人员就能明显感觉到延迟的存在。而在航天工程领域，远距离信号传输所导致的大时延几乎是不可避免的，从几秒甚至到几分钟都有可能。一旦产生大时延，操作者将无法实时地获取被控物体的信息，被控物体也不可能实时响应操作指令，这将对操作者的判断产生很大的干扰。

图8 使用增强现实技术的遥操作系统组成

增强现实技术的引入，可以很大程度上弥补大时延对遥操作的影响。早在1990年，美国NASA的JPL 实验室就提出了“Phantom Robot”的概念[14]，指出了用仿真图像对视频图像进行叠加增强，以便克服时延对遥操作的影响。这一方法在1996年NASA Godard太空飞行中心得到验证，操作时间节约了近50%。

由于增强现实技术可以在真实场景中仿真出被控物体的三维运动轨迹，将真实场景和仿真图像两者完美地融合[15]，使操作者可以清晰明确地实时预测各种指令的可能结果，及时做出下一个判断，以此补偿时延滞后。待新的场景信息返回后，可以对原预测的结果进行修正，并改进预测模型，实现不断的迭代学习和持续预测。

图8示出了一个典型的使用增强现实技术的遥操作系统。操作者可以通过被增强的视频信息，方便地观测到被操作物体的实际运动和预测运动之间的直观差异，也可以使用力反馈设备进行双向的力传递和预测。同时，还可以如维修诱导一般，直观实时地获得虚拟的辅助信息和操作提示（如三维动画和文字），并加入语音、手势、操作杆等多种交互指令，以保证及时发送一些常用指令，这可以提高操作者对未知环境的适应能力，有效地保证遥操作的效率和精度。

采用这种基于增强现实的遥操作技术，使虚拟的预测被控物和真实的远程工作环境相互融合，在增强现实环境中使虚拟被控物对真实被控物的动作进行实时预测、仿真，这既可进行直观高效的人性化交互，又避免了直接与远程被控物交互的时延，将能大幅度地提高遥操作系统的可操作性、安全性和稳定性，这在载人航天工程中必将有所作为。

4 结束语

增强现实技术作为一项新兴技术，在载人航天工程中的太空维修、大时延遥操作等领域，有着广阔的应用前景。本文回顾了增强现实的三大支撑技术，展望了增强现实在载人航天工程中的潜在应用，分析了其中的技术难点，并提出了相应的方案。对增强现实技术的深入研究，一定能为我国载人航天工程的实践提供有力的技术支撑。 ◇

［1］I.Sutherland.A Head-Mounted Three-Dimensional Display.Fall Joint Computer Conf.,Am.Federation of Information Processing Soc.（AFIPS）,Conf.Proc.33,Thompson Books,Washington,DC,1968,pp.757-764.

［2］P.Milgram and F.Kishino.A Taxonomy of Mixed Reality Visual Displays.IEICE Trans.Information Systems,1994,vol.E77-D,no.12,pp.1321-1329.

［3］R.Azuma,Y.Baillot,R.Behringer,et al.Recent Advances in Augmented Reality ［J］.IEEE Computer Graphics and Applications,2001,vol.25,no.6,pp.34-43.

［4］F.Zhou,H.B.L.Duh,M.Billinghurst.Trends in Augmented Reality Tracking.Interaction and Display:A Review of Ten Years of ISMAR,Proceedings-7th IEEE International Symposium on Mixed and Augmented Reality 2008,ISMAR 2008,pp.193-202.

［5］J.P.Rolland,L.Davis and Y.Baillot.A Survey of Tracking Technology for Virtual Environments.Fundamentals of Wearable Computers and Augmented Reality,1st ed,W.Barfield and T.Caudell,Eds.Mahwah,NJ:CRC,2001,pp.67-112.

［6］M.Fiala.ARTag.a Fiducial Marker System Using Digital Techniques.IEEE Computer Society Conference,CVPR 2005,vol.2,Canada,pp 590-596.

［7］朱淼良,姚远,蒋云良.增强现实综述［J］.中国图象图形学报,2004,vol.9,no.7,pp.767-774.

［8］H.M.Park,S.H.Lee,J.S.Choi.Wearable Augmented Reality System Using Gaze Interaction.Proceedings-7th IEEE International Symposium on Mixed and Augmented Reality 2008,ISMAR 2008,pp.175-176.

［9］H.L.Pryor,T.A.Furness and E.Viirre.The Virtual Retinal Display:A New Display Technology Using Scanned Laser Light.Proceedings of 42nd Human Factors Ergonomics Soc.,Santa Monica,CA,1998,pp.1570–1574.

［10］M.B.Spitzer,N.M.Rensing,R.McClelland and P.Aquilino.Eyeglass-Based Systems for Wearable Computing.Proceedings of First International Symposium on Wearable Computers.Massachusetts,USA,1997,pp.48–51.

［11］I.Kasai,Y.Tanijiri,T.Endo and H.Ueda.A Forgettable Near Eye Display.Proceedings of IEEE International Symposium on Wearable Computers,CA,USA,2000,pp.115–118.

［12］S.K.Ong,M.L.Yuan and A.Y.C.Nee.Augmented Reality Applications in Manufacturing:A Survey.International Journal of Production Research,May 2008,vol.46,no.10,pp.2707-2742.

［13］李薪宇,陈东义.基于混合跟踪的增强现实系统设计与实现.计算机应用,2009.10,vol.29,no.10,pp.2852-2854,2858.

［14］A.Bejczy,W.Kim and S.Venema.The Phantom Robot:Predictive Display for Teleoperation with Time Delay.IEEE International Conference on Robotics and Automation,1990,pp.546-551.

［15］熊友军.基于增强现实的遥操作关键技术研究.博士学位论文.华中科技大学.2005.

［16］谭继帅,王松山.增强现实技术及其在维修培训中的应用.设备管理与维修,2008,no.4,pp.8-10.

［17］ E.Memi.Boeing’s working on augmented reality,which could change space training,ops.Boeing Frontiers,Oct.2006,vol.5,issue 6,pp.21.

［18］S.J.Henderson,S.Feiner.Evaluating the Benefits of Augmented Reality for Task Localization in Maintenance of an Armored Personnel Carrier Turret.Science and Technology Proceedings-IEEE International Symposium on Mixed and Augmented Reality 2009,ISMAR 2009,pp.135-144.