增强现实技术最新研究进展及航空航天领域应用*

刘 远 孟少华 陈畅宇 樊启帆

（1.北京卫星环境工程研究所 北京 100094）（2.北京市航天产品智能装配技术与装备工程研究中心 北京 100094）

1 引言

增强现实（Augmented Reality，AR）是将数字虚拟信息与真实世界环境巧妙融合的技术。它广泛地应用了多媒体、三维建模、实时跟踪、智能交互和传感器等技术手段，将计算机生成的图像、文字、三维模型和音视频等虚拟信息模拟仿真后再叠加到真实世界中，虚实信息互为补充，进而实现对真实世界的增强［1］。

工业领域上的工业真实世界与数字信息文件之间的差距，使得工业用户在理解、认知、执行、监控和优化流程上，变得困难重重并阻碍了整体的生产力。而基于AR技术的解决方案可以消除这些差距。利用各种移动式的增强现实软硬件系统，可以将现场数字数据和三维数字文件的数据进行精确地融合比对。大幅缩短了数字世界和现场实际世界之间的认知距离，创造了强大的协同作用，并提高了效率。因此有望在工业领域获得广泛应用［2～3］。

为了降低工业企业的生产成本、加强产品性能、提高生产效率，本文对AR技术的最新研究趋势进行综述，并调研AR 技术在国内外航空航天领域的应用，为我国在相关领域开展工作提供参考。

2 增强现实技术原理

如图1 所示，AR 技术实现原理主要分为输入、虚实融合和输出三部分。首先，通过对真实世界的图像数据进行采集并结合人机交互技术发布指令到增强现实终端完成输入。然后，通过虚实融合技术使场景具有良好的虚实融合渲染效果。最后，通过显示技术输出可视化结果到设备终端。

图1 增强现实技术原理

如图1 所示，增强现实技术实现流程主要分为输入、虚实融合和输出三部分。1）输入：增强现实终端用户采用语音、手势和体感等人机交互技术控制增强现实终端通过采集真实世界场景信息，并将真实信息输入虚实融合处理；2）虚实融合：分别采用计算机视觉技术处理采集到的真实图像信息和计算机图形学技术渲染出虚拟信息，最终在3D 环境中完成虚实信息的叠加；3）输出：可采用3D立体技术、全息显示技术和光场显示技术显示输出虚实融合信息。因此，增强现实技术的关键是如何将虚实信息无缝融合，根据Ronald Azuma［4］对增强现实技术的定义，为了确保真实世界和虚拟对象的无缝融合必须要解决好三大关键问题和三项关键技术。

其中三大关键问题是如何解决虚实信息在几何、光照和时间方面的一致性问题。1）几何一致性：所谓的几何一致表示虚实信息在空间中保持一致，需重点关注遮挡处理策略。正确的遮挡关系可以增强观察者在视觉体验上场景真实感，比如在增强装配场景中，不同的装配零件存在着前后遮挡关系，因此，正确反映虚实零件间的遮挡关系，对增强装配系统的实际工程应用具有重要意义。一般遮挡处理策略主要有基于深度信息的虚实遮挡［5］和基于模型的虚实遮挡［6～7］两大类。2）光照一致性：绘制具备真实感的虚实融合场景需解决光照一致性问题。3）时间一致性：实现实时人机交互则需解决时间一致性问题。三大问题中，几何、时间一致性是光照一致性的基础，实时、高效地还原真实几何场景后才可以进一步实现形象逼真的光照渲染。

AR实现需要用到的三项关键技术分别是虚实融合技术、人机交互技术以及显示输出技术［8］。

1）虚实融合技术

虚实融合技术实现的关键是跟踪注册精度，跟踪注册方法分类如表1 所示。最初，主要采用二维码人工标识物的方法实现目标定位跟踪［9］，但是该方法成功使用需满足如下条件：1）标识物避免被遮挡，应出现在图像采集装置视野内，否则会导致跟踪失败；2）避免受强光照射，导致无法辨识；3）选择适合放置标识物的工程环境。上述条件限制了有标识物的定位跟踪方法进一步发展，随着计算机计算能力的提升，学者们将研究重心转移至无标识物的定位跟踪方法，主要分为基于模型［10］、基于图像自然特征［11］和基于机器学习［12］等方法。

表1 跟踪注册方法分类与对比

增强装配作为装配工艺可视化手段，采用稳定的虚实融合技术，根据采集装置实时感知真实装配操作空间环境信息，将文字、标识、模型等虚拟工艺信息精准地叠加在真实环境中，通过生成虚实融合的工艺引导视图，指导装配操作人员完成零件安装［13～14］。

2）人机交互技术

随着AR 时代的来临，采用新型的人机交互方式将成为主流。因此，模仿人类本能的人机交互技术成为AR技术的重要基础。人机交互技术实现用户和物理环境中虚拟对象之间更自然的交互，主要包含动捕、眼动追踪、语音交互、触觉交互和脑机交互等，图2 列举了典型的面向AR 的人机交互技术方式［15］。

图2 人机交互技术

3）显示技术

显示技术以人眼的立体视觉原理为依据。因此，研究人眼的立体视觉机制、掌握立体视觉的规律，对设计立体显示系统是十分必要的。如果想在虚拟世界看到立体的效果，就需要知道人眼立体视觉产生的原理，然后再用一定的技术通过显示设备还原立体效果。主要包括头戴显示技术、全系投影技术和光场成像技术。

3 增强现实产业发展情况

目前，AR 产业正处于市场启动期到高速发展期的过渡阶段，产业发展主要由技术创新和应用拓展驱动，未来有望吸引更多厂商进入AR 市场。随着技术体系的成熟、产业链构建的完善以及产品形态和内容平台的丰富，AR 有望在更多场景实现落地。未来AR 产业有望发展成为一个软硬结合，且汇集大量优质内容的平台，届时也将迎来真正的高速增长期。

AR 产业链上游硬件部分主要包括光学设备、显示设备、芯片、传感器等，软件部分包括数据采集（环境渲染、视频捕获、SLAM）、数据处理（3D 渲染、渲染引擎等）和系统平台（操作系统、SDK）。中游的硬件部分包括3D Sensing、处理器模组、显示模组等，软件部分包括动作捕捉、眼动追踪和语音处理等功能的开发；下游则主要是各种AR 终端产品以及各种AR 技术应用的服务。IT 巨头在AR 领域积极布局，在软硬件技术和应用生态方面均有所建树。海外厂商凭借着技术先发优势和平台优势，切入了AR 底层技术研发、终端产品制造和垂直领域应用等全产业环节，逐步建立起完善的产业生产，竞争优势显著。

1）谷歌

2013年的Google Glass，是AR 的另一款里程碑式的产品，它也是第一款消费级别的AR 产品。用户佩戴谷歌眼镜在路途中查询地图导航、拍照，并与朋友通讯的场景让大众印象深刻。在过去数年的应用和沉淀中，不少企业已经借助Google Glass提升工作效率，比如DHL 快递的员工会通过Google Glass 头显提升拣货速度；农机制造商AG⁃CO、机械制造商GE通过头显操作指南提高装配效率（图3）。

图3 谷歌眼镜应用

2）Magic Leap

Magic Leap［16］于2011 年在美国成立，采用技术难度极大的光场技术研发新一代增强现实产品，并于2017 年推出Magic Leap 1，该产品作为谷歌眼镜与Oculus Rift［17］的结合体，在眼镜与真实世界中叠加一个虚拟的数字图像层，进而实现虚拟信息与真实世界的融合，包含了轻质头显装置、内置处理器的轻质携带装置以及6自由度遥控装置。

3）微软

HoloLens 1 是微软公司于2015 年发布的首款全息眼镜，不同于顶级虚拟现实设备Oculus Rift 和HTC Vive［18］，其本身就是一台搭载Windows 10的独立运行的全息计算机设备。该装备基于LCoS投影显示技术，内置CPU、GPU和HPU（全息处理器），集成惯性传感器、环境光传感器、混合现实捕捉传感器等，并采用即时定位与地图构建（Simultaneous lo⁃calization and mapping，SLAM）技术。HoloLens 1 内含六个摄像头，分别是一个深度信息采集装置、四个环境灰度信息采集装置以及一个高像素的摄像头。其中深度信息采集装置采用红外线测距技术进行深度信息采集；四个环境感知摄像头用于环境地图构建；高像素摄像头用于拍摄图片以及录制视频。

4）Meta

Meta［19］采用独特的技术，可以使用户通过双手控制3D 内容，将自身构建成比Macintosh 容易使用100 倍的操作系统。其目标是让用户和虚拟物体之间的互动成为真实世界体验的一个无缝扩展。

5）苹果

苹果公司［20］在AR 领域积极展开布局，自2010年起收购了多家AR 技术相关领域公司，分别是位于瑞典的人脸识别技术公司PolarRose；位于以色列的人体3D 实时动捕公司PrimeSense；人脸识别公司FaceShift；位于德国的增强现实技术公司Me⁃taio以及初创企业FlybyMedia。

4 增强现实技术在航空航天等工业领域应用现状

航空航天领域产品存在着系统设计复杂、安装精度要求高、装配质量无差错等特点，给装配操作人员带来了极大得挑战。随着AR技术的在装配领域推广，增强装配新技术成为了新的引擎，助力实现更高效率、更直观以及更安全的操作，进而被应用于国内外航空航天企业。

1）波音公司

如图4（a）所示，AR技术最早于20世纪90年代初被波音公司提出，并被扩展开发为AR 辅助铺线系统［21～22］。该系统采用了视频透视式显示装置，将虚拟的铺线路径以及接线点的位置信息叠加到真实的安装环境中，引导操作人员高效率完成铺线操作，并大大降低了安装错误率。随后，针对飞机电缆装配场景，波音公司开发了“Skylight”AR 装配工艺引导系统，引导海量电缆装配。操作人员通过该系统不仅能够在真实装配场景中看到电连接器位置信息，还能够看到虚拟的装配工艺指令等提示信息，进而快速准确地完成电缆安装操作，如图4（b）。波音公司已经在生产线上大规模使用AR 眼镜以辅助线缆的装配，如图4（c），该系统能够为技术人员提供实时在线、交互式的三维接线图。数据统计，波音公司采用AR技术后，将线束的错漏装比率降低了近50%，效率提升了25%。

图4 波音公司采用增强现实技术指导装配作业

2）空客军用飞机公司

空客军用飞机公司（AIRBUS Military）［23］将AR技术应用在飞机车间装配指令中以替代传统的纸质工艺文件。最早在A400M 飞机铺线中通过研发的“月亮”AR 装配辅助系统，以智能平板电脑为虚实信息展示平台，显示电缆走向、电连接器代号等工艺提示信息，进而引导操作人员高效、精准地完成数百千米的电缆和电连接器的安装任务，并进行安装质量的快速检验。进一步，空客公司还通过“智能增强现实工具”系统开发了设计验证模块、装配引导模块和装配质量检测模块［24］。其中装配质量检测模块为A350等机型的管路支架的安装正确性提供辅助检验功能，通过比对原始三维设计模型数据和实际装配结果采集图片数据，进而实现管路支架的错漏装检验，将检验时间缩减了近85%，如图5。

图5 空客公司基于增强现实的“MiRA”系统应用

3）欧空局

欧空局（ESA）［25］早期开发的增强现实应用系统为国际空间站宇航员提供“精准”的装配操作信息。ESA 通过EdcAR 项目定义了AR 的通用体系结构和工作流程（从空间工程数据到最终AR 应用），以便将其应用到空间领域，最终为增强现实的概念验证实施了三个具有代表性的用例：1）有效载荷同轴电缆组件的组装［26］，2）国际空间站集中式机舱过滤器的更换［27］，3）国际空间站维护工作的远程支持。

4）国家航空航天局

国家航空航天局（NASA）［28～29］早在2016 年的Sidekick 项目中已在国际空间站测试了微软的Ho⁃lolens 设备，旨在更加有效地维护和保养空间站上的设备。宇航员Scott Kelly借助HoloLens增强现实眼镜的实时过程指导对国际空间站进行了操作和维修［30］。

5）Diota

Diota 公司成立于2009 年，作为一家致力于增强现实解决方案行业的欧洲领先供应商。研制了多种基于AR 技术的产品，如投影系统（图6（a））、平版电脑系统（图6（b））、手柄相机（图6（c））和检验相机（图6（d））［31］。

图6 Diota公司研制基于增强现实技术的产品

其中投影系统适合在宽大的表面上对复杂、精细的作业流程信息进行可视化。通过AR增强现实技术，在现实作业区实时叠加显示逐步式数字作业指令，并与步骤中的任务、零件、工具设置的指令进行交互，可有效降低任务复杂度，帮助工人减少错误，降低作业错误风险。同时，能够解放工人的双手，支持多个工人同时作业，可以大幅减少作业时间。

平版电脑系统适用于与信息系统频繁交互的生产作业或需要高质量图形渲染的操作工况，对于由不同性质的零部件（机械、液压、化学、电子）组成的复杂系统，通过参考标准的数字模型定位控制点检测不合格品。另外，可在现场拍摄待集成系统的照片，设计师收到图片后，可以通过检测系统配置如固定装置、支架和配件的位置、高度和方向，进而验证各种设备（储罐、增压器、料仓等）的设计合格性。

检验相机可以搭载在机械臂上，通过基于模型的检验路径规划方法，实现对产品装配质量的自动化检验，如图7。

图7 基于增强现实的检验相机系统应用

具体场景与检验方法主要分为以下方面：

1）基于三维模型，检测线缆两端、螺丝切齐区、托架边缘、镜盖位置等判断其是否存在；

2）基于颜色过滤器，判断红夹、盖子、便帽、平滑帽、蓝帽、蓝色垫圈等是否存在；

3）通过对线束三维重构，按线束线序近似，判断线束是否交错混装；通过三维模型与点云测量数据之间的三维点云对准判断线束是否在束线夹内；

4）其它：基于形状检测油表油位；基于高梯度和高亮度区域检测白色螺旋顶端是否存在。

随着发展前景认识的不断加强，国内的各高校和科研机构相继展开了对增强可视化技术的研究。

华中科技大学的李世其［32］等针对飞机座舱装配空间狭小、设计复杂度高、装配过程繁琐且安装精度要求高等特点，将AR 技术应用到了座舱装配操作中；北京邮电大学孙桂川等［33］设计并开发了网络环境下基于特征的AR装配原型系统；同样，北京邮电大学宋荆洲等［34］提出一种将层次着色Petri 网与图灵机模型相结合的方法，建立了基于AR 技术的增强装配系统。

进一步，为提升AR 系统的三维跟踪注册的精确度和鲁棒性，西北工业大学王月等［35］基于点云和机器视觉特征结合的方法，研制具备虚实融合计算处理能力的增强装配工艺引导原型系统（CPILab-AAPS，Cyber-Physical Interaction Lab-Assembly As⁃sistance Prototype System），并在无人机发动机上进行系统测试验证。深圳增强现实技术有限公司0glass 设计的装配辅助系统PSS（Performance Sup⁃port & Training System）［36］，内置了实时指导、透明管理、个人教练、知识沉淀四大模块。早在2017年，中国空间技术研究院北京卫星环境工程研究所基于三维渲染引擎Unity3D，构建基于增强现实的电缆装配引导系统，给出了系统总体技术框架，阐述了虚实跟踪注册模块、智能交互模块、三维工艺导引信息可视化方法及虚实一致性控制方法等内容的技术流程、实现方法及实验结果。并将原型系统应用于实际航天器电缆装配场景，对系统功能和各技术方法进行了验证，证明基于增强现实的电缆工艺可视化方法对手工作业效率的提升达40%以上。该技术应用于我国航天器产品总装［37］的成功案例获得了行业内广泛关注，并被央视报道，如图8。

图8 增强现实辅助航天器总装

除此之外，国内北京理工大学、南京航天航空大学等都在增强现实与装配引导的结合上做了很多优秀的研究及尝试，不断充实了未来增强现实充分落地工业复杂装配场景的理论及应用基础。

5 结语

从应用行业来看，航空制造领域对增强可视化技术的关注度与尝试比其他制造子行业更多，这一方面是由飞机制造的复杂性直接决定的，另一方面也与需要大量人工操作有密切关系。因此，这对具有相同特点的航天器总装研制具有良好的借鉴意义。

从应用水平来看，国内外增强可视化技术在制造各个子领域的应用均不成熟，大部分公开报道的增强可视化系统以关键技术研究、应用模式研究、演示教育等为主要目的。在市场尚未成熟的当前时期进行相关技术布局，有利于及早获得核心竞争力。

从应用模式来看，增强可视化技术主要在有实物对象的现场进行应用，主要类型有以下三种：1）对现有产品、设施、场地等进行改进设计，可以不破坏环境，并现场快速出图；2）引导操作者进行复杂系统的装配与维修，替代厚重难懂的技术文件；3）对非专业人士进行快速培训，使用真实场景取代传统纸质资料。这些也是航天器研制中出现频率最多的场景，因此，增强可视化技术在航天器装配过程中具有巨大应用价值。

我国正处于工业转型升级的关键时期，AR 技术的发展，既是重大机遇，又是挑战。加快推进AR技术研发及产业化，对于提升我国制造业的整体创新能力，取得在数字化制造、智能制造方面发展的主动权，抢占先进制造业发展制高点，加快工业转型升级和经济发展方式转变具有重要意义。因此，相关技术的研究、应用将会是一项长期而持续的工作。本文通过调研国内外AR 技术的应用现状，可为我国在相关领域开展工作提供参考。