基于增强现实的装备诱导维修系统设计与实现*

崔波，王崴，2，瞿珏★，李自豪

（1.空军工程大学防空反导学院，西安710051；2.西安交通大学机械制造系统工程国家重点实验室，西安710049）

基于增强现实的装备诱导维修系统设计与实现*

崔波1，王崴1，2，瞿珏1★，李自豪1

（1.空军工程大学防空反导学院，西安710051；2.西安交通大学机械制造系统工程国家重点实验室，西安710049）

针对目前装备维修过程中存在的复杂度高、上手慢和安全性低等问题，构建了一个诱导维修原型系统，并围绕增强现实关键技术阐述了诱导维修系统的设计与实现；采用了模块化设计方法，通过分析诱导维修系统设计需求，对系统所需要的各个功能模块进行了设计，并且使得系统的维修任务能够根据维修对象的改变在框架不变的前提下得到修改或升级；利用该原型系统对发动机活塞环和离合器片更换两项维修任务进行了诱导，验证了系统的功能。

增强现实，诱导维修，人机交互，系统设计，数据管理

0 引言

随着我军机械化、信息化进程的不断深入，我军装备向大型复杂、技术密集的方向发展，大量武器装备运用了先进的加工和装配工艺，在提升武器性能的同时也增大了维护维修的难度，提高了对维修人员的要求。因此，增强部队维修能力、提升装备维修性、保证装备完好率成为提升我军战斗力的关键因素。面对装备内大量零部件组成的装配体系及其内部复杂的约束关系，基层维修人员只能依靠传统的纸质维修手册和装备的工程图册的指导进行维修，使得维修人员的注意力需要在手册和维修对象间频繁切换，而且在战场抢修环境下，维修人员往往处于较为恶劣的维修环境，精神状态高度紧张。这种传统的维修方式不仅制约了维修效率的提升，而且会导致较高的误操作发生概率，即便经验丰富的维修人员也很难保证快速准确地完成维修任务。

诱导维修是后勤保障领域的新概念，20世纪90年代初，增强现实被波音公司应用于辅助机舱内电缆连接和接头装配［1］；德国的Arvika［2］和同期的Starmate［3］系统也表现出AR在复杂机电系统维护维修领域的巨大应用价值；阿尔及利亚高技术与发展中心的Samir等人将AR用于水泵维修，开发了ARPPSM系统（Augmented Reality for Photovoltaic Pumping Systems Maintenance），以解决复杂光伏水泵系统的维修性问题［4］；美国空军联合空军研究试验室和哥伦比亚大学等6所单位开展了增强现实保障维修（Augmented Reality for Maintenance and Repair，ARMAR）项目［5-6］的研究。其目的是在装备维修保障方面评估和探索AR技术的可行性和效能。

根据以上背景，本文提出在装备维修领域运用“增强现实诱导维修”技术。其核心是运用增强现实（Augmented Reality，AR）技术，根据维修任务、装备三维模型、电子维修手册等资源信息生成三维图像和动画、维修方法提示、维修注意事项等诱导信息，并将其以虚实叠加的增强信息显示方式呈现在维修人员的视场中，在维修人员注意力集中的“维修区域”叠加显示各类图形文字信息，形成伴随式的诱导维修信息，以辅助和引导维修人员进行维修作业。

1 方案设计

图1 系统总体结构

诱导维修系统分为跟踪注册、人机交互、数据管理、诱导信息生成与输出4个模块进行设计［7-9］。其中跟踪注册模块负责获取维修者头部位姿以完成虚拟信息和真实世界的自然融合；人机交互模块使得系统能够理解维修者意图以作出合适的响应；数据管理模块能对各类数据进行有序储存和管理；诱导信息生成与输出模块通过对资料信息的组织和处理，生成适当的文字、图形、交互界面等信息并显示在头盔显示器上；图1表示系统总体结构和各模块间信息的流向。为增强系统通用性，在进行各模块设计时，预留了可编辑和定制的空间，比如可以更换维修模型和编辑维修任务，使系统能够根据需要进行修改和拓展。

1.1跟踪注册模块

1.1.1混合注册系统

结合现有注册方式和诱导维修系统的特点，对混合注册方法进行了研究，提出了一种新型的融合惯性、地磁、视觉数据的多传感器混合注册算法［10］。算法通过设计互补滤波器［11］融合陀螺仪、加速度计和地磁传感器的数据，得到头部姿态；构建系统状态方程并将系统量测分为惯性和视觉两个通道，视觉通道通过匹配关键帧和分解单应性矩阵更新量测，使算法摆脱了人工标志的限制；根据两个量测通道的特点设计无迹卡尔曼滤波（Unscented Kalman Filter，UKF）［12］方案，融合互补滤波器的输出和加速度计信号得到最终头部的姿态和位置。图2为混合注册算法的结构框图。

图2 注册系统总体框图

1.1.2多传感器硬件系统

混合跟踪的传感器系统由视觉传感器（摄像头）、陀螺仪、加速度计和地磁感应计组成。摄像头和惯性/地磁模块一同固连在自制的增强现实头盔上，如图3所示。

图3 AR头盔

1.2 人机交互模块

考虑到装备维修过程中受限的空间环境以及噪声干扰，同时也为满足诱导维修系统在战场快速抢修方面的应用需求，本文设计了语音和手势识别的方式，并配合显示的菜单界面构成的多通道人机交互模块，结构如图4所示。在软件维护修改时，开发人员借助鼠标键盘的常规方式对系统进行操作；在维修进行过程中，维修者要进行维修操作且受到空间限制，因此，借助麦克风外设和Microsoft Speech SDK输入语音指令，借助体感控制器Leap Motion和Leap SDK输入手势指令。上面部分指令直接对系统进行控制，部分指令通过操作菜单界面间接输入。

图4 人机交互模块结构

1.2.1语音指令输入

本文通过麦克风采集用户语音并采用Microsoft Speech SDK所提供的Speech API（SAPI）进行语音识别。其中根据维修任务制定相应的语法规则是实现高效正确识别的关键，识别引擎根据语法规则生成识别的结果一般为孤立的字或词。本文采用命令控制语法，制定了10条语音指令，分别为打开菜单、关闭菜单、光标上行、光标下行、确认、返回、任务开始、下一步、上一步、任务结束。将这10条指令存入格式的语法规则文件如图5。

图5 xml语法规则文件

1.2.2手势指令输入

利用Leap公司的手势控制器Leap Motion捕获维修者手势动作并通过Leap SDK中的API函数获取维修者手势命令。Leap Motion利用一个红外投射器和两个红外摄像头根据立体视觉原理测量手部位置，作用范围为设备上方20 mm～600 mm的锥形区域，跟踪精度可达0.01 mm。本文设计并利用3D打印制作了PVC材质的Leap Motion固定座，用尼龙带将其固定在维修者胸前。

1.2.3菜单界面设计

诱导信息需要通过头戴式显示器呈现给维修者，为了将维修过程展示给其他人员以及方便软件维护人员对维修任务、模型等内容进行修改。本文设计了“编辑/演示”和“维修”两套界面，通过windows双屏显示技术分别将“编辑/演示”界面和“维修”界面显示在LCD液晶屏和头戴式显示器上，两个界面上的信息将同步显示，在“展示”界面中将显示虚实融合的视频影像和更多面向软件维护者的选项，“维修”界面则是给维修者呈现交互信息，如图6，当“维修”界面在光学透视显示器上显示时，其中黑色部分将以透视形式呈现真实场景，用于其上显示的虚拟信息形成叠加。

图6 两套显示界面关系

图7 两级菜单界面

在计算机上通过鼠标和键盘可以对两个界面进行操作，但对维修者而言只能用手势和语音对界面进行操作以完成维修过程中的交互。在“维修”界面中，之前制定的10条语音/手势指令中打开菜单、关闭菜单、光标上行、光标下行、确认、返回这6条是用来操作菜单界面的，通过操作菜单界面可以实现对维修任务的选择、任务进度查看、维修导航路径查看以及维修对象信息查看。设计的两级菜单界面如图7。

1.3数据管理模块

本文将诱导维修中要用到的各类信息资源主要分为维修文档资料和维修模型资料两类。维修文档资料主要包括维修任务、维修方法步骤、注意事项、维修对象信息和零部件信息等文本、图片或音频资料；维修模型资料主要包括维修样机、场景环境、工具设备的三维模型、贴图和纹理等信息。

1.3.1维修文档资料管理

本文通过建立维修文档资料集合模型对维修文档资料进行管理。考虑到XML语言文档内容有结构分离、跨平台性、可拓展性等特点，采用XML语言建立维修文档资料集合模型，该模型面向某个特定型号的装备所涉及的各类资料，这些维修资料按照维修任务、维修方法步骤、注意事项、维修对象信息和零部件信息等分层次、分类别管理，维修资料中记录了诸如维修任务名称、维修步骤列表、语音提示的音频文件路径的详细信息。图8为维修文档资料集合模型结构图。

图8 文档资料集合模型结构图

图9 维修任务工具编辑界面

文档资料集合模型可以通过“演示/维护”界面中相应的模块进行编辑和修改，以定制不同的维修任务，通过图9所示界面可以对维修任务和所用工具进行编辑。

1.3.2三维模型管理

图形诱导信息对维修人员起到了主要引导作用，它由维修对象零部件和维修工具的三维模型构成的动画和对应的箭头提示所组成，因此对三维模型进行有效的组织管理是生成图形诱导信息的关键。本文依托开源图形库OSG（OpenSceneGraph）进行图形开发，涉及到的所有三维模型，包括装备零部件和维修工具器材都事先通过ProE软件进行建模得到三维实体模型，并用Deep Exploration软件转换为面片模型，再用Creator软件进行纹理贴图，最后将模型导入诱导维修系统，图10为气缸体从建模至导入系统的步骤。

图10 模型导入步骤

各零部件拆装动画的播放必须要遵循零件的装配关系，因此本文建立了层次化的装配体模型如图11，该模型包含5方面的信息。

图11 层次化装配体模型

①零件本身信息，包括零部件模型的尺寸、几何形状、在虚拟空间中的位姿信息等。本文将零件表示为：Ci={Bi，IDi，namei，materiali，CADi}，Bi∈R4×4为零件Ci在虚拟空间中的位姿矩阵，IDi，namei，materiali分别代表零件的序号、名称和材质，CADi为零件的三维面片模型。

②装配结构层次关系，可以用{C1，C2，C3，…，Cn}表示被维修对象中的一个装配体，n是该装配体包含零件或子装配体的数量。若Ci为装配体说明其可以被继续拆分为零件，则可将其表示为Ci={Ci1，Ci2，Ci3，…，Cin}。

③零部件运动信息，播放零件在拆装动画时，零件模型需要朝规定的方向转动或移动，这就需要事先给每个需要被拆卸或装配的零件设置好运动方向和运动副。

④零部件约束关系，零部件间配合约束包括两方面的信息：约束类型和参照元素。约束类型包括贴合、对齐、插入、相切等。参照元素是指零部件装配时所参照的点、线、面、坐标系等几何构造元素。生成拆卸或装配动画时，每当完成对一个零件的拆卸或装配时，就从层次化的装配体模型中删除或添加上有关改零件的约束关系，只有当零件满足特定约束条件时才能完成相应拆卸或装配动作。

⑤拆装序列信息，每个维修任务都对应一个拆装序列，拆装序列根据维修规程严格制定。系统通过拆装序列检索当前步骤需要拆卸或装配的零部件，并根据设置好运动方向和运动副使其运动，从而生成拆卸或装配的诱导动画。

通过“演示/维护”界面中的特定功能界面可以导入维修模型资料，并建立层次化的装配体模型，以拓展对不同的维修对象的诱导维修，如图12。

图12 层次模型构建界面

1.4诱导信息生成与输出模块

诱导信息生成与输出模块分为硬件和软件部分，硬件采用Star 1200XLD头戴式光学透视显示器作为增强信息的显示设备，软件方面在Windows7平台下利用OSG（OpenSceneGraph）框架完成模型、文字等图像信息的渲染、显示和语音播报的输出。

图13 两种头戴式显示器

头戴式显示器（HMD Head mount display）分为视频透视式和光学透视式，视频透视式将摄像头采集到的真实场景图像与虚拟信息在屏幕上合成虚实叠加影像，如图13（a）；光学透视式直接将虚拟信息显示在半反射透镜上，真实场景的实像和半反射透镜上的虚拟信息在成像平面上合成虚实叠加影像如图13（b）。由于本文设计了“编辑/演示”和“维修”两套界面用于提供不同需求的显示，因此，本文显示方案可表示为图14。

图14 系统显示方案

2 发动机诱导维修实例

本文以某型号单缸风冷四冲程汽油发动机为对象，对诱导维修系统进行了功能验证，并选定“更换活塞环和缸套”和“更换离合器片”作为演示维修任务。图15（a）是维修者装备好诱导维修头盔的情景，图15（b）为维修工作台，工作台由左至右摆放了维修对象、维修工具和更换备件。

图15 维修者与工作台

由于HMD中的显示效果无法对外展示，因此，本文展示的是“编辑/演示”界面中，已经完成虚实叠加的诱导信息显示效果。下页图16和图17分别是拆卸小链轮固定螺栓并取下小链轮和拆卸离合器固定螺母的维修视角。

图16 拆卸小链轮固定螺栓并取下小链轮

图17 拆卸离合器固定螺母

当遇到任务切换、拿放工具零件或其他原因导致维修者视角偏离目标时，系统将显示红色指示线并配合文字提示提醒维修者将视角调整到位，如图18。

图18 维修视角导航

3 结论

本文分4个模块设计并实现了诱导维修系统，通过三维模型动画、二维指示箭头、文字提示、语音播报的方式，实现了对某型单缸风冷四冲程发动机活塞环缸套的更换和离合器片更换，两个维修任务的诱导。该系统还实现了手势和语音的多通道人机交互，对外演示和诱导维修的同步进行。此外，该系统还具备较强的拓展性和通用性，能够根据具体需要导入维修对象的三维模型并编辑维修任务，可实现对不同对象和任务的诱导维修。该系统基本实现了“以人为中心”的维修，为解决战场快速抢修问题提供了思维和途径。在提高我国军用装备维修性、保障性方面具有一定价值。

［1］MIZELL D.Boeing’s wire bundle assembly project［J］.Fundamentals of Wearable Computers and Augmented Reality，2001（10）：447-467.

［2］FRIEDRICH W.ARVIKA-augmented reality for development［C］//Production and Service Proceedings of the International Symposium on Mixed and Augmented Reality，Washington D.C：IEEE Computer Society，2002.

［3］SCHWALD B，FIGUE J，CHAUVINEAU E，et al.STARMATE：using augmented reality technology for computer guided maintenance of complex mechanical elements［J］. E-work and E-Commerce，2001（1）：196-202.

［4］BENBELKACEM S，BELHOCINE M，BELLARBI A，et al. Augmented reality for photovoltaic pumping systems maintenance tasks［J］.Renewable Energy，2013（55）：428-437.

［5］HENDERSON S J，FEINER S K.Augmented reality in the psychomotor phase of a procedural task［C］//Mixed and Augmented Reality（ISMAR），2011 10th IEEE International Symposium on，2011：191-200.

［6］HENDERSON S，FEINER S.Exploring the benefits of augmented reality documentation for maintenance and repair［J］. Visualization and Computer Graphics，IEEE Transactions on，2011，17（10）：1355-1368.

［7］赵新灿，左洪福.增强现实维修诱导系统关键技术研究［J］.中国机械工程，2008，19（6）：678-682.

［8］赵新灿，左洪福.增强现实维修诱导系统交互技术研究［J］.中国机械工程，2009，11（19）：1312-1316.

［9］潘绍松.面向过程的维修诱导关键技术研究［D］.南京：南京航空航天大学，2012.

［10］罗斌，王涌天，沈浩，等.增强现实混合跟踪技术综述［J］.自动化学报，2013，39（8）：1185-1201.

［11］刘辉邦，褚金奎，支炜，等.基于STM32的无人机姿态测量系统设计［J］.传感器与微系统，2013，32（8）：108-110.

［12］郭军海.弹道测量数据融合技术［M］.北京：国防工业出版社，2012：169-174.

Design and Implementation of Equipment Maintenance Guiding System Based on Augmented Reality

CUI Bo1，WANG Wei1，2，QU Jue1★，LI Zi-hao1
（1.School of Air-Defense and Anti-Missile，Air Force Engineering University，Xi’an 710051，China；
2.State Key Laboratory for Manufacturing System Engineering，Xi’an Jiaotong University，Xi’an 710049，China）

Aiming at the problems that include high complexity，not easy-going and low security existing in the progress of equipment maintenance，a maintenance guiding prototype system is introduced，and design and implementation of maintenance guiding system is stated on augmented reality key techniques.Modular design method is adopted，and through analyzing design requirements of the system，each function module contained within the system is designed，which makes the system’s maintenance task can be upgraded or modified according to the change of maintenance objects on the premise of the same framework.Using the prototype system，two of maintenance tasks that include replacement of piston ring and clutch plate of engine are guided，which verify the function of the system.

augmented reality，maintenance guiding，man-machine interaction，systematic design，data management

TP391

A

1002-0640（2016）11-0176-06

2015-10-16

2015-11-30

国家自然科学基金资助项目（51405505）

崔波（1992-），男，河南获嘉人，硕士研究生。研究方向：人机交互，诱导维修。

瞿珏（1985-），男，湖南汨罗人，硕士，讲师。研究方向：虚拟现实、诱导维修和人机工程。