虚拟维修技术综述

冉跃龙，闫英敏，吕秀平

（军械工程学院 河北 石家庄 050003）

随着计算机技术的不断进步，人们一直在探索怎样在虚拟的计算机世界里再现真实世界的现象及规律。这种探索的成果是喜人的，沉浸于虚拟世界中的人甚至不能区分自己到底是在哪个世界。诞生不久的虚拟维修理论更是以其巨大的经济、军事及社会效益吸引着越来越多的人投身其中。虚拟维修主要涉及以下两方面。

首先，传统的维修训练中，对于危险的，或昂贵的，或不可用于培训的，或仅在特定的地方才有的设备，维修训练难以进行或根本无法进行。然而，通过虚拟维修，上述问题就迎刃而解了，受训人员可以在逼真的仿真环境中练习装备的维修，熟悉维修过程，同时，不必担心实际操作时发生的各种意外[1]。

其次，复杂设备在设计时，往往需要考虑其维修性，运用虚拟维修技术，可以在产品的论证阶段就找到其中纯在的设计缺陷，从而避免把维修缺陷带入最终产品。

文中将对虚拟维修进行概述，介绍其设计原理与流程，并针对上述两个方面论述其国内外的发展研究现状，最后对其未来的发展方向进行展望。

1 虚拟维修概述

1.1 虚拟维修的定义

虚拟维修（Virtual Maintenance，VM）最早由美国在20世纪90年代提出，1997年美国军用手册MIL-HDBK-470A中指出：“使用VR技术，维修性工程师可进入到虚拟环境中，对虚拟产品进行维修。这样，部件的可达性、部件分配空间的合理性以及完成特定维修任务所需的大概时间等信息均可以借助VR技术来进行评估[2]。”

至今，有关虚拟维修技术的应用研究虽然已经广泛开展，但仍然没有一个确切的定义来描述它。国外有人将虚拟维修定义为使用虚拟现实（Virtual Reality，VR）技术来仿真维修工作，这种定义方式只是突出了虚拟现实技术的地位，而忽视了虚拟维修涉及的其他技术。也有人将通过远程网络连接来传递文本、声音、图片、视频等信息辅助维修工作的系统，称作虚拟维修系统。从本质上看，这种系统并没有涉及对象的维修性问题，可以定义为一种远程维修支援系统。文献[3]对虚拟维修给出如下定义：“虚拟维修是以计算机技术与虚拟现实技术为依托，在由计算机生成的、包含了产品数字样机与维修人员三维人体模型的虚拟场景中，通过驱动人体模型（包括采用人在回路的方式）来完成整个维修过程仿真的综合性应用技术”。从此定义可以看出虚拟维修包含了维修对象、维修人员、维修工具、设备与设施，维修作业过程信息等基本要素。

1.2 虚拟维修的功能

虚拟维修应该满足以下几方面的功能要求[4-5]：

1）全面逼真地反映真实的维修环境及其实现过程。

2）具有真实系统训练功能的模拟。

3）能对具体的操作步骤做出反映，提供人机交互服务。

4）能够指导维修过程，并且对维修过程进行优化。

5）能够评估维修，对训练者进行考核。

1.3 虚拟维修的组成要素及实现方式

虚拟维修的研究一般包含以下4种要素[4-5]：

1）虚拟维修对象。找到虚拟维修对象本质特征，从特性上达到对维修对象的仿真。

2）实施虚拟维修的人员。结合维修人员的特点，确定合适的维修方案。

3）虚拟维修用到的工具、设备与设施。虚拟维修同样受到维修工具、设备的限制。选用时应考虑维修成本。

4）虚拟维修作业过程信息。虚拟维修必须能够正确反映实际维修的过程，尽可能再现实际维修的详细信息。

虚拟维修的实现方式大致分为2种[6]：

1）通过人体模型的控制来驱动人体模型完成维修操作仿真。这种方式称为“虚拟人员维修虚拟产品”，如图1所示。

图1 虚拟人员维修虚拟产品Fig.1 A virtual person maintains the virtual product

2）引入虚拟现实外设来控制人体模型动作，即维修人员处于维修操作的回路之中。这属于“真实人员维修虚拟产品”方式，如图2所示。

图2 真实人员维修虚拟产品Fig.2 A real person maintains the virtual product

1.4 虚拟维修的关键技术

1）维修过程仿真技术。利用计算机技术仿真维修过程的几何特征、物理特征、和行为特征。尽可能真实的再现被维修系统的实际工作过程，使训练人员获得最好的维修信息。

2）虚拟视景生成技术。利用虚拟现实技术自动生成和维修相关的维修环境，使维修人员“沉浸”在虚拟环境中，使维修过程更加逼真。

3）人机交互技术。通过人机交互技术使训练人员获得虚拟维修的效果信息。虚拟维修系统通过人机交互设备来响应维修人员的维修操作，完成维修指令。

2 虚拟维修系统设计

由于各个研究人员对虚拟维修的理解不同，研究方向不同，提出的虚拟维修系统组成框架都不一样，但是基本的设计原理是相同的，归纳其基本原理如图3所示。组建虚拟维修系统，必须对装备的维修知识、故障表示方法有一个深刻的了解。掌握了维修环境、维修过程与故障的建模技术，才能正确的对虚拟维修进行仿真。根据对维修方案和流程的分析来设计装备维修过程管理模块和维修知识决策模块，对维修过程进行统一管理与控制，协调系统各个功能模块有序运行。虚拟维修操作者通过人机交互设备加入到虚拟维修实践中来，提高对装备的维修经验与能力。

图3 虚拟维修系统设计原理Fig.3 Principles of system design

虚拟维修系统的具体设计步骤如下：

1）分析应用的需求，明确仿真的开发、数据输入、仿真结果输出等信息；

2）基于基本虚拟维修系统的功能，选择外围设备以及软件工具；

3）进行必要的开发工作（包括建立维修过程模型、完成模型数据的转换工作、设计实现满足使用要求的硬件设备等）；

4）按照系统所要达到的功能进行系统的组建，将各部分模块集成为整体。

3 国内外相关研究

美国 NASA（NationalAeronauticsand SpaceAdministration）、军方和一些高等院校、科研机构，德国、英国、日本等军方以及大型公司纷纷开展有关虚拟维修的研究，取得了相当重要的研究成果。在我国，国防科工委、国家自然科学基金委都已把虚拟维修系统的研究列入了研究计划和重点资助项目，在其资助下，国内已有一些院校和科研院所积极投入了这一领域的研究。目前，这一研究主要集中在制造领域，多数是在原来的CAD（Computer Aided Design）和仿真技术基础上进行的，如：装备的结构设计、装配和拆卸、人体运动模型的控制等方面。而虚拟现实应用系统的实现仍依赖于国外先进的技术平台和国内应用环境的结合[7-8]。

从80年代中后期起，随着虚拟现实技术的充分发展与应用，它在虚拟维修方面的研究获得了巨大的成功。有关虚拟维修的研究主要涉及到两个领域，一个是用于教学的维修训练领域，另一类是用于装备研发时的维修性设计分析领域。

3.1 维修训练

利用计算机对真实训练过程的模拟开展虚拟维修训练，可以解决训练器械、经费、场地等不足的问题。可以在新装备到来之前提前开展维修训练。由于计算机信息传递的广泛性，虚拟维修训练可以使维修知识得到更加广泛和细致的传播，并且可以到达真实训练不易到达的部位，训练效果更加明显[9-10]。

美国哈勃望远镜的虚拟维修训练堪称虚拟现实技术应用于维修训练的典范。为了让宇航员在太空中完成对哈勃望远镜的维修任务，美国国家航空航天局（NASA）为执行任务的宇航员建立了虚拟的太空环境。宇航员在其中进行了各种维修模拟，并练习在虚拟的哈勃望远镜上安装矫正镜片、太阳能电池板和陀螺仪。经过训练，哈勃望远镜的维修任务于1993年12月成功完成。NASA对参加该项维修工作的航天飞机上工作人员进行了广泛的问卷调查，反馈的信息说明，虚拟环境对于维修任务的完成非常有效[11]。

美国联邦航空局在意识到飞机维修保障工业的复杂性和相关人机因素的重要性后，开展了人因学方面的相关研究。在维修保障领域，研究集中于飞机的检测过程和飞机检测人员。仿真培训被证明是提高飞机检测质量和可靠度的最基础有效的手段。而仿真培训成功的关键是提供飞机检测人员合适的培训工具和环境。为此，美国联邦航空局开发了一个用于飞机检测人员培训的虚拟现实系统，并将该基于虚拟现实的培训系统的效果与以往的基于PC的培训系统的效果相比较。实验数据表明，虚拟现实技术的运用极大的方便了各种与飞机维修保障相关的研究活动的开展，并加深了参加培训的检测人员对工效学相关因素对检测过程影响的理解[12]。

新加坡南洋理工大学研究开发了V-REALISM维修培训系统，系统基于桌面式的虚拟现实，采用面向对象的思想，以低成本建立。该系统并不涉及人体模型在维修仿真培训中的应用，而将重点放在维修路径的规划和演示。系统用户界面的布局为培训者提供了良好学习环境和操作方便性，上方为常用的操作菜单，左边为结构树窗口，右边为CAD模型及图标式的操作菜单，包含了CAD软件最常用的一些操作；下方为系统产生的消息窗口，提供系统的输出，与培训人员进行交互[7]。

2006年，CAE公司从国际直升机训练公司（Helicopter Training Media International GmbH， HTMI）获得一份合同，它将负责领导提供给德国武装部队的NH90直升机虚拟维修训练器设计和研制工作。CAE公司将在主承包商HTMI的带领下，与雷声公司、军事电子技术（RDE）公司和欧直公司合作，提供一种全面的维修训练解决方案。其中，CAE公司负责研制NH90虚拟维修训练器（VMT）软件、基于仿真的维修训练教程、教官工作站和训练管理系统。

2011年，美国陆军航空协会年度专业论坛和博览会上，美军展出了战机虚拟维修系统。它使用包括一个三维空间触摸屏的教学系统，帮助士兵学习Apache直升机故障的诊断和处理。这套系统式针对教学过程的，在接触真实飞机之前，学生们可以方便的进行各种操作。系统中的故障是由教师为学生设定的，让他们运用到学到的知识，加上指导，通过三维电子手册找出来。

在我国，南京理工大学和军械工程学院联合开发了某型导弹装备沉浸式虚拟维修训练系统。该系统采用基于虚拟现实技术、虚拟样机技术和过程仿真技术的设计方法，在Petri网的基础上设计了维修知识描述网（MKDN），用于描述沉浸式虚拟维修训练系统仿真控制流程。同时利用AutoCAD建立了某型导弹装备的三维模型，并应用Jack软件对虚拟维修场景进行驱动。该系统在维修步骤、维修动作及所见现象与实际装备上训练完全一致，可以借助虚拟交互设备，在视觉上获得与在实装上训练一样的感受[13]。

军械工程学院装备保障工程试验室与石家庄市威特科技有限公司共同研制开发的新型虚拟维修平台——交互式桌面型虚拟维修训练平台，现已在全军进行推广和使用，反馈良好。交互式桌面型虚拟维修训练平台以维修训练需求为牵引，以虚拟训练为主要技术手段，提供对机械、电子、液压等类型装备的构造原理、操作使用、分解组合、检查调整、故障诊断五类训练内容的学习、训练与考核，使得受训人员掌握相关维修知识与操作技能，达到近视实际训练的效果。此外，维修帮助可以提供常见维修任务的操作帮助和相关资料查询等功能。该平台采用了最新的虚拟维修训练模型体系和系统架构，兼容常见的虚拟现实引擎，不需要用户编程，只需将相关维修训练数据聚合即可生成具体装备的虚拟维修训练系统，给用户提供“真实”的虚拟训练环境。

浙江大学对分布式虚拟现实、虚拟装备装配及应用于工效学领域的虚拟人体模型进行了研究；国防科学技术大学研究了虚拟人行走规划方法；北京航空航天大学、北京大学、武汉大学等研究机构也都对虚拟人体模型进行了研究，并且大都集中于工效学领域，主要针对维修训练中的具体问题。

3.2 维修性设计分析

维修性设计分析是指产品在设计阶段考虑维修的要素，尽可能使产品的维修省时、省力和高效[14]。通过虚拟维修技术，设计人员在设计的同时模拟维修操作的过程，了解维修任务是否可行，并适时的更改设计方案。减少了装备使用后才发现维修操作难以进行再改设计方案所造成的人力、物力、资源和时间的浪费。

1992年，英国的ARRL（先进机器人研究实验室）在工业界16家企业的支持下，提出一项虚拟现实与仿真计划，首批项目之一就是为罗尔斯-罗伊斯公司的飞机发动机建立模型，以便在设计过程中就能评估发动机维护中容易出现的问题。利用虚拟现实技术，在相对低的成本下，就可以通过视觉和实验，进行故障检测和维修程序学习，而且时间比从前更快。

1995年，洛克希德马丁战斗机系统（LMTAS）的F-16项目面临维修性和人因学方面的技术问题，公司首先淘汰用来支持多个F-16项目的金属模型，转而利用CAD进行维修性和人因学设计评估与验证，其中涉及到通过虚拟维修进行维修性分析与人因工程分析。从经济角度看，飞机装置的一次重新设计和样式翻新所需要的金属模型的造价就会超出一个虚拟维修系统的费用。虚拟维修的其他优势还在于它比金属模型更能够缩短研制进度。虚拟维修在F-16项目的首次应用是一次挑战性的学习过程。通过利用虚拟现实技术，极大地改善了维修性设计技术手段，促进了维修性工程人员与设计人员的信息交流。该公司提出在以后的飞机维修性设计与分析中要广泛采用虚拟现实技术[4]。

波音公司于 20世纪90年代末建立了一个虚拟现实实验室，主要用于对“联合攻击机”（JSF）的保障性进行评估和试验。该实验室可以使设计人员在进行设计的同时就能够了解维修任务是否可行，在飞机设计定型之前，就可以发现潜在的保障性问题。该实验室的建成与投入使用，提高了JSF维修人员参与到设计过程早期阶段的能力，有效地避免了由于设计修改导致的费用[15]。

美国空军阿姆斯特朗实验室（Armstrong Lab.）与宾夕法尼亚大学联合开发的DEPTH（Design Evaluation for Personnel Training and Human Factors，人员训练与人素的设计评估）项目，是采用可视化和虚拟现实技术进行维修与保障分析的计算机应用系统。该项目的研究主要采用数字样机与3D人体模型技术，用以提前确定维修过程内容与过程中的人力资源需求、生成训练辅助材料。通过将维修仿真结果输入IETM（Interactive Electronic Technical Manual，交互式电子技术文档），使其成为维修手册与维修训练资料的一部分，可以实现在一次仿真中完成多项与维修相关的任务，大大地减少了以往重复性的开发工作[5-16]。

2000年，AFRL与GE公司、Lockheed Martin公司对维护手册的自动化开发方法进行了研究。该项目命名为SMG（Service Manual Generation），计划为期 3年。SMG是一种面向维修性工程的新框架。通过尽早地提供浸入感更强的维修过程观察手段，SMG能够改进维修分析过程，使维修性工程师可以省时、高效地发现并排除严重的产品设计缺陷。同时，许多以往需要人工进行的维修、装配数据获取工作在此框架下可自动完成，进而显著地减少了维护手册的开发时间与费用[8]。

德国宝马公司在业务流程重组 （Business Process Reengineering）中，研究了为验证装配和维修过程而将虚拟现实技术（VR）应用于虚拟原型（VP）所需的步骤。通过对汽车原型目前的业务流程的回顾，讨论了CAD-VR的数据集成，并确定了设计质量的最新要求。对车门等几个新的交互式的范例（interaction paradigms）进行了深入研究，以便工程人员和设计人员能够更自然地对产品原型进行试验。最后，采用用户调查方法，对其中的一些范例和关键流程的虚拟原型的可接受程度和可行性进行了评估。结果表明在不久的将来，VR技术将在VP中扮演十分重要的角色[17]。

英国索尔福德大学的虚拟环境中心基于CAD模型研发了针对大规模机械产品装配、维修任务仿真和分析需求的沉浸式虚拟环境，建有设备部件之间的约束库以此实现精确操作，设置维修库以此自动生成设备的拆装序列，与VICON光学式动作捕捉系统向结合使科研人员在设计阶段就能够切身体验到维修操作流程，将不可预见的缺陷消除在设计阶段[18]。

在我国，由浙江大学CAD国家重点实验室研制的沉浸式虚拟装配系统是基于三维的输入设备，在沉浸式虚拟现实设备中开发的完全沉浸式虚拟设计与虚拟装配环境，为应用CAD技术研究装备开发全生命周期和并行工程实现提供了强有力的支持；空军学院研究了灵境技术在设备维修中的应用[19]；海军工程大学做了虚拟维修技术在军械保障训练中的应用[20]；军械工程学院对于虚拟人、虚拟装配以及虚拟训练场景做了研究[21，22]；东北林业大学对于数控机床的虚拟训练和维修开展了研究[23]；华中科技大学对于注塑机及机电产品的虚拟维修做了相应研究[24，25]。这些研究都在装备的维修保障设计分析上取得了较好的成果。

4 结 论

虚拟维修技术是一门新颖并且充满生命力的技术，它有着强烈的应用需求与发展潜力。本文对目前的虚拟维修技术的相关内容和国内外发展情况进行了回顾和总结。国内外的研究表明，虚拟维修技术能有效地提高经济和社会效益。为了更加深入开展虚拟维修工程，针对当前的研究和应用特点，对国内虚拟维修未来的发展趋势进行了以下展望：

1）与增强现实技术相结合。增强现实（Augmented Reality，AR）技术是在虚拟现实基础上发展起来的一种新兴计算机应用和人机交互技术。它借助光电现实技术、交互技术、多传感器技术和计算机图形与多媒体技术将计算机生成的虚拟环境与用户周围的真实场景相融合，使用户从感官效果上确信虚拟环境是其周围真实场景的组成部分。虚拟现实让用户完全沉浸于计算机生成的虚拟环境中，而增强现实实现了虚拟图像和真实环境的无缝融合，从而可以增强虚拟维修的沉浸性和交互性。

2）系统功能多样化、设计所需软件开源化。目前，国内虚拟维修仿真系统基本上是通过Delmia、Jack商用软件提供的接口进行二次开发。不仅软件的价格昂贵，而且开发单一性，无法满足系统功能多样化的需求。OSG（Open Scene Graph）等开源性软件成为了我国虚拟维修仿真技术发展的突破口，可基于此类软件研制出具有我国自主知识产权的软件平台。

3）整合电路仿真功能。目前，虚拟维修领域中的研究主要针对装备机械部件的拆装进行的，没有涉及到装备更加深层次的内部电气方面，尤其是针对电路的仿真。未来的研究方向，应该着眼于将电路级的维修训练融入到虚拟维修训练系统中，以此来完善虚拟维修系统，使得装备技术人员能够通过虚拟维修系统得到更加全面的培训。Spice是得到广泛应用的通用电路仿真开源软件，便于进行改造与扩展。因此，可以将Spice整合到虚拟维修系统中，从而实现电路仿真功能。

[1]Arendarski B，Termath W，Mecking P.Maintenance of Complex Machines in Electric Power Systems Using Virtual Reality Techniques[C]//ISEI 2008 Conference Record of the 2008 IEEE International Symposium on Electronic Insulation，2008.

[2]MIL-HDBK-470A.Designing and Developing Maintainable Products and Systems[Z].Department of Defence Handbook，1997.

[3]马麟.虚拟维修过程模型的研究[D].北京:北京航空航天大学，2003.

[4]Vora J，Nair S，Gramopadhye A K，et al.Using virtual reality technology for aircraft visual inspection training:presence and comparison studies[J].Applied Ergonomics，2002，33（6）:559-570.

[5]Glor， Peter J.Design evaluation for personnel， training and human factors （DEPTH）[C]//Proceedings of the Annual Reliability and Maintainability Symposium，1993:18-25.

[6]杨宇航，李志忠，郑立.虚拟维修研究综述[J].系统仿真学报，2005，17（9）:2191-2198.YANG Yu-hang，LI Zhi-zhong，ZHENG Li.Survey of virtual maintenance[J].Journal of System Simulation，2005，17（9）:2191-2198.

[7]Li J R，Khoo L P，Tor S B.Desktop virtual reality for maintenance training:an object oriented prototype system（V-REALISM）[J].Computers in Industry，2003（52）:109-125.

[8]Wampler J L，Bruno J M，Blue R R， et al.Integrating maintainability and data development， reliability and maintainability symposium[J].Annual， IEEE，2003：255-262.

[9]Husgen S，Mikova T.Virtual reality maintenance training and guidance demonstrator[C]//2008 IET Seminar on Aircraft Health Management for New Operational and Enterprise Solutions，2008.

[10]刘鹏远，张锡恩，刘玉海.虚拟维修的训练中基于知识的操作响应机制研究与实现[J].计算机工程，2003，29（1）:253-255.LIU Peng-yuan，ZHANG Xi-en，LIU Yu-hai.Research and realization of response mechanism based on knowledge in virtual maintence training[J].Computer Engineering，2003，29（1）:253-255.

[11]李澍.飞行器虚拟维修关键技术研究与环境实现[D].南京:南京航空航天大学，2007.

[12]Kraus D，Gramopadhye A K.Team training:role of computers in the aircraft maintenance environment[J].Computers&Industrial Engineering，1999（36）:635-654.

[13]方传磊，苏群星，刘鹏远，等.导弹装备虚拟维修训练系统通用平台[J].计算机工程，2009（1）:26-29.FANG Chuan-lei，SU Qun-xing，LIU Peng-yuan，et al.General platform for virtual maintenance training system of missile equipment[J].Computer Engineering，2009（1）:26-29.

[14]郝建平，于永利.面向产品寿命周期的维修设计[C]//徐绪森.面向信息化的维修-中国兵工学会首届维修专业学术年会论文集北京:解放军出版社，2003：430-434.

[15]Boeing JSF Concept Demonstrator Completes First Flight[EB/OL].http://www.boeing.com，2000.

[16]John D.Ianni et al，DEPTH Final Report[R].AFRL/HEWP-TR-1998-0007，DTIC/AD-A343646，1998.

[17]Gomes de Sá，Antonino et al.Virtual reality as a tool for verification of assembly and maintenance processes[J].Computers and Graphics，1999，23（3）:389-403.

[18]Murray N，Femando T.An immersive Assembly and Maintenance Simulation Environment[C]//Proceedings-Eighth IEEE International Symposium on Distributed Simulation and Real-Time Applications，DS-RT 2004.New York，US A:IEEE，2004:159-166.

[19]徐立珍，李继军，彭著民.灵境技术在设备维修工程中的应用[J].设备管理与维修，2001（8）:11-12.XU Li-zhen，LI Ji-jun，Peng Zhu-min.Application of virtual reality technology in the project of equipment maintence[J].Management and Maintenance of Equipment，2001（8）:11-12.

[20]严海峰，王树宗.虚拟维修技术在军械保障训练中的应用[J].海军工程大学学报，2000（3）:91-94.YAN Hai-feng，WANG Shu-zong.Application of virtual maintenance technology in military security training[J].Journal of Naval University of Engineering，2000（3）:91-94.

[21]卢晓军，李炎，贺汉根.一种用于维修仿真的虚拟人行走规划方法[J].系统仿真学报，2004，16（8）:1738－1741.LU Xiao-jun，LI Yan，HE Han-gen.A walking planning method of virtual human for maintenance simulation[J].Journal of System Simulation，2004，16（8）:1738－1741.

[22]解璞，苏群星，谷宏强.装备虚拟维修训练系统设计方法研究[J].系统仿真学报，2006，18（8）:2195－2198.XIE Pu，SU Qun-xing，GU Hong-qiang.Research on development and design method of virtual maintenance training system of equipment[J].Journal of System Simulation，2006，18（8）:2195－2198.

[23]郭艳玲，韩非.数控机床虚拟训练和维修系统初探[J].林业机械与设备，2002（12）:11－12.GUO Yan-ling，HAN Fei.The preliminary discussion on virtual training and maintenance system of NC machine tools[J].Forestry machinery and equipment，2002（12）:11－12.

[24]杨彩云，尹文生，李世其.注塑机虚拟维修系统的研究和实现[J].华中科技大学学报：自然科学版，2003，31（2）:69－71.YANG Cai-yun， YIN Wen-sheng， LI Shi-qi.Visual reality maintenance system for injection molding machines and its implementation[J].Journal of Hua Zhong University of Science and Technolody：Natire Science，2003，31（2）:69－71.

[25]LI Hong-yan.Development of a controller virtual maintenance system through the internet[C]//2006 International Conference on Mechatronics and Automation，2006:447－451.