基于虚拟现实的机械产品维修系统研究*

宋国民，刘新华，崔小龙

(中国矿业大学机电工程学院，徐州 221116)

基于虚拟现实的机械产品维修系统研究*

宋国民，刘新华，崔小龙

(中国矿业大学机电工程学院，徐州 221116)

为了提高机械产品的维修效率，文章提出了基于虚拟现实的维修系统，并给出了系统框架。为了实现CAD系统和虚拟维修系统的数据转换，建立了面向虚拟维修的产品层次信息表达模型;将人机交互技术应用到虚拟维修系统中，并设计了人机交互操作流程和产品维修性分析流程。最后，开发了原型系统，并通过刮板输送机验证了系统的有效性。

机械产品维修;虚拟现实;数据转换;人机交互;维修性分析

0 引言

虚拟维修(Virtual Maintenance)是虚拟现实技术(Virtual Reality，VR)在维修领域的应用，是虚拟现实技术的重要分支。与传统维修工作主要依靠设计人员在实物样机或原型机上模拟真实产品的维修过程相比，虚拟维修技术能够有效地为维修操作训练提供先进的实验环境和模拟手段，对于改进维修训练效果、提高维修决策能力具有极大的促进作用，因此被广泛应用于航空航天［1］、武器装备［2］和医疗器械［3］等领域中。

随着虚拟现实技术的不断发展，国内外学者对虚拟维修的应用进行了大量研究［4］。美国空军研究实验室与GE公司共同发起的SMG项目采用VR技术，改进了维修性分析过程，实现了维修性分析自动同步生成维修手册，显著减少维修手册的开发时间与费用［5］。韩国的Christiand等人为了提高虚拟维修仿真的运行效率，提出了基于遗传算法的最优装配/拆卸序列，对虚拟人在维修过程中的路径规划等问题提出了解决方案［6］。英国University of Salford的CVE(centre for virtual environments)集成了CAD建模、碰撞检测和虚拟环境管理等功能，开发了基于约束的沉浸式虚拟环境［7-8］。在国内，浙江大学开发的VDVAS系统集成了虚拟设计与虚拟装配过程，用户可以运用三维操作和语音命令建立零件及其装配模型［9］。军械工程学院郝建平等提出了完整的虚拟维修系统方案，并基于Jack平台二次开发了VMSAS系统［10］。华中科技大学朱文革等提出了复杂装备虚拟维修系统设计的总体方案，该方案集成了远程虚拟测试和控制系统［11］。

本文在上述研究的基础上，建立了面向机械产品的虚拟维修系统总体框架，并对系统实现过程中涉及的关键技术进行了研究。最后，基于Eon平台开发了原型系统，并通过刮板输送机验证了系统的有效性。

1 虚拟维修系统总体框架

虚拟维修系统主要通过操作虚拟环境中的虚拟样机来模拟维修操作过程和维修组织实施过程，使人主观上产生真实地“存在感”。同时引入维修性分析模块，保证维修人员在维修操作过程中出现问题时，可以根据“真实感”体验来分析出现维修问题的原因，并衡量产品是否满足维修性要求，从而达到维修训练的效果。虚拟维修系统应该满足以下几个要求:

(1)实现与CAD系统的集成，并能够自定义虚拟人模型;

(2)能够产生可信度高的虚拟维修场景;

(3)提供输入输出接口，保证人机交互操作自然、简便;

(4)实时检测物体操作过程中的碰撞、干涉、穿越等问题;

(5)提供维修障碍分析和维修性分析工具，可以从不同的角度优化产品维修过程。

虚拟维修系统总体框架如图1所示。

图1 虚拟维修系统总体框架

系统主要模块所实现的功能如下:

(1)系统建模:包括虚拟样机建模、虚拟场景建模、虚拟人建模三部分。

(2)虚拟维修仿真:主要包括维修操作、过程仿真、人机交互、碰撞检测等功能。根据用户与虚拟人之间的运动映射关系，跟踪用户行为，监控维修过程，检测虚拟环境中发生的碰撞行为，防止物体之间发生穿越行为，完成维修仿真。

(3)维修性分析:记录并保存用户的维修过程，同时判断用户操作的正确性，给出合适的指导，评定成绩。

(4)数据库:主要是协调各功能模块的交互关系，获取虚拟样机的可靠性、维修性、保障性数据，将处理后的数据输出到相应的功能模块。

2 虚拟维修系统关键技术

2.1 虚拟样机建模

现有的虚拟现实系统软件虽然可以构建简单的几何模型，但是对于复杂的产品模型还需要专门的CAD软件(如Solidworks、Pro/e、UG等)进行产品建模，然后将CAD模型转换为虚拟维修系统所能识别的信息。为了减少计算量，提高系统实时性，需要在CAD模型转换之前对模型进行简化，目前模型简化方法主要有两种:一是在CAD系统中将几何模型进行简化，如删除或者隐藏不可见、与维修工艺无关的内部结构，并对模型结构影响较小的零部件进行简化处理;二是将几何模型转换为虚拟维修系统可以直接读取的多边形面片模型(通常为三角形面片模型)。

采用三角形面片模型虽然可以在模型显示和碰撞检测等方面具备计算量小、处理简单、融合异构CAD平台几何模型等优点，但是也带来了CAD模型拓扑信息和几何信息丢失的缺点［12］。针对上述问题，本文提出了面向虚拟维修的产品层次信息表达模型，根据产品信息的不同抽象程度，我们将产品信息分为产品层、组件层、零件层、几何面层和显示层，如图2所示。

产品层:以产品为基本节点，产品节点信息包括产品名称、功能、故障、质量、材质等信息，以及其它的管理信息。

组件层:以组件为基本节点，描述组件之间的装配约束关系、相对位置关系以及零件之间的层次映射关系。

图2 产品层次信息表达模型

零件层:以零件为基本节点，描述零件的名称、物理属性、技术信息、管理属性以及零件之间的装配约束关系和联接关系，如螺栓联接、花键联接等。

几何面层:以零件的几何面为基本节点，零件是由几何面构成，虚拟环境下零件内部的几何约束关系保持不变，因此可以精确保持零件的几何形状和尺寸。系统通过识别不同零件几何平面的约束关系，精确定位零件的位置。

显示层:以三角面片为基本节点，描述三角面片的几何属性(如坐标、颜色等)以及与几何面层的层次映射关系，用于虚拟环境下的模型显示、碰撞检测和用户对零件的操作等。

在产品层次信息表达模型中，产品层、组件层、零件层、几何面层的信息主要通过对CAD系统进行二次开发获得;显示层信息主要通过数据转换接口输出中性格式文件(如STEP、STL格式)来实现，系统数据转换过程如图3所示。

图3 CAD系统到虚拟维修系统的数据转换

2.2 虚拟场景建模

虚拟场景模型包括虚拟场景静态模型和虚拟场景动态模型两部分内容［13］。虚拟场景静态模型的描述一般分为几何模型、光照模型、纹理处理、渲染处理等，根据现实环境实测数据和布局，利用OpenGL等应用软件，将现场拍到的图片贴到平面场景上，并对虚拟场景进行美化，使其尽可能的逼近现实场景。虚拟场景的动态建模主要包括两方面的内容:一是确定对象的动态坐标(包括绝对坐标和相对坐标)，二是当视点变化时场景如何进行动态刷新。

2.3 人机交互技术

人机交互是用户与虚拟环境进行信息交流的途径，是用户完成对虚拟环境物体操作的关键技术，也是虚拟维修系统的基础。本系统主要借助数据手套和位置跟踪器，获取用户手的位置和姿势，并对手势加以识别，进而得到用户的操作意图，然后将信息输入系统中，驱动虚拟环境中的虚拟手进行维修操作(如抓取、移动和操作物体)，最后将执行结果反馈给用户，使用户可以像在真实世界中一样直接操作虚拟训练环境中的虚拟物体或零部件，系统人机交互操作流程如图4所示。

图4 人机交互操作流程

手势识别是计算机通过获取用户做出的手势动作信息，解释用户所要表达的操作意图并转化为相应的操作命令。由于神经网络方法自组织性强，对静态手势的识别能力强，所以基于数据手套的手势识别目前多采用神经网络方法［14］。神经网络一般分为输入层、隐含层和输出层。数据手套测量的信号经过输入层的神经元将输入信息分配到隐含层的各神经元，给隐含层的各神经元加入适当的权值，然后求其和，经过给定的传递函数，将输出结果与输出层内的目标值比较，如果偏差值过大，则重新调整权值，直至达到偏差要求，然后驱动手势库里面的相应手势运动。考虑到目前系统硬件的局限性，我们需要对手势库里面的手势进行合理的规划，其原则是满足虚拟操作任务要求的前提下，尽量减少手势的数量。

2.4 维修性分析

维修性分析主要是通过收集维修过程中的障碍数据(如工具的更换频率、维修平均时间等)，了解维修状况，纠正维修过程中暴露的缺陷，优化维修过程。维修性分析主要包括维修障碍分析和维修性评价［15］。维修障碍分析通过对距离检测、碰撞检测、工具类型、可达性分析等信息的统计获取维修障碍数据，分析维修困难的原因以及对产品的影响等，给出适当的解决方案。维修性评价主要是通过获取维修动作时间、维修操作步骤、工具更换次数等信息定量分析维修过程的优劣。维修性分析的主要步骤如下:

(1)数据获取:包括维修过程的状态描述信息，维修仿真时间，操作活动空间，操作工具的更换频率、操作可达性等初始障碍信息。

(2)维修障碍确定:维修障碍确定需要制定相应的判断准则，分析获取的障碍数据，找出设计中存在的维修障碍。维修障碍主要从三个方面判定:一是可达性判定，主要包括维修人员能否能接近零部件，操作空间是否满足，如操作工具是否有足够的活动空间;二是维修安全判定，主要检测维修过程中是否存在不安全因素，例如维修过程中发生漏油、爆炸等因素;三是人素判定，主要进行维修人员的体力分析和疲劳分析，例如维修过程中人员的姿势是否舒适、持续时间是否合理、维修人员能否移动零部件等。

(3)维修障碍分析:主要进行障碍原因、障碍影响分析，给出障碍等级评价及补救措施建议。

(4)维修性评价:依据维修障碍分析得到的数据，实现对维修难度和维修时间的评价。维修难度考虑可达性障碍、可视性障碍、所需工具类型以及紧固件类型等影响因素，维修时间考虑维修作业数、完成每项维修作业单元的时间、工具更换频率等影响因素。

3 实例应用

本文在EON Studio平台上设计并开发了机械产品虚拟维修系统，并通过刮板输送机进行了验证，相关界面如图5所示。

图5 虚拟维修系统相关界面

系统主界面如图5a所示，其中刮板输送机的几何模型在UG中创建，然后通过模型转换接口转换后导入到虚拟维修系统中，其产品层次信息结构树如图5b所示。通过数据手套将人手的动作信息传递给场景中的虚拟人手，模拟人手的动作来完成该维修操作，如图5c、5d所示。操作过程中可以使用维修工具，拆卸的零部件可以放在虚拟环境中的工作台上，如图5e所示。系统操作过程中可以进行维修性分析，如选择某一装配位置，检测在当前位置维修人员能否顺利操作零部件，维修人员以哪种姿势进行操作最合适等，完成检测之后，对检测结果进行分析与评价，并对整个维修过程的时间进行估算，得到分析结果，最后生成维修性分析报告，如图5f所示。

4 结束语

本文针对机械产品维修过程中出现的问题，提出了基于虚拟现实的维修系统，并给出了维修系统框架。对虚拟维修系统中涉及的关键技术如虚拟样机建模、虚拟环境建模、人机交互技术和维修性分析进行了研究，并建立了面向虚拟维修的产品层次信息表达模型。实例表明，本文设计开发的系统能够用于机械产品的维修过程，并提高其维修效率，降低维修成本。

［1］Andrea F.Abate，Mariano Guida，Paolo Leoncini.A haptic-based approach to virtual training for aerospace industry［J］.Journal of Visual Languages and Computing，2009，20(5):318－325.

［2］Isaac JA，Antonio Carlos.The use of questionnaire and virtual reality in the verification of the human factors issues in the design of nuclear control desk［J］.International Journal of Industrial Ergonomics，2009，39(1):159 －166.

［3］Yang S，Hwang WH，Tsai YC，et al.Improving balance skills in patientswho had stroke through virtual reality treadmill training［J］.American Journal of Physical Medicine＆Rehabilitation/Association of Academic Physiatrists，2011，90(12):969 －978.

［4］马麟，吕川.虚拟维修技术的探讨［J］.计算机辅助设计与图形学学报，2005，17(12):2729 －2733.

［5］Wampler J L，Bruno JM.Integrating maintainability and data development［C］.Proceedings Annual Reliability and Maintainability Symposium，2003:255－262.

［6］ Christiand，Jungwon Yoon.A novel optimal assembly algorithm for haptic interface applications of a virtualmaintenance system［J］.Journal ofMechanical Science and Technology，2009，23(1):183 －194.

［7］Fernando T，Marcelino L.Constraint-based immersive virtual environment for supporting assembly and maintenance tasks［C］.Proceedings of the 9th International Conference on Human Computer Interaction，New Orleans，2001:943 －947.

［8］Marcelino L，Murray N，Fernando T.A constraintmanager to support virtualmaintainability［J］.Computers＆ Graphics，2003，27(1):19 －26.

［9］万华根，高曙明，彭群生.VDVAS:一个集成的虚拟设计与虚拟装配系统［J］.中国图象图形学报，2002，7(1):27－35.

［10］蒋科艺，郝建平.沉浸式虚拟维修仿真系统及其实现［J］.计算机辅助设计与图形学学报，2005，17(5):1120－1123.

［11］朱文革，李世其，王峻峰，等.复杂装备虚拟维修系统设计［J］.华中科技大学学报(自然科学版)，2009，37(1):1－4.

［12］张丹，左敦稳，焦光明，等.面向虚拟装配的约束建模与装配意图捕捉技术［J］.计算机集成制造系统，2010，16(6):1208－1214.

［13］束搏，邱显杰，王兆其.基于图像的几何建模技术综述［J］.计算机研究与发展，2010，47(3):549 －560.

［14］江立，阮秋琦.基于神经网络的手势识别技术研究［J］.北京交通大学学报(自然科学版)，2006，30(5):32－36.

［15］于海全，彭高亮，刘文剑.基于虚拟环境的维修性信息模型的建立［J］.兵工学报，2010，31(7):998－1002.

(编辑 李秀敏)

Study of Machinery Product Maintenance System based on Virtual Reality

SONG Guo-min，LIU Xin-hua，CUIXiao-long
(College of Mechanical and Electrical Engineering，China University of Mining and Technology，Xuzhou 221116，China)

In order to improve the maintenance efficiency ofmachinery product，a virtual reality-based maintenance system and its framework were presented.The product-level information representationmodel for virtualmaintenance was proposed to realize data transformation between CAD system and virtual maintenance system.Moreover，human-computer interaction technology was applied in virtualmaintenance system，and the flowcharts for human-computer interaction and productmaintainability analysis were designed.Finally，a prototypewas developed and the proposed system was proved efficient through an example of scraper conveyor.

machinery productmaintenance;virtual reality;data transformation;human-computer interaction;maintainability analysis

TH16;TG65

A

1001－2265(2012)08－0043－04

2012－01－10

国家自然科学基金资助项目(51005231);中国博士后科学基金资助项目(20100471408)

宋国民(1988—)，男，山东人，中国矿业大学硕士生，研究方向为虚拟装配，(E－mail)sgmcumt@163.com。