采煤机虚拟现实装配仿真系统研究

王学文， 秦 毅， 杨昕宇， 庞新宇， 杨兆建

(1. 太原理工大学煤矿综采装备山西省重点实验室，山西 太原 030024；2. 思克莱德大学设计制造与工程管理系，英国 格拉斯哥 G1 1XQ)

采煤机虚拟现实装配仿真系统研究

王学文1,2， 秦 毅2， 杨昕宇2， 庞新宇1， 杨兆建1

(1. 太原理工大学煤矿综采装备山西省重点实验室，山西 太原 030024；2. 思克莱德大学设计制造与工程管理系，英国 格拉斯哥 G1 1XQ)

针对煤矿装备虚拟装配应用问题，基于VisualStudio 2010、OSG、Cegui、VC++等软件平台和相关硬件设备，搭建了功能完整、使用方便、交互性好、沉浸感强的某型号电牵引采煤机虚拟现实装配应用系统，详细描述了系统的功能结构、技术方案与构建方法；针对构建方法中的模型制作技术，结合UG与3DsMax的建模优势，提出先在UG中建立CAD精确模型，后利用3DsMax对模型进行转换、修改、优化和渲染，最终生成高质量虚拟现实模型的模型处理方法，弥补了艺术类模型装配精度较低和工程CAD模型很难直接生成虚拟现实模型的不足。

采煤机；虚拟现实；虚拟装配；虚拟模型；立体显示

作为虚拟现实技术在产品设计领域中的典型应用，虚拟装配是将传统装配工艺融入虚拟现实，在高度沉浸感虚拟场景中，按约束关系将零件模型重新定位，根据产品的形状特性与精度特性，逼真地模拟产品三维装配过程，并允许用户在场景中进行交互控制，以检验装配的可行性和产品设计的合理性，力争再现最真实、最直接地装配过程，以便在产品设计过程中尽早发现问题，解决问题，缩短开发周期，提高设计效率[1-2]。

虚拟装配技术的研究始于 20世纪 90年代中期，由于政府的支持及企业界的积极参与，发展非常迅速。早在1995年美国华盛顿州立大学VRCIM实验室与美国国家标准与技术研究所(National Institute ofStandards and Technology，NIST)就合作开发了第一个具有代表性的虚拟装配试验系统VADE[3]；随着虚拟装配技术的发展，逐渐有研究机构针对CAD和虚拟现实装配技术进行了研究，如美国威奇塔州立大学(WichitaState University)开发的产品装配及夹具设计试验系统 JIGPRO[4]，意大利博洛尼亚大学(University of Bologna)开发的基于CAD的装配规划与验证试验系统PAA[5]。

近年来，国内许多高校与研究机构在紧跟国际虚拟现实新技术的同时也积极投入虚拟装配领域，如：刘晓晖等[6]提出了一种基于中文语音指令交互辅助控制虚拟装配的方法；卢丽婷等[7]基于单点式力反馈器进行虚拟装配研究，针对 PHANToM Desktop力反馈器工作空间狭小的问题，提出了改进的动态空间匹配算法；张志贤等[8]提出一种虚拟装配中基于多刚体动力学的物性装配过程仿真方法，实现了以力为输入参数的零部件装配过程仿真。

综上分析，国内外针对虚拟现实装配技术，研究领域最初主要集中在军事、航空与尖端制造领域，并逐步延伸到工程装备制造领域；研究阶段较多在实验室搭建虚拟装配试验平台，建立虚拟装配系统，并对产品可装配性、装配过程进行分析研究；研究成果多为开发虚拟装配应用系统[9]。

随着煤机行业的快速发展和应用需求，本文针对某大采高电牵引采煤机，对虚拟现实装配若干关键技术，如方案设计、软件设计、硬件设计、构建方法等进行研究，特别针对工程CAD软件制作的3D模型如何转换为虚拟现实模型进行详细描述；在此基础上，建立具备高度沉浸感与交互性的虚拟装配应用系统，将虚拟装配应用于采煤机产品装配生产线，为采煤机产品开发提供帮助。

1 功能设计

针对某型号电牵引采煤机进行虚拟装配与拆装试验集成仿真，系统功能组成如图1所示。

采用自下而上、由简入繁的方法，对简单零部件提供单独装配，而后再装配上一级部件，在破碎部、截割部、牵引部和机架等采煤机4大部件组装完成后，再进行整机组装。这样既方便用户深入认识采煤机各层次结构，又可在逐级装配过程中，在开发环境中逐步隐藏部件内部零件，以降低系统开销。

2 技术方案

2.1 总体框架

将采煤机虚拟装配试验系统分成软件系统和硬件系统两大部分。软件系统主要实现各种所需求的功能，提供对硬件模块和网络协同的接口，并支持后续的扩展；硬件系统主要负责提供感官的感知和对系统的控制。总体框架如图2所示。

2.2 软件平台

为实现总体方案，系统软件平台应达到以下要求：

(1) 建立采煤机虚拟装配试验平台虚拟环境，实现逼真场景效果、光照和纹理映射处理，使系统具有较强的沉浸感和真实感；

(2) 建立管理平台，支持模块拓展与集成，并实现模块之间的动态切换；

(3) 提供文件管理、模型选择、立体显示、硬件连接、自动演示、路径记录及回放、协同装配等菜单功能；

(4) 支持立体显示并利用键盘实现其效果的微调；

(5) 确保软硬件系统的集成性与兼容性，对软件平台、中央控制器、边缘融合器、投影机、立体眼镜及投影环幕进行系统调试整合，实现虚拟环境 的沉浸式被动立体显示。

图2 系统框架结构

基于以上软件平台技术要求，综合考虑软件的功能、应用广泛性、市场认可度、对采煤机系统的适应性等，系统开发方案的软件选择如下(见图3)：

图3 系统软件开发方案

(1) 以Microsoft VisualStudio 2010为开发平台；

(2) 使用UG软件建立采煤机模型，并通过STL导入3DsMax建立场景环境，利用photograph完成对贴图的修改，通过OSGExp插件将其都导入虚拟现实系统中；

(3) 系统的视觉模块主要采用基于工业图形标准(open graphic library，OpenGL)的三维渲染引擎(openScene graph，OSG)[10]实现模型的加载、场景的生成及交互、事件的响应等场景管理功能，并选择(Crazy Eddie′s GUI，Cegui)完成界面设计；

(4) 系统的听觉模块采用 OSG封装跨平台音效库(open audio library，OpenAL)后生成的三维声音库osgAL；

(5) 系统的触觉模块采用自带碰撞检测系统的刚体动力学库(open dynamic engine，ODE)，并支持5DT数据手套(glove ultraSDK)和位置跟踪器Patriot (oolhemusSDK)；

(6) 选择 Windows下网络编程规范 WindowsSockets实现系统的协同装配。

2.3 硬件设计

搭建采煤机虚拟装配试验系统硬件平台如图4所示，主要硬件包括：柱面虚拟三维立体投影显示系统 3DPS 5000、数字图像边缘融合校正系统VisionOne、柱面漫反射仿真投影幕 PowerWallSim120、智能中央控制系统、环绕音响、数据手套、立体眼镜和位置跟踪器等。

图4 系统硬件设备组成

3 系统构建

3.1 系统开发流程

基于三维设计软件UG建立采煤机模型，并通过格式转换导入3DsMax中，对采煤机模型和装配场景进行渲染， 利用OSG官方提供的插件OSGExp将模型导成OSG可识别的格式(*.osg，*.ive)。然后在OSG中实现该装配系统的主要功能，包括人机交互、网络协同、立体显示、图形界面和碰撞检测的实现，最终将其发布，完成整个系统的开发。如图5所示。

图5 系统开发流程图

3.2 模型制作

为使采煤机模型能够逼真地表现出来，本文将模型建模分为3个步骤：①几何建模，主要建立所需装配模型的几何形状；②物理建模，主要对几何模型进行颜色、材质贴图、光照等处理；③行为建模，主要处理虚拟模型的运动和行为描述。

3DsMax等艺术类软件建立的模型一般很难达到机械产品的技术要求，不利于机械产品虚拟原型数据信息的提取，该类软件也不适合对采煤机这种大型机械设备进行集合建模，而UG等CAD软件无法直接转换成虚拟现实模型，需要进行格式转换[11]。因此，基于优势互补，本文在UG中建立精模后利用3DsMax对模型进行转换和修改，以生成高质量的虚拟模型[12]。

图6 UG建立的采煤机模型

图6为在UG中装配完成的采煤机整机模型，之后选择STL格式作为采煤机模型转换格式，转换后进行几何模型优化、修复、渲染、烘培等技术处理，以增强系统的真实感，最终得到3DsMax中采煤机整机渲染效果图，如图7所示。

图7 3DsMax中采煤机模型渲染效果图

以上操作完成后，通过 OSGExp插件将其导出成OSG可识别的osg或ive格式，利用OSG将模型调入虚拟装配场景中完成系统所提供的各项功能。

3.3 立体显示

基于双目视差技术实现该系统的被动立体显示，包括以下3个方面内容：①生成一对具有左右视差的图像；②通过偏振等原理使用户双眼各看到一幅图像信息；③经过大脑视觉神经融合，产生立体视觉效果。

本文采用OSG技术使采煤机虚拟装配试验系统产生立体显示效果，通过 OSG 在osg::DisplaySettings类中对立体显示的设置进行封装，通过setStereo(bool on)函数设置立体显示的开关，并对立体显示的效果进行调节。

系统立体显示设置界面如图8所示，肉眼观察到的显示效果如图9所示。可以看出图中的模型显示是模糊的，这是由于具有左右视差的两幅图像叠加所导致的，当用户戴上偏振眼镜过滤融合后即可观察到具有沉浸感的立体显示效果。

图8 系统立体显示设置界面

图9 肉眼观察采煤机显示效果(未配戴偏振眼镜)

4 用户界面与系统运行

采用OSG与Cegui结合的方式创建系统操作界面，以便用户根据需要与系统进行交互，并通过鼠标点击或使用快捷键完成相应的指令。Cegui是一个自由免费的GUI库，在OSG程序中，Cegui相当于一个Drawable，与OSG自身绘制一个球体没有区别。在OSG主程序中通过addDrawable()函数将其加入OSG的场景绘制中去，实现OSG与Cegui的结合使用，如图10所示。

系统总体界面如图 11所示，通过主界面，可使用：鼠标键盘、数据手套及位置跟踪器等交互方式进行虚拟装配。

图10 OSG与Cegui结合原理图

图11 采煤机虚拟装配实验系统总体界面

选择了交互方式后，点击“确定”按钮进入虚拟装配交互界面，如图12左上角所示，包括“文件”、“编辑”、“选择模型”、“立体硬件”和“帮助” 5个菜单选项。界面设计将系统所有功能集成在一个菜单栏中，通过下拉菜单的形式继承系统所有功能。菜单将系统能够执行的命令以阶层的形式展示，置于系统画面的最上面，其重要程度从左往右逐渐降低。

图12 采煤机虚拟装配交互界面

其中“文件”菜单主要负责系统的退出等操作，“编辑”菜单主要负责装配时模型位置的重置、对所选择的装配部件进行自动演示、对装配路径的记录回放，协同装配的实现(见图13)。

通过“选择模型”菜单可选择需要的采煤机部件来进行装配，“选择模型”菜单是根据采煤机结构拆分情况进行分类的(见图14)。

“立体硬件”菜单主要用来实现系统的立体显示功能，“帮助”菜单主要对系统的操作方法进行说明(见图15)。

图13 编辑菜单主要功能

图15 系统使用说明

5 结 论

(1) 煤矿机械的特点是产品设计手段和设计水平整体偏低，开发周期与试验和试用周期较长。本文设计的应用系统在功能设计伊始，即以参与和帮助采煤机设计为目的，设计思路贯穿采煤机实际装配过程与生产线，最终完成的系统功能完整，使用方便，可使用户在虚拟环境下交互地对采煤机的各个部分进行拆装仿真。

(2) 相对于桌面电脑虚拟装配系统，本文设计的系统在投影与显示系统支持下，通过基于轨迹球的场景交互，基于鼠标、数据手套和位置跟踪器的装配交互等手段，实现了虚拟场景的全方位浏览，以及实现了对装配模型的选择、高亮、拖拽、装配等，并基于OSG技术配合偏振眼镜完成了场景立体显示，大大提高了用户的沉浸式体验和使用兴趣。

(3) 采用VisualStudio 2010、OSG、Cegui、VC++等底层编程软件进行采煤机虚拟现实装配系统开发，这些软件功能完整、应用广泛、设计灵活，既能够满足用户个性化要求、便于功能扩展，又具有良好的适应性，可以确保软硬件系统的集成性与兼容性，可以很好地匹配机械装备虚拟现实系统研究。

(4) 结合UG与3DsMax的各自优势，在UG中建立采煤机CAD精确模型，后利用3DsMax对UG完成的基础模型进行格式转换、模型修改和优化渲染，结合OSG技术生成高质量虚拟现实模型，是一种高效的虚拟现实模型制作方法。

[1] 刘检华, 宁汝新, 姚 珺, 等. 面向产品全生命周期的虚拟装配技术研究[J]. 计算机集成制造系统-CIMS, 2005, 11(10): 1430-1437.

[2] 李建广, 夏平均. 虚拟装配技术研究现状及其发展[J].航空制造技术, 2010, (3): 34-38.

[3] JayaramS, Connacher H I, Lyons K W. Virtual assembly using virtual-reality techniques [J]. Computer Aided Design, 1997, 8(29): 575-584.

[4] Rajan V N,Sivasubramanian K, Fernandez J E. Accessibility and ergonomic analysis of assembly product and jig designs [J]. International Journal of Industrial Ergonomics, 1999, 23(5-6):473-487.

[5] Liverani A, Amati G, Caligiana G. A CAD-augmented reality integrated environment for assemblySequence check and interactive validation [J]. Concurrent Engineering: Research and Application, 2004, 12(1): 67-77.

[6] 刘晓晖, 万丽莉, 季 红, 等. 基于中文语音交互的虚拟装配技术研究[J]. 系统仿真学报, 2014, 26(9): 2056-2061.

[7] 卢丽婷, 刘 林, 熊 巍. 基于单点式力反馈器的虚拟装配研究[J]. 图学学报, 2014, 35(2): 280-284。

[8] 张志贤, 刘检华, 宁汝新. 虚拟装配中基于多刚体动力学的物性装配过程仿真[J]. 机械工程学报, 2013,49(5): 90-99.

[9] 夏平均, 姚英学. 虚拟装配的研究综述与分析(II)[J].哈尔滨工业大学学报, 2008,40(6): 942-947.

[10] 肖 鹏, 刘更代, 徐明亮. OpenSceneGraph三维渲染引擎编程指南[M]. 北京: 清华大学出版社, 2010: 1-25.

[11] Wang Qinghui, Li Jingrong, Wu Baoli, et al. Live parametric designModifications in CAD-linked virtual environment [J]. International Journal of AdvancedManufacturing Technology, 2010, 50(9-12): 859-869.

[12] 袁晓红, 江 涛, 苏楚奇, 等. 3dsmax多边形模型向UG工程模型的转换[J]. 武汉理工大学学报, 2006, 28(5): 95-97.

Study on Virtual AssemblySimulationSystem of CoalShearer

Wang Xuewen1,2, Qin Yi2, Yang Xinyu2, pang Xinyu1, Yang Zhaojian1
(1.Shanxi Key Laboratory of FullyMechanized CoalMining Equipment, Taiyuan University of Technology, TaiyuanShanxi 030024, China; 2. Department of Design,Manufacture, and EngineeringManagement, University ofStrathclyde, Glasgow G1 1XQ,Scotland, UK)

Aimed at the virtual assembly application problems on coalMining equipment, a virtual assemblySimulationSystem was build on a type of electrical traction coalShearer under theSupport of virtual reality hardware equipments andSomeSoftwareSystems of VisualStudio 2010, OSG, Cegui and VC++. The functionalStructure, technologySolution and constructionMethod of the virtual assemblySystem were described in detail. TheSystem has fully functions, highly interactivity and immersive, and is easy to use. Aimed at the virtual realityModel processingMethod of theSystem, aMethod of building high-quality virtual realityModels combining UG with 3DsMax wasStudied. TheMethod firstly established accurate CADModels in UGSoftware, and theseModels were transformed andModified in 3DsMaxSoftware to establish the virtual realityModel. The artModels have poor accuracy and the engineering CADSoftware is difficult to generate virtual realityModels,So theMethods well remedy the above defects.

coalShearer; virtual reality; virtual assembly; virtualModel; 3D display

TD421

A

2095-302X(2015)02-0268-06

2014-08-05；定稿日期：2014-11-19

国家留学基金资助项目(201308140087)；山西省“十二五”科技重大专项资助项目(20111101040)；山西省基础条件平台资助项目(2014091016)；山西省高等学校创新人才支持计划资助项目(2014)

王学文(1979–)，男，山西长治人，副教授，博士。主要研究方向为机械现代设计方法、机械CAD/CAE等。E-mail：wxuew@163.com

杨兆建(1955–)，男，河北高阳人，教授，博士。主要研究方向为机械现代设计方法、机械CAD/CAE、机械设计工况监测与故障诊断、机械动力学和摩擦学等。E-mail：yangzhaojian@tyut.edu.cn