虚拟人维修动作混合驱动技术研究

陈帝江，张红旗，张祥祥，程五四

(中国电子科技集团公司第三十八研究所，安徽 合肥 230088)

>Research on Hybrid Drive of Maintenance Action for Virtual Human

CHEN Dijiang，ZHANG Hongqi，ZHANG Xiangxiang，CHENG Wusi

(No.38 Research Institute of CETC，Hefei 230088，China)



虚拟人维修动作混合驱动技术研究

陈帝江，张红旗，张祥祥，程五四

(中国电子科技集团公司第三十八研究所，安徽 合肥 230088)

>Research on Hybrid Drive of Maintenance Action for Virtual Human

CHEN Dijiang，ZHANG Hongqi，ZHANG Xiangxiang，CHENG Wusi

(No.38 Research Institute of CETC，Hefei 230088，China)

摘要：针对现有虚拟维修系统中维修指令人机工效评估效率低下、准确度不高，不能满足复杂装备维修性并行设计的需求，研究了基于全局可接近性锥GAC的维修工具最优匹配方法、基于遗传算法的虚拟人运动精度优化控制技术、基于功能约束的精细维修动作建模技术和基于实时捕捉数据与模型混合驱动的虚拟人运动控制机制。开发了虚拟人维修系统，验证了方法的有效性。

关键词：虚拟人；维修动作；混合驱动

0引言

维修性问题是复杂装备的基础共性问题，贯穿装备的全生命周期。维修性已经成为评价装备性能的重要指标，较差的维修性设计不仅增加维护成本，而且降低装备利用率。复杂装备如飞机、雷达、大吨位履带吊等对维修性要求很高，必须保证其在规定的时间内能恢复到规定功能状态，因此在复杂装备设计阶段，就需要制定详细的维修指令描述拆卸、检测、更换/修复、安装及调试等过程，以确保维修操作能够迅速、安全和准确。维修性设计过程中，设计人员需要考虑维修相关的所有因素，制定维修指令，并通过维修性分析，确定维修性设计措施和评定维修性设计目标的实现程度。由于装备维修活动大部分是手工拆装，并且很少具有生产装配现场所具有的拆装环境如工具与工装，因此改善维修工作条件，便于维修人员手工拆装操作；减少维修的潜在风险，是复杂装备维修性设计亟待解决的问题。针对具体维修作业的特点，在装备的维修性设计过程中，需着重考虑维修作业中人的因素，从适应人的人机工效特性、便于维修人员操作入手，使维修作业环境适宜于人的工作，从而安全、高效地完成维修任务。

为了实现以“人为中心”的装备维修性设计，需要在装备设计阶段对制定的维修指令进行人机工效评估，传统的基于维修性设计核对表，采用手工方法进行评估的方法存在维修姿势难以准确定义、花费时间长的问题。虚拟维修技术是上世纪90 年代末发展起来的进行产品维修性并行设计与分析的有效工具，其在产品设计早期，具有数字样机的研制阶段就将维修性设计同产品性能设计并行开展，重点对加入维修人员(3D 虚拟人)后涉及的可达、可视、舒适性及操作空间等维修性问题进行分析。以美国CREW CHIEF 模型、DEPTH 系统为代表的虚拟维修系统在B-1B、F-22 等军用飞机的维修性分析上取得了良好的军事与经济效益。

包含机电液子系统的复杂装备故障具有多样性、复杂性、随机性和环境敏感性等特点，其组成的各分系统都可能出现故障，且同一故障源会出现不同类型的故障。根据装备可靠性原理，在研制与设计阶段需要分析与评估的维修指令数量非常庞大。随着装备的复杂化、高技术化，现有虚拟维修技术与评估手段很难满足并行维修性设计的要求，其突出问题在于维修指令人机工效评估效率低下、准确度不高，因此限制了虚拟维修技术的工程应用。

在现有技术成果的基础上，开展虚拟人维修动作混合驱动方法研究，充分利用虚拟人维修动作实时捕捉数据驱动与模型算法驱动的优点，提高维修指令人机工效分析的效率，对促进虚拟维修技术在维修性设计领域的普及与工程化，提高装备维修性设计水平，具有重要的理论意义与应用价值。

1总体思路

为了提高维修指令人机工效评估的效率，满足复杂装备并行维修性设计的需求，虚拟人驱动的自动化与智能化是关键。本项目研究将在及时了解掌握国内外研究工作进展动态，充分利用课题组现有研究工作基础上，采用理论研究与应用开发、实验验证相结合的方法展开研究。其总体思路如图1所示。

图 1　总体思路

总体技术方案上，虚拟人动作由实时运动捕捉数据与模型算法混合驱动，局部维修动作与过渡维修动作由实时运动捕捉数据驱动，当虚拟手或者维修工具进行精细维修动作约束识别与匹配时，自动转换为模型算法驱动，并由拆装环境约束，身体结构约束、人体运动机能约束以及生理机能约束构建姿态约束机，提高虚拟人动作驱动的效率与精度。同时通过自动提取维修过程关键帧的人机工效信息，采用自定义的量化准则进行评估，并设计实验对量化结果进行可信性评价。

2实现过程

2.1　基于功能约束的精细维修动作建模技术

维修指令蕴含的操作动作信息挖掘需要处理大量的维修指令数据，采用智能挖掘方法提炼典型维修指令动作元素，建立标准拆装动作的结构化表达和解析方法；为了便于计算机的识别与处理，对维修指令动作进行层次编码；同时把每条指令当成一个族，通过数据矩阵表述的维修动作集合，采用曼哈坦距离公式计算族间距离，对动作集合进行聚类分析，获得标准的精细维修动作。建立精细维修拆装动作信息描述模型，包含零件间、零件与工具间的约束类型和个数，约束顺序以及工程约束(零件或部件)等信息，同时建立拆卸装配规则、拆卸装配动作集、工具约束匹配规则等。

在这些研究的基础上，建立基于功能约束的虚拟人动作驱动的层次约束模型：由拆装环境约束，身体结构约束、人体运动机能约束以及生理机能约束构成的多层次的姿态约束机。针对标准的精细维修动作，一方面基于运动学反解的方法生成各关节、躯干和头部的目标位置，另外一方面基于实证统计建模的方法构建运动学及动力学的约束模型。采用NDI Polaris红外线跟踪设备，已测量与拟合了旋入、旋出等基本维修动作。以螺钉旋入为例，拟建立的虚拟人精细维修动作自动推理过程建模如下：首先根据虚拟人站姿近身作业空间范围和人体视野范围划分若干维修空间，根据虚拟人上肢反求算法、干涉检测算法及舒适度评估方法，逐次建立各个维修空间虚拟人维修姿态的推理法则，进而计算维修动作中的若干关键姿态；关键姿态之间虚拟人关节运动采用球面四元素SLERP算法进行驱动，最终生成完整的维修动作序列。例如拧紧螺钉动作驱动模型可表达为：

MList=TightenScrew(Operator，VH&T，Object，RA，TP，AS，v)

Operator为操作者；VH&T表示虚拟手抓取或采用拧紧工具；Object为拧紧对象，此处为螺钉；RA为每次拧紧操作的角度；TP为螺距；AS为螺钉与其配合螺纹孔的轴线；v为维修环境的仿真速率；MList为生成的维修动作关键帧。

以此类推，螺栓、螺母、销钉等其他紧固件的旋入、旋出、拧松、敲打等精细维修动作的驱动模型亦可建立。根据精细动作模型参数计算每次操作零件、工具的位姿矩阵：以拧紧螺钉操作为例，根据拧过的角度RA、螺距TP和配合轴线AS，可计算出每次操作螺钉和拧紧工具位置；再根据虚拟手与工具之间的固联关系，通过虚拟人维修姿态推理模型求解当前最适合的维修操作姿态。

2.2　基于遗传算法的虚拟人运动精度优化控制技术

影响虚拟人实时驱动精度主要包括2个环节：运动数据的输入环节和处理环节。前者跟硬件本身性能相关，将这类由于硬件本身性能导致驱动精度下降的因素称之为硬件因素；后者与虚拟人的实时驱动模型相关，将其归类为软件因素。

常见的硬件因素主要包括连续性噪声和突发性噪声2大类。第1类主要指设备的跟踪误差，其影响主要表现在驱动过程中虚拟人持续“颤抖”，跟踪误差累积会加剧“颤抖”的剧烈程度以至严重失真。第2类指运动跟踪过程的鲁棒性，运动捕捉系统在实时驱动过程中受到外界干扰会产生噪声数据，导致关节运动信息突然缺失或者位姿状态突变，使得虚拟人动作突然失真。针对硬件噪声，首先对采集到的旋转数据建立对应的过滤准则；对实时驱动过程中产生的噪声，按照人体关节极限角度和前后关键帧关节角度变化幅度进行滤波；对于合理的跟踪数据，采用递推平均滤波法，对跟踪数据进行光滑处理，以消除虚拟人驱动过程中的“颤抖”现象；对于过滤掉的突发性噪声，采用灰色系统理论进行在线的位姿补偿，以防止维修操作过程中虚拟人动作的突然变形。精度控制流程如图2所示。

图2　虚拟人实时驱动精度控制

软件因素主要包括虚拟人模型简化和人体部件匹配精度。目前虚拟人建模广泛采用Hanavan人体骨架结构具有良好的运动学和动力学计算精度，因此操作者与虚拟人骨骼部件尺寸的匹配精度是影响虚拟人实时驱动精度的主要因素。本研究拟提出相应的虚拟人实时驱动精度的优化方法：首先在获取虚拟环境中各关节空间位姿的基础上，提出虚拟人实时驱动误差的量化方法，根据误差量化函数建立驱动误差模型；其次通过采集拆装过程频繁操作域的空间点，计算若干采样点的累计误差，以该累计误差最小为优化目标，建立优化模型；然后以操作者身高对应的虚拟人部件尺寸作为初始参数，引入部件尺寸收缩系数来扩大寻优范围；最后采用遗传算法对优化模型进行求解，计算操作者与虚拟人的最佳匹配尺寸。

2.3　基于全局可接近性锥GAC 的维修工具最优匹配方法

维修工具的种类繁多，不同的维修工具在几何外形、应用场合和使用方法等存在很大的差异，为提高维修指令评估的效率，需要自动、准确选择合适的维修工具。由于拆卸与安装紧固件是维修工作最为常见的指令。考虑虚拟人手持工具进行维修操作，增加工具重量、虚拟人抓取位置、旋转操作位置等参数，建立维修工具信息描述模型。对维修工具进分类，并采用关系数据库，建立紧固件拆装工具库，包含多种类型的手动工具与半自动工具，同时建立其与可以拆卸紧固件的约束映射关系。

采用分层优化的方法进行拆卸工具的初始匹配，流程如图3所示，首先进行工具几何参数的匹配，约束关系的匹配，满足拆装操作需求；然后采用全局可接近性锥GAC(global accessibility cone)方法对工具在拆装空间内进行接近性评估；最后以虚拟人操作舒适性为优化目标，对筛选出的工具进行最优化匹配。

图3　维修工具最优匹配流程

全局可接近锥GAC是用来进行可接近性分析的有效工具，其优于VMap方法，在数控加工、CMM测量规划中获得广泛应用。本发明基于全局可接近性锥GAC方法，同时考虑紧固件的可视性与工具的可接近性，拟提出带有深度信息的GAC，以紧固件的初始位置作为全局可接近性锥的中心，拧出/拧紧方向为全局可接近性锥的Y轴，构造可接近性自由锥，并通过遮挡筛选的方法判断工具的扫略体是否在处于自由锥内，从而快速判断工具的可接近性。

2.4　基于实时运动捕捉数据与模型混合驱动的虚拟人运动控制机制

一条维修指令通常蕴含系列维修动作，本研究将维修动作分为局部动作、过渡动作与精细动作，其中精细动作是指依赖于操作者的实际感知才能够正确完成的维修动作，例如拧紧、拧出、旋入、旋出等。过渡动作是指虚拟人在维修位置A局部区域内的维修操作结束后，到维修位置B局部区域内进行新的维修操作时所需要的人体辅助动作，主要包含：步行、搬运、转身、弯腰、下蹲、扭转躯干、扭转头部等。虚拟人维修操作体系如图4所示。

图4　虚拟人维修操作体系

提出实时捕捉数据和模型驱动相结合的虚拟人的运动生成与控制方法，技术路线如下：针对局部动作与过渡动作，可以通过虚拟现实外设实时捕捉数据驱动，通过基于拆装几何约束的交互式确认，可以高效的生成逼真的虚拟人维修动作序列，而且可以避免复杂的路径规划问题；针对精细动作，可以采用上述的基于功能约束的方法，由精细维修拆装动作模型算法自动生成维修动作序列。驱动转换通过工具/虚拟手导航过程中，工具、零件以及虚拟手之间的约束识别来实现。根据真人交互过程中对约束的确认结果，自动对驱动模式进行转换，并通过约束导航和实时碰撞检测方法生成姿态约束机的拆装环境约束。

3开发实例

以VC++8.0为开发工具，使用OPEGL/PERFOMER图形引擎、mysql、applet技术和硬件接口开发等技术，结合空间定位器(IS-900)、数据手杖(R-GAMEPAD)等交互式硬件，开发了虚拟人维修系统，系统的界面如图5所示。

图5　虚拟人维修系统界面

该系统能够利用虚拟人针对维修模型进行典型的维修操作，能够加载预定义的典型姿态，支持加载从交互式操作模块提取的典型动作序列；虚拟人姿态控制模块能够加载虚拟人姿态库中预定义的数据，可以将新定义的典型姿态通过数据采集模块存入虚拟人姿态数据库；数据采集模块能够将虚拟人在操作维修对象过程中的操作范围、视野范围、当前动作的灵便性、疲劳度等信息采集并记录下来，存入虚拟人姿态库相应的数据字段；虚拟人模块可记录自然人交互式操作的不规则、不标准的自然人交互式操作的动作序列分解成多个标准动作，形成标准动作序列，存储到虚拟人姿态库中，加载给虚拟人模型，驱动虚拟人按照标准动作序列完成自然人交互式操作的过程。

4结束语

针对维修指令人机工效评估的效率与准确性问题，提出了虚拟维修环境下虚拟人维修动作混合驱动及人机工效自动量化评估方法，将在复杂装备设计阶段从人机工程领域评估维修指令、有效避免装备由于维修性设计问题而造成的维修困难、维修方案不合理等问题，实现以人为中心的维修性设计，降低装备研制与维护成本。对促进虚拟维修技术在维修性设计领域的普及与工程化具有重要的意义。可以应用到装配指令的人机工效评估，三维装配/维修电子手册的生成、维修操作训练等方面，全面提升装备维修性设计的水平。

参考文献：

[1]国防科学技术工业委员会. GJB/Z 91-97 维修性设计技术手册.

[2]于永利，郝建平，杨东晓. 维修性可视化设计分析技术现状与发展趋势. 中国机械工程，1998，9(12)：41-44.

[3]Glor P J. Design evaluation for personnel，training and human factors(DEPTH) ∥ Reliability and Maintainability Symposium. Atlanta，1993.

[4]Abshire，K J.Virtual maintenance real-world applications within virtual environments∥ Reliability and Maintainability Symposium.Anaheim，1998.

[5]Shozo Takata，Yuu Inoue. Maintenance data management system.Annals of the CIRP，1999，48 (1) : 389-392.

[6]Wani M F，Gandhi O P. Development of maintain-ability index for mechanical systems . Reliability Engineering & System Safety，1999，65 (3): 259-270.

[7]Vujosevic R，Raskar R. Simulation，Animation and analysis of design disassembly for maintainability analysis. Production Research，1995，33 (11) : 2999-3022.

Abstract:The current virtual maintenance system is inefficient and inaccurate, which cannot meet the requirements of the maintenance of complex equipment. This paper studies the information modeling of maintenance tools oriented to the virtual simulation after analyzing typical maintenance order, then develops a hybrid drive model of maintenance action of virtual human combining the real-time interactive control method and Parameterized Action Representation method, to realize the simulation driven from maintenance instruction written by natural language to maintenance simulation, so as to improve the manual simulation setting mode. At the same time, the study develops the automatic quantitative evaluation technology for human factors based on the real-time virtual maintenance simulation process. Finally, this method is validated successfully by a virtual human maintenance system.

Key words:virtual human；maintenance action；hybrid drive

作者简介：陈帝江(1983 -)，男，安徽庐江人，硕士，高级工程师，研究方向为智能CAD和数字样机技术；张红旗(1975 -)，男，安徽合肥人，硕士，研究员级高级工程师，硕士研究生导师；研究方向为智能CAD和数字样机技术。

基金项目：国防技术基础计划资助项目(JSZL2014210B001)；国防技术基础计划资助项目(JSBZ2014210A005)；国防技术基础计划资助项目(JSBZ2014210B007)；国防基础科研计划资助项目(A1120110003)

收稿日期：2015-09-25

文章编号：1001-2257(2015)12-0006-04

文献标识码：A

中图分类号：TP391