基于复杂部件虚拟装配的智能决策行为*

吴烽云 张坡 邹湘军 李承恩 李慧 曾泽钦

基于复杂部件虚拟装配的智能决策行为*

吴烽云1张坡2邹湘军3李承恩3李慧3曾泽钦3

（1.中国科学院广州能源研究所 2.广东工贸职业技术学院计算机与信息工程学院 3.华南农业大学工程学院）

以拖拉机变速箱为例，通过对复杂部件的装配建模与行为仿真的描述分析，提出虚拟多智能体建模。将变速箱装配系统定义为主智能体与子智能体的上下层及网络关系，构建主智能体网络关系；设计装配工艺作为行为规则的主要准则；设置智能实体碰撞作为装配的约束条件，构造多智能体系统框架。应用结果表明：该系统可用于人机交互、装配行为决策，为设计与制造评估提供理论依据。

复杂农机部件；虚拟装配；决策行为；人工智能；建模

0 引言

虚拟设计与制造是人工智能在机械领域的应用。在虚拟环境中，复杂系统的智能决策是模拟人类思维、智能与经验的关键技术[1]。如何使虚拟环境下的复杂系统具有自主决策能力是人工智能、虚拟设计与制造的重要研究内容[2-5]。为实时获得目标模型，国内外学者利用人工智能、立体视觉[6]对目标进行跟踪、三维重构建模和三维反求建模[7-9]，这些建模理论为虚拟系统的行为决策提供了决策知识、模型与数据。

目前，我国大型农机装备关键设备的设计方法与理论比较落后。部分农机企业为了保证机器优化，仍采用传统的方法进行停产维护，降低了农机企业产品的更新效率。大型农机装备企业希望可在虚拟环境下通过人工智能、专家系统实现自主决策。

国内外学者利用人工智能对部件的虚拟装配与仿真进行大量研究[10-15]。德国Bader A , Gebert K[16]提出一种使用决策矩阵设计产品的方法，解决了装配过程中产品设计的问题。郝建豹[17]介绍一种利用RobotStudio构建机器人码垛工作站的虚拟仿真方案，可实现机器人码垛仿真。刘洪新[18]提出一种适用于物元标识的人机交互平台，可实现对装配语义集的提取与分析，智能引导完成虚拟装配。邹湘军[19-20]提出一种多Agent的建模方法用于复杂产品与虚拟实体的智能行为决策。大型农机装备虚拟设计与仿真是一个复杂系统[22]，其中虚拟布局[23]与装配设计属于离散性事件，在装配设计中，多智能体决策[24]是其系统推理设计方法的一个重要领域，尤其是应用在系统的行为决策与仿真方面，但由于其自身基于对象的方法有限，导致其应用范围减小。

本文采用基于多智能体的农机变速箱建模方法和虚拟现实技术模拟变速箱装配仿真，以此判断装配过程是否存在漏装与错装等。本文构建农机变速箱虚拟装配系统多智能体建模总体构架；并利用Unity 3D平台开发农机变速箱虚拟装配系统，为企业农机设计与评估提供有效工具。

1 多智能体装配系统总体构架

多智能体系统是多个智能实体Agent的集成，可协调一组自治的Agent行为，并以共同目标或动作来求解问题[19]。每个智能体可以有同一个目标，也可以交叉作用于不同目标。

多智能体系统的建模思路是将一个大系统分解成多个智能体及子智能体，这样可简化系统结构，提高系统管理效率。

多智能体装配系统包括1个主智能体和8个子智能体，构架如图1所示。

1）总控智能体：控制整个多智能体装配系统，并通过数据通信向子智能体传递执行指令。

2）零件智能体：包括轴智能体、齿轮智能体、轴承智能体和拨叉智能体等；每个零件智能体都包含零件名称、几何特征和装配行为规则等信息。

图1　多智能体装配系统构架

3）组件智能体：零件的父智能体；当组件内的零件都已完成装配行为，零件智能体将转换为组件智能体。

4）部件智能体：组件的父智能体；当部件内的组件都已完成装配行为，组件智能体将转换为部件智能体。

5）通讯智能体：整个装配系统智能体之间进行交流通讯的介质。

6）装配检测智能体：检测零件、组件是否处于装配状态。

7）碰撞检测智能体：装配时，检测零件间是否引起碰撞干涉；是否按照装配工艺规则进行装配。

8）虚拟场景智能体：用户可在装配界面自主选择装配场景，如灯光、布局、天空和地形等。

9）知识库：存储装配工艺知识、零部件信息和几何约束信息等。

2 主要智能体结构

2.1 通讯智能体

通讯智能体可以将一个智能体的执行指令传递到目标智能体。如零件接收到装配指令时，将触发开始装配命令函数：

if(message==gameObject.SendMessage(“StartAss-emble”))

gameObject.StartAssemble;

当零件完成装配后，可根据系统需要移去或删除该命令函数：

Destroy(gameObject)。

2.2 零件智能体

多智能体装配系统的每个待装配对象均为一个单独的智能体，可进行自主决策，并与其他智能体传递命令。在知识库中，零件智能体以多属性参数的形式存储。执行装配命令时，系统读取所有待装配零件的每一条属性，零件属性信息可表示为

Part={Name，Trigger，Collider，Material，Message，Behavior，Knowledge}；

其中，Name为零件名称；Trigger为触发器，碰撞检测的开关；Collider为碰撞体模型；Material为零件材质；Message为零件消息系统，负责消息的发出与接收；Behavior为零件状态，主要有未装配、装配中和已装配3种状态；Knowledge为该零件与其他零件之间的装配行为信息，是零件装配的行为规则。

2.3 碰撞体智能体

拖拉机变速箱是一个复杂的农机部件，装配时需精确地安装每一个配合面。本文拖拉机以变速箱的零件拨叉和啮合套为例，采用MeshCollider组件构建的碰撞体模型如图2、图3所示。

图2　拨叉三维模型及碰撞体网格模型

图3　啮合套三维模型及碰撞体网格模型

啮合套分为外侧圆环组、内齿组和内侧圆环组。拨叉分为上圆环组、半圆环组和肋板组。将零件的碰撞智能体用多个碰撞子智能体表示

Collider={Rings, Tooth, Cubes}；

其中，Rings为圆环组碰撞体，内含圆环碰撞体的内直径、外直径、宽度和圆环碰撞体数量；Tooth为齿碰撞体，内含外齿碰撞体和内齿碰撞体，包括齿数、模数、齿宽和齿碰撞体数量；Cubes为四边体碰撞体，内含长、宽、高等属性。

在Unity 3D中，碰撞体以网格形式存在，其最小单元为三角面片。装配过程中，碰撞检测是对三角面片的位置检测。

矢量判别型的Devillers算法[21]是通过一系列计算值符号来判定2个三角形的位置关系，继而判别其相交情况的一类算法，其核心思想为：

设空间中4个点坐标分别为(a,a,a), (b, b,b),(c,c,c), (d,d,d)，则有行列式

行列式的值表示点与，，组成平面的位置关系：等于0表示在，，组成的平面上；大于0表示在，，组成的平面上方；小于0表示在，，组成的平面下方。通过该公式，可对三角形的位置关系进行判定，从而判断碰撞体之间是否存在干涉。

3 复杂部件的虚拟装配系统实现

3.1　变速箱模型构建

本文以大型拖拉机1204型变速箱复杂部件为实验对象。1204型变速箱为24级变速，变速结构为4×3×2，共有8快挡、8慢挡和8倒挡，换挡方式为啮合套换挡。

虚拟装配系统模型采用Solidworks 2016进行三维建模，模型格式为stl。采用自主开发的CAD格式转换软件将stl格式模型转换为Unity 3D可识别的obj格式。变速箱内副变速中间轴、输入轴、拨叉及拨叉挡、二挡主动齿轮等部分模型如图4所示。

图4　变速箱模型

3.2　装配系统的设计与实现

大型拖拉机1204型变速箱的装配系统树状图如图5所示，其中根节点为变速箱部件装配体；中间节点包括输入轴组件、副变速中间轴组件、中间轴组件、输出轴组件和变速箱体组件；叶节点为每个组件所包含的零件。

图5　大型拖拉机1204型变速箱的装配系统树状图

大型拖拉机1204型变速箱虚拟装配系统的执行流程如图6所示。

图6　虚拟装配流程图

本系统基于Unity 3D开发，具有人机交互与装配功能。以装配工艺为行为规则判断是否装配正确。通过碰撞检测算法，自动检测零件装配是否合格。如果被装配零件配合尺寸过大或者选错零件引起碰撞干涉，系统将预警。

以拨叉及拨叉轴的装配为例，介绍虚拟装配系统的具体操作。

选择拨叉基准面和拨叉轴装配基准面，使拨叉移动到拨叉轴对应装配基准面上，如图7所示；完成装配，如图8所示。

图7　拨叉及拨叉轴待装配界面

图8　拨叉及拨叉轴装配完成界面

4　结论

本文以多智能体理论为基础，提出基于多智能体的虚拟装配系统建模方法，将变速箱中每个零件命名为一个智能体，与虚拟仿真软件Unity 3D结合，开发一套具有智能决策能力的虚拟装配系统，可实现虚拟装配、碰撞检测和智能决策等。应用结果表明：此系统具有实用性、可操作性，为企业培训提供了良好的操作平台。为提高装配真实度，本系统还添加了车间工作环境场景，给用户提供沉浸度更高的操作体验。

[1] 邹湘军,孙健,何汉武,等.虚拟现实技术的演变发展与展望[J].系统仿真学报,2004,16(9):1905-1909.

[2] Zou Xiangjun, Zou Haixin, Lu Jun. Virtual manipulator-based binocular stereo vision positioning system and errors modelling[J]. Machine Vision and Applications, 2012, 23(1):43-63.

[3] 邹湘军,罗锡文,卢俊,等.虚拟环境下农业移动机器人行为及其仿真建模[J].系统仿真学报,2006.18(S2):551-553,562.

[4] Zou Xiangjun, Ye Min, Luo Chengyu, et al. Fault-tolerant design of a limited universal fruit-picking end-effector based on visoin positioning error[J]. Applied Engineering in Agriculture,2016, 32(1):5-18.

[5] 罗陆锋,邹湘军,卢清华,等.采摘机器人作业行为虚拟仿真与样机试验[J].农业机械学报,2018,49(5):34-42.

[6] 程佳兵,邹湘军,林桂潮,等.基于AdaBoost算法的级联分类器对绿色荔枝的快速检测方法[J].自动化与信息工程,2018, 39(5):38-44.

[7] Chen Mingyou, Tang Yunchao, Zou Xiangjun, et al. High-accuracy multi-camera reconstruction enhanced by adaptive point cloud correction algorithm[J].Optics and Lasers in Engineering, 2019(122)170-183.

[8] Tang Yunchao, Li Lijuan, Wang Chenglin, et al. Real-time detection of surface deformation and strain in recycled aggregate concrete-filled steel tubular columns via four-ocular vision[J]. Robotics and Computer-Integrated Manufacturing, 2019,59: 36-46.

[9] Tang Yunchao, Li Lijuan, Feng Wenxian, et al. Binocular vision measurement and its application in deformation and strain measurement of concrete-filled steel tubular columns[J]. Measurement, 2018,30: 372-383.

[10] 陈燕,曾泽钦,王杰,等.收获机虚拟环境模型与仿真平台构建[J].农业机械学报,2019,50(7):159-166.

[11] 张清华,闫清东,姚寿文,等.传动装置装配关系动态建立方法研究[J].系统仿真学报,2016,28(9):2109-2117.

[12] 宋晨,刘惠义.一种多Agent的情境装配模型[J].计算机集成制造系统, 2016,22(5):1205-1210.

[13] 刘宏新,贾儒,郭丽峰,等.数字模型全息标识体系与辅助标识方法研究[J].农业机械学报,2018,49(9):414-426.

[14] 鲍劲松,李志强,项前,等.半实物虚拟装配的建模、演化与应用[J].机械工程学报,2018,54(11):61-69.

[15] 冯志全,梁丽伟,徐涛,等.虚拟装配交互界面中的隐式交互算法研究[J].计算机辅助设计与图形学学报,2017,29(10): 1952-1962.

[16] Bader A, Gebert K, Hogreve S, et al. Derivativeproductssupporting product development and design for assembly[J]. Procedia Manufacturing, 2018, 19:143-147.

[17] 郝建豹,许焕彬,林炯南.基于RobotStudio的机器人码垛工作站虚拟仿真设计[J].自动化与信息工程,2017,38(2):26-29.

[18] 刘宏新,贾儒,周兴宇,等.基于物元标识的人机交互式机械排种器虚拟装配[J].农业工程学报,2016,32(1):38-45.

[19] 邹湘军,孙健,何汉武.灌装生产线虚拟环境的多Agent建模研究[J].系统仿真学报,2004,16(4):757-759,774.

[20] 邹湘军,孙健,何汉武,等.虚拟环境中多Agent决策的冲突证据合成研究[J].系统仿真学报,2006,18(4):1010-1014.

[21] 邓峻生,毛世峰,刘旭峰,等.基于AABB树的聚变堆形变部件碰撞检测算法[J].计算机系统应用,2018,27(11):161-167.

[22] 刘宏新,王登宇,郭丽峰,等.先进设计技术在农业装备研究中的应用分析[J].农业机械学报,2019,50(7):1-18.

[23] 王志斌,刘检华,刘佳顺,等.电缆虚拟布线中的物理特性分析与布局设计技术[J].计算机辅助设计与图形学学报,2014,26(7):1193-1202.

[24] Ye Yingjun, Zhang Xiaohui, Sun Jian. Automated vehicle's behavior decision making using deep reinforcement learning and high-fidelity simulation environment[J]. Transportation Research Part C,2019,107(10): 155-170.

Intelligent Decision Behavior Based on Virtual Assembly of Complex Components

Wu Fengyun1Zhang Po2Zou Xiangjun3Li Chengen3Li Hui3Zeng Zeqin3

(1. Guangzhou Institute of Energy Conversion, Chinese Academy of Sciences 2. College of Computer and Information Engineering, Guangdong Polytechnic of Industry and Commerce 3. College of Engineering, South China Agricultural University)

Artificial intelligence is an important theory of intelligent decision making in virtual design. Based on the description of the assembly modeling and behavioral simulation of complex components, the virtual multi-agent modeling is proposed by taking the agricultural gearbox as an example. The gearbox assembly system is defined as the upper and lower layers of the main agent and the sub-agent and its network relationship, the main agent network relationship is constructed, the assembly process is designed as the main criterion of the behavior rule, and the collision of the intelligent entity is set as the assembly constraint. This paper constructs a multi-agent system framework. The results show that the intelligent decision of the system can be used in human-computer interaction and assembly behavior decision-making, which provides a theoretical basis for design and manufacturing evaluation.

Complex Agricultural Machinery Components; Virtual Assembly; Decision-Making Behavior; Artificial Intelligence; Modeling

国家重点研发计划（2017YFD0700103）；广东省科技项目（2017A030222005）。

吴烽云，女，1988年生，硕士研究生，主要研究方向：人工智能及智能决策。

张坡（通信作者），男，1992年生，讲师，主要研究方向：虚拟现实、智能化设计。E-mail:1101700433@qq.com

邹湘军（通信作者），女，1957年生，教授，博士生导师，主要研究方向：虚拟现实、农业机器人与机器视觉。E-mail: xjzou1@163.com

李承恩，男，1996年生，硕士研究生，主要研究方向：虚拟现实、虚拟装配。

李慧，女，1995年生，硕士研究生，主要研究方向：虚拟现实、智能化设计。

曾泽钦，男，1994年生，硕士研究生，主要研究方向：虚拟现实。