基于双目视觉定位的机器人自动制孔系统研究

朱前成 赛 音 熊珍琦 韩维群 吕韫琦



基于双目视觉定位的机器人自动制孔系统研究

朱前成1赛 音2熊珍琦1韩维群1吕韫琦1

（1. 北京航星机器制造有限公司，北京 100013；2. 空军装备部驻北京地区第二军事代表室，北京 100013）

为了解决传统机器人自动制孔系统在自动化生产线中适应性的问题，实现制孔对象在机器人自动制孔工位快速自动流转的同时保证制孔精度，提出了一种基于双目视觉定位的机器人自动制孔方法。该套系统以现场总线的方式将机器人本体、制孔末端执行器、自动物流车、双目视觉测量系统及其他附属设备集成在一起，实现对加工件的自动制孔。介绍了其中的末端执行器设计、双目视觉测量系统、机器人离线编程和系统集成控制。试验表明，该套系统末端定位精度±0.3mm，制孔垂直精度±0.5°，孔径精度H8。

机器人制孔；末端执行器；离线编程；双目视觉；集成控制

1 引言

随着柔性化、自动化和数字化装配技术的快速发展，基于工业机器人的研究应用已经取得了显著进展。其中，以机器人自动制孔为代表的智能装备已经成为我国传统制造业转型升级的推进器[1]。与此同时，《中国制造2025》中明确指出要建设生产过程数字化和智能化的制造车间[2]。而航空航天装备产业作为《中国制造2025》十大重点发展领域之一，已经有越来越多的科研院所将机器人自动制孔装备引入到航空航天的生产制造过程中。

目前，机器人自动制孔装备在航空飞行器制造领域中已经得以成熟应用。国外已经有成熟的产品和专业制造商：美国EI公司、德国Broetje公司等[3～5]。国内自动制孔技术也取得了一定的进展，但系统均为单一的加工点，工件装卸麻烦且不能适应生产线中对自动运输的要求[6,7]。

离线编程作为机器人自动制孔系统研究的核心之一，能够显著减少示教编程所需要的时间成本，且有利于提高工作人员的舒适度。目前比较成熟的离线编程软件有KUKA的KUKA Sim、FANUC的FUNACWorks、ABB的Robot Studio等。国内的浙江大学等高校对机器人离线编程的研究主要集中在二次开发方面，但还未研究出适应多品种、小批量、操作友好灵活的成果。

以制孔为例，现阶段在航空航天产品制造中完成制孔仍主要采用传统的手工作业，操作员的经验和身体状态都会对加工孔的一致性产生负面作用。为了满足我国航空航天产品安全批产的迫切需求，解决手工制孔效率低、一致性差等问题，引入机器人自动制孔装备将是必然趋势。同时，传统的机器人自动制孔装备仅仅作为单一的制造点，无法适应自动化物流生产线的建设要求，严重影响了生产效率的提高。

当前航空航天产品已不满足于只解决有无和装备数量的问题，更迫切需要提升和保证新装备的高性能、高精度等更加复杂的性能指标，有效提高航空航天产品可靠性和使用效能。为了建设“自动化、数字化、网络化、智能化”的智能制造车间，推动航空航天产品智能制造向新模式改变，实现核心智能制造装备在智能制造车间的推广应用，本文提出一种既能适应自动化生产线中的物流运输又能保证制孔精度的机器人自动制孔系统。该系统主要由制孔机器人、多功能末端执行器、自动运输车、视觉定位系统等组成，自动运输车负责制孔对象在机器人制孔工位的自动流转，视觉定位系统用于在线补偿自动运输车的运动误差，多功能末端执行器在制孔机器人的带动下，完成对制孔对象的自动加工。

2 多功能末端执行器设计

末端执行器作为机器人制孔系统的执行机构，始终是机器人制孔系统设计的重点和难点。针对轻载机器人末端执行器的设计难点，同时兼顾到末端执行器对制孔、压紧和法向识别的要求，对上述功能分别进行设计并集成。

2.1 框架模块

图1 末端执行器与机器人连接示意图

框架模块是末端执行器上各功能部件的承载体，同时负责与机器人末端法兰盘固定连接，如图1所示。

2.2 制孔模块

自动制孔模块是末端执行器的核心功能部件，如图2所示。其中，高速电主轴通过导轨滑块实现在导轨上的滑动；进给伺服电机带动电主轴实现规定距离的高精度移动。该模块出于柔性加工的考虑，同时对制孔模块进行快速自动换刀设计。

图2 制孔模块设计

2.3 压力脚模块

由于在钻孔过程中，需要固定工件，防止工件出现振动，影响孔的质量，因此制孔前，制孔末端执行器需对工件施加一定的压紧力。施加的压紧力可以增加系统的刚度，有效提高孔质量。同时综合考虑机器人末端负载限重问题，进行轻量化设计，使压力脚模块和制孔模块共用导轨，如图3所示。

图3 压力脚模块

2.4 法向检测模块

由于待加工件大部分为曲面部件，尺寸不一致，制孔点处的法向量难以直接测量，同时为避免损伤待加工件蒙皮的表面质量，因此只能采用间接测量计算制孔点的法向量。本文采用4个激光测距传感器，利用微球面法测量制孔点处的法线方向。如图4所示，将4个激光传感器对称分布在压力脚模块的支撑板上，激光传感器发射点在同一圆周上，在待加工件表面上的投射点在同一圆球面上。经过曲面法线测量算法，计算出制孔点处的曲面法线。

图4 法向检测模块

3 视觉定位系统

随着视觉识别技术的快速发展，机器视觉技术在自动化生产中逐渐得到应用，在补偿机器人绝对定位精度方面起到重要作用[8]。作为一种机器视觉测量技术，双目视觉是利用视差原理从不同位置对被测物进行拍摄并获取不同位置角度图像，然后计算比较两幅图像对应点间的位置偏差，进一步获取物体三维信息的方法。与单目视觉测量相比，双目视觉能够测量被测物的三维立体信息且测量精度更高，更适合用在生产制造现场。但在传统的设计方式中，视觉测量系统集成在末端执行器上，经常通过检测基准孔的位姿来计算待加工孔的位姿，保证加工的位置精度[9]。但出于生产成本和避免对产品表面造成破坏等因素考虑，不能在航天领域产品表面做标记点处理，传统的测量方式不再适用。

同时为了适应自动化物流生产线的建设需要，待加工件需要能够自动运输到机器人加工区域，在加工完成后自动运输到下一工位。为了弥补自动运输的运动误差，本文提出在机器人制孔区域一侧设立单独的双目视觉测量系统的方式来解决待加工件定位问题。

搭建的双目视觉测量系统由工业摄像机、辅助照明光源、靶标盘、视觉处理软件等组成，见图5。

图5 双目视觉测量系统

选用的相机为德国AVT公司的MANTA系列数字相机，型号G504B；镜头为日本Kowa公司的八百万像素镜头，型号LM16XC。本相机系统技术参数如表1所示。

表1 视觉系统参数

在双目视觉测量系统中，工业摄像机用于测量靶标盘获取靶标图像；辅助照明光源用于补偿环境光照强度变化对摄像机测量的影响；靶标盘与待加工件固定工装定位固紧，保证与待加工件的位置关系不变；视觉处理软件是视觉测量系统的关键组成部分，用于处理测量数据并进行坐标转换，将测量数据实时在线反馈给上位机控制系统，以便完成后续操作。

基准孔中心位置的坐标提取是视觉测量的前提。首先对双目视觉测量系统进行标定，主要包括相机标定和立体标定，本文采用张正友标定法进行相机标定。在完成系统标定工作后，需要建立产品坐标系。本文选取六个基准孔进行产品坐标系的建立，如图5中左侧图所示。构建的产品坐标系轴方向垂直于基准孔所在平面并指向双目相机一侧，坐标系轴方向通过最右侧基准孔中心，根据右手定则可以确定轴方向。

图6 各坐标系转换

在建立产品坐标系后，通过双目相机拍照，可以得到产品坐标系相对于相机坐标系的位姿，此时，相机坐标系和机器人坐标系相对于世界坐标系的位姿已经通过激光跟踪仪标定获取，各个坐标系位姿关系如图6所示。通过坐标转换计算即可得到产品坐标系相对于机器人坐标系的位姿。

在图6中，为产品坐标系，为相机坐标系，为世界坐标系，为机器人坐标系，为坐标系中的一点（制孔点），为齐次转换矩阵。根据图6所示位姿关系，按照式（1）所示计算即可得到制孔点在坐标系下的实际位姿。

4 机器人离线编程

工业机器人的编程方式主要是示教编程和离线编程，面对当前智能制造装备的建设要求，耗时长、效率低、柔性差的示教编程难以满足实际生产需要[10]。离线编程方式是一种以计算机图形学为依托的机器人编程语言，可以使开发人员在不用访问机器人本身的情况下完成相关任务规划工作[11]。

无论是RobotMaster等专业开发的产品，或是RobotWorks等基于三维模型设计软件进行二次开发的产品，都是在建立系统工作环境的基础上，对加工件的三维模型进行分析处理，才能得到所需要的程序。本文利用激光跟踪仪建立的系统数模如图7所示。

图7 系统数模

以圆柱型加工件为例对制孔过程进行分析。由于机器人固定及其灵活工作空间的限制，在制孔点遍布加工件整个圆柱表面的情况下，需要将圆柱面制孔区域分区为多个扇面，以便决定加工件上制孔点的制孔先后顺序。然后对其中一个扇面区域内的制孔点进行轨迹规划。在单个扇面的制孔过程中，机器人由上一制孔点运动到下一制孔点，因此需要制孔点的位姿信息来确保机器人到达制孔点上方后的姿态。本文利用DELMIA的Visual Basic Editor功能模块进行二次开发[12]，对加工件上制孔点的三维坐标、法向量、孔径等加工信息进行提取，并以图形集的形式创建在结构树上。由于在进行上述操作的时候已经考虑到扇面加工顺序和单个扇面内的制孔顺序，后续不再需要对机器人制孔点顺序重新规划，提高了编程效率。在完成制孔点加工信息提取后，就可以对机器人的运动轨迹和末端执行器加工任务进行离线规划并进行防碰撞分析，最终导出一定格式的NC程序。图8为离线编程系统工作架构。

图8 离线编程软件体系架构

在得到制孔点的理论位姿和实际位姿后，通过上位机程序计算位置误差并反馈给机器人，即可进行补偿后的制孔加工。基于视觉的机器人制孔流程如图9所示。

图9 基于双目视觉测量的机器人制孔流程

5 系统集成控制

在工业机器人集成应用中，机器人与上位机控制系统之间常见通信方式有串口通信、以太网通信等。由于串行通信方式存在信息传递不准确、通信距离短、通信速率低、抗干扰能力差等诸多缺点，因此工业应用中经常采用基于以太网的机器人通信接口来提高控制系统信息传递能力。控制系统通信接口包括：上位机与机器人之间的以太网通信接口、上位机与PLC控制器之间的EtherCAT通信接口。

本文构建的集成控制系统以EtherCAT和Ethernet两条总线为基础，集成了机器人控制器、末端执行器、AGV以及换刀模块等，其中除了机器人以外的控制设备均采用德国Beckhoff软PLC和TwinCAT NCI实现。Ethernet现场总线负责数字量和模拟量I/O装置的通信，EtherCAT现场总线负责与所有伺服运动轴驱动器通信。控制系统硬件组态如图10所示。

图10 控制系统组态图

5.1 机器人外部自动控制

自动化、智能化的生产过程中要求尽可能少的人工参与以保证系统的可靠性，因此需要上位层集成控制系统接管对机器人的控制。

机器人外部自动控制涉及到两方面内容：一方面要实现上位机对机器人的实时运行速度、位置以及关节臂的力矩、关节电机电流的监测；另一方面要实现机器人运动指令的发送。因此要建立上位机与机器人内部控制变量的映射链接，并实现对控制变量的写入和机器人实时状态的读取。

5.2 末端执行器控制

本文末端执行器的电气控制系统主要采用Beckhoff软PLC的底层控制策略，通过Beckhoff所提供的TwinCAT软件实现PLC程序的编写，并由Beckhoff所提供的EtherCAT控制端子来实现各类电气元件的硬件组态。

该末端执行器电气控制系统需要实现进给电机和电主轴的伺服控制、压力脚的气动控制和激光测距传感器的数据采集。由图10可知，上位机通过EtherCAT总线实现与各伺服运动轴驱动器的相互通信，以软PLC实现激光测距传感器的数据采集，并与数模中制孔点的理论法线进行对比，弥补制孔点实际测量法线和理论法线存在的偏差，进一步实现制孔点法线的位置补偿。

5.3 上位层软件总体方案设计

本文基于MFC开发的上位层集成控制软件包括NC加工总控、机器人控制、末端执行器控制、测量控制和系统管理五部分。其中NC加工总控用于制孔流程的总体操作控制并执行制孔NC代码；机器人控制用于建立上位机与机器人的通信链接；测量控制用于对激光测距传感器的测量数据采集；系统管理用于其他功能模块的统一管理。对于上位机与机器人、末端执行器和AGV之间的通信控制，选用正确、高效的通信方式和协议来实现，为切实发挥集成控制软件核心主导地位提供保障。

6 试验与分析

本文以德国KUKA 的KR30HA工业机器人为末端执行器运动载体，以新松AGV为待加工件运输载体，搭建了一套适应生产线自动物流运输的机器人自动制孔试验平台。

首先，根据DELMIA开发的离线编程软件，建立了系统的三维模型，经过动态仿真优化后生成准确无误的NC代码并导入集成控制软件中；然后，采用经过优化的制孔工艺参数，以铝合金材料待加工件为制孔对象进行多次加工，孔径要求为2.6mm，制孔点为40个。

孔的质量主要包括毛刺大小、粗糙度、孔径等因素，而孔径是衡量孔尺寸精度的重要指标。本文进行多次制孔实验，利用千分尺对制孔点的孔径进行测量，数据统计如表2所示。

表2 铝合金加工件孔径

根据表2中实验数据分析可得铝合金材料加工件的孔径误差最大为0.01mm，均在H8以内，满足精度要求。

利用50分度游标卡尺对所有制孔点的位置精度进行精确测量，得到制孔点相对于测量基准面的位置误差，数据如表3所示。

表3 制孔点位置误差

根据表3中实验数据分析可得系统的最大定位误差为0.28mm，满足系统定位要求。

7 结束语

a. 提出了一种能够适应自动化物流生产线运输的机器人自动制孔系统，并简要介绍了制孔末端执行器、离线编程、系统集成控制。

b. 针对产品实时定位问题，详细介绍了双目视觉测量系统的基本原理、系统搭建、技术参数和坐标计算原理。

c. 以实际生产需求为出发点对本文提出的机器人自动制孔系统进行了制孔精度试验验证，实验数据表明本系统能够满足生产要求，提高了生产线运行效率和自动化水平。

1 陶永，李秋实，赵罡，等. 大力发展航空智能制造支撑高端装备制造转型升级[J]. 制造业自动化，2016，38(3)：106～111

2 周济. 智能制造——“中国制造2025”的主攻方向[C]. 中国机械工程，2015，26(17)：2273～2284

3 王国磊，吴丹，陈恳. 航空制造机器人现状发展趋势[J]. 航空制造技术，2015，479(10)：26～30

4 DeVlieg R, Sitton K, Feikert E, et al. ONCE (ONe-sided Cell End effector) robotic drilling system[C]. Proceedings of SAE Aerospace Automated Fastening Conference, Chester, ENGLA, US, 2002: 9～16

5 喻龙，章易镰，王宇晗，等. 飞机自动钻铆技术研究现状及其关键技术[J]. 航空制造技术，2017，60(9)：16～25

6 袁培江，陈冬冬，王田苗，等. 航空制孔机器人末端执行器高精度制孔方法研究[J]. 航空制造技术，2016，59(16)：81～86

7 张晋，田威，周敏，等. 机器人自动钻铆系统集成控制技术[J]. 航空制造技术，2017，60(9)：38～42

8 林琳. 机器人双目视觉定位技术研究[D]. 西安：西安电子科技大学，2009

9 袁培江，陈冬冬，王田苗，等. 基于双目视觉测量系统的孔位补偿研究[J]. 航空制造技术，2018，61(4)：41～46

10 孟国军. 工业机器人离线编程系统关键技术的研究[D]. 武汉：华中科技大学，2011

11 王巍，惠帅，梁涛，等. 柔性导轨自动制孔机器人离线编程与仿真技术研究[J]. 航空制造技术，2012，Z1：125～127

12 彭江涛，谭红，石章虎，等. 基于MBD的飞机钻铆机器人离线编程技术研究[J]. 航空制造技术，2017，528(9)：55～59

Research on Robot Automatic Drilling System Based on Binocular Vision Positioning

Zhu Qiancheng1Sai Yin2Xiong Zhenqi1Han Weiqun1Lv Yunqi1

(1. Beijing Hangxing Machinery Manufacturing Co., Ltd., Beijing 100013;2.Second Military Representative Office of Air Force Equipment Department in Beijing, Beijing 100013)

To deal with the adaptability optimization of the automatic robotic drilling system in the automatic production line and realize the automatic circulation while guaranteeing the position accuracy of holes, an approach based on binocular vision positioning to an automatic robot drilling system is presented. The proposed system integrates industrial robots, end effector, automatic guided vehicle, binocular vision measuring system and other ancillary equipment in the form of fieldbus to realize automatic drilling. The design of end effector, binocular vision measurement system, robot off-line programming and system integration control are introduced in detail. Tests have shown that the positioning accuracy of this system is ±0.3mm, the vertical precision of the system is ±0.5°, and the aperture accuracy is H8.

robot drilling；end effector；off-line programming；binocular vision；integration control

朱前成（1991），工程师，机器人技术专业；研究方向：自动化装配技术。

2019-04-04