基于机器视觉的自适应矩阵式吸盘工具设计与应用

苏建 屠一凡 岳高 孙凡迪 罗绪成

摘要：针对工业机器人利用吸盘工具拾取与搬运过程中存在物料掉落的问题，设计了一个基于机器视觉的自适应矩阵式工业机器人末端吸盘工具。首先设计了该工具的机械结构和控制方案;然后基于机器视觉检测数据，提出了自适应调整矩阵式吸盘行列间距的原理与算法;再次构建了该工具的控制系统，通过PLC和工业机器人融合编程实现了矩阵式吸盘的自适应调整功能;最后，通过L型零件、包装箱、栈板和异形玻璃4种物料的测试表明，该工具能够根据物料的重量计算吸盘的最少数量，根据物料的形状自适应调整矩阵式吸盘的行列间距，并自动计算出拾取效率，当拾取效率大于0.30时，物料拾取与搬运效果较好，安全性和可靠性较高。

关键词：工业机器人;机器视觉;机器人末端工具;自适应工具

中图分类号：TH122;TP241

文献标志码：A

文章编号：1009-9492（ 2022） 02-0109-04

0 引言

机器视觉作为人工智能技术的一个重要分支，它通过图像传感器接收和处理真实物体的图像，以获得所需信息或控制机器人运动的技术[1]。随着工业自动化技术向着数字化、网络化、智能化方向演进，工业场景对机器视觉的需求不断增加。工业机器人产业是衡量一个国家制造业水平和科技水平的重要标志，也是重塑我国制造业竞争优势的重要工具和手段，更是加快工业转型升级、机器换人的务实之选[2]。机器视觉赋予工业机器人“人眼”的功能，探索与研究机器视觉与工业机器人的交叉应用，有利于加速新一代信息技术与先进制造技术的融合，有利于提高智能制造生产效率和产品质量。

当前，该领域的研究侧重工业机器人的控制方案优化[3-5]、视觉分拣应用[6-8]和视觉定位应用[9-12]。对机器视觉、机器人和PLC三者的综合应用已有一些研究[13-14]，但还不够深入。针对材质均匀、厚度预知、形状多样的较重物料的工业机器人拾取与搬运作业，可能存在无法拾取物料或物料掉落的问题。为了解决如上问题，本文设计了一种基于机器视觉的自适应矩阵式工业机器人末端工具，基于视觉检测数据该工具能够根据物料的重量计算吸盘的最少数量，能够根据物料形状自适应调整矩阵式吸盘的行列间距，在物料作业前使工业机器人末端工具自动调整至最优拾取或搬运状态，提高工业机器人作业的安全性和可靠性。

1 方案设计

1.1 机械装置

如图1所示，本文设计了一种基于机器视觉的自适应矩阵式工业机器人末端吸盘装置（工具），该装置由1个矩阵式吸盘装置、2个步进电机及传动装置、1个工业相机、16个4x4矩阵方式分布的吸盘及其配套机构构成，其中工业相机用于检测物料的形状、面积、位置等特征数据，步进电机1和2分别控制吸盘的行列间距。该装置安装于工业机器人的末端，配合工业机器人完成物料的吸持、搬运等功能，通过视觉检测数据，判断物料的质量（材质均匀、厚度一致），确定吸盘的最少使用个数，通过步进电机调整吸盘的行列间距，达到安全可靠、智能高效搬运较重物料的效果。

1.2 控制方案

自适应矩阵式吸盘工具的控制方案如图2所示，其中PLC是主控系统，它控制步进电机调整吸盘的行列间距，控制吸盘信号的开关及检测吸盘的真空信号，PLC还接收相机数据、控制工业机器人的作业和接收机器人的反馈状态;视觉系统与PLC实现以太网通信，检测物料的特征数据，并将物料重心位置偏移量、旋转角度偏移量发送给工业机器人，还将吸盘行列间距和物料面积（换算成质量）发送给PLC，实现吸盘间距的自适应变化;工业机器人与PLC实现以太网通信，PLC控制工业机器人的位置和动作轨迹，接收工业机器人的反馈状态。

2 原理与算法

2.1 物料取放位置

如式（1）所示，P0为工业机器人示教基准位置，其中X0、Y0、Z0为工业机器人TCP点（末端工具中心点）的位置数据，RX0、RY0、RZ0为机器人TCP点的姿态数据。AX、AY、AZ为视觉检测处理后发送给PLC的物料偏移位置，分别与X0、Y0、Z0代数和得到机器人实际抓取物料的位置，如式（2）～（4）所示;△θ为视觉检测后的物料角度数据，与RZ0代数和即可得到机器人实际抓取物料的角度姿态，如式（5）所示。通过△X、△Y、△Z、△θ四个数据的代数和计算，得到当前物料拾取位置（重心位置）为P1，如式（6）所示。放置位置计算同上。

2.2 最少吸盤数量

吸盘最少使用数量依据物料的重量判断，先测量物料的面积s，根据预知的物料密度p和厚度h计算出物料的重力G，如式（7）所示：

将Q（x，y）与T（x，y）比较即可得到吸盘有效作用的个数k。若满足k>N0，则行列间距为m1和n2时，机器人可以有效吸持物料。

2.4 拾取效率

如图3-4所示，物料的拾取效率与有效吸盘数量（黑色圆圈）、吸盘外围面积（点划线构成面积）有关。为了衡量工业机器人拾取物料的有效能力，提出了拾取效率t的物理量，该物理量由吸盘使用率k1和吸盘外围面积率k2的乘积而得，其中吸盘使用率k1为当前有效吸盘与吸盘总数的比值，吸盘外围面积率k2为吸盘外围有效的面积与物料面积的比值。

根据式（11） - （13）可得，拾取效率0

3 系统构建与实现

3.1 电气选型

由于PLC和工业机器人均需要获取视觉特征数据，本方案选用了西门子PLC、发那科工业机器人和康耐视视觉系统，来实现自适应矩阵式吸盘工具的功能，主要电气元件及型号如表1所示。

3.2 组态通信

根据上述电气选型，本系统由PLC、机器人、视觉、HMI、变频器5个通信设备组成，其中PLC是核心控制设备，机器人用于拾取或搬运物料，视觉用于检测物料，HMI用于信息的输入与显示，变频器用于驱动物料的输送，它们各自分配一个相同网段的IP地址，并通过Profi-NET进行通信与连接，系统的组态及IP地址如图5所示。

PLC、HMI和变频器均为西门子产品，具有成熟的通信方式和通信协议，PLC和HMI可以实时交互所需的通信数据，PLC与变频器实现2个字发送和2个字接收，通过报文方式控制变频器并实时获取变频器的运行状态。PLC与发那科工业机器人实现16个字发送和16个字接收，通过PLC发送数据给机器人，确定机器人抓取与放置位置，同时机器人发送一个状态字给PLC，实现数据的交互。PLC与变频器、视觉系统、工业机器人的外围输入输出信号如表2所示。

3.3 PLC与机器人编程

PLC与工业机器人实时交互通信数据，通过“一呼一应”信号实现PLC控制工业机器人正确拾取并放置物料。其中QW23为PLC控制机器人的控制字，QW25、QW27、QW29、QW31分别为PLC发送给机器人的AX、△y、△Z、△θ，QW23=1为复位机器人，QW23=2为控制机器人达到拍照位，QW23=3为控制机器人拾取物料，QW23=4为控制机器人放置物料;IW23为机器人发送给机器人的状态字，IW23=10为机器人复位完成，IW23=20为机器人达到拍照位完成，IW23=30为机器人拾取物料完成，IW23=40为机器人放置物料完成。机器人与PLC融合编程流程如图6所示。

4 实验测试与结果分析

图7-9所示为对L型零件实验测试的3种情况，该零件形状不规则但中间无孔，测试数据如表3所示。图7使用的吸盘数少、有效面积小，拾取效率仅为0.13;图8使用全部吸盘、有效面积小，拾取效率为0.24;图9使用的吸盘数为12、有效面积较大，拾取效率为0.38。图10所示为包装箱拾取测试，包装箱长宽不等，大小可表，由于为矩形形状，通过自适应调整吸盘间距拾取效率可达0.82，拾取效率较大;图11所示为栈板拾取测试，栈板虽为矩形形态，但是中间有漏孔，通过自适应调整吸盘间距拾取效率可达0.59;图12所示为异形玻璃拾取测试，通过白适应调整吸盘间距拾取效率可达0.39。实验数据可见，当拾取效率大于0.30时，物料拾取与搬运效果较好，安全性和可靠性较高。5结束语

综上所述，融合机器视觉技术的工业机器人拾取或搬运物料，可以有效识别物料的特征，根据物料的重量计算吸盘的最少数量，根据物料的形状自适应调整矩阵式吸盘的行列间距，白适应调整工业机器人末端吸盘工具形态，达到安全、可靠、有效拾取并搬运物料，减少工具更换，提高作业效率。

实验表明，基于机器视觉的自适应矩阵式工业机器人末端吸盘工具，针对材质均匀、厚度预知、形状多样的较重物料拾取与搬运，可根据物料的重量和形态，自适应调整吸盘数量和吸盘行列间距，大大提高工业机器人拾取物料的可靠性、安全性，具有较好的应用效果。

参考文献：

[1]刘翠翠，杨涛.机器视觉在智能制造中的应用与产业发展[J].机床与液压，2021，49（11）：172-178.

[2]王诗宇.智能化工业机器人视觉系统关键技术研[D].北京：中国科学院大学，2021.

[3]邱素贞，李庆年，卢志翔，等，基于机器视觉检测的码垛机器人控制系统设计[J].包装工程，2019，40（3）：207-211.

[4]张业鹏，张明.基于PLC与工业机器人的全自动化码垛系统设计[J].2015，37（11）：108-110.

[5]李洪涛，张明柱，贾晓敏.基于视觉信息的工业机器人搬运系统研究[J].机床与液压，2015，43（9）：17-20.

[6]王诗宇，林浒，孙一兰，基于机器视觉的机器人分拣系统的设计与实王见[J].组合机床与自动化加工技术，2017（3）：125-129.

[7]張卫芬，汤文成.基于机器视觉的物料自动分拣系统研究[J].组合机床与自动化加工技术。2019（6）：34-37。

[8]徐青青.基于机器视觉的工业机器人智能分拣系统设计[J].仪表技术与传感器，2019（8）：92-95.

[9]周自更，黄修乾，胡昌斌，等.基于长期度量学习和图像匹配变换的机器人视觉定位研究[J].电子器件，2020，43（6）：1396-1402.

[10]万国扬，王国峰，李福东，等.基于视觉定位与轨迹规划的机器人打磨工作站[J].计算机集成制造系统，2021，27（1）：118-127.

[11]项亚南，喻永康，陈亚，等.基于视觉的工件状态检测系统[J].仪表技术与传感器。2016（10）：87-93.

[12]李致金，武鹏，乔治，等.基于机器视觉的机器人工件定位系统[J].组合机床与自动化加工技术，2019（12）：127-130.

[13]韩桂荣，陈绪兵，基于PLC、机器人和视觉系统的汽车轮毂全自动搬运系统设计[J].现代制造工程，2017（9），52-58.

[14]周文婷，孟凡文，王海亮.基于MODBUS-TCP协议的视觉系统、PLC与工业机器人通信设计[J].电子世界，2020（21）：132-134.