基于机器视觉的机器人辅助折弯离线自动编程系统的研究*

付泽民 王佳炜 张锁怀

(上海应用技术大学机械工程学院，上海 201418)

金属材料的折弯是钣金加工中的重要加工方式，折弯机作为折弯加工设备，是板料成形行业的重要技术载体。由于操作简单、工艺通用性好，在钣金加工行业中应用广泛[1]。目前付泽民等采用人工划线辅助折弯，在马鞍形折弯领域取得了一定的成果[2]。但是马鞍形折弯工艺要求高，模型复杂且回弹难控制[3]，人工划线方法效率低、精度低，对工人技术水平要求高，工作强度大且存在安全隐患。这种加工模式在加工速度和成形质量方面都影响了马鞍形板材折弯的研究。

机器人及自动化装备成本降低、性能提升，提高制造业自动化水平，提高了产品质量和生产效率，改善劳动条件。现今机器人广泛替代人工进行焊接、冲压、喷涂、医疗等复杂作业[4-5]。国内外汽车生产线基本全部使用机器人完成焊接、喷涂等工作。Ficarra V等在内科手术领域对机器人进行了研究[6]。国外Zanella A等在机器人辅助折弯领域也进行了研究[7]。但是机器人示教编程周期长，示教精度低，难实现复杂轨迹运动与精确定位[8]，直接影响着马鞍形折弯的效率和精度，不能满足折弯的要求。

针对上述问题，本文研发了一套基于机器视觉的机器人辅助折弯离线自动编程系统。机器人辅助折弯提高马鞍形折弯的精度，立体视提升机器人的自动化智能化[9-10]。离线编程加快机器人编程进程，提高机器人效率。当板材位置及折弯参数种类较多且变化频繁时，方便实现机器人程序修改与优化，易实现机器人辅助折弯任务的转换，同时减轻劳动强度，保证操作安全。

1 辅助折弯机器人离线自动编程系统

1.1 系统硬件

机器人辅助折弯离线自动编程系统主要由折弯系统、机器人系统(及数字控制系统)、视觉系统和计算机系统组成。系统硬件如图1所示，包括折弯设备；FANUC M-20iA六自由度关节型机器人及控制柜，示教盒；双目立体视觉；Dell Precision M4800移动工作站。

1.2 系统工作原理

机器人的运动轨迹、板材夹取参数和辅助渐进折弯工序是由计算机的离线编程指令提供的。工作原理如图2所示。首先利用视觉系统对板材的初始位置进行图像采集，获取板材的图像。经过图像预处理、ROI区域的选取，图像阈值分割与图像信息采集等得到板材的空间坐标，并提取出板材中心点数据及折弯起始点数据信息。然后根据加工工艺参数进行路径规划，通过输入折弯工艺参数数据设置机器人渐进夹取板材路径数据，离线自动生成机器人辅助折弯的程序。在计算机上对生成的程序进行仿真和优化。最后将优化调整后的程序传输给机器人控制系统，控制带吸附夹具(末端执行器)的机器人按规划的路径辅助渐进折弯，最终完成折弯加工。

2 机器人辅助折弯系统模块

系统主要包含6个功能模块：机器人视觉采集、空间定位、路线规划、自动编程、仿真优化和通信模块。

2.1 机器人视觉采集

2.1.1 辅助折弯机器人视觉系统

视觉采用Point Grey-Bumblebee XB3 BBX3-1352C双目立体视觉，如图3所示。分辨率1280×960，帧频16FPS，像素尺寸为3.75 μm× 3.75 μm，基线距24cm，配合1394B图像采集卡，光源采用LED光源。视觉系统采用Eye-to-hand安装方式固定在折弯机左上方，Eye-to-hand安装方式，图像传感器固定安装而不随机器人手部动作，图像噪声变化不大，采集处理比较容易。

2.1.2 双目立体视觉原理

双目立体视觉基于视差原理进行测量，只要己知两摄像机间的位置关系，就可以测量两摄像机公共视场内物体的三维尺寸以及空间物体特征点的三维坐标。如图4所示，其中基线距B=两摄像机的投影中心连线的距离；相机焦距为f。

设两摄像机在同一时刻观看空间物体的同一特征点p(xc，yc，zc)分别在“左眼”和“右眼”上获取了点P的图像，它们的图像坐标分别为pleft=(Xleft，Yright)，pright=(Xright，Yright)。

现两摄像机的图像在同一个平面上，则特征点P的图像坐标y坐标相同，即Yleft=Yright=Y，则由三角几何关系得到：

(1)

则视差为：Disparity=Xleft-Xright。由此可计算出特征点P在相机坐标系下的三维坐标为：

(2)

因此，左相机像面上的任意一点只要能在右相机像面上找到对应的匹配点，就可以确定出该点的三维坐标，如图5所示。通过立体匹配得到所有点的视差图像后，经过计算可以确定光条上所有点的深度信息，得到板材的空间信息。

2.1.3 视觉与机器人的标定

手眼关系标定过程中，标定板固定，通过旋转和移动改变机器人的位置，在每一个图像采集位置点记录相应的机器人位置数据，调用函数hand eye-calibration( )进行手眼标定，得到手眼关系矩阵。

2.2 金属板材空间定位

2.2.1 图像预处理与信息提取

为了减少运算量，提升图像处理速度和整个系统的折弯效率，采用HALCON中的动态ROI检测算法提取图像中感兴趣的区域，去除大量的图像噪声。对采集到的图像进行灰度化、二维低通数字滤波等图像预处理。

采用HALCON中的区域特征提取算法和threshold算子对预处理后的图像进行边缘提取，通过area_centre、inner_rectangle、orientation_region、select_obj、disp_arrow等算子对板材的中心点、面积、偏转角度等进行精确计算，如图6所示，求得图像在HALCON中的坐标信息。

2.2.2 板材坐标转换

将HALCON测量得到的坐标数据通过矩阵变换，转换为机器人坐标系数据，实现坐标系的统一。其中Mbh矩阵由机器人和视觉手眼关系标定得到。至此完成机器人坐标系下金属板材的空间定位。

(3)

2.3 路线规划

2.3.1 板材马鞍形板弯工艺分析

折弯成形是把板料弯曲成目标角度和形状的加工工艺，该方法大多是一次折弯成形。马鞍形是双曲率曲面，横向抛物线形状由曲面凸凹模轮廓控制，纵向由成形工艺控制。单道次难以成形马鞍形三维曲面工件，因此采用二维曲面凸凹模进行马鞍形三维马鞍形曲面板材的成形，如图7所示。该方法是通过工艺规划，将板材按进给量一步一步地送入凸凹模之间进行渐进压弯，严格控制每道次的下压量和保压时间，以整体成形高质量的马鞍形三维曲面板材。原理如图7所示。

2.3.2 折弯规划

折弯规划模块包含工艺规划和路径规划。工艺规划根据具体折弯任务要求，以及相关折弯材料的信息，针对不同金属板材的折弯与折弯曲率要求，规划折弯各项工艺参数，如图8所示。路径规划根据工艺规划的要求，规划板材在折弯机上的折弯轨迹，获取FANUC机器人辅助折弯路径数据。

折弯的工艺规划基于金属板材的材料、大小、厚度等因素，结合金属成形工艺的知识，确定平板吸附夹具吸气口的个数、吸附板材达到的高度、气流量等参数；遵循上述要求，结合折弯工艺，进行加工路径的离线规划。辅助折弯机器人运动轨迹编程采用目标点方式，即首先确定机器人末端路径上的目标点，然后利用相应的运动指令将所有目标点串联起来，形成整个机器人加工运行路径。

(1)路径节点的确定：根据板料相对于折弯设备和机器人的位置间距，规划机器人路径节点，保证机器人工作稳定、无碰撞路径。

(2)平板吸附夹具初始姿态与运动轨迹的确定：根据板材的厚度、视觉测得板材的空间位置信息确定吸附夹具的初始姿态。板材的大小、折弯工艺、折弯设备模具的高度确定吸附夹具在折弯起始点的轨迹与渐进折弯动轨迹。

2.4 自动编程

自动编程模块是虚拟规划数据向实体机器人程序指令转换的关键环节，它将机器人末端执行器运行轨迹数据自动转换成机器人可识别、可执行的指令文件。根据FANUC机器人语言格式，通过开发的高级语言程序自动将路径规划得到的数据编制成机器人的运动指令，保存为指定的文本文件“bend01”。

机器人辅助折弯系统在加工程序中需要控制机器视觉、机器人运动轨迹、运动速度、停顿时间、渐进折弯的进给量、吸附夹具的启闭，而且需要控制各工序的时序。把机器人作为主控设备，充分利用机器人自身的数字I/O及延时功能，主要通过机器人数字输入/输出(DI/DO)控制串接在联动控制箱中的继电器或电磁阀来实现对各种联动设备的控制，从而使系统的各组成部分协调工作。

2.5 仿真优化

仿真模块主要实现折弯模拟。从生成的机器人指令中读取轨迹参数，然后模拟出机器人辅助折弯过程中的吸附夹具轨迹，检查有无干涉碰撞等，以验证程序的正确性并进行优化。在FANUC机器人配套的Roboguide仿真软件中创建工作单元和机器人程序，如图9所示。以FANUC机器人虚拟控制器为支持，它提供了一个虚拟的离线3D世界和离线仿真功能，能输出准确的时钟周期和机器人运动轨迹数据，其仿真过程和机器人实际运行过程完全一致。

2.6 通信模块

通信模块实现计算机与机器人控制柜的通信，完成程序的传输。辅助折弯机器人采用RS232C接口与计算机实现通信。计算机与机器人控制柜之间的通信通过网线连接，采用TCP/IP协议通信。仿真优化后的机器人运动指令程序通过FTP传输模块下载到机器人控制器存储设备中，机器人直接调用该程序。

3 辅助折弯试验

仿真检测后的机器人运动指令程序被下载到机器人控制器中进行辅助折弯实验，加工效果如图10所示。将机器人辅助折弯板材与人工辅助折弯板材对比，折弯效果更好，表面更圆滑。

采用半径测量仪对成形板材进行测量并与目标曲面对比。图11为半径测量仪。因为工件为双曲面，因此需要测量不同截面上的曲率半径。图12是对测量点的规划，有效地反映曲面实际精度。图中以O点为中心。

对于纵截面方程为X2=3000·Z的理论曲率半径的公式为：

(4)

同理横截面理论曲率半径公式也可求出。将测量结果与理论值对比，如表1所示。

由表1可知，马鞍形板材纵向和横向中心截面曲率误差都较小，两边较大。整体曲率半径误差很小，最大不超过35 mm，平均误差20 mm。实验结果与有限元模拟结果基本一致，满足实际生产要求。

4 结语

通过机器视觉技术获取金属板材的初始位姿数据及加工工位，由程序自动产生吸附夹具的目标位置和姿态，完成机器人辅助折弯路径规划和自动编程，生成适用于马鞍形复杂曲面折弯任务的机器人控制程序，完成折弯任务，符合实际生产要求。实现了机器视觉、折弯设备、机器人、计算机的衔接集成。视觉系统图像采集与处理、空间定位、折弯工序的设定、机器人加工路径和程序的生成都是自动快速的，具有精度高、成本低、操作简单无安全隐患等特点，提高了马鞍形复杂曲面折弯的效率和精度。试验表明，机器人动作连贯，末端运动平稳，过渡平滑，折弯与设计吻合，满足马鞍形复杂曲面辅助折弯要求，达到预期效果。

表1 实验曲面板材各部分曲率半径理论值与测量值 mm

[1] 鞠青辰，王海祥，梁雅婷，等.基于PLC的折弯机自动控制系统的研制[J].机械设计与制造工程，2013(2):52-57.

[2] 付泽民，徐佳，赵志繁，等.基于ABAQUS的马鞍形曲面板材渐进折弯成形研究[J].制造技术与机床，2016(11):144-148.

[3] 付泽民，莫健华，陈伟，等.基于量纲分析法的金属板材折弯回弹数学模型[J].机械工程学报，2010,46(12):53-58.

[4] Cagliano R, Spina G.Advanced manufacturing technologies and strategivally flexible production [J].Journal of Operations Management, 2000,18 (2):169-190.

[5] 陈善本，吕娜.焊接智能化与智能化焊接机器人技术研究进展[J].电焊机，2013(5):28-36.

[6] Ficarra V, Cavalleri S, Novara U, et al.Evidence from robot-assisted laparoscopic radical prostatecto-my: a systematic review[J].Eur Urol, 2007, 51(1):45-55.

[7] Zanella A, Tonello S, Pagello E.A planning system to manipulate metal sheets within a workcell simulator [C]// 2013 IEEE International Symposium on Assembly and Manufacturing, 2013: 279-281.

[8]郑荣.机器人离线编程系统设计与研究[J].世界制造技术与装备市场，2010(5):90-92.

[9] Bogue R W.Machine vision theory, algorithms, practicalities[J].Assembly Automation, 2005, 25(3):58.

[10] Ashraf M A, Kondo N, Shiigi T.Use of machine vision to sort tomato seedlings for grafting robot[J].Engineering in Agriculture Environment & Food, 2011, 4(4):119-125.