基于视觉引导的工业机器人快速分拣系统研究

党宏社,张 超,庞 毅

(1.陕西科技大学电气与信息工程学院,西安 710021;2.河北工业大学控制科学与工程学院,天津 300130)

基于视觉引导的工业机器人快速分拣系统研究

党宏社1*,张 超1,庞 毅2

(1.陕西科技大学电气与信息工程学院,西安 710021;2.河北工业大学控制科学与工程学院,天津 300130)

将三菱RV-13F工业机器人与视觉引导技术相结合应用于目标分拣。对原始图像进行滤波处理后再利用ORB算法实现对目标物体的快速检测,并利用最佳匹配特征点计算出目标物体的像素坐标和旋转角度。实验结果表明:计算坐标与实际坐标在X、Y坐标上的误差在1 mm之内,可以保证工业机器人准确地运动到目标物体的上方,Z坐标上的误差在3 mm之内,可以保证能将目标物体抓取到,快速地完成分拣任务。

视觉引导;工业机器人;ORB算法;快速分拣

视觉引导技术是指利用摄像机代替人眼、计算机代替大脑[1],通过处理相机获取的图像对目标物体进行测量、检测和识别,引导工业机器人完成对其的抓取、分拣等任务。传统的工件分拣方式为人工分拣,这种方式很大程度受人为因素影响,导致工作速度慢、分拣不准确以及容易发生事故等。后来将示教工业机器人应用于工件分拣[2],这种方式虽然能够利用机器代替人工作,但是由于示教模式的固定化,导致无法对任意物体进行分拣抓取,而且外界环境改变时需对工业机器人重新示教,否则无法完成工作。因此,将视觉引导技术应用于工业领域,对增强工业机器人对外部环境的适应能力与工业生产线的鲁棒性、提高生产过程的自动化水平与劳动生产率有十分重要的意义。Tuong Phuoc Tho等人[3]对番茄按照颜色、形状等特征分级并进行识别定位,完成农产品的自动分拣。金桂根等人[4]利用尺寸、形状等特征对目标物体进行判别,完成物流系统中的物料分拣。唐宇等人[5]利用工件图像的形状特征向量匹配的方法实现对工件的自动分拣。

本文将视觉引导技术应用于流水线上对目标物体的分拣,对相机获取的图像进行滤波处理后再利用ORB算法进行特征点检测与匹配,实现了对目标物体的动态检测和快速识别,减少了外界条件变化引起的对同一目标的重复检测,最终利用工业机器人完成对目标物体的抓取和分拣。

1 系统平台搭建

本文利用三菱公司的RV-13F 6自由度工业机器人,搭建出了一个如图1所示的分拣系统。系统采用维视图像公司的MV系列工业数字相机获取图像,采用气动吸盘来抓取目标物体,采用传送带来输入原料和输出分拣好的物料,通过以太网实现相机、计算机、工业机器人之间的信息交换。

图1 基于视觉引导的分拣系统

首先利用相机获取原料传送带上的目标图像并发送到计算机,然后计算机对图像进行预处理、对目标物体进行快速地识别和定位,接着根据标定的内外参数和目标的像素坐标计算出在当前工业机器人坐标系下的坐标,通过以太网将坐标信息发送给工业机器人,最后工业机器人根据坐标信息抓取目标物体放置到物料输出传送带上。分拣系统整体框图如图2所示。

图2 分拣系统整体框图

2 相机标定

相机标定是目标识别定位的基础工作,目的是以相机坐标系(XC,YC,ZC)作为桥梁,建立空间物体表面某点的三维世界坐标系(XW,YW,ZW)下的几何位置与二维平面图像坐标系(Xu,Yu)中的对应点之间的关系,主要分为图像坐标到相机坐标的内部参数标定和相机坐标到世界坐标的外部参数标定两部分。本文以小孔成像为相机的基本模型,采用张正友标定法进行相机标定。

为了提高相机标定的准确度,本文采用9张不同方向的棋盘格图片作为标定模板,每幅图片的像素为640×480,X方向有8个内角点,Y方向有6个内角点,棋盘格的实际测量边长为30 mm,标定结果如图3(a)所示。

图3 标定模板与结果

(1)

式中:(u0,v0)为相机镜头光心到图像坐标系中的像素坐标。

采用如图3(b)所示的一张平行于相机XY平面的标定板对系统进行外参数标定,世界坐标原点为图中左上角内角点,外参数矩阵为:

(2)

式中:R为3×3的正交单位矩阵,T为三维平移向量,O=(0,0,0)T。

由于标定出的世界坐标系的原点在标定板左上角内角点处,而实际的工业机器人坐标系的原点在系统中已经固定,在工业机器人的底座处。因此利用示教器将工业机器人移动到标定板左上角内角点处,得到当前坐标E,将计算出的世界坐标再平移E之后,得到就是工业机器人坐标系下的坐标。

3 目标定位与检测

目标的检测与定位是实现自动抓取分拣的基础。现有的目标检测算法有基于模板的匹配算法和基于特征的匹配算法[6]。基于模板的匹配算法鲁棒性较差,易受外界环境的影响导致检测错误,而基于特征的匹配算法受外界影响较小,还具有一定的尺度、旋转不变性。在实际的操作环境中,图像采集为动态采集,每一帧的图像都会进行目标匹配检测。由于外界条件如光照等在实时的发生变化,计算机可能会对同一图像的同一目标重复检测,因此本文提出将相机获取到的图像先进行滤波处理,去除掉图像中的杂质点以及光照变化的影响,再利用ORB特征描述子,对特定目标实现快速检测。

3.1 图像预处理

首先对采集到的图像利用圆形模板进行膨胀处理,去除了图像中的黑色杂质点,减少了光照变化引起的对同一目标的重复检测,然后再进行腐蚀处理,即将目标物体图像扩大,使得目标特征更加明显,利于后续的特征点检测。如图4所示,图(a)为原始图像,图(b)为处理后的图像。

图4 预处理后的目标图像

3.2ORB算法

在工业环境中,由于目标物体放置位置不固定,拍照位置的不同使得目标图像发生尺度变化,在许多场景下导致检测不准确,因此近些年来局部不变特征常被用来做目标匹配和检测[7-8],其中SIFT(Scale-InvariantFeatureTransform,尺度不变特征变换)和SURF(Speed-UpRobustFeatures,加速鲁棒特征)是应用最为广泛的两种局部不变特征描述子。但是,这两种描述子的运算速度较慢,为了解决这一问题,EthanRublee等人将FAST角点检测与BRIEF特征描述综合改进提出了ORB(ORientedBRIEF)算法[9]。

ORB算法采用FAST角点检测算子检测特征点[10],并给特征点添加1个方向信息构成oFAST,不仅保证了特征点提取时的速度快,而且解决了FAST算子没有方向性的问题。然后采用BRIEF描述子对检测到的特征点进行描述[11],不仅计算简单、速度快,而且之前添加的方向信息解决了BRIEF没有旋转不变性的问题[12]。特征点如图5所示,图5(a)为模板图像的特征点,图5(b)为目标图像的特征点。

图5 模板和目标图像的特征点

3.3 目标定位

在完成目标检测任务之后,需要确定出目标物体在当前图像坐标下的像素坐标,从而变换得到世界坐标。在ORB检测算法中,可以得到目标物体的最佳匹配特征点的像素坐标,通过求这些特征点的中心,可以计算出目标物体的中心点坐标,即可得到其在图像坐标系中的像素坐标。并利用距离最远的2个最佳匹配特征点的像素坐标,计算物体的旋转角度θ。公式如下:

(3)

式中:(x1,y1),(x2,y2)为模板图像中的2个特征点的像素坐标,(X1,Y1),(X2,Y2)为目标图像中的2个特征点的像素坐标。计算出的旋转角度还要根据2个特征点的方向是否一致来对θ做180°的偏移。

根据标定出的内部参数可将图像坐标转换为相机坐标,根据外部参数可将相机坐标转换到世界坐标,根据偏移量进行平移可将世界坐标转换为工业机器人坐标系(XR,YR,ZR)下的坐标。通过3个转换关系,可将图像处理得到的目标物体的像素坐标变换成工业机器人坐标系下的坐标。关系如下所示:

(4)

(5)

(6)

4 实验结果与分析

本实验先对图像进行滤波处理,然后利用ORB特征对目标物体进行特征点检测,结果如图6所示,计算出匹配到的目标物体在图像坐标系中的像素坐标以及相对于模板的旋转角度,并根据相机标定参数计算出目标物体在工业机器人坐标系下的坐标,然后利用示教器将工业机器人末端移动到目标物体的位置,得到实际坐标与计算出的坐标进行对比。最后控制工业机器人抓取目标物体将其放置在物料输出传送带上。

图6 特征点匹配结果

表1中给出了检测出的像素坐标、计算出的坐标、工业机器人末端执行器的坐标与计算出的旋转角度,表2中计算了计算坐标与实际坐标之间的绝对误差,可以看出,目标检测计算出的坐标与实际的工业机器人坐标系中的坐标在X坐标上的误差最大为0.95mm,均方差为0.63mm,在Y坐标上的误差最大为0.93mm,均方差为0.72mm,能保证工业机器人能精准的运动到目标物体的上方。而Z坐标上的误差最大为2.86mm,均方差为1.78mm,由于工业机器人末端执行器为气动吸盘,在实验过程中,工业机器人在5mm的范围内都可以将目标物体吸取到,因此工业机器人可以准确得抓取目标物体实现快速分拣。同时,利用计算出的旋转角度,可以将目标物体按照模板物体的方向放置,达到整齐摆放的效果。

表1 目标定位和实际测量结果对比

表2 计算坐标与实际坐标之间的绝对误差

5 结束语

本文针对于对工业流水线上目标物体的检测识别、定位抓取等问题,在VS2013上进行软件设计,采用滤波处理后的ORB特征算法实现了对目标物体的快速检测,减少了动态实时目标的重复检测,并利用特征点计算出物体的中心以及相对于模板的旋转角度,利用相机标定的内参和外参计算出物体在工业机器人坐标系下的坐标,引导工业机器人完成物体分拣抓取。实验结果证明,系统在目标检测和定位时准确性高、速度快,并且有很好的鲁棒性。

[1] Pérez L,Rodríguez í,Rodríguez N,et al. Robot Guidance Using Machine Vision Techniques in Industrial Environments:A Comparative Review[J]. Sensors,2016,16(3):335.

[2] 计时鸣,黄希欢. 工业机器人技术的发展与应用综述[J]. 机电工程,2015(1):1-13.

[3] Tuong Phuoc Tho,Nguyen Truong Thinh. Design and Development of the Sorting System Based on Robot[C]//2015 15th International Onference on Control,Automation and Systems(ICCAS),Busan,Korea:IEEE. 2015:1639-1644.

[4] 金桂根,穆建军. 视觉识别机器人在物流作业中的智能应用[J]. 制造业自动化,2013(11):103-105.

[5] 唐宇,吴清潇,朱枫. 平面工件的识别与定位方法研究[J]. 机械设计与制造,2015(10):172-175.

[6] 夏群峰,彭勇刚. 基于视觉的机器人抓取系统应用研究综述[J]. 机电工程,2014,31(6):697-701.

[7] Kalaiyarasi C,Karthikeyan S. Enhancing Logo Matching and Recognition Using Local Features[C]//2014 International Conference on Information Communication and Embedded Systems(ICICES),Chennai,India:IEEE,2015:1-6.

[8] 孙浩,王程,王润生. 局部不变特征综述[J]. 中国图象图形学报,2011(2):141-151.

[9] Rublee E,Rabaud V,Konolige K,et al. ORB:An Efficient Alternative to SIFT or SURF[C]//International Conference on Computer Vision. Barcelona,Spain:IEEE Computer Society,2011:2564-2571.

[10] Xu J,Chen X,Song X,et al. An Improved Harris-FAST Algorithm for Underwater Object Corner Detection[C]//Control and Decision Conference. Qingdao,Shandong:IEEE,2015:5424-5428.

[11] Calonder M,Lepetit V,Fua P. Brief:Binary Robust Independent Elementary Features[C]//European Conference on Computer Vision,2010:778-792.

[12] Wang G,Tian J. License Plate Localization in Complex Scenes Based on Oriented FAST and Rotated BRIEF Feature[J]. Journal of Electronic Imaging,2015,24(5):053011.

Research of Fast Sorting System Based on Industrial Robot of Visual Guidance

DANGHongshe1*,ZHANGChao1,PANGYi2

(1.College of Electrical and Information Engineering,Shaanxi University of Science and Technology,Xi’an 710021,China;2.School of Control Science and Engineering,Hebei University of Technology,Tianjin 300130,China)

Combined with MELFAF RV-13F industrial robot,vision guiding technique is applied to object sorting. After filtering the source image and ORB feature detection,the best matching feature points can be used to calculate the pixel coordinates and rotation angle to implement fast detection of the object. The results show that the error between calculating and actual coordinates inX,Yis within 1mm and inZis within 3 mm. It ensures that the industrial robot can grasp object precisely to complete object sorting fast.

visual guidance;industrial robot;ORB algorithm;fast sorting

2016-04-28 修改日期:2016-05-30

C:7220

10.3969/j.issn.1005-9490.2017.02.043

TP242.2

A

1005-9490(2017)02-0481-05