基于机器视觉的机器人智能分拣实验平台开发

李明枫, 贺晓莹, 陆佳琪, 梁波波, 张 朋, 韦友锋

(桂林电子科技大学 机电工程学院, 广西 桂林 541004)

随着智能制造[1-2]在自动化领域的不断深入,机器视觉和机器人得到广泛的应用。为适应新时代的发展,培养符合新工科[3-5]要求的高素质综合型的人才,在高校本科教学中,需要增大机器视觉和机器人技术方面的教学实践内容。开设课程设计等实践教学环节,对学生深刻掌握理论知识起到事半功倍的作用[6]。

为满足我院机械电子工程专业的教学培养目标,培养符合新工科背景的创新复合型人才,开发设计了基于机器视觉的机器人智能分拣实验平台。该平台是以多边形形状的平面类工件作为分拣对象,利用机器视觉技术采集图片,利用HALCON软件编程得到当前工件形心坐标等信息,再利用面向对象语言VB.net进行混合编程,发送给机器人实现智能分拣操作。

1 实验要求

所开发的实验平台主要用于本科实验教学工作,以锻炼学生的单片机控制技术、光学图像采集系统搭建、机器人手眼标定和控制、图像处理等各方面能力,因此需让学生掌握以下几方面知识:(1)设计并制作单片机控制系统[7],包括继电器控制电路、传感器检测电路[8]等,并与计算机进行串口通信,实现相机触发拍照,控制传送带的启动停止; (2)搭建光学图像采集系统[9],包括掌握各种工业相机、镜头、照明光源的光学特性参数,并进行正确选型; (3)将采集的工件图像利用HALCON软件[10]进行图像处理,包括手眼标定[11]和形状匹配[12],获得分拣工件的位置姿态信息; (4)掌握并利用TCP/IP协议的Socket通信[13],和串口通信技术,上位机将信息传送给机械手控制器,并控制传送带启动、停止; (5)根据具体工件的实际情况,选用电磁铁或者是真空吸盘吸附的方式,设计并搭建真空分拣气动回路[14]; (6)掌握机器人操作的知识,包括示教操作、I/O控制等,并掌握面向对象语言VB.net[15]的混合编程。

2 实验平台结构和功能设计

2.1 实验平台的整体结构

实验平台硬件部分主要由物料传送系统、光学图像采集系统、机器人分拣系统、单片机传送控制系统组成,如图1所示。

图1 实验平台

(1) 物料传送系统:由传送带传送工件,利用光电检测开关实现工件的到位检测,利用传送带配置的调速器进行速度调节。

(2) 光学图像采集系统：主要由工业相机、工业镜头、照明光源系统组成,工业镜头可以根据检测对象选用定焦镜头、变焦镜头或者双远心镜头中的一种,照明光源可选用环形LED光源,面阵LED光源,或者线阵LED光源,照明的形式主要为落射照明的方式。

(3) 机器人分拣系统:主要由机器人和分拣机构组成,分拣机构可以根据实际情况,选用电磁铁吸附或真空吸附形式,将电磁铁或真空吸盘连接到机械手的末端,实现分拣。

(4) 单片机传送控制系统:单片机系统可通过继电器控制传送的启动与停止,由单片机控制系统与计算机进行串口通信,控制相机的触发拍照,计算机通过单片机控制传送的启停,方便分拣。

2.2 智能分拣的工作流程

使用该实验平台实现基于机器视觉的智能分拣的流程如下:

(1) 首先进行开机前的初始化设置,包括传送带的速度调节、开启气泵、光学图像采集系统工作距离调整、手眼标定和匹配模板数据的输入等;

(2) 按下开机按钮,传送带启动,将工件传送到检测位置;

(3) 传感器检测到工件,单片机系统将工件到位信号通过串口传送给上位机,触发相机拍照,同时通过继电器模块停止传送带;

(4) 上位机进行图像处理,通过形状匹配方法,得到工件形心坐标和旋转角度等信息;

(5) 上位机将位姿信息通过Socket通信,发送给机器人ACE软件; 再次启动传送带;

(6) 当工件再次到达分拣位置时,传感器检测到工件,单片机通过继电器模块停止传送带,并通过串口将到位信息传送给上位机,启动机器人,实现智能分拣;

(7) 分拣完毕,再次启动传送带;

(8) 按下停止按钮,系统关闭。

3 实验项目开发

利用该实验平台可开设如下实验:

(1) 物料传送装置拆装测绘实验。主要让学生拆解传送平台,了解其中的机械结构和传动原理,包括皮带传送的传动形式、皮带滚筒轴承安装与润滑、张紧装置和方法等[16],并测绘内部一些关键零部件的参数; 用SolidWorks进行三维图建模与装配,用AutoCAD等绘图软件绘制零件二维图与装配图,提高学生的机械设计能力、三维建模能力和绘制机械图纸的基本能力。

(2) 光学图像采集系统搭建实验。该系统主要由工业相机、工业镜头和照明光源组成。主要让学生掌握工业相机、工业镜头和照明光源的各种性能参数,进行正确的选型,搭建光学图像采集系统,调节好镜头的工作距离和照明光源的照明角度,以采集清晰无畸变的图像,以供进行图像处理。

(3) 单片机控制系统设计实验。单片机控制系统(见图2)主要功能是利用51单片机系统,控制传送带的启动和停止,利用PWM控制传送带电机的传送速度,通过传感器实现工件到位检测,通过串口与上位机通信。学生主要设计单片机控制系统,包括单片机最小系统板设计、继电器启停控制电路设计、传感器检测电路设计、串口通信、PWM调速电路等,并利用KeilC51进行编程以完成相关功能。

(4) 真空吸盘搬运分拣气动回路设计实验。真空吸盘搬运分拣的功能主要是让机械手通过真空吸盘吸附工件,将工件搬运到指定位置。该实验主要让学生选用不同类型的真空搬运回路,比如带真空破坏(见图3)和不带真空破坏两种气动回路的设计,进行相关元器件的选型,如真空吸盘、电磁阀、真空发生器、过滤器等元器件,学生自己动手搭建气动回路。真空吸附搬运整个工作过程:气源提供压缩空气,经过气体二联件(空气过滤器和减压阀)处理后,传送到真空供给阀和真空破坏阀。当工件需要被真空吸盘吸附时,真空吸盘与工件紧密贴合,控制真空供给阀3的电磁铁得电,压缩空气进入真空系统,真空发生器吸取真空吸盘的空气,产生真空,此时压差开关关闭,吸盘吸起工件; 当到达指定位置需要释放工件时,真空破坏阀开始工作,压缩空气通过真空破坏阀进入真空系统,压差开关开启,破坏真空,工件由于自重而下落。

图2 单片机控制系统功能框图

图3 带真空破坏气动分拣回路

(5) 手眼标定与形状匹配图像处理实验。智能分拣的图像处理主要有手眼标定和形状匹配两方面。手眼标定功能是将采集到的图像进行标定,实现图像坐标系、机器人坐标系和世界坐标系的统一,各坐标系的关系如图4所示。形状匹配目的是为了获得工件的形心坐标,以及工件形状对比于匹配模板形状的旋转角度,从而实现正确的定位搬运的目的。本实验主要是让学生利用HALCON软件的标定助手进行相机标定,标定流程如图5所示,获得图像尺寸和实际尺寸的标定系数,并掌握形状匹配方法,利用HALCON的shape_based_match方法,输入匹配模板图像,利用find_shape_model算子获取工件形心坐标以及工件与模板的旋转角度。在HALCON中编程之后,导出为VB.net模块,在VB.net中进行使用。

图4 手眼标定各坐标系关系

(6) 机器人操作控制实验。机器人操作控制主要是实现智能分拣搬运的目的。学生利用控制器自带的ACE编程软件和V+编程语言,将工件从指定坐标搬运到指定的位置,一方面为手眼标定提供数据,另一方面实现智能搬运。另外，还需要通过I/O接口控制电磁阀产生或者破坏真空，并掌握TCP/IP协议的Socket通信的知识,在ACE软件端编程设置相关信息,如IP地址、端口号、通信速率等,以接收VB.net发送过来的工件位姿信息。图6是机器人控制器软件ACE编程界面。

图5 HALCON标定助手流程

图6 机器人控制软件ACE软件界面

(7) 上位机软件开发实验。上位机软件开发编程实验的目的是让学生掌握面向对象的VB编程语言,利用VB.net进行混合编程,编程界面见图7。实现3个功能:①利用HALCON导出的图像处理模块,得到工件的形心和旋转角度的信息,需要注意HALCON的Htuple类型和VB语言的double双精度数据类型的类型转换;②掌握网络通信的TCP/IP协议的Socket通信,掌握套接字的设置,如IP地址、端口号、通信速率等,将计算机和机器人控制器进行网络通信,从而将工件的坐标信息发送给控制器,控制机器人运动;③与单片机的串口通信:主要是让学生掌握串口通信的相关知识,利用VB.net的SerialPort控件,进行串口号选择、波特率、校验位等设置,和单片机进行正确通信,一方面接收传感器的检测信号触发相机拍照,一方面可以在计算机软件端控制传送带的启动、停止以及速度调节。

图7 VB.net混合编程界面

4 结语

本文设计的基于机器视觉的机器人智能分拣实验平台,可以开设包括光学、机械、电子、计算机控制等方面的实验,综合了多门学科知识,对于学生深刻掌握机器视觉和机器人控制技术,培养新工科背景的复合型人才有着十分显著的教学效果,还可用此平台开展有关机器人机器伺服方面的科研工作,实用性强,用途广泛。