机光电实验教学机械手设计

魏鸿磊, 刘吉伟, 高 腾, 李明颖, 吕 艳

(大连工业大学 机械工程与自动化学院, 辽宁 大连 116034)

机电一体化是一门多领域交叉学科,随着电子、计算机、自动化等技术的迅速发展,机电一体化技术达到了一个崭新的水平,在诸多行业中获得了广泛的应用,社会对机电一体化复合型人才的需求量也越来越大。

随着机器视觉技术与机电一体化技术的快速融合,形成了光机电一体化技术,并越来越多地应用到诸如工业检测[1-4]、自动分拣和定位[5-7]、数控[8]、机器人视觉[9]等实际设备中。另外,很多高校也开设了光机电一体化相关课程,为提高学生实践和创新能力的培养,需要配套相关实践环节,但目前市场在售的教学实验设备大都侧重于机电方面,难以提供光、机、电更深层次融合的实验设备[10-14]。本文利用摄像头和舵机控制的低成本六自由度机械手组成了一套实验装置。该装置集图像采集、处理以及利用图像提取的特征信息对机械手进行控制等功能为一体,可开设较高质量的综合性、创新性实验,提高光机电一体化的教学效果(见图1)。

图1 实验装置

1 视觉图像采集与处理

通过摄像头采集图像对机械手进行控制,首先要获取图像。通过对图像进行处理,提取目标的位置,并引导机械手进行抓取。本文视觉图像的处理过程主要包括图像采集、灰度化、二值化、目标边界提取以及目标中心定位等几个步骤。

1.1 图像采集与灰度化处理

采用VS2012平台及机器视觉软件OPENCV实现对视频图像的实时捕捉和处理。为便于进行图像处理方法的教学,OPENCV软件仅用于图像采集、显示及存储等操作,而对于各图像处理步骤要求学生通过编程实现。对采集到的原始实验图像(见图2(a)),首先将彩色图像转化为灰度图像,以便于进一步的处理。图像灰度化需要读取每个像素的R、G、B三色,然后再利用公式(1)计算灰度值。

Y=0.299R+0.578G+0.114B

(1)

从图2(a)中分割出目标图像,经灰度化处理后的结果可见图2(b)。

图2 原始图像和灰度化目标图像

1.2 二值化

为方便目标物边界的提取,需要将灰度图像二值化,即转换为黑白两色。首先对原始图像作中低通滤波,降低或去除噪声,然后计算图像的灰度均值,将像素的灰度值大于均值的设成白色,即灰度为255；小于均值的设成黑色,即灰度为0。这样处理后的图像就只有黑白两色,从而将灰度范围划分成目标和背景两类,二值化结果如图3所示。

图3 二值化后图像

1.3 边界的提取

为提取目标物的边界,首先对二值化图像采用3×3模板进行逐点扫描,模板组成如图4所示。如果点P1的8领域内的点(P2—P9)全是黑点,即像素值为0,则认为当前点P1为非边界点,并进行记录,图像扫描完毕后,将记录的非边界点全部转化为白点,利用该方法处理完毕后的图像仅剩下目标物体边界线和噪声点的边界线。

图4 3×3模板

对边界线进行逐点搜索,如果发现某点是黑点,标记其为已被追踪过的点,然后从这一点开始,在其8领域内继续搜索下一个黑点。如果最终能追踪到一条闭合的曲线,则将这些边界点坐标记录到数组中。采用该方法一般可得到3个或更多的边界点数组。对得到的边界数组进行有效性验证,优选出目标物的边界点,如图5所示。

图5 扇贝边界线提取后图像

1.4 目标定位

计算边界数组中每2个像素点之间的距离,取其中最长的距离为目标物体的最大尺寸,从而实现目标物体的识别。设数组中距离最远的2个点分别为A(u1,v1)和B(u2,v2),通过公式(2)计算出目标物在图像空间的坐标。

(2)

设定机械手底盘旋转中心为零点坐标,机械手的水平旋转电机O的0°角方向为正X轴,如图6所示。

图6 图像坐标系

由于图像空间中的物体的长度和实际空间中的物体长度之间近似成正比关系,因此同一个点在图像空间坐标(u,v)和实际空间坐标(x,y)之间可按公式(3)进行转换。

(3)

其中k是实际基座宽度,l是图像空间中的基座宽度。(u,v)和(u0,v0)分别是图像空间中目标物的坐标和机械手底盘旋转中心的坐标。

2 基于视觉的机械手控制

摄像头安装在机械手与要抓取目标物体的正上方,可观测到全局的目标物体特征。根据从采集图像中提取的信息,控制机械手2个伺服电机关节实现对目标物体的分级抓取,其过程如下。

2.1 机械手旋转到目标的正上方

首先驱动关节A的电机将机械手从初始位置移动到目标抓取物的正上方,移动后的机械手在XY平面上的投影图如图7所示,其中坐标原点处有两个关节电机O和A,分别驱动机械手大臂实现平行于XY平面的旋转和垂直于XY平面的旋转,关节电机C驱动机械手小臂实现机械手在垂直于XY平面方向旋转。

图7 XY平面投影图

图中虚线OC1为机械手臂在没有运动前在XY平面上的投影,实线OC为机械手移动到目标抓取物上方时在XY平面内的投影,M为抓取目标,θ为伺服电机O应该旋转的角度。

由于旋转中心的初始位置为图像坐标原点,目标的坐标可由图像处理获得,则可根据目标的图像空间坐标确定电机O的旋转角度θ,如图8所示,

图8 三角形示意图

则伺服电机A应该旋转的角度θ为:

(4)

2.2 机械手实施抓取

机械手移动到目标抓取物上方后,通过驱动关节电机A和C的角度旋转实现机械手对目标物的抓取。如图9所示,机械手伺服电机A、伺服电机C和目标物M可构成一个三角形,其中大臂AC和关节C到机械手手爪的距离可通过实际测量得到,即AC和CM已知,而M点的坐标可由公式(3)求得,因此A从M可知,角度∂和β可由公式(5)和(6)计算得到。

图9 三角形示意图

(5)

(6)

3 实验

该实验装置的控制系统分为2个模块,第一个模块完成对摄像头采集的图像进行处理,识别扇贝的类别,并提取其位置坐标；第二个模块根据目标物的位置实现抓取。为验证本文算法的有效性,采用50个扇贝进行分拣实验,部分样本如图10所示。根据扇贝的尺寸分为大、中、小3类,并分别标为1、2、3,如图11所示。

图10 部分实验扇贝样本

图11 扇贝分类示例

由于光线影响较大,实验共做了3组,每组进行50次抓取实验。分别是上午10时、下午15时以及夜间20时。其中上午和下午是自然光,晚间用的是18W的LED灯照明,抓取正确率如表1所示。其中,上下午自然光条件下正确率较高,而夜晚灯光照明条件下正确率较低,主要原因是自然光条件下成像更清晰、图像处理更准确,错误的原因主要是尺寸估计不准确。而在夜间照明情况下,由于机械手遮挡、阴影等原因造成视觉定位不准确(6例)及尺寸估计不准确(3例),导致抓取失败。图12是实际的抓取过程示例。

表1 实验结果

图12 扇贝抓取的过程

4 结语

本文对机械手的控制系统进行了研究。对通过摄像头采集的图像进行灰度化、二值化处理,并提取目标物边界,然后提取出目标的坐标和尺寸信息,据此控制机械手关节电机实现对不同大小的目标物进行分拣。教学实践证明,利用该实训系统,可有效提高光机电一体化知识的学习效果,加强对学生的动手能力和创新能力的培养。