基于视觉六自由度分拣机器人视觉图像坐标变换的研究

弓 靖，栗俊艳，刘鹏飞，王兴华

（航天科技集团九院16所机器人事业部，西安710100）

基于视觉六自由度分拣机器人视觉图像坐标变换的研究

弓 靖，栗俊艳，刘鹏飞，王兴华

（航天科技集团九院16所机器人事业部，西安710100）

针对机器人定位分拣问题，研发了一种基于视觉的六自由度分拣机器人系统，深入研究了视觉图像坐标引入到机器人控制系统后的坐标变换，并对机器人的分拣动作进行规划，实际运行结果表明，该系统可以实现机器人的定位分拣问题，并且可靠性高，在分拣搬运领域具有较高的应用价值。

视觉；机器人；分拣；坐标变换

0　引言

工业机器人已广泛应用于汽车及汽车零部件制造业、机械加工行业、电子电气行业等领域中［1］。现在工业中应用的机器人的工作方式大都为示教再现，即通过示教编程存储起来的工作程序可重复进行预期工作［2］，这样机器人到达目标点的位姿是固定的，每次的动作都是重复进行。但是这种工作方式无法适应物料摆放位置未知的情况，使得机器人的使用受到了限制。由于机器视觉系统可以快速获取大量信息，而且易于自动处理，也易于同设计信息以及加工控制信息集成；因此，在现代自动化生产过程中，人们将机器视觉系统广泛地用于工况监视、成品检验和质量控制等领域。国外在基于机器视觉的工业机器人的研究上已经做了很多工作，并且已经有很多突破性成果，并在实际生产中得到了很好的应用［3］。因此，引入视觉系统对工件进行位置和类型的判断是很有必要的。

1　系统结构设计

本文设计一种基于视觉的六自由度关节机器人黑白棋子分拣系统，利用2kg六自由度工业机器人定位分拣20个黑白棋子，并按照要求将黑白棋子分别分拣到不同的容器中。该系统利用智能相机采集图像，并利用图像处理技术和模式识别技术准确快速地提取棋子的视觉坐标，根据坐标转换技术将棋子的视觉坐标转换到机器人坐标，灵活运用六轴的自由度吸取平面上随机摆放的棋子并能够按照颜色区分摆放在指定位置。

图1　基于视觉的六自由度关节机器人黑白棋子分拣系统组成图Fig.1 System frame of design of 6-DOF joint robot sorting system of black and white chesses based on vision

其中，图像采集设备采用维视公司生产的工业相机，型号为MV-VEM120SM；机器人主控系统以工控板为核心，以工控板和转接板组成的CPU模块将标准计算机扩展总线扩展于无源底板上，各模块连于无源底板，从而通过标准计算机扩展总线与工控主板进行数据交换实现相应模块的功能；工业相机与工控机采用以太网通信，显示器采用普通显示器。

2　软件系统构成及主要功能模块

软件系统的功能模块主要包括图像处理模块、坐标转换模块和吸取位姿规划模块。

2.1图像处理

图像采集与处理是整个系统的重要模块，图像坐标的准确度直接影响着整个系统的精度。目前，国内外对图像识别中的图像分割、特征信号提取、边缘检测、纹理识别等的算法提出了一些新方法，取得了一定研究成果［4-6］。

在该实验中图像处理主要包括图像分割、图像匹配及棋子颜色判断和棋子圆心定位这三个方面。图像分割是计算机视觉领域的一个老话题，近年来涌现了不少的分割算法，但该问题至今仍然是瓶颈问题，现有的算法都不能彻底地解决图像和目标的分割问题，需要根据实际具体图像进行区分对待。图像分割的目的是分割出图像中感兴趣的部分，也就是黑白棋子。在众多的图像分割方法当中，系统中采用的金字塔图像分割方法是性能评价最好的方法之一，能够很好地分割出棋子图像部分。

图像匹配功能是在分割的图像的基础上提取棋子的轮廓。由于摄像机与棋盘的距离固定，为了缩小搜索区域，提高运算效率，系统手动划分搜索区域，使该区域能够包含所有棋子。在该区域内，利用最小外接圆法搜索出所有棋子的轮廓，然后在最小外接正方形区域逐点扫描，并求其平均灰度值，如果是255则判断为白棋子，否则为黑棋子。提取最小外接正方形的最小内接圆，其圆心即为棋子圆心的坐标。

2.2坐标转换

该部分功能为将棋子的图像坐标转换至机器人坐标系下。本文设计一种先将图像坐标转换至用户坐标，再将用户坐标转换为机器人坐标的方法来实现该目的。由于该实验涉及平面视觉，视觉图像平面与工作台平面重合，视觉坐标系和图像坐标系分别构成了二维空间的一组基，因此视觉图像坐标和用户坐标的转换满足二维坐标转换的关系，即基变换与坐标变换的关系。

NE向断裂组：这组断裂在区内最为发育，带内主要发育角砾岩或糜棱岩，该组断裂被后期断裂带切穿，构成网格状，带内具有硅化、碳酸盐化及弱钾化，平面上呈舒缓波状，产状倾向60°～90°，倾角30°～60°。

在工作台平面确定用户坐标系的原点、X方向和Y方向上3个点，转换模型原理如图2所示。

图2　二维坐标转换关系原理图Fig.2 Planar coordinate transforming principle

其中，

（x0，y0）为用户坐标系原点，（x1，y1）为用户坐标系X轴上点，（x2，y2）为用户坐标系Y轴上点，令考虑到图像坐标和用户坐标的尺度不同，需要处理图像坐标为实际物理坐标，即给图像坐标乘以一个系数k，表示单位像素的实际物理尺寸，由式（1）可得:

该坐标即为机器人工具末端吸取棋子要达到的用户坐标。

2.3机器人吸取工件的位姿规划

本文设计一种姿态和高度值固定的吸取动作。在规划吸取工件位姿时，在机器人控制系统中记录全局变量点P，吸取动作的姿态和高度值与全局变量点P保持一致，将X方向值和Y方向值修改为棋子圆心在机器人用户坐标系下的坐标。机器人工具末端运动到该点时，在机器人主控程序中进行坐标转换，获取坐标。

机器人的基坐标系 ｛R｝、法兰坐标系 ｛H｝、工具坐标系 ｛T｝和用户坐标系 ｛P｝之间的位姿变换关系类似于空间尺寸链，各坐标系如图3所示。

图3　机器人坐标转换关系原理图Fig.3 Robot coordinate transforming principle

其模型转换关系如式（3）、式（4）所示:

3　数值验证

如图2所示，在工作台上建立一个用户坐标系，在坐标原点、X轴、Y轴上分别放1个棋子，启动相机拍照，获取3个棋子坐标分别为（325，626），（678，620），（317，354）进行转换关系计算，转换关系如下:

单位像素的实际物理尺寸为0.14124294，在视野范围内放入5个棋子，利用式（2）的结果编程计算，获得用户坐标以及通过机器人示教到这些点的坐标，如表1所示。

表1　实验数据对比Table 1 Compare data of experiment

可以看出算法是正确的，而且误差小于±1mm。

4　结论

本文在机器人控制程序基础上结合智能相机的图像处理技术进行二次开发，成功地实现了黑白棋子的定位分拣任务，该试验可使机器人很好地适应环境，能够自主识别工作目标，进行任务操作，从而扩大了机器人在物流、装备生产线等行业的应用，实现各类物件的定位分拣、异物剔除、物品分级，在实现机器人的柔性化和智能化的前提下，提高机器人的生产效率和可靠性。

［1］ 宋登明.工业机器人在制造业中的运用［C］.中国汽车工业与装备制造业发展论坛，2008. SONG Deng-ming.The use of industrial robots in manufacturing［C］.China Automobile Industry and Equipment Manufacturing Industry Development Forum，2008.

［2］ 熊友伦.工业机器人技术基础［M］.武汉：华中科技大学出版社，2008. XIONG You-lun.Technology based on industrial robot ［M］.Wuhan： HuazhongUniversityofScience& Technology Press，2008.

［3］ 董文辉.基于机器视觉的工业机器人抓取技术的研究［D］.华中科技大学，2011. DONG Wen-hui.Research on industrial robots scraping technologies based on machine vision［D］.Huazhong University of Science&Technology，2011.

［4］ 李士林，尹成群，尚秋峰，等.基于图像识别理论的混沌特性判别方法［J］.中国电机工程学报，2003，23 （10）：47-50. LI Shi-lin，YIN Cheng-qun，SHANG Qiu-feng，et al.

［5］ A method of identifying chaotic nature based on image recognition［J］.Proceedings of the CSEE，2003，23（10）：47-50.

［5］ Anneh H，Schistad Solberge.Contextual data fusion applied to forest map revision［J］.IEEE Transactions on Geosciences and Remote Sensing，1999，37（3）：1234-1343.

［6］ Kim J Y，Kim L S.An advanced contrast-enhancement using partially overlapped sub-block histogram equalization ［J］.IEEE Transactions on Circuits and Video Technology，2001，11（4）：475-484.

Research on Coordinate Transformation of Vision Image Based on 6-DOF Vision Sorting Robot

GONG Jing，LI Jun-yan，LIU Peng-fei，WANG Xing-hua
（The 16thInstitute，China Aerospace Science and Technology Corporation，Xi'an 710100）

According to the robot localization sorting problem，this paper developed a 6-DOF robot sorting system based on vision，and further study the coordinate transformation when visual image coordinates is introduced in the robot control system，and plan the sorting action of the robot.The actual running result shows that the system with high reliability can realize the robot localization sorting problem，and has high application value in the field of sorting and handling.

vision；robot；sorting；coordinate transform

TP391.41

A

1674-5558（2016）01-01118

10.3969/j.issn.1674-5558.2016.03.002

2015-05-05

弓靖，女，硕士，工程师，研究方向为机器人运动学算法。