智能化上料系统中工件视觉定位的研究

郭　斌，朱　戈，陆　艺，赵　静

(1.中国计量学院 计量测试工程学院，杭州　310018；2.杭州市沃镭智能科技有限公司，杭州　310000)



智能化上料系统中工件视觉定位的研究

郭斌1，朱戈1，陆艺1，赵静2

(1.中国计量学院 计量测试工程学院，杭州310018；2.杭州市沃镭智能科技有限公司，杭州310000)

摘要：随着我国工业生产行业的快速发展，人工上料越来越难以适应，为解决工业生产线生产效率不高，人工成本过大，智能化不足等问题；基于国内外现有工件定位方法的研究，采用机器视觉对工件定位进行研究，利用工业相机采集图像信息，上传到PC端中 NI Vision软件进行图像预处理、边缘检测，并基于边缘检测结果提取质心点，然后利用坐标转换算法，获得对应世界坐标系下的坐标值，通过通信单元传送给机器人控制系统，控制机器手移动；经验证，算法不仅稳定可靠，而且易于修改，所得结果精度相对较高。

关键词：智能化生产线; 工件定位; 机器视觉

0引言

中国是全球制造大国，但在近两年陆续发生的缺工、劳资关系紧张等问题，引发了一波“制造业回流”的热潮，例如美国总统奥巴马主动提出高阶制造业回流政策，包括福特、苹果、英特尔等已逐步将高阶制造业生产线移回美国境内。种种大环境促使制造业急需进行转变，而智能化生产线就可以很好的解决这些问题[1-2]。一条完整的智能化冲压线包括线首拆垛机、工件涂油机、工件定位系统，中端冲压机、冲压专用机器人、机器人端拾器、线尾码垛系统、整线电气控制及安全防护系统等[3]，其中工件定位系统对于提高生产线生产效率有着很大的影响。机器视觉与机器手相结合可以显著提高生产线智能化，解决生产线因零件的改变或位置的调整带来的难题，既可以节省人力，又可以提高劳动效率[4]。针对以上问题，设计了一套基于机器视觉的冲压生产线柔性定位系统，通过工业相机采集图像，利用NI公司视觉开发模块NI Vision进行图像处理，可以根据工件随时修改程序算法，快速适应新产品要求，显著提高工厂生产效率。

1工件定位方法介绍

工件识别与定位是机器人抓取工件的前提和基础，其识别的结果正确与否和定位的精度直接影响到机器人操作结果的准确性，目前运用在生产线的工件定位方式主要有重力定位，机械定位和视觉定位3种。

1.13种定位方式的介绍

重力定位就是当工件到达该重力台后，工件的自重导致工件会随着重力台面的倾斜，滑落到一个死角里，机器手则会在同一个位置对工件进行抓取；机械定位就是当工件到达机械定位台后，工件会触发传感器，定位台上的气缸依次分别动作，使工件在前后左右位置上对齐，达到定位目的；视觉定位就是利用工业相机采集工件图像，进行图像处理，计算工件坐标信息，通过以太网传送给机器人控制系统，机器人根据传输过来的工件位置信息抓取工件[5]。

1.23种定位方式的区别

传统的重力定位和机械定位在生产过程中会出现以下问题：1)工件在重力作用和气缸拍打的情况下，产品表面可能会出现瑕疵，影响产品品质；2)在重力和机械拍打过程影响生产节拍；3)柔性差，成本相对较高。而机器视觉定位可以很好地解决了以上问题：首先，视觉定位属于非接触的定位方式，安装在输送带上方，避免因外力引起的产品质量问题；其次，机器视觉系统从取像到处理，提供给机器人坐标信息，速度很快，可以控制在500 ms之内，很大程度上提高了生产效率；最后，与传统定位工艺相比，机器视觉定位柔性最好，相对成本更低，并且更稳定，精度更高。

2视觉定位系统介绍

2.1机器视觉介绍

机器视觉就是用机器代替人眼进行识别和判断，视觉定位系统通过图像摄取装置抓拍图像，然后将该图像传送至处理单元，通过数字化处理，根据像素分布和颜色等信息，来进行尺寸、形状、位置的判别，从而根据判别的结果来控制现场的设备动作[6]。典型的机器视觉系统一般包括如下部分：相机和镜头、光源、传感器、图像采集卡、视觉处理软件、通信单元及PC平台等。机器视觉系统的工作过程：定位传感器探测到物体已经运动到摄像系统的视野内，向图像采集单元发送脉冲；图像采集单元根据事先设定的程序，向摄像系统发送触发脉冲；摄像机曝光后，将图像输出到计算机的处理器中，处理器对图像进行处理、分析、识别，获得测量结果[7]。机器视觉系统的灵活性和可重组性，使生产过程的改变变得更加容易，原来的“工具更换”仅仅是算法的调整，避免更换昂贵的硬件，从而可以节省资源，降低成本。

2.2总体系统方案

机器视觉定位系统方案设计流程如下：首先由工业相机采集含有工件的图像，传送至PC平台中图像处理软件NI Vision中进行图像处理，从而确定目标工件在图像中的像素坐标位置，然后借助坐标转换的方法得到世界坐标下工件的位置，并将位置信息传送至机器人控制系统，从而控制机器手动作。视觉定位流程如图1所示。

图1　视觉定位流程图

3图形处理软件介绍

图像处理软件采用NI公司视觉开发模块NI Vision,该模块包含NI Vision Assistant以及IMAQ视觉[8]，NI Vision Assistant可以不通过编程就快速实现将LabVIEW应用成型的直观环境，IMAQ拥有强大视觉处理函数的库，两者相互结合降低了软件的开发难度，提高了算法设计效率，还可以自动生成LabVIEW程序框图，方便快捷。

3.1算法介绍

视觉定位算法具体为：首先对采集的图像进行预处理，包括图像增强、平滑过滤等；接着对过滤后的图像利用阈值分割，使目标和背景分开；然后对分割后的图像进行边缘检测，进而提取目标质心点坐标；最后利用坐标转换算法把质心点坐标转换为世界坐标系中坐标值。

3.2图像处理

3.2.1图像增强

图像增强的目的是为了消除图像中的噪声，增强有关真实的信息，简化数据，提高信息的可靠性和处理速度，去除噪声的滤波方法常用的有高斯滤波、均值滤波和中值滤波等。图像边缘显示了图像细节和高频信息，而均值滤波和高斯滤波可能会模糊图像中的尖锐信息，从而使边缘变得模糊。中值滤波不仅可以去除椒盐噪声、脉冲噪声，还可以尽量多地保留图像边缘的细节信息，所以是边缘处理的首选。

中值滤波是一种非线性滤波技术，是一种低通滤波器。一维中值滤波器的定义为：

(1)

式中，med代表取中值。中值滤波的方法简单来说就是将滑动滤波窗口内的像素进行排序，按照大小依次排列，取该序列的中值作为滤波哦结果的输出像素值。在NI Vision Assistant软件中Grayscale功能下Filters项中设置阈值分割方法为Smooting-Median，得到图2，所示为对灰度原图2(a)使用中值滤波后的效果图。

图2　中值滤波效果图

3.2.2图像分割

图像分割的目的是为了快速提取有效的图形区域，将过滤后的灰度图像进行图像分割得到有效的图像区域。图像阈值分割方法适用于背景和目标占据不同灰度级范围的图像，可以极大地压缩数据量，简化图像分析与处理。迭代式阈值方法原理是首先选择一个近似的阈值作为初始阈值，然后连续不断地进行优化这个初始阈值，直到最优。分割的过程可以简单概况如下：首先选取一个初始阈值，这个阈值会把图像分成两个图像，然后分别计算这两个图像灰度的均值；取两个均值的平均值作为新的初始阈值，继续把图像分成两部分，求均值…重复上述步骤，直至两个图像的均值不再发生变化为止，所得的平均值就是最优值。

在NI Vision Assistant软件中Grayscale功能下Threshold项中设置阈值分割方法为Auto Threshold -Metric，得到图3，利用迭代式阈值分割方法对图2(b)的分割效果图。因为图像中有小洞，影响图像边缘检测，故需要进行填洞处理。

3.2.3图像边缘检测

边缘是是图像最基本的特征之一，是指图像中像素发生阶跃或者屋顶变化的像素的集合。边缘检测算子主要包含一阶微分算子(Roberts算子、Sobel算子、Prewitt算子、Canny算子等)和二阶微分算子(Laplacian算子、LoG算子)[9]。Sobel算子可以平滑噪声，对噪声的敏感程度也比较低，可以获得较好的边缘信息，故选择Sobel算子。Sobel算子利用像素临近区域的梯度值来确定1个像素的梯度值，从而根据特定的阈值来取舍。由下式可计算出：

(2)

Sobel算子是3*3算子模板。x和y方向的梯度对应的模板可表示为：

(3)

检测方法如下：利用上述两个模板对图像进行逐像素卷积，将两个卷积结果值相加，然后判别该结果是否大于等于某个阈值T，满足条件，则将其作为图像中对应于模板中心位置处的像素值；不满足则给处的像素赋予0值。在NI Vision Assistant软件中Grayscale功能下Filters项中设置滤波方法为Edge Detection-sobel算子，利用Sobel算子对分割过的图像3进行边缘处理后得到的效果如图4所示。

图3　图像分割效果图　　　　图4　边缘检测效果图

3.2.4质心点提取

边缘特征提取之后就要对工件进行质心提取。若二值图像找那个物体对应的像素位置坐标为(ui，vi)(其中i=0,1,2,3…,n-1；j=0,1,2,3…,m-1)，则质心坐标(u，v)可由下面两个公式来求：

(4)

(5)

使用NI Vision Assistant软件中Grayscale功能下的Centroid功能对图3进行质心的提取，结果如图5所示，质心(图中点)像素坐标为(550.37，601.56)，单位为picels。

图5　工件质心提取图

3.2.5坐标转换

在获得工件在图像中的质点信息后就要将质点像素坐标转换成空间世界坐标。在这里首先以镜头的光心为坐标原点建立摄像机坐标系(Oc，xc，yc，zc)，以成像平面与光轴交点O为原点，建立平面坐标系(O，x，y)。具体算法如下：

1)在上面图像处理过程中使用的像素点坐标(u，v)与成像平面坐标系内的点坐标(x，y)是平移关系，可用下式表示两坐标之间的关系(式中(u0，v0)是光轴和成像平面的交点坐标值dx，dy，表示单位像素所代表的实际尺寸)：

(6)

2)对于摄像机坐标系中的点(xc，yc，zc)和成像平面对应点(x，y)是相似比例关系，用下式表示：

(7)

3)设世界坐标系为(Ow，xw，yw，zw)，其与摄像机坐标系(Oc，xc，yc，zc)的关系如下式所示，式中t=[tx，ty，tz]T是三维平移向量，矩阵R是正交旋转矩阵：

(8)

4)综合式(6)~(8)可以得到像素坐标和世界坐标之间的关系式(式中M1是摄像机内部矩阵，M2是摄像机外部参数矩阵)：

(9)

并且得到一个像素和实际物理尺寸的标定关系1pixel=0.15 mm。利用机器手臂示教器规划其运动轨迹，可以直接利用提取出的质心点图像坐标计算出所在的世界坐标值，然后将所得结果通过通信单元传送给机器人控制系统，从而控制机器手到达指定位置，抓取零件。每次零件位置摆放不同获得质心坐标结果如表1所示，经检验抓取成功率达到99%以上。

表1　图像处理质心坐标实验结果

4结论

设计程序过程中还是用了软件中的Baniry功能下Adv.Morphology高级形态学中Fillholes(填洞)、Removesmallobjects(去除小目标)等功能，可以使图片中的小洞被填满、去除小杂质粒子等，从而提高边缘提取的精度和质心的准确性。NIVision软件快速方便地解决图像处理方面的问题，功能强大，使科技工作者未来可以快速准确完成图像处理方面的工作。视觉定位是智能化生产未来的发展方向，机器视觉的

应用也将越来越广泛。与发达国家相比，我国机器视觉产业相对落后，这也意味着更大的商机，我们需要在提高自身技术、拓展行业、引导用户等方面继续努力。

参考文献：

[1] 何述平，覃开宇，陈立军，等.高速冲压自动化生产线优化仿真[J].轻工科技，2012(8)：42-44.

[2] 王春生.冲压工艺设备的技术进步与发展[J].机械工人，2006(12)：10.

[3] 夏良正.数字图像处理[M].南京：东南大学出版社，1999.

[4] 陈立新，郭文彦.工业机器人在冲压自动化生产线中的应用[J].机械工程与自动化，2010(3)：134.

[5] 陈皓.冲压自动化的定位方法比较[J].自动化应用，2011(8)：64-65.

[6] 钟玉琢，乔秉新，李树青.机器人视觉技术[M].北京:国防工业出版社，1994.

[7] 贾云得.机器视觉[M].北京:科学出版社，2000.

[8] 乔瑞萍. LabVIEW大学实用教程[M].北京:电子工业出版社，2008.

[9] 郑敏，王有熙，税冬东.基于Sobel算子含噪低对比度图像的边缘检测方法[J].石河子大学学报，2008(2)：117-119.

Research on Visual Positioning of the Workpiece in Intelligent Feeding System

Guo Bin1， Zhu Ge1，Lu Yi1，Zhao Jing2

(1.College of Metrology Technology and Engineering，China Jiliang University，Hangzhou310018，China;2.Hangzhou Wolei Intelligent Technology Co.Ltd，Hangzhou310000，China)

Abstract:With the rapid development of industrial production in China, it is becoming more and more difficult to adapt to the artificial feeding, in order to solve the problem of industrial production line efficiency is not high, labor cost is too large, the problem of intelligent and so on. Based on the research of the existing methods, this method uses machine vision to study the workpiece positioning, industrial cameras capture image information, uploaded to the NI Vision software in the PC for image preprocessing, edge detection, and based on the edge detection results, the centroid points will be extracted, then the coordinate transformation algorithm is used to obtain the coordinates of the world coordinate system, transmitted via the communication unit to the robot control system, to control machine hand movement. The results show that the algorithm is stable and reliable, and is easy to be modified, the results obtained are relatively high accuracy.

Keywords:intelligent production lines;workpiece positioning; machine vision

文章编号：1671-4598(2016)02-0232-03

DOI：10.16526/j.cnki.11-4762/tp.2016.02.064

中图分类号：T-9

文献标识码：A

作者简介：郭斌(1977-)，男，山东日照人，硕士，副教授，研究生导师，主要从事自动化和智能化方向的研究。

基金项目：国家自然科学基金资助项目(51405463);浙江省公益性技术应用研究计划(2014C31105) 。

收稿日期：2015-09-06；修回日期：2015-09-30。