基于机器视觉的工业机器人对图像的获取与预处理技术

李国鹏 程基彬

摘要：机器人集成了电子技术、传感技术和智能控制技术等，是一种能够自动执行工作任务的机器装置，在许多领域都得到了广泛的应用。在结合了视觉技术之后的工业机器人，其灵活性和适应性大大提高，并在多品种、变批量的柔性生产中具有良好的适用性，结合视觉技术不仅可以提高产品质量和效率，并且劳动条件也能够得到改善。因此，为了最大限度地发挥工业机器人的功能和作用，工业机器人视觉技术的研究具有重要意义。

关键词：机器视觉;抓取定位;图像获取;预处理

引言

随着科技的不断进步和生产技术的发展，机器视觉技术与工业机器人在生产中的结合已成为人们越来越感兴趣的领域。在不断深入的研究工作下，国内外诞生了许多引人注目的研究成果，在不同领域的实际应用中也都取得了不错的效益。当下，中国制造业发展迅猛，鉴于机器视觉技术与工业制造联合带来的众多好处，其需求量也将增加，随之为其投入的研究经费也会增加，技术的提升将产生更多的成果以及更好的经济效益。

一、关键技术：

机器视觉技术是随着机器人技术的发展而不断发展的新课题。已经在越来越多的行业和科学领域中得到了运用，其基本原理是利用摄像机与计算机来替代人眼，实现更高程度的生产自动化。在对目标的图像进行采集时，环境中光照强度的变化、大气中浮动物体的遮挡以及摄像头附近有可能出现的杂物等因素，都会影响到图像采集的最终效果。原始图像的预处理，是为了增强目标区域，模糊干扰的噪声区域，获得方便计算分析的高质量图像。

（一）图像采集

将图像作为数字数据收集到计算机中并储存的过程实际就是图像获取。作为机器视觉技术中最重要的设备，工业相机决定了图像采集的质量和效率。

CCD（Charge Couple Device）传感器具有分辨率高、响应快、成像清晰等特点，这些使它成为了机器视觉领域最为常用的图像采集硬件设备。但因其自身制造工艺复杂的原因，也使其具有了较昂贵的制造成本。相对与面阵CCD而言，线阵CCD具有成本较低，结构较为简单，实时性较好，反应速度较快，对光照条件要求较低，可以在动态环境下进行测量等优点，这也正是传感器在较为复杂的环境下进行工作的要求。

（二）图像灰度处理

图像的灰度化处理就是处理具有多种颜色的彩色图像，以便使图像成为仅具有黑色和白色的灰度级的灰度图像。我们通常看到的彩色图像由三种基本颜色组成：红色、绿色和蓝色，每种颜色都有256种灰度值可以取。将彩色图像转化为灰度图像，不会丢失其中的数据信息，却会大大的减少图像处理的计算量，提高效率，这也就是图像灰度化的原因。在用计算机进行图像处理时，黑白图像要处理的信息非常少，因为它只包含黑、白两种属性，灰度图像是不同与此的，除了黑色和白色的深度，还有许多其他级别的颜色深度。这些不同级别的颜色深度，使得灰度图像比黑白图像有更强的图像特征描述能力，其与彩色图像的描述能力基本无太大差别，所以可以描述图像的整体和局部的亮度和色度特征。

由于采集到的数字图像是彩色图像，并且彩色图像具有色彩丰富，包含大量信息，处理图像速度较慢等特点，考虑到工业机器人不必使用彩色图像来定位工件，定位识别的速度必须有一定的要求。因此，彩色图像的灰度级在图像处理中起重要作用。灰度化处理的方法主要有：平均法、最大值法、加权平均法等。 加权平均值法有效地避免了在实现彩色图像的灰度图像的同时平均法和最大值灰度处理后图像引起的图像失真。不仅成功保存了图像原有的信息，而且在经过处理后的灰度图像还具有边缘亮度噪声少，平滑效果好的特点。加权平均法有两个优点，不仅可以达到预期的效果，而且为后续的图像处理提供了有利条件。

（三）图像滤波

获取到的图像往往会有噪声的存在，这些噪声主要表现为图像像素的一些极值，这些极值存在于正常像素点之中，会产生忽亮点、忽暗点的噪声影响，图像的质量就会大打折扣，对接下来的图像滤波、边缘检测、特征识别等处理工作的进行干扰，造成处理结果精度不够或是出现错误结果。

滤波在计算机视觉和图像处理中属于最基础的操作，经常会用到的高斯滤波原理就是在像素邻域实现加权平均。在像素的邻域内实现平均操作会使一些图像的边缘被消除掉，从而造成整个图像出现模糊的现象。在工件矢量数据获取的中，如果要求图像边缘轮廓尽可能清晰，则选择双边滤波进行处理成为解决边缘模糊问题的极好方法。双边滤波能够达到去掉噪声并且还保留边缘信息的效果，完全由构成该滤波方法的两个函数决定：一个滤波系数由几何空间距离决定，另一个滤波系数则由像素之间的差决定。执行图像滤波以最小化图像中的噪声干扰，同时保留目标图像中的各种特征。圖像滤波后，对该结果进行后续的图像处理和分析，直接影响其有效性和可靠性。

（四）图像二值化

图像二值化的原理是通过设置阈值将图像上的像素的灰度值设置为0或255，并且不再出现其他灰度值。处理后。整个图像显示为黑白效果，即，将原有的256个级别的灰度图像，通过合理的方法确定阈值，将图像进行黑白处理，获得二值化后的黑白图像，此时图像保留整体和局部的特征。图像的二值化使得图像更简单，并且在二值化之后，进一步处理图像更加方便。图像的特征属性仅与两个像素大小点的位置有关，并且不存在多个像素值对应于一个特征属性的情况，不但能突显出感兴趣目标的轮廓特征等信息，还能在很大程度上减少数据处理的工作量。

常用的二值化方法有：固定值法、大津法等。固定值法图像二值化是通过设定一个限定值，根据这个值把图像不同级别的灰度值分为黑白两个灰度值的二值化图像。图像二值化中的Otsu方法是自适应阈值的方法，也称为最大类间方差法，计算方法较为简单，不受图像对比度和亮度的影响。将图像分成两组不同灰度值像素集的模块。两个不同的灰度值集合之间的数学方差越大，说明这两个灰度值集合之间的差异越明显，找出差异最大的两个部分正是这种方法的目的。在不同光照或者较为复杂的背景之下，大津法的二值化效果并不理想，与大津法做比较，固定值法具有高质量高效率的优点。

二、技术应用：

（一）工件的识别与定位

工件识别与定位的主要操作是在背景中分离目标图像，提取目标图像的轮廓特征，并计算和标记图像的几何质心。而机器人能否到达指定位置并准确抓取起物体与识别结果的准确性和定位精度有密不可分的关系。对于以各种姿势放置的多个目标工件，工件的识别和定位是更为复杂的图像处理过程。首先，需要处理多目标子模块，然后边缘检测每个组件以识别单个目标工件。同时，还需要提取每个单独目标的质心、长轴等特征，从而获得像素坐标，然后通过手眼变换获得工件在世界坐标系中的位置。工件的识别技术在很大程度上依赖于机器视觉图像的匹配过程，通过选取灰度、形状和边缘轮廓等重要特征。运用边缘梯度匹配算法和图像金字塔搜索策略，对原始图像模块化后的区域与标准的模版进行对比，从而实现在不同几何变换下的多目标快速匹配。

（二）边缘检测

常用的边缘检测方法有 Robert、Prewitt、Sobel、Canny、Laplace等。Laplace算子为各向同性的点、线、边界提取算子，尤其是对单独孤立出来的像素的反应非常强烈，因此Laplace算子常用在在没有噪声的图像中或者用于改善因扩展效应在成像过程中引起的模糊。图像中如果有明显的噪声存在，可以在应用Laplace进行边缘检测之前进行低通滤波处理。Sobel算子的原理则是在高等数学中应用快速卷积函数来达到提取边缘的目的。并且对噪声起一定的平滑作用，因其操作的简便性，而得到广泛的应用。Sobel算子的缺点是目标图像与背景是不能清晰地分离，所以提取到图像的轮廓不平滑。Canny算子的边缘检测的原理是通过计算信号函数的极大值来确定图像的边缘像素。为了获得优化的逼近算子，Canny算子是一种具有更好边缘检测性能的算法。

（三）轮廓检测

轮廓检测并加以提取的方法应用较为广泛的是边缘检测法，它们之中的绝大部分可以按两类划分：基于查找一类和基于零穿越的一类。首先，基于查找的方法，通过在图像一阶导数中找到最大和最小值来检测边界，并且边界通常位于具有最大梯度的方向上。其次，基于零穿越的方法，通过找到图像二阶导数的零穿越来找到边界，该二阶导数通常是拉普拉斯零交叉或非线性差分表示的过零点。边缘检测法可以较好的实现物体的轮廓提，但也有一些如边缘线出现断点，图像掺杂噪声的缺陷存在。

经典边缘检测方法包括局部算子法，例如梯度算子、Roberts算子、Sobel算子和Canny 算子。梯度算子的计算相对简单，但存在精度低的缺点，因此只能检测到一个图像轮廓，并且可能会忽略掉一些细节的边缘。Prewitt和Sobel算子比Roberts检测效果要好一些，Canny算子的效果优于梯度算子，并且能够检测出图像中较为细节的边缘部分。

（四）工件最小外接矩形检测

主轴法找到目标工件轮廓的最小外接矩形是一種有效的方法。主轴方法的原理是用均匀的密度片替换目标图像，同时确保图像中目标图像的位置不变。利用重心原理确定水平主轴与垂直主轴的初始位置之间的关系，从原始外接矩形开始，根据需要旋转外接矩形以查找最小区域的外接矩形。外接矩形的形状相对规则，可以通过相对件方式对其进行存储和表达，具有运算效率高的特点。另外由于限定了旋转区间在水平主轴和垂直主轴所形成的锐角之间，与其他的旋转法比较收缩了搜索的区间，找到最小外接矩形的过程中的转数减少，并且操作速度进一步提高。

（五）实时监测与数据分析

（浏览器/服务器）网络结构的设计大大改善了工业机器人实时监测与数据分析的应用，仅在局域网的环境之下，输入对应服务器的域名于浏览器地址栏中，操作者即可实现远程访问和控制该系统，如果有必要，还可以设置用户名及密码以提高系统的安全性。通过使用免费的开源数据库MySQL实现数据持久性。实时监测与数据分析系统的组成部分主要包括系统管理、实时监测、数据分析等功能板块。

三、现存问题

（一）实时性

在机器视觉技术的不断进步的同时，其应用的范围也变的更加广泛，同时也在很大程度上提高了生产率。但由于机器视觉技术自身存在一定的局限性，仍然会有与之相应的技术难题不断产生，同时硬件材料等方面的问题同样需要我们加以重视。

在日常的工业生产中，实时性的问题成为了用机器视觉技术代替人工视的一个重要难题。在生产自动化程度不高时，人工检测即可满足需要，但在成功实现了一定的自动化生产后，视觉技术的实时性要求就会变得尤为重要。

在机器视觉技术的实时性要求中，可以同时从硬、软件中克服它。在硬件方面，主要是生产工艺和材料的性能问题，现如今生产工艺发展飞快、新材料不断得到运用，实时性在硬件方向的问题都可以很好的解决。然而较为棘手的是实时性在软件方面的问题，找到高效的处理算法是最能有效提高时间效率的方法。在不断深入研究的基础上，对现有算法的改进以及新的处理算法也不断涌现出来，但是它们中的很大一部分还处在理论阶段，并没有得到实际的应用。然而在实际的生产环境中，存在有许多复杂的想不到的因素干扰，并对其方法的处理结果产生不同程度上的影响，因此给技术的实时性和结果的可靠性带来了难题。

（二）重复定位较低

工业机器人在汽车生产、机床上下料、零部件搬运等各种场合中都得到了的广泛运用，已成为现代工业自动化制造中不可或缺的装备。现如今工业自动线上的机械手，大多仍采用示教再现的方式进行工作，即在人工操作引导下，机器人末端按程序执行机构运动，对机器手的抓放位置、运动线路以及动作做一个提前的规划和编程，由此，工业机器人记忆相关操作信息，从而实现再现示教的操作。当工业机器人在以示教在线的方式抓取零件时，必须要求零件具有固定的位置和角度。工件位姿与理想位姿之间的任何轻微偏差都可能导致机器人失败操作的结果，所以需要设计和制造对应的定位设备来适应不同尺寸和形状的零件，以至于形成了高生产成本、低效率与自动化程度的缺点。

结语：

本文对图像采集、图像处理等一些为本文后续工作提供帮助的关键技术进行了研究。首先，着重分析了在图像获取之后的一系列预处理操作，结合不同的实际情况，比较出更加高效率、高质量且满足实际需求的预处理方法，以便为之后获取图像数据打下基础。在前面图像预处理完成的基础上，为实现获取精确的目标工件的矢量数据信息，分析了现有的轮廓检测方法和最小外接矩形的采集方法，判断其优缺点，并结合各种研究需要，提出了不同需要的检测方法，实现矢量数据的获取。

参考文献

[1]朱良.基于机器视觉的工业机器人工件定位[J].小型微型计算机系统.2016（8）.

[2]李伯平.工业机器人视觉定位技术与应用探讨[J].现代信息科技. 2018（11）.

[3]罗炳军，黄本法，郭联金，等.搬运机器人视觉引导定位技术的研究[J].新型工业化.2017（3）.

（作者单位：1.西南石油大学南充校区;2.西南石油大学成都校区）