机器视觉在工业生产线上的应用实现*

刘振宇，李中生，2，，冯柏润，郭名坤，赵 雪

（1.沈阳工业大学 信息科学与工程学院，辽宁 沈阳110870；2.新松机器人自动化股份有限公司，辽宁 沈阳110168；3.空军驻沈阳地区军事代表室，辽宁 沈阳110016；4.沈阳防锈包装材料有限责任公司，辽宁 沈阳110084）

机器视觉系统是指通过视觉图像获取装置获取被测目标的图像信号，经过专用的图像处理软件系统，根据图像像素的颜色、亮度等信息，进行目标特征的检测提取、分析判别，进而根据判别的结果来控制现场的设备动作。机器视觉向批量生产线、大型机械制造业、精密装配行业等各个应用领域的渗透，带来了对机器视觉需求的提升，也决定了机器视觉将由过去单纯的数据采集、传递、判断动作，逐渐朝着开放性的方向发展。这一趋势也预示着机器视觉与人工智能技术、机器人技术、自动化技术、智能控制技术等的进一步相结合，促进工业生产过程智能化、自动化、机器人化是时代发展的必然趋势[1]。

制造业是机械产品的重要工业部门，是衡量一个国家工业化程度的重要标志。随着科学技术的发展以及生产自动化程度的逐步提高，从机械设备加工的焊缝跟踪、精密装配作业、食品和医药灌装等大型生产线、高楼大厦窗户的自动擦洗、恶劣环境下的清洗工作，再到国防武器装备制造等，采用传统技术方法的生产过程已无法满足人们对生产效率、产品质量等越来越高的要求[2]。针对当前生产过程中零件尺寸跨度大、装配效率低、检测一致性差、自动化和智能化程度低的状况，将机器视觉引入到工业生产过程中来，即机器在无人干预的条件下，通过分析采集的图像数据，对零部件进行识别、定位，从而实现对零件的抓取、检测、装配等作业过程是大势所趋。参考文献[3]中提到在对印制电路板（PCB）上焊点实时检查中，首先是对获得的图像进行预处理以减少图像的噪声，然后根据上焊点典型的几何特征进行分类，从而判断焊点的质量是否合格。2002年，LAHAJNAR F[4]利用机器视觉系统检测电路板。该系统应用两个长焦相机，并采用亚边缘检测技术和对系统进行半自动校准，精确测量出电路板的几个尺寸参数，且机器视觉系统能够很好地跟踪电路板的生产过程，检测每一个电路板，并分拣出次品。2006年，合肥工业大学针对球栅阵列BGA（Ball Grid Array）封装形式的半导体芯片进行了BGA全自动植球机视觉检测和自动对准控制技术的研究，从而利用机器视觉技术解决了BGA植球机存在的无法精确定位和准确检测两大突出难题[5]。

在日本、欧美等一些发达国家和地区，机器视觉在机械、食品、医药等生产领域的应用已经相当普及，但国内视觉技术在实际的生产线应用较少，在技术水平上也与国外存在较大的差距。根据目前我国的市场需求状况和相关技术研究，将机器视觉与工业生产的有机结合有着十分重要的意义。本文搭建硬件系统平台，成功地将机器视觉引入到工业生产线上，实验结果表明，机械手对工件的抓取成功率达到了100%，为我国实现工业生产智能化积累了经验。

1 总体结构

本实验为了满足自动化生产的需要，将机器视觉与工业生产结合起来，设计并搭建了图1所示的基于单目视觉的工业机器人视觉抓取系统实验平台。该实验平台主要组成部分包括：新松6轴SRH6工业机器人，机器人参数如表1所示；DALAS公司生产的GM1400千兆以太网工业相机，具体参数如表2所示；工件放置台、控制机、Vmax=1 m/s的皮带传送带、摄像机支架和光源等硬件。

图1 基于机器视觉的工业机器人抓取系统实验平台

表1 SRH6工业机器人相关参数

表2 GM1400千兆以太网工业相机参数值

本实验系统基本流程如图2所示。首先对生产线上的工件建立特征库，然后由工业相机对进入工作区的工件进行图像采集，软件对采集到的数字图像进行处理分析，匹配成功后对其识别定位，再利用坐标变换得到工件的空间位置，最后由机械人控制机械手来完成工件的抓取并将其放置到放置台上。

图2 实验原理流程图

2 模式识别

2.1 摄像机标定

摄像机标定是视觉系统开发的关键步骤，它的基本任务之一就是通过对从摄像机采集到的图像进行处理，以获得三维空间中物体的几何信息，并由此重建和识别物体[6]，是机器视觉在工业生产线上得以应用的一个必要前提。摄像机标定目的在于建立图像像素坐标与空间位置之间的相互关系。针孔模型是摄像机模型中最简单的模型，本系统以小孔成像为标定算法模型，采用了张正友标定法。只需要拍摄2张相片，并根据图像点之间对应关系即可标定出摄像机内参数与外参数[7]。

为提高标定的精度，本实验采集了7幅1280×960的高质量图像，并开发了图3所示的摄像机标定界面，标定结果为：摄像机参数fx=2 241.151 0，fy=2 213.049 5，u0=681.865 39，v0=478.601 21；摄像机畸变参数k1=0.053 131，k2=0.944 376，p1=0.001 223，p2=0.001 319。

图3 摄像机标定实验结果

2.2 图像处理

2.2.1 相机光源

相机光源在机器视觉系统中起着重要的作用。好的光源可以增加其零件的对比度，增加其期望的目标视域，模糊其不期望的目标视域。理想的光源也可以减轻其后续实验处理压力，否则会给实验结果造成误解，带来不必要的麻烦。如相机的花点和过度曝光会隐藏许多重要信息；阴影会引起边缘的误检；信噪比的降低以及不均匀的照明会增加图像处理的阈值选择的困难。经过大量实验验证，本实验选用了能够获取工件的特征信息较大的前置恒光源，放置在待测物前方的光源，这种光源方式称为“前光式照明”，如图4所示。

图4 前光式照明光源

2.2.2 高斯滤波

镜头模糊、光照条件、空气杂物的干扰使拍摄的图像难免存在噪声影响，从而使图像出现模糊不清或者杂质现象，因而进行图像滤波处理是必须进行的步骤。目前使用较为广泛的滤波方式主要有均值滤波、中值滤波以及高斯滤波。经过试验对比，本实验选择高斯滤波。

高斯滤波器是一种线性平滑滤波器，是根据高斯函数的形状来决定所选择的权值的大小。高斯分布参数的坐标决定了高斯滤波器的宽度。为了求取二维高斯函数的权值，其二维高斯函数首先进行离散化处理，高斯函数的最佳逼近由二项式展开系数决定，展开式可由杨辉三角形法来确定，其模板的取值如式（1）所示。

其中，σ决定了高斯滤波模板的宽度，σ越大，其作用域越宽，即利用这一模板的窗口越大。

2.2.3 特征匹配

特征匹配即从已建立的模型特征数据库中查找出与目标相匹配的数据模型的过程。应用比较广泛的主要有灰度直方图匹配和轮廓匹配。

（1）灰度直方图匹配

灰度直方图是灰度级的函数，它表示图像中具有每种灰度级的像素的个数，反映图像中每种灰度出现的频率。如图5所示，灰度直方图的横坐标是灰度级，纵坐标是该灰度级出现的频率，是图像最基本的统计特征。

图5 工件及其直方图

（2）轮廓匹配

数字图像的最基本特征就是物体图像的边缘轮廓。在一幅数字图像中，图像的边缘有如下3个方面主要特点：①图像边缘部分的像素灰度值呈不连续性变化；②图像边缘两侧具有不同的纹理特征；③图像边缘处的像素灰度值具有明显的方向性特征。轮廓匹配正是基于图像中工件的边缘特征来识别图像。与直方图匹配的实验对比，轮廓匹配能够在极大程度上减少数据计算量的基础上保留数字图像最重要的结构属性，同时剔除不相关的次要信息。本实验对工件识别的轮廓特征如图6所示。

图6 工件及其边缘轮廓

2.3 目标定位

工件得到识别之后进行抓取，为了能够让吸盘机械手精准地抓取工件，需要对其进行定位，即确定工件的几何中心。求取工件的质心过程如下：

首先用矩阵描述区域的形状特征，对于大小为M×N的数字图像f（i，j），其（p+q）阶矩定义为：

其中，f（i，j）相当于一个像素的质量；Mpq为不同p、q值下图像的矩。然后用中心矩求取质心，零阶矩M00是区域密度的总和：

一阶矩M10为图像对j轴的惯性矩；M01为图像对i轴的惯性矩：

然后用一阶矩M10和M01分别除以零阶矩M00，得到的就是物体的质心坐标：

在生产线上任意取一组（5个）模板进行测量，由式（5）计算得出，该组工件的质心坐标即旋转角度如表3所示。

表3 传送带工件中心坐标及姿态

3 工件抓取

本实验采用新松公司SRH6机器人工业机器人操作吸盘机械手进行抓取动作。拍摄运动物体时，拍摄目标与摄像系统之间存在相对运动，极易形成拖影。对于尺寸测量的项目，拖影对测量精度会有严重影响，在这种情况下，就会要求拖影长度尽可能短，本实验要求拖影不超过1/3像素。在硬件固定的情况下，直接影响拖影长度的参数是物体的运动速度和曝光时间。一般情况下满足以下条件即可保证测量精度：物体运动速度Vp×曝光时间Ts＜允许最长拖影s单位系统精度。

根据选取的相机，曝光时间为22μs～1 000 ms，确定的测量精度为0.937 5 mm/像素，可以得到物体的运动速度Vp，即传送带Vmax为42.613 m/s。结合实际情况，设定传送带速度为0.3 m/s。

根据工件的质心坐标，机器人控制吸盘机械手能够准确地在传送带上抓取物体，实验验证，抓取率为100%。实验效果如图7所示。

本文利用工业相机对工件进行图像采集，然后对图像进行分析处理，识别出工件位置，从而引导机器人对工件进行抓取，实验验证抓取效果精确有效。将机器视觉成功应用到工业生产线上，从而验证了算法的有效性和正确性，为后续的机器人码垛打下了基础，为工业生产线的分拣积累了经验和数据，为实现工业生产自动化、智能化提出了解决方案，有良好的应用前景。

图7 实验效果

[1]RAO A R.Future directions in industrial machine vision：a case study of semiconductor manufacturing applications[J].Image and Vision Computing，1996（14）：3-19.

[2]ALDRICH C，MARAIS C，SHEAN B J，et al.Online monitoring and control of froth flotation systems with machine vision：a review[J].International Journal of Mineral Processing，2010，96（1-4）：1-13.

[3]KIM T H，CHO T H，MOON Y S，et al.Visual inspection system for the classification of solder joints.Pattern Recognition，1999，（32）：565-575.

[4]LAHAJNARF，BERNARD R，PERNUS F，et al.Machine vision system for inspecting electric plates[J].Computers in Industry，2002，47（1）：113-122.

[5]郭建强.BGA全自动植球机视觉检测和自动对准 控制技术研究[D].合肥：合肥工业大学，2006.

[6]陈天飞，马孜，李鹏，等.一种基于非量测畸变校正的摄像机标定方法[J].控制与决策，2012，27（2）：243-251.

[7]HEMAYED E A.survey of camera self-calibration[J].Proceedings of the IEEE Conference on Advanced Video and Signal Based Surveillance，2003.