应用于机器装配的多目标视觉识别与分类系统

方祝平，张 博，王 曦，邓安宁，陈海棠

（1.成都工业学院 自动化与电气工程学院，成都 611700；2.中国工程物理研究院，绵阳 621900）

0 引言

精密仪器的性能提升和尺寸减小使得其内部结构日趋复杂，造成传统的人工装配方式在效率、成本、可靠性等方面面临严峻挑战。因此，自动化装配正逐渐成为精密仪器生产制造的重要手段，并广泛应用于航空航天、国防科技等重大领域。近年来，将机器视觉与机器臂相结合的视觉装配技术凭借其在灵活性和兼容性上的优势引起了学术界和产业界的广泛关注。在装配过程中，对于零配件的视觉识别和分类是其中的首要环节，也是关键步骤之一。

目前，国内外学者在视觉识别领域已经开展了大量研究。陈超等人将识别算法应用于集装箱箱号的识别[1]。李芯等人将模板匹配技术和SVM（Support Vector Machine）算法结合在一起进行目标检测[2]。惠纪庄等人利用SURF（Speeded Up Robust Features）提取特征点，采用BRISK（Binary Robust Invariant Scalable Keypoints）算法对目标工件进行描述并计算其与特征的相似度，再利用MSAC（M-Estimate Sample Consensus）算法进行二次匹配来实现对目标工件的识别[3]。司小婷等人研究了基于视觉的零件特征识别与分类研究，总结出多种可行的识别方法[4]。

以上研究显示视觉识别技术已经较为成熟，并且开始获得一些实际应用。然而，这些研究全是基于单一目标进行，即每次识别都只针对一种物体。实际上，在进行视觉装配时，机器可能会面临更为复杂的作业要求，例如在未经分类的零件中按特定顺序进行抓取，多部机器协同操作同时获取多种零件，以及在大量微纳尺寸零件中筛选出特定目标。由此可见，针对视觉识别技术在多目标环境下的适用性和有效性展开相关研究是有一定必要性的。

本文基于图像处理和模板匹配方法搭建了一套针对多目标环境的视觉识别系统，实现了不同特征零件的同步识别和分类，并着重分析了形貌、尺寸、间距以及光照等因素对于识别效果的影响，为多目标识别系统的进一步研究提供了一定的思路和基础。

1 算法模型

1.1 图像预处理

在图像的采集、数字化和传输过程中，由于受到环境条件（如光照强度、光照均匀度、拍摄角度）、设备性能和随机干扰的影响，相机获取的原始图像可能会出现影像模糊、对比度差、混入噪声等问题，通常无法直接使用。因此，在视觉识别前需进行预处理以消除图像中的无关信息，恢复有关信息并增强其可检测性，从而提升特征提取、匹配和识别的效果[5]。在本文的预处理过程中，首先通过灰度变换增强识别目标与图片背景间的对比度，然后通过滤波算法去除干扰点，最后采用边缘检测算法提取目标物体的几何边缘。

1.2 模板匹配算法

1.2.1 图像灰度化

通过计算模板与图像的相似度，在感兴趣区域T内对模板图像进行平移，模板移动至某一特定位置的相似性度量S如下所示，用于表征图像与模板的差异程度：

其中T为感兴趣区域，t（a，b）为模板图像，f（r+a，c+b）为移动至模板区域的灰度值。计算模板与图像之间灰度差值的绝对值求和S'及平方求和S''：

其中，n为模板感兴趣区域的像素数量。当光线发生线性变化时，同样会引起灰度值变化，从而导致识别出错。因此，为防止线性光照变化的影响，采用如下归一化互相关函数形式：

其中，mt和为模板所有像素点灰度值的平均值和方差，mf（r，c）与（r，c）为平移至当前位置图像所有像素点灰度值的平均值和方差[6]。

1.2.2 金字塔算法

在金字塔算法中，图像按照分辨率高低不同被堆叠成多层结构，从上至下图像分辨率逐渐升高。模板匹配过程从最上层低分辨率图像开始[7]，以两个图像之间的平方欧氏距离作为相似性度量，其计算公式如下[8,9]：

其中，ω（x，y）为模板图像函数，K、L为模板图像长度和宽度，f（i，j）为目标图像函数，M、N为目标图像长度和宽度。将式(5)展开后，表示模板的总能量，为恒定值。如果假设目标图像的像素和颜色强度分布也是均匀的，那么同样可以近似认为保持不变。因此，目标图像与模板在（i，j）点重叠时的相似程度可表示为：

循环扫描目标图像中所有可能的（i，j）点即获得可能的匹配结果。然而，如果图像能量随位置发生变化，则会出现匹配失败。通过计算归一化相关项可解决以上问题：

2 实验平台

2.1 视觉检测系统

本研究所用视觉识别系统由图像采集装置和计算机控制系统两部分组成。其中，图像采集装置主要由CCD相机、相机支架以及LED线性光源等部件组成，其核心参数如表1所示。

2.2 上位机软件

本研究基于NI公司推出的LabVIEW程序开发环境进行上位机软件开发[10]，其工作流程如图1所示。在开始识别前，需先对识别目标的模板图像进行创建与学习，并保存学习后的模板图像以供调用。识别时，先对实时采集图像进行预处理，再使用金字塔灰度算法将识别目标的模板图像与实时采集图像进行匹配，如匹配成功则返回相关信息，如中心坐标、旋转角度、外框尺寸等。针对多个识别目标，程序采用并行方式进行匹配，从而实现了多目标的同步识别和分类，有效提升了程序执行效率和速度。

图1 视觉检测系统上位机软件工作流程图

3 实验与结果

3.1 实验方法

如表2所示，本研究使用A、B、C、D四类零件作为识别目标，其中A类零件共有四种尺寸。实验时，首先对多种零件的随机组合进行检测，以验证系统实现多目标识别和分类的可行性和可靠性，然后分别研究形貌、尺寸、间距、光照等变量对于视觉识别效果的影响。每一组识别实验需对不少于1000张图像进行测试，同时记录识别度和尺寸误差等计算结果。

表2 不同类型零件的标号、模板图片以及外径尺寸

3.2 结果分析

图2展示了不同类型零件混合放置时的识别和分类效果。其中，矩形框表示该零件匹配成功，而矩形框的颜色则用于区分零件的类型。可以看出，本文研发的视觉识别系统不仅能够识别各种零件，还可以有效地进行分组，基本实现了多目标的同步识别与分类。进一步研究发现，多目标场景下不同类型零件的识别效果存在较大差异，如图3所示。在五种不同类型的零件中，A3类零件的识别率最高达到96.74%，比识别率最低的D类零件高出2.46%。我们认为，识别率的不同可能与零件的形貌、尺寸或者间距有关，因此本文接下来将从这几个方面对该问题展开讨论。

图2 多类型零件混合放置时的视觉识别与分类效果

图3 多类型零件混合放置时系统对不同类型零件的识别率统计

3.2.1 形貌

为了进一步研究形貌对识别率的影响，选取A3、B、C、D四种尺寸相同但形貌不同的零件进行了对比实验。如图5实验结果显示，A3、B和C三种零件的识别率依次降低，但差别较小不到0.6%；相对地，D零件的识别率则远低于其他三种零件仅为94.4%。通过观察表1中的模板图片可以发现，与其余三种零件相比，D零件构成元素多，孔径尺寸小，同时整体对称性程度较低，导致在匹配过程中需要更多特征点和更清晰的轮廓[11]。因此，对于此类零件应将模板匹配与其他方法如神经网络结合使用以提高目标识别率[12]。另一方面，从图4还可以看出，零件尺寸的测量误差与其形貌结构没有明显的相关性，基本稳定在0.02mm～0.04mm之间。

图4 零件形貌对系统识别率和尺寸测量误差的影响

3.2.2 尺寸

选取A1、A2、A3、A4四种形貌相同但尺寸不同的零件进行对比实验，以进一步分析识别率与零件尺寸的关系。由图5可以看出，对于形貌相同的零件，机器识别率随着零件尺寸的增加而升高。例如，4.3mm零件的识别率仅为96.13%，而14.36mm零件的识别率则达到97.14%。出现以上现象的原因可能与物体光照情况有 关[13]。当尺寸较大时，零件表面光照更加均匀，形貌轮廓更加清晰，有利于提高匹配精度，从而达到更好的识别效果。此外，与形貌实验类似，零件尺寸的测量误差位于0.02mm～0.04mm之间，并且与尺寸大小没有明显相关性。

图5 零件尺寸对系统识别率和尺寸测量误差的影响

3.2.3 间距

图6所示是不同间隔距离下系统对零件的识别率变化情况。如图所示，在平均间距不足1个像素点时，零件识别率仍能达到81%以上，且随着间隔距离的增大而逐渐增大。在平均间距增大至80个像素点之前，识别率呈现出近似线性的快速增长，而此后增长逐渐变缓并趋于稳定。由此可见，尽管间距减小会导致相邻零件的边缘不够清晰，但基于金字塔算法的模板识别技术在一定程度上仍然能够对零件进行区分。然而，确保零件间保持合理间距对于提升视觉系统的识别准确性非常重要，且此间距值针对不同视觉系统或样品集有所不同，应通过类似的实验进行确定。

图6 相邻零件平均间距对系统识别率的影响

3.2.4 光源

至此为止，以上三组实验均在自然光环境下开展，为进一步探讨光照条件对识别效果的影响，本文在线性光源环境下重复了以上三组实验，并与前述结果进行对比分析。如图7所示，线性光源下零件识别率与形貌、尺寸、间距的相关性不变，但光照环境的优化明显改善了识别效果，使系统识别率提升了0.5%～2%。识别率的提升主要是由于线性光源照射下零件表面的光亮度更加均匀且可控，合理的对比度有助于图像的灰度化和目标提取，同时更加清晰的轮廓线条有利于特征参数的提取。此外，对于在此前实验中识别率相对较低的样本集，如结构复杂的零件或相互间距较小的零件，线性光源的使用对识别率的提升效果更为明显。因此可以预计，进一步优化光源亮度和照射角度有望进一步改善本文所设计检测系统的各项性能。

图7 自然光源和线性光源下系统识别率的比较

4 结语

本文设计了一种基于机器视觉的多目标同步识别与分类系统，以提升复杂场景下机器装配的效率、灵活性以及自由度。该系统首先对采集图像进行灰度化、滤波、边缘提取等处理，然后采用灰度值与金字塔算法进行模板匹配，进而完成多种目标的识别、分类以及坐标计算。本文选取了形貌、尺寸各不相同的七种零件对系统性能进行研究，每一组实验需对不少于1000张图像进行测试。实验结果表明，在未经优化的情况下，系统对多种零件同步识别的准确率分布在94%～97%之间，且与零件特征高度相关。进一步研究显示，零件的结构、孔径以及对称度对识别效果影响很大，结构简单、对称度高的零件识别率较高。同样地，零件尺寸和间距的增大亦有助于提升识别率。此外，合理地选择光源能够有效改善系统性能，稳定、均匀的线光源被证明可使识别率提升0.5%～2%。综上所述，本文所设计视觉检测系统基本实现了多目标的识别与分类，优化改善空间较大，未来有望辅助自动组装设备在多目标环境下执行复杂任务。