机器视觉技术在汽车线束包胶机胶带检测中的应用

原敏乔

(中国科学院长春光学精密机械与物理研究所，吉林 长春 130033)

1 引 言

当前，汽车线束包胶生产技术已开始从传统的人工包胶转变为自动化柔性机械包胶[1]。但在机械包胶过程中，一个包胶动作结束切断包胶胶带时，可能会出现因刀具磨损或切断运动位置偏移等原因而导致胶带未切断或胶带进入带槽位置偏移的情况，影响下一包胶动作。传统的检测方法是人工目视检查[2]胶带的切断及入槽情况，这种方法人工成本高，检测效率低，易出现人为误检，导致整体汽车线束包胶生产效率降低。

本文通过机器视觉的方法，在包胶机机械臂的近端位置搭建视觉识别检测系统，对包胶机胶带切断及胶带入槽状态进行实时检测。检测系统可向包胶机智能控制终端发送胶带状态的实时反馈，使整体包胶系统形成闭环，并且当包胶机胶带状态出现问题时，控制终端可以及时发现并报警提醒。该方法在提高胶带检测准确率、增强整体自动化包胶系统稳定性的同时，节省人工，提高汽车线束包胶的生产效率。

2 系统总体方案

系统总体框图如图1所示。首先通过机械臂近端的摄像头拍摄获取胶带原始图像，进行灰度化处理；然后基于NCC图像匹配方法对图像中胶带槽口区域精确定位，利用定位位置从胶带灰度图中提取出准确的胶带切断检测区域和胶带入槽检测区域；基于SVM算法分别对提取的胶带切断检测区域图像和胶带入槽检测区域图像进行分类识别，判断胶带的切断和入槽情况；最后将检测结果传送到包胶机的智能运动控制终端。

图1 系统总体框图

3 图像处理

3.1 获取原始图像并灰度化处理

通过安装在包胶机机械臂前端的摄像头，拍摄获取包胶机械手上胶带的原始图像。利用OpenCV库中的灰度化函数对原始图像进行灰度处理，灰度处理程序如图2所示，处理后的灰度图像见图3。

图2 灰度处理程序

图3 灰度图

3.2 基于NCC图像匹配方法定位胶带槽口

NCC图像匹配方法[3]是一种应用较广的基于图像灰度的匹配方法，其原理是利用匹配模板与待匹配图像的灰度值相似性(即归一化互相关系数η)来确定匹配情况[4]。η值最大的匹配位置为最佳位置。

设模板图像T与待匹配图像S的等尺寸匹配窗口大小为m×m，模板图像的灰度均值和有偏样本标准差分别为templateMean和templateStd，待匹配图像的灰度均值、有偏样本标准差和像素分别为sampleMean、sampleStd和SumPixel(S)，模板图像与待匹配图像的像素卷积为T⊗S。η的计算公式如下：

视觉定位流程图如图4所示。在视觉定位过程中，首先在待匹配的灰度图(见图4(a))中选取胶带槽口区域，并手动截取大小为m×m的匹配模板(见图4(b))，然后在新的待匹配图像中根据式(1)定位槽口区域图像位置，如图4(c)所示。

图4 视觉定位流程图

3.3 基于SVM算法视觉识别胶带断裂及入槽

SVM模型是一种经典的机器学习分类模型[5]，其旨在定义的特征空间内获取间隔最大化的超平面[6]，从而将数据集中的数据样本进行分类。当数据集不是线性可分时，通过核函数令低维特征空间映射至高维特征空间，使得样本在高维空间中线性可分。

3.3.1 基于SVM算法视觉识别胶带切断

本文视觉检测系统在每段线束包胶结束后，先进行胶带切断检测。

(1)提取胶带切断检测区域图像

首先根据视觉定位区域位置，设定其右侧的一个固定区域为胶带切断检测区域。胶带切断检测区域的中心与定位槽口区域中心水平方向相距s1，竖直方向相距s2，如图5所示。

混合式学习方法使一种与时俱进的学习方法，更加符合学生的生活环境，可以满足学生的个性化差异，提高学生的学习兴趣与积极性，进而有效的提高学生的英语成绩，上文中笔者简要的介绍了一些加强该方法的策略，由于不同地区之间的实际情况存在差异，因此广大教育工作者在实际应用的过程中要考虑到学生的实际水平与接受能力等，在日常实践中积极探索，使该学习方法更加完善。

图5 定位区域与胶带切断检测区域关系图

当包胶机成功切断胶带时，包胶机的机械手会控制旋转机构运动到指定角度位置，检测系统提取的胶带切断检测区域图像如图6(a)所示；当包胶机未能切断胶带时，包胶机的机械手旋转机构会受胶带拉力影响无法运动到指定位置，此时检测系统提取的胶带切断检测区域图像如图6(b)所示。

(a)切断时提取图 (b)未切断时提取图图6 胶带切断检测提取图像

(2)样本训练

采集胶带切断检测区域提取的图像作为数据样本(1000张左右)，将样本图像的大小压缩为(20，20)。切断检测样本共分为2类：第一类为胶带切断时提取的图像，标签为数字0；第二类为胶带未切断时提取的图像，标签为数字1，如图7所示。

0 1图7 胶带切断检测的样本分类

计算每个切断检测样本的方向梯度直方图(HOG)，以HOG为样本特征描述子，导入OpenCV库中SVM模型，选择核函数参数为RBF，训练胶带切断检测分类器。胶带切断样本训练程序如图8所示。

图8 胶带切断样本训练程序

(3)识别判断

识别时，根据训练好的胶带切断检测分类器，对现场采集的上千张胶带测试图中的切断检测区域进行判断。判断胶带为切断时，认为合格，等待继续进行胶带入槽检测；判断胶带为未切断时，认为不合格，不需再进行胶带入槽检测。切断检测结束后，视觉检测系统将结果传送给包胶机的运动控制终端，结果不合格时，包胶机终端控制机器停止并报警提示。

胶带切断识别代码如图9所示。

图9 胶带切断识别代码

3.3.2 基于SVM算法视觉识别胶带入槽

本文视觉检测系统在胶带切断检测合格后，再对胶带进行入槽检测。

(1)提取胶带入槽检测区域图像

因为视觉定位区域就在胶带槽口，其为检测的感兴趣区域，所以直接设置定位区域为胶带入槽检测区域。将定位区域进行图像裁剪后，胶带入槽检测提取图像如图10所示。

图10 胶带入槽检测提取图像

(2)样本训练

采集胶带入槽检测区域提取的图像作为数据样本(5000张左右)，将样本图像大小压缩为(20，20)。入槽检测样本共分为5类，如图11所示。其中，第一类为胶带合格入槽时提取的图像(见图12(a))，标签为数字0；第二类为胶带整体脱离槽口时提取的图像(见图12(b))，标签为数字1；第三类为胶带上边缘脱离槽口时提取的图像(见图12(c))，标签为数字2；第四类为胶带下边缘脱离槽口时提取的图像(见图12(d))，标签为数字3；第五类为胶带上下边缘脱离槽口时提取的图像(见图12(e))，标签为数字4。

0 1 2 3 4图11 胶带入槽检测的样本分类

图12 胶带入槽检测提取的5种图像示意图

然后，计算每个入槽检测样本的方向梯度直方图(HOG)，以HOG为样本特征描述子，训练胶带入槽检测分类器。胶带入槽样本训练程序如图13所示。

图13 胶带入槽样本训练程序

(3)识别判断

识别时，根据训练好的胶带入槽检测分类器，对现场采集的数千张胶带测试图像的胶带入槽检测区域进行判断。判断胶带为第一类入槽情况时认为合格，其余情况认为入槽不合格。视觉检测系统将检测结果传送给包胶机的运动控制终端。在入槽检测合格的情况下，包胶机继续工作，对下一段线束进行包胶；检测不合格时，包胶机终端控制机器停止并报警提醒。胶带入槽识别代码如图14所示。

图14 胶带入槽识别代码

4 试验与分析

4.1 试验环境

本试验的硬件平台为工控机以及搭载高清无畸变1080P(忽略较小畸变)摄像头的优奥机器人。其中，工控机的操作系统为Window10，处理器为英特尔i7，内存16GB。视觉检测系统程序采用Python3.5编写，并使用OpenCV3.4开源库包。

4.2 试验内容

为体现本文自动化包胶胶带视觉检测系统的准确率和效率，令5名熟练工人进行等量的胶带目检工作以作为对比。

本文系统和5名熟练工人分别对实际生产过程中的同批次200根汽车线束包胶胶带进行检测，每根线束有12道包胶工序，每道包胶工序结束后，均需对胶带进行切断和入槽检测，即一共需要2400次检测。

4.3 试验结果

自动化包胶胶带切断检测结果如图15所示，自动化包胶胶带入槽检测结果见图16。当检测合格时，将检测区域用绿色方框标识；当检测不合格时，将检测区域用红色方框标识。

(a)胶带切断检测合格

(b)胶带切断检测不合格图15 胶带切断检测图

(a)胶带合格入槽

(b)胶带整体脱槽

(c)胶带上边缘脱槽

(d)胶带下边缘脱槽

(e)胶带上下边缘脱槽图16 胶带入槽检测图

统计自动化视觉检测与5名熟练工人平均目检的准确率与效率，结果如表1所示。

表1 自动化视觉检测系统与人工平均检测情况对比

5 结束语

针对汽车线束包胶胶带检测，本文提出了一种基于机器视觉的胶带切断及入槽自动化检测方法。首先获取胶带图像并进行灰度处理，然后基于归一化互相关图像匹配方法视觉定位并提取检测区域图像，最后利用基于支持向量机的机器学习方法识别所提取的检测区域，判断胶带的切断及入槽情况。试验结果证明，本文的自动化视觉检测方法有效提高了包胶胶带的检测效率和准确率，具有节省人工、降低成本的优点。