基于卷积神经网络的自动压铆对位系统

连志强 ，柯跃前 ，刘伟斌

（1.福州大学 机械工程及自动化学院，福州 350108；2.泉州师范学院物理与信息工程学院，泉州 362000；3.泉州华创智能科技有限公司，泉州 362000）

0 引言

压铆是指采用冲压设备将螺纹件（螺钉或螺母）牢固地铆接在圆孔上的一种工艺（如图1所示）。钣金件在加工中常采用压铆工艺在其上预埋螺纹件，便于机械紧固连接。由于螺纹件的规格不一，目前多采用人工定位铆接点（圆心），并根据孔径大小的不同手动切换压铆螺纹件，这样不仅效率低且成本高。随着智能制造技术的推广，急需研制出一套能自动识别不同类型圆孔，并引导压铆设备自动压铆的自动对位机器识别系统。

图1 螺纹件压铆示意图

现有的圆孔识别算法有斑点面积分类法[1]、基于边缘检测的最小二乘法[2,3]、边缘三维点云提取法[4]等。几种算法的原理不同，用途不一。斑点面积分类算法采用形态学提取孔径内斑点信息，并设定不同的高低阈值以达到分类目的，但需预先设定阈值，且无法适应畸变圆孔的分类；基于边缘检测的最小二乘法通过提取边界信息后利用最小二乘法拟合，但存在边界投影畸变，对变形圆孔测量误差较大；基于边缘三维点云提取法通过获取边缘三维点进行圆拟合，但在检测翘曲、变形面上的圆孔时反应过慢，效率太低。

图2 灯具钣金件图纸

图2所示为本设计中批量生产的钣金件之一——灯具钣金件，图中φ4.2、φ5.5分别为M3、M4螺纹件在压铆之前预留的圆孔。因钣金件受力不均容易引起翘曲、变形等现象，现有算法支持下的机器视觉系统对圆孔进行分类识别时，圆孔易出现成像畸变（如表1所示），导致机器判断困难或分类错误，从而使压铆设备停压或压错螺纹件。

表1 缺陷圆孔图像

近年来，AlexNet（一种神经网络结构）[5]在ImageNet（一个用于视觉对象识别软件研究的大型可视化数据库）竞赛上表现优异，卷积神经网络逐渐被人们所关注。卷积神经网络是一种前馈神经网络，具有较强的表征学习能力。国外在医学检验、机械故障诊断及语义分类等领域的应用日趋成熟[6～8]。国内相关学者也正密切关注该领域的技术发展，如温州大学智能信息系统研究所的赵汉理[9]提出了基于卷积神经网络的双行车牌分割算法，有效地提高了双行车牌识别准确率；北方民族大学计算机科学与工程学院的白静[10]在针对三维模型多视图分类中有益信息淹没和混淆的问题，提出一种基于卷积神经网络和投票机制的三维模型分类检索算法，有效提升了分类性能。本文首先采用了基于卷积神经网络的方法对两种圆孔的分类识别进行了研究，其次结合常用的几何位置识别算法——基于霍夫变换圆心定位算法，设计了一种自动压铆对位系统。

1 自动压铆对位系统总体方案设计

自动压铆系统示意图如图3所示，包括图像采集系统（光源、镜头及相机等）、图像处理系统、送料机器人和压铆设备等。系统工作流程图如图4所示。

图3 自动压铆对位系统示意图

图4 自动压铆对位系统工作流程图

2 算法结构及原理介绍

2.1 卷积神经网络内部结构

本文在Inception V3（一种神经网络结构名为Inception的3.0版本）[11]框架上进行了修改。相比其他网络，它更好的利用了内部的计算资源，网络深度有所增加，且引入的卷积分解有效提升了效率。

如表2所示，网络内含6个卷积层[12]、2个池化层[13]、三个不同种类的Inception（此神经网络的核心组成单元）模块、Relu（Rectified Linear Unit，指线性整流函数）激活函数[14]、BN层（Batch Normalization，指批量归一化）[15]、2个全连接层和softmax（归一化指数函数）分类器等。其中卷积层均采用3×3的卷积核，第一、第五层步长为2，其余步长为1。而池化层分别采用3×3和8×8的卷积核，对应步长为2，1。

表2 网络内部结构

2.2 网络末端分类器

本设计重新构建了网络末端的全连接层，使Softmax分类器输出2个分类，并重新训练了新全连接层参数。网络末端采用交叉熵作为代价函数。

2.2.1 Softmax分类器原理

Softmax为归一化指数函数，在多分类场景中，softmax分类器应用十分广泛。它能把输入数据映射为0～1之间的实数，并且实数和为1。softmax输出每个分类被取到的概率。

2.2.2 交叉熵函数原理

交叉熵是衡量人工神经网络预测值与实际值的一种方式，神经网络离线训练目的是使其值越小越好。采用交叉熵函数作为代价函数有效提升了权重和偏置的更新速度，其函数表达式为：

式(2)中，C表示代价函数，v表示神经元期望输出值，m表示实际输出值，求和是在所有输入数据x（像素值向量）上进行的。

2.3 Hough 变换圆检测原理

Hough（霍夫）变换[16]在图像处理中主要用于几何形状的识别。基于霍夫变换的圆检测是目前广为应用的方法之一，其可靠性高，对带有变形、残缺及不连续边缘等有良好的适应性。

已知圆的一般方程为：

则在极坐标下圆的方程为：

式中：（a，b）为圆心，r为半径。

圆的一般方程映射到极坐标空间中为一条曲线。同一圆上的若干点在极坐标空间中表现为若干条空间曲线在某一点相交。故同一个圆上的点映射在极坐标空间里的曲线必定相交于同一点。最后，通过圆半径信息，便可检测出原坐标系的圆心坐标。

3 算法设计流程

如图5所示，首先卷积神经网络将圆孔分类后，引导压铆设备切换压铆螺纹件；其次霍夫变换圆检测算法根据卷积网络分类的孔径信息，识别出圆心坐标（铆接点）。

图5 算法设计流程图

3.1 卷积神经网络离线训练参数设置

本设计在Tensorflow环境下对神经网络进行了1万多次迭代训练。其中训练集图片160张，测试集图片40张（φ4.2、φ5.5正常圆孔、缺陷圆孔1与缺陷圆孔2的比例均约为3:1:1）。设置初始学习率为0.001，学习率衰减因子为0.8，衰减周期为10，批次大小为8。实验过程中，损失值在0.60上下波动时，将学习速率衰减因子调整为0.9，批次大小调整为5。

3.2 卷积神经网络圆孔分类效果

为验证卷积神经网络对φ4.2、φ5.5圆孔的分类性能，本文分别采用多种方法对相同的圆孔数据集各进行了100次分类实验，实验数据如表3所示。

表3 不同算法圆孔分类实验数据统计表

由表3可得，不同算法圆孔分类成功率如表4所示。

表4 不同算法圆孔分类实验成功率统计表

由此可见，本文方法有明显优势，能有效识别畸变圆孔。

图6所示为测试集分类准确率变化情况。通过对比可以发现训练前期准确率不到50%，经训练后，准确率上升为97%，进一步验证了上述实验结果。

图6 测试集分类准确率的变化情况

由图7可知，在网络的训练过程中交叉熵损失值不断下降。经15000次迭代训练后交叉熵损失始终处于0.58以下，已相对收敛，应停止训练。

图7 训练前后期交叉熵损失值的变化情况

图8所示为输出参数直方图，颜色越浅，迭代步数越多。对比前后参数可知：网络末端的权重参数值分布良好，训练前期网络误差不会在后期放大，模型稳定性较好。

图8 训练前后期神经网络模型输出参数直方图

3.3 霍夫变换铆接点检测效果

霍夫变换圆检测算法在收到卷积神经网络发出的孔径信息后便开始定位铆接点。经现场测试发现：该算法能准确输出铆接点，解决了现有算法所面对的困难。如图9所示，十字交叉点即表示该缺陷圆孔的圆心。坐标分别为（932.422，500.086）、（56.177，189.977）。

图9 本文算法检测畸变圆孔位置效果图

为验证此算法的稳定性和优越性，本文采用多种算法分别对φ4.2、φ5.5各进行100次铆接点识别测试。其中包含φ4.2、φ5.5正常圆孔钣金件各60个，缺陷圆孔钣金件各40个，实验数据如表5所示。

表5 不同算法铆接点识别实验数据统计表

4 实验结果分析

经多次实验测试，不同算法铆接点识别成功率及算法平均每次耗时如表6所示。

表6 不同算法铆接点识别成功率统计表

由表6得，现有算法识别成功率普遍不高。基于边缘三维点云提取法虽然表现出相对较高的成功率，但耗时长，影响效率。而本文方法成功率高，耗时短，有效提升了自动压铆对位系统的可靠性和稳定性。

根据自动压铆对位系统需求，基于LabVIEW与Opencv编写了人-机交互界面。软件界面如图10所示。点击“运行”便触发相机工作与算法运行，待检测到圆孔信息，并识别出铆接点后，机器人自动将圆孔移至压铆处。同时，系统触发相应指令，使对应的压铆螺纹件进入指定位置，实现自动对位压铆。

图10 自动压铆对位系统人机操作界面

5 结语

为实现压铆工艺自动化，本文依次使用了基于卷积神经网络和基于霍夫变换的圆检测算法，设计了一种自动压铆对位系统。该系统能准确识别铆接点，自动将相应规格的压铆螺纹件铆接在圆孔上。通过卷积神经网络在提取图像特征方面的优越性，有效的提取了圆孔的数据特征，解决了畸变圆孔图像识别困难及分类错误的问题。考虑圆孔边缘翘曲变形的特点，采用了霍夫变换圆检测算法，提高了铆接点的识别成功率和效率。试验表明自动压铆对位系统有效替代了人工压铆，降低企业生产成本的同时也提升了效率。