Passat车顶铆钉拉铆数量机器视觉检测系统

邵奇栋，尤 勇，周 万

Passat车顶铆钉拉铆数量机器视觉检测系统

邵奇栋，尤 勇，周 万

（上汽大众汽车有限公司南京分公司，江苏 南京 211100）

在Passat车顶拉铆生产过程中，目前采用人工目视的方法检查是否存在铆钉遗漏问题，该方法检查效率较低且存在错检漏检等问题。文章将深度学习卷积神经网络引入到车顶拉铆检测中，提出了一种基于ReLU激活函数的卷积神经网络算法，并通过实验表明该算法具有精度高、鲁棒性强等特点，为深度学习应用于车身视觉检测提供了一种新的思路。实验检测成功率可以达到99.87%，满足生产过程中的质量认定要求，对工程应用推广具有指导意义。

汽车制造；视觉识别；深度学习；神经网络

在车身制造过程中，车顶总成生产通常会运用到拉铆工艺，而在日常生产中手工拉铆工艺可能存在铆钉遗漏的情况，从而引起不必要的生产返工[1]。当前针对铆钉遗漏问题，常采用人工目视检测手段，该手段存在耗费人工且可靠性不足等缺点。为避免铆钉遗漏问题需增加机械拉铆设备，同时开启自动拉铆检测功能，该办法涉及设备改造与一定规模的经济投资，工厂车身车间在车顶总成工位增加工业相机与工控机，运用Python自主开发视觉检测系统，实现判断铆钉遗漏的自动识别功能。

Passat车顶加强板需要进行工序拉铆，共16颗拉铆螺母。手工拉铆孔位附近有多余工艺孔，如工人在操作过程中因误判或疲劳从而导致个别车顶存在遗漏铆钉，缺陷车顶总成流出车间后，对总装安装天窗总成生产造成影响，天窗总成安装无法在线一次完成，最终造成缺陷车离线返工，单车返工时间约150分钟[2]。

为解决人工拉铆遗漏问题，车间增加了铆钉数量检查工艺，工人对铆钉进行手写标数，实际操作结果表明，该工艺工作量大、效率低、对于人工检查的结果无相关记录可追溯分析。由于人工检测并未实现100%杜绝缺陷流出，本文提出一种基于深度学习的视觉检测方法，最终有效地解决了铆钉遗漏的问题。

1 卷积神经网络原理

基于深度学习的视觉检测方法，具体过程原理参考图1 典型卷积神经网络构成。深度学习是一种以人工神经网络为架构，对数据表征特点进行学习的算法。本文的卷积神经网络主要包括八个权重层，即五个卷积层和三个全连接层。本章主要介绍卷积神经网络中的卷积层、全连接层的原理与结构[3]。

图1 典型卷积神经网络构成

1.1 卷积层原理

卷积层的处理流程为：卷积－激活函数－池化－归一化，最后得到卷积层的输出结果。卷积操作是使用*的卷积核（*的矩阵）对输入图像进行逐行扫描，得到卷积运算后的特征映射图像[4]。如图2所示，图像在补0操作下（为保证图像大小一致，在图像最外圈添加一层像素值为0的像素点）使用3*3的卷积核进行运算得到卷积后的输出结果。

图2 卷积网络原理

1.2 激活函数原理

感知机模型也叫单层神经网络，即判断是否能触发神经元特征的判断器。在最初的感知模型中，输入输出之间的关系如图3所示。

图3 感知基础模型

由图3可知，最基础的感知模型只是单纯的线性关系，这样的网络有很大的局限性，无法满足较复杂的触发环境。因此，在特殊情况下需要对输出进行非线性转换，如式（1）所示，加权求和结果输入到一个非线性的函数中（激活函数），多层网络层的叠加不再是单纯的线性变换，而是具有更强的表现能力[5]。

在网络层数较少时，Sigmoid函数被广泛使用，该函数将实数归一化至0～1，这种计算特性可以很好地模拟神经元在受刺激后是否得到激活并继续向下传输结果（0表示几乎不被激活，1表示完全激活）[6]。因此，使用Sigmoid函数可以较好地满足激活函数的作用。Sigmoid函数特征曲线如图4所示。

图4 Sigmoid函数曲线

当Sigmoid函数输入较为极端时，其函数值趋近不变导数较小，在神经网络反向传播的时候导致很多很小的Sigmoid导数累加以至于结果趋近于0，权重值更新较慢，增加大量的运算量[7]。为了解决Sigmoid训练收敛速度慢的问题，引入了ReLU激活函数，如图5所示。

图5 ReLU函数特征曲线

对比Sigmoid函数，ReLU函数输入小于或等于0时输出为0，而输入大于0时恒等输出，具有计算开销小、网络稀疏性高等优点。故本文选用ReLU函数作为激活函数。

1.3 池化层原理

本文选用常规池化对图像集进行操作，在保留原图像特征的前提下大幅减少像素数量，可有效避免过拟合的情况，使学习效果更加理想。池化操作一般是对图像逐行取池化卷积核大小的像素值，取最值或者平均值进行运算保留特征像素值[8]。该操作可以在保留图像原有特征的前提下大幅度减少计算量，池化操作原理如图6所示。

图6 池化原理

最后对池化后的数据集进行归一化，当某通道与附近通道像素绝对值都比较大时可以利用局部响应归一化将数值变小，使得更加方便准确。局部响应归一化计算方式如式（2）所示：

2 实验验证

首先对图像源进行采集，包括有/无铆钉的图像。本文一共采集了1 000张不同位置的铆钉图像，分别包括500张有铆钉的图像以及500张遗漏拉铆的图像作为数据集。通过图像处理对16个铆钉位置进行校验，对图像进行分割截取，定位铆钉位置如图7所示。保留只存在铆钉的区域进行训练，训练集如图8所示。

图7 铆钉图像源

图8 铆钉训练集

然后经过卷积－激活函数－池化－归一化－全连接等操作得到输出图像，各层处理输入与输出结果如表1所示。

表1 卷积神经网络结构

NeuralnetworkInputActivationShapeStepPadding Image227*227 Conv 1227*22711*11*9640 Pool 155*55*963*320 Conv 227*27*48*25*5*48*128*222 Pool 227*27*128*23*320 Conv 313*13*128*23*3*256*192*211 Conv 413*13*192*23*3*192*192*211 Conv 513*13*192*23*3*192*128*211 Pool 313*13*128*23*320 Fc 16*6*128*26*6*256*4 096 Fc 24096

计算完成后输出4 096个数据，将这些数据与最后一层的两个神经元进行全连接，经过训练后输出两个浮点型数值，这些数值就是模型预测结果，分别代表识别判断是否存在遗漏铆钉，判断结果如图9所示。

图9 算法判断结果

该深度学习算法可以显著提高对有无铆钉按断的检测成功率，该算法在基于Thensorflow框架下训练前后准确率对比如图10所示。

图10 训练准确率

由图10可知，对比算法前后对于铆钉的识别率由51.13%提高到99.87%，得到了显著的提升。

3 结语

本文针对实际生产过程中车顶拉铆是否存在铆钉遗漏的问题，引入了深度学习卷积神经网络帮助自动识别铆钉，自主开发了一套视觉识别系统。自制了基于1 000张图像的训练集，该平台方法存在以下优势：1）与人工检查相比，测速快、单次检测耗时控制在10 s内；同时机器视觉检测工作稳定、出错率低，后期可加入拍照存档功能。2）检查准确率高达99.87%，基本避免了因人为失误导致的漏检、错检。3）未来尝试将该识别技术用于其他生产过程质量检测中，如胶水检测、螺柱检测等。

[1] SUTTON R,BARTO A.Reinforcement Learning:An Introduction[M].Cambridge:MIT Press,1998.

[2] 周志华.机器学习[M].北京:清华大学出版社,2016.

[3] 张慧,王坤峰,王飞跃.深度学习在目标视觉检测中的应用进展与展望[J].自动化学报,2017,43(8):1289- 1305.

[4] 郭宪,方纯勇.深入浅出强化学习:原理入门[M].北京:电子工业出版社,2018.

[5] 邱锡鹏.神经网络与深度学习[M].北京:机械工业出版社,2020.

[6] DAI W,LI D,TANG D,et al.Deep Learning Assisted Vision Inspection of Resistance Spot Welds[J].Journal of Manufacturing Processes,2021,62(8):262-274.

[7] 冯超.强化学习精要:核心算法与TensorFlow实现[M].北京:电子工业出版社,2018.

[8] ANDREWS D,PATRICIA P D,FITZGERALD C.Acc- elerating Learning of Competence and Increasing Long-term Learning Retention[J].The arXiv,2022,27 (8):698-701.

The Visual Inspection System for Quantity of Passat Roof Rivet

SHAO Qidong, YOU Yong, ZHOU Wan

( SAIC Volkswagen Nanjing Branch Company, Nanjing 211100, China )

In the current riveting production process of Passat roof, manual visual inspection is used to check whether there is rivet omission, which is inefficient, and there are problems such as wrong inspection and missing inspection.In this paper, the deep learning convolution neural network is introduced into the roof riveting detection, and a convolution neural network algorithm based on ReLU activation function is proposed. Experiments show that the algorithm has high accuracy and strong robustness, which provides a new idea for the application of deep learning to vehicle body visual detection,The success rate of experimental detection reaches 99.87%, meet the quality assurance requirements in the production process, which has guiding significance for the engineering application and promotion.

Automobile manufacturing; Visual recognition; Deep learning; Neural network

U463

A

1671-7988(2023)18-140-04

邵奇栋（1984－），男，硕士，工程师，研究方向为汽车制造，E-mail:shao9@126.com。

10.16638/j.cnki.1671-7988.2023.018.027