基于迁移学习的小样本连接器缺陷检测方法

杜娟　杨钧植

特约论文

基于迁移学习的小样本连接器缺陷检测方法

杜娟1,2杨钧植1

（1.华南理工大学自动化科学与工程学院，广东 广州 510641 2.广东省高端芯片智能封装装备工程实验室，广东 广州 510641）

随着机器视觉算法的发展与完善，各类深度学习方法逐步取代人眼检测与基于特征选择的传统计算机视觉方法，应用于工业生产的各个环节，对各类表面缺陷进行检测。深度学习方法随着网络层次深入，能由浅至深提取图像特征，但由于其基于数据驱动，需要巨量数据作为支撑，这与工业生产中缺陷异常样本数据量小，且分布不均相互矛盾。针对以上问题，基于仅包含325幅图像样本的小样本连接器数据集，在目标检测网络YOLOv5的基础上，提出一种基于权重迁移与模型调整的方法，采用冻结与解冻训练相结合的方式训练目标网络。实验表明，对于该小样本数据集，相较于直接运用目标检测网络，该方法具有更高的检测精度与更快的收敛速度，更能满足工业生产需求。

缺陷检测；深度学习；小样本学习；迁移学习；电子连接器

0　引言

电子连接器（下称连接器）通常被用作两个半导体器件或电子元件之间电流或讯号交互的载体，提供可分离的界面用以连接两个次电子系统，作为两个元件之间电流信号流动的桥梁。

受生产工艺影响，连接器外壳可能出现脏污、划痕、压伤和极耳缺失等表面缺陷。连接器外壳在后续生产与使用过程中具有保护内部引脚的作用，若使用外壳有缺陷的连接器，可能造成事故与经济损失。连接器外壳的表面缺陷尺寸较小（约为0.9～8.5 mm），且工业生产中对其检测精度要求较高，采用人眼检测或基于特征选择的传统计算机视觉方法无法满足工业生产要求，而深度学习方法中具有小目标检测能力的目标检测网络能解决以上问题。

近些年逐步兴起的深度学习方法在诸多领域都取得了傲人的成就，如目标检测、语义分割、图像分类等。深度学习方法随着网络层次的深入，能够自动由浅入深地提取图像的各层特征，但其需要海量优质的带标签数据作为驱动，而在工业生产领域，缺陷（异常）数据十分匮乏，致使深度学习模型难以应用。

目前，针对数据匮乏的情况，很多学者关注小样本学习研究。小样本学习主要从数据、模型和算法3方面，研究减少深度学习模型对原生数据的依赖[1]，可分为基于数据增强、基于模型微调和基于迁移学习3类[2]。根据采用方法的不同，小样本学习方法可概括为基于度量的方法、基于优化的方法、基于图神经网络的方法等[3]。目前已有很多典型的小样本学习模型[4-5]，如原型网络和匹配网络等。

本文通过分析待检测的小样本连接器数据集（下称目标数据集）中缺陷的形状与纹理特征，寻找与其匹配特征相似且数据量充足的公开表面缺陷数据集（下称源数据集）NEU-DET。运用权值迁移与模型调整相结合的方法，通过横向实验，分析比较得出最合适的权值迁移层数与模型训练方法。该方法相较于原有的目标检测网络，提高了网络检测精度，提升了模型收敛速度。

1　目标检测网络YOLOv5

1.1 算法分析

YOLOv5是一种典型的单阶段目标检测算法，通过网络直接回归计算图像中物体的类别、置信度与位置坐标。相较于两阶段目标检测网络，单阶段网络不计算图像中物体的候选区域框，检测准确率偏低，但检测速度较高。在对在线检测速率要求较高的工业生产领域，单阶段网络的优势更加突出。目前，常用的单阶段目标检测网络有YOLO、SSD、G-CNN等；常用的两阶段目标检测网络有Faster R-CNN等。

1.2 网络结构

YOLOv5网络主要由输入端（Input）、主干网络（Backbone）、颈部（Neck）和输出端（Output）4部分组成，网络结构如图1所示。

1）输入端：YOLOv5输入端主要包括Mosaic数据增强、自适应锚框计算和自适应图像缩放3部分。其中，Mosaic数据增强采用随机缩放、随机裁剪、随机排布的方式对图像进行拼接，提升网络对小目标的检测效果；自适应锚框计算根据输入数据集的不同，自适应计算当前数据集的最佳初始锚框尺寸；自适应图片缩放先将数据集中不同尺寸的图像样本统一缩放为一个标准尺寸，再输入到网络。

2）主干网络：设计了Focus结构与CSP模块。其中，Focus结构对大尺寸图像进行切片，变为多维小尺寸特征图，减少参数量；CSP模块将原始输入切分为两个分支，一个分支先经过多个残差单元（BottleNeck）后，再进行一次卷积，而另一个分支直接进行卷积，最后将两个分支的输出进行拼接（Concat），使模型学习到更多特征。

3）颈部：采用FPN与路径聚合网络（PAN）相结合的网络结构，提升网络特征融合能力。

根据网络深度与结构复杂程度的不同，YOLOv5共有YOLOv5s、YOLOv5m、YOLOv5l和YOLOv5x 4种模型，这4种模型的网络深度与模型复杂度依次递增，而网络检测速度依次递减。根据本文研究目的，为兼顾检测精度和检测速度，选用YOLOv5l模型作为目标检测网络模型。

图1 YOLOv5网络结构图

1.3 损失函数

YOLOv5共有3种损失函数，分别为：

式中：

式中：

分类损失与位置坐标损失使用交叉熵损失函数计算，计算公式为

式中：

——样本；

——样本对应的标签；

——预测值（分类预测或位置坐标预测）；

——样本总量。

2　基于YOLOv5的迁移学习

2.1 模型迁移原理

2.2 模型权重迁移方法

运用模型迁移的思想将求目标域模型的任务简化为求目标域的分类函数，而特征提取函数继承源域。

已知目标域数据集为一小样本数据集，若该数据集直接运用深度学习模型，网络检测精度低，且由于数据量过少，loss曲线震荡，收敛很慢。若存在一个数据分布均匀且数据量充足的数据集，该数据集的缺陷特征与分类任务同目标数据集都很相似，则目标数据集和该数据集可以共享特征提取函数，该数据集称为源数据集。换而言之，可通过源数据集获取一个经过大量样本训练的网络模型，将该模型的特征提取部分权重迁移至目标数据集，再根据目标数据集特点对模型进行调整。该方法可使目标数据集的分类模型在开始训练前获得大量有意义的先验信息[7]，从而提高目标数据集小样本训练的效果。模型权重迁移示意如图2所示。

图2 模型权重迁移示意图

3　数据集分析

3.1 目标数据集构建

待检测的连接器样本为小尺寸工件，其尺寸约为3.5 cm×0.5 cm，缺陷尺寸约为0.9 mm×8.5 mm。为了能清晰呈现缺陷纹理，利用MV-CE200-10GM高清工业相机采集图像，相机主要参数如表1所示。

表1 工业相机主要参数

为便于后续检测，提高算法处理效率，采用感兴趣区域（region of interest, ROI）提取方法对原始大尺寸图像进行裁剪与统一，得到尺寸为2 450×230像素连接器图像样本。为减少原始图像噪点对后续特征提取的影响，利用高斯滤波等预处理技术对原始图像进行处理。

经过图像采集与预处理后，共获得325幅样本。本文选取连接器最典型的3类缺陷：脏污、划痕、压伤作为研究对象，按6∶2∶2的比例构建训练集、验证集、测试集。缺陷标注对网络训练效果非常重要，本文连接器样本缺陷标注在工厂专业技术人员的指导下完成，缺陷位置框定、缺陷类型区分均以工业生产实际与需求为依据。使用在线标注工具Roboflow完成缺陷打标，并按比例随机分出训练集、验证集与测试集。数据集中缺陷类别与数量如表2所示，目标数据集中3类缺陷标注如图3所示。

表2 目标数据集中各类样本数据 单位：幅

图3 目标数据集（连接器）样本缺陷标注图

由表2可知，目标数据集中缺陷样本数量较少，且分布不均，其中划痕与压伤类缺陷总数不超过200个，且不及脏污类缺陷总数的一半。

3.2 源数据集

本研究选取东北大学表面缺陷数据库中的NEU-DET数据集为源数据集。该数据集为热扎带钢表面缺陷数据集，包含裂纹、斑块、夹杂、麻点、压入氧化皮和划痕等6类缺陷，每类缺陷含300幅样本，共计1 800幅样本。NEU-DET数据集中6类缺陷标注如图4所示。

图4 NEU-DET数据集（热扎带钢）样本缺陷标注图

由源域向目标域进行模型迁移，需保证源域与目标域的特征空间和分类任务相同或相似。因此，实验前需对NEU-DET数据集进行剪枝调整，使其满足模型迁移的条件。

经过特征分析与比对后，本文选择NEU-DET数据集中的斑块、夹杂和划痕3类缺陷，每类缺陷300幅样本，共计900幅样本作为源数据集。

4　实验验证与分析

4.1 实验平台

4.2 源数据集模型训练

对目标数据集进行模型迁移，需由充足的数据量训练一个完备的源数据集模型。

参数与超参数初始化如下：优化器采用Adam；初始学习率为0.000 1；OneCycleLR学习率为0.01；动量参数为0.937；权重衰减系数为0.000 5；输入图像尺寸为640×640像素；初始权重使用默认预训练权重yolov5l.pt，batch-size为16；训练轮次epochs为300轮。3类损失曲线如图5所示。

由图5可知，模型在迭代次数到达约200轮时，3类loss值均已收敛，模型权重趋于稳定，所得模型权重为source_transfer.pt。

图5 源数据集3类损失函数曲线图

由于源数据集模型仅为目标数据集作模型迁移使用，所以本实验不关心其检测精度等指标。

4.3 目标数据集模型训练

对于目标数据集，本文进行模型迁移有效性验证和模型最优迁移层数确认2个实验。

4.3.1 模型迁移有效性验证实验

在目标数据集上分别训练非迁移模型和迁移模型，并对比2个模型的性能。训练非迁移模型时，网络初始权重使用默认预训练权重yolov5l.pt；训练迁移模型时，使用迁移模型权重source_transfer.pt。

迁移模型的训练有冻结和解冻2种训练策略。其中，冻结训练是指训练时冻结模型主干网络，即特征提取网络不发生变化，仅对模型结构进行微调；解冻训练是指训练时网络所有参数均会发生变化。

该实验参数与超参数同章节4.2实验相同，不同处为：输入图像尺寸为1 024×1 024像素，batch-size为8。进行冻结训练、解冻训练以及冻结与解冻组合训练，测试如何设置冻结轮次能使模型具有最佳性能。

首先，进行冻结训练，从0开始逐步增加冻结训练轮次，每次epochs增加10轮，每个实验重复3次取平均值，以避免偶然因素，减小误差。

然后，进行解冻训练，总训练轮次固定为300轮，保证模型收敛。

冻结轮次对迁移模型性能的影响如图6所示。图中冻结轮次为0表示只进行了解冻训练。

图6 冻结轮次对迁移模型性能的影响

由图6可知，冻结轮次为50轮时，模型性能最优。

使用默认权重yolov5l.pt训练300轮得到非迁移模型，迁移模型与非迁移模型性能对比如表3所示。

表3 迁移模型与非迁移模型性能对比

由表3可知：从检测精度来看，单纯的冻结或解冻训练相比于非迁移训练并无明显优势，但二者的组合训练显著地提高了检测精度，其中冻结训练50轮后再解冻训练250轮，检测精度提升最多，约为5.5%；从收敛轮次来看，迁移模型的收敛速度均快于非迁移模型。

实验证明，相较于非迁移模型，迁移模型的检测精度更高，模型收敛速度更快。

4.3.2 模型最优迁移层数确认实验

图7 权重迁移层数对模型性能的影响

由图7可知，迁移整个主干网络时（10层），迁移模型的检测精度最高。

5　结论

1）本文基于电子连接器小样本数据集，应用一个经过大量样本训练的模型权重进行迁移学习，建立基于YOLOv5的连接器表面缺陷检测模型，该模型经过冻结与解冻的组合训练，对脏污、压伤和划痕3类缺陷的平均检测精度可达77.3%，相较于同数据集下训练的无迁移的YOLOv5模型，检测精度提升约为5.5%，网络收敛速度提升约为25%。

2）实验证明，应用权重迁移与模型调整的方法后，模型训练的初始化起点离全局最优解较近，模型检测精度有所提高，模型收敛速度显著加快，模型训练与部署所需的时间显著减少。

3）实验证明，本文提出的模型在一定程度上解决了深度学习方法应用于小样本数据集时，检测精度低，收敛速度慢的问题，验证了该模型应用于工业外观缺陷检测的可行性。

[1] WANG Y, YAO Q, KWOK J T, et al. Generalizing from a few examples: a survey on few-shot learning[J]. ACM Computing Surveys (csur), 2020,53(3):1-34.

[2] 赵凯琳,靳小龙,王元卓.小样本学习研究综述[J].软件学报,2021,32(2):349-369.

[3] 潘崇煜,黄健,郝建国,等.融合零样本学习和小样本学习的弱监督学习方法综述[J].系统工程与电子技术,2020,42(10): 2246-2256.

[4] SNELL J, SWERSKY K, ZEMEL R. Prototypical networks for few-shot learning[J]. Advances in neural information processing systems, 2017,30:4077-4087.

[5] VINYALS O, BLUNDELL C, LILLICRAP T, et al. Matching networks for one shot learning[J]. Advances in neural information processing systems, 2016, 29: 3630−3638.

[6] 胡诗尧.注塑件外观缺陷小样本视觉检测方法与实现[D].武汉:华中科技大学,2019.

[7] 胡安林.基于生成对抗网络与迁移学习的小样本舰船目标检测[D].重庆:重庆大学,2020.

[8] 陈建强,刘明宇,符秦沈,等.基于深度学习的热轧钢带表面缺陷检测方法[J].自动化与信息工程,2019,40(4):11-16,19.

Small-sample Connector Defect Detection Method Based on Transfer Learning

DU Juan1,2YANG Junzhi1

(1. School of Automation Science and Control Engineering, South China University of Technology, Guangzhou 510641, China 2. Guangdong Provincial Engineering Laboratory for Advanced Chip Intelligent Packaging Equipment, Guangzhou 510641, China)

With the development and improvement of machine vision algorithms in recent years, various deep learning methods have begun to gradually replace human-eye detection and traditional computer vision methods based on feature selection, and are applied in many aspects of industrial production to detect all kinds of surface defects that may occur in production. The deep learning method can extract image features from shallow to deep with the deepening of the network layer. However, because it is data-driven, it needs a huge amount of data as support, which is contradictory to the small amount of abnormal sample data and uneven distribution in industrial production. For the above problems, in this paper, using the small-sample connector dataset containing only 325 image samples, based on the object detection network YOLOv5, the method based on weight transfer and model adjustment is proposed, and the network is trained by a combination of freezing and thawing training. Experiments show that for this small-sample data set, compared with the direct use of the object detection network, this method has higher detection accuracy and faster convergence speed, which can satisfy the needs of industrial production better.

defect detection; deep learning; small-sample learning; transfer learning; electronic connector

TP311.1

A

1674-2605(2022)05-0001-07

10.3969/j.issn.1674-2605.2022.05.001

杜娟,杨钧植.基于迁移学习的小样本连接器缺陷检测方法[J].自动化与信息工程,2022,43(5):1-7.

DU Juan, YANG Junzhi. Small-sample connector defect detection method based on transfer learning[J]. Automation & Information Engineering, 2022,43(5):1-7.

杜娟，女，1975年生，工学博士，副教授，主要研究方向：机器视觉、图像处理、智能控制。E-mail: dujuan@scut.edu.cn

杨钧植，男，1998年生，工学硕士，主要研究方向：机器视觉、图像处理、视觉检测、小样本学习。E-mail: 1035835462@qq.com