基于多尺度特征融合的铝材表面缺陷检测方法

张志锋 吴玉婷 罗铭强 聂德键

摘要：针对铝材表面缺陷检测方法中，特征提取方法未充分利用不同层次特征的问题，文章提出了一种融合多尺度特征的铝材表面缺陷检测方法，将低层次特征中包含的位置信息传递到高层次特征中，丰富高层次特征的语义表达能力。实验结果表明，mAP平均每类准确率达到了90.22%，优于其他对比的方法。在所有的缺陷类型分类准确率上，该方法的表现也优于其他方法。

关键词：缺陷检测；多尺度特征融合；特征提取

中图分类号：TP391.4中图分类号  文献标志码：A文献标志码

0 引言

铝材表面缺陷检测是指对铝材的外观进行评估和检查，以识别和分析可能存在的缺陷。这些缺陷包括凹痕、划痕、氧化、裂纹等。常见的传统铝材表面缺陷检测方法如下。

（1）仪器检测：利用一些专用仪器和设备进行检测，如光学显微镜、高分辨率摄像机、扫描电子显微镜等。

（2）颜色检测：利用颜色对比的方法来检测铝材表面的缺陷。涂覆或涂漆铝材表面，然后观察颜色变化或染料的吸附情况，以识别缺陷。

（3）磁粉检测：将铝材表面涂覆上磁粉，然后应用磁场。磁粉会在缺陷处出现磁力线集聚，从而可以检测出缺陷。

1 现有算法

近年来，基于深度神经网络的缺陷检测方法［1-4］显著提升了缺陷检测的准确率和鲁棒性。Neuhauser等［5］采用Faster R-CNN实现铝材表面缺陷的检测，在813张图像的数据集上训练时，实现了0.98的分类准确率和0.47的平均精度。Wei等［6］ 结合Faster R-CNN和YOLOv3，提出了一种混合式网络的缺陷检测方法，提高了YOLOv3对铝材表面小缺陷的检测能力，在广东工业智能制造大数据创新大赛提供的“铝材缺陷识别”数据集上进行了实验，其改进算法的平均精度（mAP）比YOLOv3高出3.4％，比Faster R-CNN高出1.8%。沈晓海等［7］提出了一种多任务深度学习的铝材缺陷检测方法，通过设计多任务损失层的自适应权重，解决了多任务训练中的收敛不均衡问题，提升了铝材检测的准确性，同时减少了推理时间。

现有算法在铝材缺陷检测上依旧存在一个问题：即只关注低层次特征的提取，缺少对中层语义特征的提取与融合。综上所述，本文提出了一种基于多尺度融合的铝材缺陷检测方法，通过多尺度融合模块将底层边缘特征和中层语义特征进行融合，将底层边缘特征的边缘信息传递到中层语义特征中，提升了特征的表达能力。

2 基于多尺度融合的铝材缺陷检测方法

如图1所示，基于多尺度融合的铝材缺陷检测方法分为3个模块，分别是特征提取模块、多尺度融合模块和分类模块。

（1）特征提取模块由若干个堆叠的卷积层和池化层组成的VGG网络构成。在特征提取部分中，卷积层的卷积核大小为7×7，输出通道为64个，步长为2，紧接着卷积层结构的是一个3×3的最大池化层，步长也为2。输入图像将图像宽度和高度减少1/4，并将其通道大小增加到了64个通道，残差块连接而成的模块是残差网络的主要结构，负责提取图像中的深层特征。卷积层输出通道数分别是64、128、256和

图1 网络结构

512个。

（2）多尺度融合模块如图2所示，阶段1、阶段2、阶段3、阶段4分别表示由残差块连接而成的模块，用于提取4个不同尺度的特征{S1，S2，S3，S4}作为特征融合模块的输入，再通过多尺度信息融合模块对特征提取模块的各层次输出进行双向特征增强，自上而下的模块输出结果为{P1，P2，P3，P4}，自下而上的模块分别输出{N1，N2，N3，N4}。假设输入图像的尺寸为W×H×3的彩色图像，则{S1，S2，S3，S4}各层次特征的尺寸分别为（W/2）×（H/2）×64、（W/4）×（H/4）×128、（W/8）×（H/8）×256、（W/16）×（H/16）×512。

图2 上下文信息融合

（3）分类模块由一个多层感知机（MLP）、一个维度变化操作和卷积操作组成。具体来讲，分类损失采用二分类交叉熵损失，其公式如式（1）所示：

Lcls=-［p*ilog（pi）+（1-p*i）log（1-pi）］（1）

其中，pi為第i个区域预测为真实标签的概率；p*i为当标签为正样本时取为1，负样本时取为0。

位置损失用IoU损失计算，公式为：

LIoU=1-IoU（bboxgt，bboxpred）（2）

其中，bboxgt为缺陷的真实坐标位置；bboxpred为预测缺陷的坐标位置。则总的损失函数表示为：

L=Lcls+LIoU（3）

3 实验与分析

实验环境为Ubuntu操作系统，使用的CPU为Intel i7-8700，主频为3.2 GHz，GPU为Nvidia GeForce GTX 1080Ti，显存容量为11 GB。

3.1 数据集

实验数据集来自广东坚美铝业有限公司生产线采集的缺陷图片，其缺陷类型包括不导电、擦花、角位漏底、桔皮、漏底、喷流、漆泡、起坑、杂色、脏点10种，样本从100张到800张不等。图像大小统一缩小为800×400，再对部分数据集数据进行数据增强，消除样本不均衡的影响，加快梯度下降求最优解的速度。训练集、测试集和验证集的比例为8∶1∶1。

3.2 评价指标

将数据集中的IoU阈值设置为0.5，把IoU大于0.5的预测结果认为是真阳例（TP），用类似的方法计算出假阳例（FP）、真阴例（TN）和假阴例（FN）。接着，精确率（Precision）可以被计算为真阳例与真阳例以及假阳例之和的比值，表示所有被预测为“阳”的样本中实际为“阳”的样本的比例；召回率（Recall）表示实际为“阳”的样本中被预测为“阳”的概率。并计算出预测平均每类准确率mAP，计算mAP时，对同一个ground-truth框，重复预测n次，取置信度最高的预测：

mAP=1N∑Ni=1判定為i类且正确的图片个数判定为i类的图片个数（4）

3.3 实验结果分析

表1展示了本文方法与Fast RCNN和YOLOv3在测试数据集上的实验结果相比，通过融合上下文多尺度信息，本文方法的性能指标都有较为明显的提升。此外，本文方法的mAP平均每类准确率达到了90.22%，优于其他对比方法。在所有的缺陷类型分类准确率上，本文方法的表现也优于其他方法。

此外，在部分存在极端长宽比的缺陷种类中，如漆泡、起坑、漏底、不导电等，本文方法的检测精度相比于第二名平均提高了9.45%，可以看出本文方法对于极端长宽比的情况相比于其他方法更具有优势。本文方法的精确率-召回率曲线如图3所示，从图3中可以看出，对于各种类型的缺陷，本文方法都可以在取得超过90%的精确率的同时，获得不低于85%的召回率。这也说明了本文方法的鲁棒性。

4 结语

针对现有铝材表面缺陷检测方法只关注低层次特征的提取，缺少对中层语义特征的提取与融合的问题，本文提出了一种融合多尺度信息的铝材表面缺陷检测方法。该方法通过多尺度融合模块将底层边缘特征和中层语义特征进行融合，将底层边缘特征的边缘信息传递到中层语义特征中，实验结果表明本文方法的平均每类准确率优于Fast RCNN和YOLOv3。

参考文献

［1］程康.基于深度学习的工业品不规则缺陷检测研究［D］.杭州：浙江工业大学，2019.

［2］宁柏锋，董召杰.基于机器学习的输电线路设备细微缺陷智能检测方法［J］.自动化与仪器仪表，2020（5）：161-165.

［3］林文伟.基于深度学习的机箱表面细微划痕检测方法研究［D］.天津：天津工业大学，2019.

［4］潘云龙，王森，张印辉，等.结合特征复用注意力与精细化分层残差的细微裂纹密集连续检测［J］.仪器仪表学报，2021（2）：285-296.

［5］NEUHAUSER F M，BACHMANN G，HORA P.Surface defect classification and detection on extruded aluminum profiles using convolutional neural networks［J］.International Journal of Material Forming，2020（13）：591-603.

［6］WEI R，BI Y.Research on recognition technology of aluminum profile surface defects based on deep learning［J］.Materials，2019（10）：1681.

［7］沈晓海，栗泽昊，李敏，等.基于多任务深度学习的铝材表面缺陷检测［J］.激光与光电子学进展，2020（10）：283-292.

（编辑 王雪芬编辑）

Aluminum profile surface defect detection method based on multi-scale feature fusion

Zhang  Zhifeng1， Wu  Yuting2*， Luo  Mingqiang3， Nie  Dejian3

（1.Guangdong Zhonghong Design Engineering Co.， Ltd.， Foshan 528300， China;

2.Guangdong Vocational College of Post and Telecom， Guangzhou 510630， China;

3.Guangdong Xingfa Aluminum Industry Co.， Ltd.， Foshan 528000， China）

Abstract： To address the issue of insufficient utilization of different hierarchical features in the surface defect detection method for aluminum materials， a multi-scale information fusion-based surface defect detection method for aluminum materials is proposed. This method transfers the positional information contained in low-level features to high-level features， thereby enriching the semantic expression capability of high-level features. Experimental results show that the mean average precision （mAP） of this method reaches 90.22%， which is higher than other comparative methods. The performance of this method in terms of accuracy in classifying all types of defects also outperforms other methods.

Key words： defect detection; multi-scale feature fusion; feature extraction