基于深度学习的热轧钢带表面缺陷检测方法*

陈建强刘明宇符秦沈姚卓荣

基于深度学习的热轧钢带表面缺陷检测方法*

陈建强1刘明宇2符秦沈2姚卓荣1

（1.广州沧恒自动控制科技有限公司 2.广东工业大学机电工程学院）

针对人工检测热轧钢带表面缺陷错漏率高的现状，提出基于深度学习的热轧钢带表面缺陷检测方法。根据检测精度和速度的要求，采用深度学习SSD网络作为改进算法框架，并利用交叉特征融合的方法增强低层特征图的语义信息，从而提高热轧钢带表面缺陷的识别率。实验表明：改进后的CroSSD网络对热轧钢带表面小尺寸缺陷检测的mAP值达到73.7，速度达到40 帧/s，相比SSD网络有更好的效果，且满足实时检测的需求。

深度学习；CNN；缺陷检测；特征融合；SSD

0　引言

热轧钢带作为制造业的重要原材料，其质量直接影响产品的质量和性能[1]。但热轧钢带生产工艺复杂，且对生产环境要求较高，易因机械、人为或环境的影响而产生缺陷[2-3]。目前，热轧钢带表面缺陷的检测方法有无损检测和基于机器视觉的检测等[4]。但无损检测可检测的缺陷类型有限；基于图像处理的识别方法适应性较差，难以满足不同条件表面缺陷图像识别的要求[5-6]。因此，设计检测精度高、速度快的热轧钢带表面缺陷检测方法尤为重要[7]。

目前，基于深度学习的目标检测取得较大进展[8]，主要包括2类：1）先提取先验框，再对先验框进行分类，该类检测算法主要有R-CNN，Fast R-CNN，和Faster R-CNN等[9-11]；2）采用回归的思想，将定位和分类同时进行，该类检测算法主要有YOLO和SSD等[12-13]。YOLO算法检测速度较之前的网络有大幅提升，但对小物体识别正确率较低[14]。SSD网络在快速的基础上，优化了小目标检测，正确率得到提高。本文将SSD深度学习网络应用到热轧钢带表面缺陷检测。

1　SSD算法原理

1.1　算法分析

SSD网络是一个基于前向传播的卷积神经网络，通过卷积运算产生不同尺寸的特征图[15]。借鉴Faster R-CNN的锚点思想产生一系列先验框；然后在多个特征图上同时进行分类和位置回归；最后进行非极大值抑制得到最终预测。

1.2　基于交叉特征融合的SSD结构

基于深度学习的热轧钢带表面缺陷检测使用的数据集是某大学表面缺陷数据库中的NEU-DET数据。该数据提供6种热轧钢带表面缺陷，并对每个缺陷的目标缺陷进行标注。本文将部分图片XML文件的标注信息可视化，如图1所示。

热轧钢带表面缺陷大小各异，且类之间差距较小，同类差距较大。本文对这些缺陷标注的目标框进行面积统计，确定缺陷大小，方便训练合适的网络。缺陷面积大小分布如表1所示。

表1　缺陷面积大小分布

由表1可知：热轧钢带表面缺陷像素面积占比大部分集中在5%以下，且小面积缺陷较多，这就要求网络对中等面积和小面积的目标有良好的识别能力。SSD采用多尺度特征图预测物体，利用低分辨率、高语义信息的高层特征预测大物体；利用高分辨率、低语义信息的低层特征预测小物体。随着SSD模型深度增加，提取到的高层特征更加抽象但语义丰富，而深层网络中的低层特征具有较高的分辨率但缺乏针对性的语义信息；高层特征具有丰富的语义信息，但因经过较多卷积和池化，分辨率较低。检测小物体，既需高分辨率的特征图，也需较强的语义信息，因此SSD对小物体检测效果较差。

DSSD网络将高层的特征依次反卷积提取语义信息，然后与前面特征进行融合，来提高小目标的识别率，但耗时较长[16]。为提高小面积的热轧钢带表面缺陷检测效率，需对SSD网络进行改进。本文提出交叉特征融合的网络结构CroSSD，如图2所示。采用低层特征和高层特征融合的方式加强对小目标的检测。

(a) 龟裂(b) 夹杂(c) 斑块(d) 麻点(e) 氧化铁皮压入 (f) 划痕

图1热轧钢带表面样本缺陷标注图

图2　改进的SDD网络CroSSD

Zouxin Li指出尺寸小于10个像素的特征图，可融合的特征太少[17]。本文在特征融合方面放弃采用conv9_2, conv10_2和conv11_2这样具有高语义信息，但可融合特征较少的特征图，而从conv8_2开始提取语义信息。网络结构主要将conv4_3与conv7(fc7)，conv7(fc7)和conv8_2进行特征融合；然后分别在新融合的层进行分类和边框回归，以取代直接在conv4_3和conv7上预测，实现时间和精度的提高。

2　特征融合

本文采用基于深度学习的特征融合方式。其基本思想是对高层低分辨率的特征图进行上采样，再与低层的特征图进行融合。

本文特征融合参照DSSD网络中改进的TDM结构，如图3所示。

图3　特征融合过程

3　模型训练

模型训练流程如图4所示。

图4　模型训练流程图

首先将热轧钢带表面缺陷图片输入网络模型；其次对输入数据进行增强，设置先验框，采用难分样本挖掘技术，使正负样本保持在一个合适的比例；再分别计算每一层先验框的类别损失和位置损失，并对参数进行校正；最后对边框进行极大值抑制；重复上述过程，直至训练结束。

3.1　先验框设置与匹配

先验框设置主要包括尺度和长宽比2方面。尺度遵循线性递增的规则，先验框大小变化如式(1)所示。

训练采用的匹配原则：对图片中的每个目标框选择一个与其交并比（IoU）最大的先验框进行匹配，那么这个先验框就被认为是正样本的先验框。IoU值即为交集部分，示意图如图5所示。通过设定IoU值，实现目标框和先验框的匹配。

图5 目标框和先验框交并比示意图

3.2　难分样本挖掘

缺陷只是热轧钢带表面图像的小部分，大部分背景被定义为负样本。为保证样本平均分布，本文采用难分样本挖掘技术，即采用抽样方式选取负样本。抽样原则按照置信度误差排序，设置误差大的前几位为负样本，使钢带表面缺陷图像正负样本比例在1：3左右。

3.3　损失函数

训练过程中，需要通过损失函数来校正网络参数。损失函数定义为位置误差与置信度误差的加权和。计算公式为

置信度误差采用softmaxloss，计算公式为

其中

通过式(3)和式(4)，可分别计算每个正样本的置信损失和定位损失。经过交叉验证，将设置为1，代入式(2)，可得到每个先验框的损失。

4　实验验证与分析

4.1　实验平台与超参数

实验采用的硬件设备包括：处理器IntelCorei7- 7700K @4.2 GHz；2个显卡GeForceGTX 1080Ti；内存32 G DDR4 2400 MHz；固态硬盘850EVOSATA3（120 G）。软件环境：Ubuntu系统；tensorflow框架；cuda库、OpenCV库及GCC编译器。

在模型训练前先进行参数初始化，优化器使用SGD。初始学习率为0.001；动量参数为0.9；权重衰减为0.0005；每次batch为32张更新一次。新增的卷积网络使用xavier方式初始化。设置迭代次数为80000次；正样本阈值为0.4；将热轧钢带表面缺陷数据集按4：1的比例分割成训练集和测试集。

将6类热轧钢带表面缺陷图片（每类300张，共计1800张）和对应的缺陷标注信息输入SSD网络；经图像增强后，样张数量达到12600张；按图4所示的流程图对网络进行训练。

4.2　实验结果对比

为验证网络模型是否正确收敛，绘制的模型训练集损失图如图6所示。

图6　测试-训练集损失函数曲线图

随着迭代次数（epoch）增加，损失函数值（loss）不断下降。在迭代次数达到第15k次时，loss值基本趋于稳定。

为验证CroSSD网络性能，在相同的实验环境，分别采用Faster R-CNN网络、YOLO网络、SSD网络和CroSSD网络以均值平均精度（mean average precision，mAP）为指标进行比较。CroSSD网络在热轧钢带表面缺陷数据集中的6种缺陷mAP值如表2所示。

表2 CroSSD网络在NEU-DET数据集的mAP值

由表2可知：CroSSD网络的mAP均较SSD网络有所提高；CroSSD网络的总mAP比SSD网络提高2.9%，比YOLO网络提高4.3%。

为说明网络的时间消耗能够达到工业应用要求，本文在相同硬件基础上，对Faster R-CNN网络、YOLO网络、SSD网络和CroSSD网络进行速度对比，如表3所示。

表3 4种网络性能比较

由表3可知，CroSSD网络的速度高于Faster R-CNN网络，远低于YOLO网络，与SSD网络速度相差不大。综上所述，本文设计的CroSSD网络在速度上与SSD差不多，在精度上高于SSD。相较另外2个网络，CroSSD可以更好地适应该数据集。

本文使用SSD和CroSSD分别检测单张图片（只显示IoU大于0.4的检测框），并对比检测结果。

CroSSD在NEU-DET数据集上的部分检测结果的可视化图片如图7所示。第一层为CroSSD网络检测效果；中间层为图像标注，最下层为SSD网络检测效果。由图7可知，CroSSD网络相比SSD网络，对热轧钢带表面缺陷检测有更好的效果。

CroSSD的检测效果 图像标注 SSD网络的检测效果 (a) 龟裂(b) 夹杂(c) 斑块(d) 麻点(e) 氧化铁皮压入(f) 划痕

5　结论

本文介绍SSD算法的深度学习网络结构，并对网络的算法原理进行分析。热轧钢带表面缺陷属于小面积缺陷，而传统SSD网络对小目标的识别效果达不到要求。为此，本文提出改进算法，即采用特征融合的方法提高SSD对中小目标的识别检测效果。通过模型训练，结果表明，CroSSD网络在热轧钢带表面缺陷检测精度上优于SSD网络，且满足实时检测要求。

[1] Peng Kaixiang, Zhang Xuli. Classification technology for automatic surface defects detection of steel strip based on improved BP algorithm[C]// International Conference on Natural Computation. IEEE, 2009: 110-114.

[2] 刘钟,吴杰,张华.热轧带钢表面质量检测系统的工程设计与实践[J].宝钢技术,2005(6):57-61.

[3] 吴平川,路同浚,王炎.钢板表面缺陷的无损检测技术与应用[J].无损检测,2000,22(7):312-315.

[4] 于霞,张卫民,邱勇,等.弱磁场激励下基于阵列磁传感器的缺陷检测方法[J].北京理工大学学报,2014,34(5):460-463,469.

[5] 马超.无损检测技术在钢管检测中的应用概述[J].建筑工程技术与设计,2015(26):230.

[6] 李炜,黄心汉,王敏,等.基于机器视觉的带钢表面缺陷检测系统[J].华中科技大学学报(自然科学版),2003,31(2):72-74.

[7] 董振虎.热轧带钢板形缺陷的识别[D].济南:济南大学,2012.

[8] 李美玲.浅谈深度学习在目标检测中的发展[J].科技风,2017 (24):237.

[9] Girshick R , Donahue J , Darrell T , et al. Rich feature hierarchies foraccurate object detection and semantic segmentation[C]// 2014 IEEE Conference on Computer Vision and Pattern Recognition. IEEE, 2014: 580-587.

[10] Girshick R. Fast R-CNN[C]// IEEE International Conference on Computer Vision, 2015:169.

[11] Ren S , He K , Girshick R , et al. Faster R-CNN: towards real-time object detection with region proposal networks[J]. IEEE Transactions on Pattern Analysis & Machine Intelligence, 2015, 39(6):1137-1149.

[12] Redmon J, Divvala S, Girshick R, et al. You only look once: Unified, real-time object detection[C]// IEEE Conference on Computer Vision and Pattern Recognition, 2016: 779-788.

[13] Liu W, Anguelov D, Erhan D, et al. SSD: single shot multibox detector[C]. European Conference on Computer Vision, Springer,2016.

[14] 雷维卓.基于YOLOv2的实时目标检测研究[D].重庆:重庆大学,2018.

[15] Simonyan K, Zisserman A. Very deep convolutional networks for large-scale image recognition[J]. arXiv preprint arXiv:1409.1556, 2014.

[16] Fu C, Liu W, Ranga A, et al. DSSD: Deconvolutional single shot detector[J]. arXiv preprint arXiv:1701.06659, 2017.

[17] Li Z, Zhou F. FSSD: feature fusion single shot multibox detector[J]. arXiv preprint arXiv:1712.00960, 2017.

Hot Rolled Steel Strip Surface Defect Detection Method Based on Deep Learning

Chen Jianqiang1Liu Mingyu2Fu Qinshen2Yao Zhuorong1

(1.Guangzhou Cangheng Automatic Control Technology Co., Ltd. 2. School of Electromechanical Engineering, Guangdong University of Technology)

Hot rolled steel strip is one of the important products of the steel industry. Aiming at the current situation of manual detection of low-precision rate of hot-rolled steel strip surface defects and high false detection rate, a method based on deep learning for surface defect detection of hot-rolled steel strip was proposed. The SSD network was chosen based on the accuracy and speed requirements. At the same time, in order to solve the problem of low recognition rate of small objects on SSD network, a method of cross-feature fusion is proposed to enhance the semantic information of low-level feature maps to increase the recognition rate of small targets. Experiments show that compared with the traditional SSD network, the improved network has been strengthened in small target recognition, although the speed has slowed down, but still meets the needs of real-time detection.

Deep Learning; CNN; Defect Detection; Feature Fusion; SSD

广州市科技计划珠江科技新星专题项目（201806010128)；广州市科技计划现代产业技术专题项目（201802010021）。

陈建强，男，1987年生，硕士研究生，主要研究方向：机器视觉、机器学习、智能测控。

刘明宇，男，1900年生，硕士研究生，主要研究方向：深度学习、嵌入式。

符秦沈（通信作者），男，1995年生，硕士（在读），主要研究方向：深度学习、机器视觉。E-mail: 969578434@qq.com

姚卓荣，男，1996年生，本科，主要研究方向：仪器仪表、机器视觉。