基于卷积神经网络的带钢表面缺陷图像检测算法*

杜孟新，毕 玉，杜鹏昊

（1.机械工业仪器仪表综合技术经济研究所，北京 100055；2.北京工商大学，北京 100048）

0 引言

我国正由制造大国向制造强国转变，人工智能在企业生产过程的应用不断改造和提升传统制造能力。钢铁企业生产现场的产品检测环节，多为人工视检方式，对于微小缺陷的分析判断与工人能力素质有直接关系，会发生一些人为失误引起的产品漏检或误判等问题。随着带钢生产过程产品表面缺陷自动检测需求不断提高，基于神经网络的人工智能视觉检测算法具有快速高精度地完成缺陷图像自动检测任务的能力，被越来越多地应用于带钢生产检测。其中，基于模糊理论的自适应图像分析方法、基于小波变换的边缘和纹理特征识别算法、基于专家经验和决策树的图像分类系统等在早期的带钢缺陷检测中应用较多，识别精度高，但耗时较多，且对新缺陷类型的学习能力不高；随着机器学习和神经网络算法发展，基于LVQ 神经网络的缺陷识别算法、自适应神经模糊推理系统、决策理论和神经网络的最优贝叶斯分类器、基于LQV、RBF 和支持向量机作为基分类器的多分类器集成方法、DenseNet 深度卷积神经网络、深度Gabor 卷积神经网络等人工智能算法在带钢表面缺陷图像分类中表现出良好的性能，对未知缺陷的学习和分类能力较高。卷积神经网络近年来发展迅速，识别速度更快、识别率更准确的神经网络结构不断涌现，本文根据带钢表面缺陷图像特点，对基于卷积神经网络经典模型进行研究，探索适用于带钢实际生产检测的算法模型。

1 带钢表面缺陷图像检测算法设计

带钢表面缺陷类型众多，且同一类型缺陷具有多样性，图像特征不明显，而卷积神经网络算法在解决此类问题上表现出良好的性能。本文选择效率和精度较高的特征学习图像分类算法进行测试对比，研究适合于带钢表面缺陷图像的检测模型。当前卷积神经网络算法根据其目标定位方式主要分为基于候选区、无候选区两类算法，本文分别采用基于候选区的two-stage 算法Faster-RCNN 模型、基于无候选区的one-stage 算法YOLOv4 模型、anchor-free 算法CenterNet 模型，研究3 种模型在带钢表面缺陷图像识别中的性能。

Faster-RCNN是基于候选区的神经网络模型，在RCNN、Fast-CNN 网络的基础上，采用RPN 取代selective search 候选区生成方式，提高候选特征图的生成效率，大幅提升图像检测的速度和准确率。YOLO是典型的无候选区one-stage 目标检测算法，由于其较快的推理速度和较高的检测精度，YOLO 系列的目标检测算法在工业界应用比较普遍，YOLOv4在YOLOv3的基础上在各阶段加入特殊函数进一步提高算法的速度和精度。CenterNet根据目标中心点来检测目标，通过设置中心点位置的回归属性得到检测目标的宽高信息，网络模型训练是单个前向传播网络，不存在局部最优问题，不需进行NMS 后处理，网络处理速度快。

表1 算法对比

1.1 Faster-RCNN

Faster-RCNN 网络主要分为4 层：卷积层、RPN层、ROI 层以及全连接层。卷积层采用经典的ResNet50 对原始图像直接卷积提取特征图像feature maps；RPN 层 在feature map 上 逐 像 素 按 照（［1∶2］，［1∶1］，［2∶1］）3 种比例生成9 k 个定位框anchors，并通过softmax 函数对定位框做二分类，判断其是前景或背景，同时使用bounding box 对定位框位置进行回归，将概率最高的前150 个前景和背景定位框作为proposal 输入到ROI 层；ROI 层将RPN 层proposal 在feature maps 上进行映射，并通过ROI 池化方式突出图像特征，生成proposal feature maps；全连接层采用softmax 函数判断proposal 的类型，以此确定检测目标所属类型，并再次采用bounding box regression 获得检测框的精确位置。

1.2 YOLOv4

YOLOv4 模型分为4 层：输入层、卷积层、Neck网络、输出层。输入层进行图像缩放及归一化等预处理操作，训练阶段使用Mosaic 数据增强方式随机拼接4 张训练图像合成一张图像，增加训练图像出现次数并降低训练集图像数量，提高模型的训练速度及精度；卷积层YOLOv4 采用CSPDarknet53 作为基准网络用来提取通用特征，利用Mish 代替ReLu作为激活函数提高检测准确度，并增加Dropblock进一步提升网络的泛化能力；Neck 网络引入SPP 模块融合不同尺寸的特征图，并利用FPN 特征金字塔提升网络的特征提取能力；输出层采用CIOU_Loss和DIOU_Loss 作为损失函数进行目标的分类及预测框位置的训练和迭代。

1.3 CenterNet

CenterNet 整体网络结构较为简单，分为输入层、基准网络层及预测模块3 层。输入层对图像进行调整，尺寸统一缩放到512×512 像素；基准网络层使用ResNet50 网络，提取图片特征feature maps，之后经过3 次反卷积对特征图像进行上采样；预测模块包含3 个分支，其中，heatmap 用来预测目标类别、offset 预测目标中心点、box 预测目标大小，将经过上采样的特征图像分别输入3 个分支，采用focal loss 作 为heatmap 损 失 函 数、L1Loss 作 为offset 和box 的损失函数，对模型进行反馈迭代。

图1 带钢表面典型缺陷图像

2 实验结果与分析

2.1 实验数据

本实验采用东北大学带钢检测数据库提供的1 800 张缺陷图像作为数据集，该数据集包含带钢表面6 种典型缺陷图像，分别为：裂纹（crazing）、夹杂（inclusion）、斑块（patches）、麻点（pitted-surface）、氧化铁皮压入（rolled-in-scale）和划痕（scratches），每种缺陷图像300 张，图像尺寸为200×200 像素。实验中将1 800 张图像随机划分为训练集和测试集，其中，训练集1 200 张图，包含各类缺陷图像每类200 张，测试集600 张图，包含各类缺陷图像每类100 张。

2.2 实验环境

实验采用的硬件环境为GTX 3070 型号的GPU显卡，软件环境为torch 1.2.0，Python 3.6。

2.3 结果分析

通过对3 种模型的训练和测试，综合实验结果如下：

表2 3 种模型对带钢表面缺陷的平均识别精度

3 种模型对于带钢表面6 种缺陷均表现出较高的识别精度，随着预测图像与实际图像交并比IOU（即预测图像与实际图像重叠率）的提高，图像识别的精度下降。当IOU 为0.3 即重叠率设置为0.3 时，Faster-RCNN 的识别精度最高，当IOU 为0.75 时，CenterNet 则表现出较好的识别精度。

对于带钢生产过程来说，产品表面一旦出现缺陷就需要对其进行处理，对缺陷类型的识别率要求较高，而对缺陷目标的定位精度要求并不高，可以将IOU 为0.5 时，3 种模型的识别精度作为模型选择的依据，此时YOLOv4 表现出最高的检测精度，因此，本文认为YOLOv4 更为适合在带钢生产表面检测中应用。

从带钢表面6 种典型缺陷的识别结果可以看出，斑块、划痕、麻点、夹杂4 类缺陷图像采用图像识别算法自动率均高于70%，在实际应用中将取得较好的识别效果，而氧化铁皮压入、裂纹类的缺陷，由于其目标与背景相似度较高且缺陷边缘不清晰，在机器识别过程中效果较差。

表3 6 种缺陷在不同模型下的平均识别精度

综上可见，YOLOv4、Faster-RCNN 算法对于斑块、划痕、麻点、夹杂等边缘清晰且对比度较高的缺陷目标识别精度高，在带钢产品检测环节具有较高的实际应用价值。

3 结论

本文从缺陷图像的识别精度上对3 种算法进行对比，从工业应用的需求出发，带钢生产检测环节需要较高的识别精度和较快的识别速度，因此，算法的检测速度同样是重要的考核指标。同时机器学习算法在不断发展，YOLO 系列算法也已经出现了YOLOv5、YOLOx 等更新的版本，其在带钢表面缺陷图像的检测也许会有更为优秀的表现。