基于深度学习的热轧带钢表面缺陷检测系统的研究与设计

王源

（西京学院，陕西西安，710123）

0 引言

作为钢材工业生产和出口大国，热轧带钢在宇航、土地建筑、车辆制造业等领域的需求日益增加，其具有良好的耐腐性、韧性和易于加工的特点，但是由于工业生产工艺技术要求或机械设备工艺技术等因素的限制，热轧带钢表面上容易出现点蚀、轧制氧化物、斑块、裂缝、夹杂块和划痕等问题[1]，这些缺陷在影响产品外观的同时使产品的刚度和强度有所降低，一定环境下产品更易形成锈蚀和开裂，进而形成安全隐患问题[2]。如何减少缺陷，提高钢材表面质量，是长期以来很多企业亟须破解的难点与热点。

热轧带钢表层问题可以分为点蚀、轧制氧化物、斑块、裂纹、夹杂块和划痕等各类，而传统的测试方法则包括人工测试、涡流测试、红外测试、漏磁测试和激光扫描等[3]。这些方法都可以一定程度地测试出热轧带钢表层的问题情况。人工监测通常是检查人员用眼睛观察缺陷情况，但缺陷的发生是不定时偶发性的，检查人员长期工作在振动嘈杂、强光高热、粉尘异味的环境中很难24 小时高效工作；涡流检测应用电磁感应原理，通过带钢缺陷位置产生交变电流的大小来判断缺陷情况，受表层缺陷分布情况限制和缺陷块面大小的影响，很难高速稳定检测；红外检测根据带钢表层不同位置的温度变化，判断缺陷的分布情况。虽然可以对缺陷进行检测，但是这种方法对缺陷范围较小或者有重叠时检测效果很差；漏磁检测法是钢坯被磁化后，若钢坯表层有缺陷，缺陷位置会形成漏磁场，然后检测磁场的变化来达到缺陷检测，缺陷区域较小或者缺陷复杂时，漏磁检测法不能有效进行检测；激光扫描检测法是把激光信源投射到带钢表面，通过收集带钢表面发射的光线形成计算机可以接收的信号，在经过一定算法的分析和处理进行检测，虽然可以识别诸类型的缺陷，但是对环境要求高，设备成本较高且算法的泛化性能差；机器视觉可以替代人眼进行检测，但在实际生产中仍不能保持实时高速的检测，且算法泛化和调整缺陷图库困难。

1 系统总体设计

■1.1 系统框架设计

系统总体设计图1 如所示。本系统主要由照射光源、图像摄像机、表面缺陷图像采集卡以及计算机数据处理系统等构成。根据热轧带钢表面缺陷检测的特点，首先设计构建图像采集装置。在带钢传输轨道上方架设多架绿色光源LED灯以提高成像质量，并具有减少闪烁和寿命较长的特性。采用绿色光源可以有效避免带钢自身红色光段和生产环境其他光源的干扰。光源对称设置在扫描相机周围均匀分布，大约呈45 度斜角。相机的两边设置有可控标记笔，标记笔的旁边有警报器装备，最后连接上显示器。

图1 表面缺陷检测系统总体设计

根据检测要求的精确度和带钢轨道实际的宽度距离接入一定数量的相机，并给相机配置防尘和除尘模块以协助提高成像质量和检测的稳定效果。把相机摄取的数字图像信息根据相应的SDK 接口传递到计算机图像数据处理系统，再对带钢表面进行检测分析。若检测结果中检测到有缺陷存在则控制标记笔在缺陷附近做出记号，并传递信息到警报器发出警报信号，把控制及检测结果实时投放到显示器上用于显示实际的检测效果。检测过程可以软件控制面板设置相应的参数以控制保存缺陷或者全部数据到文件系统和数据库系统。

■1.2 系统功能设计

带钢表面缺陷检测系统的功能主要有实时检测监控显示、检测模型相关设置、相机及工控机设置、数据管理、用户及权限管理以及软件系统的设置等[4]，各模块功能大致如下：

(1) 实时检测监控显示：主要显示生产过程中缺陷检测的实时画面，当没有缺陷正常生产时显示带钢传输运行画面，当检测到缺陷时会有锚框标记缺陷类型和缺陷大小位置等信息。同时由日志区域输出最近的缺陷日志及时间等信息。

(2) 检测模型相关设置：可设置检测算法模型选择等，目前可选的检测算法有Yolov5，后续可配置加入R-CNN、Fast R-CNN、SSD 等可选择。

(3) 相机及工控机设置：配置波特率、串口位置、通讯协议、光源信息、外接记号笔等。除了正常通讯工作设置的参数外，放置连接测试按钮以检测设置的参数及硬件设备是否能有效工作。

(4) 数据管理：对缺陷检测历史数据的管理，包括对历史数据进行统计和分析。由于缺陷的发生是不定时的，具有偶发等特点，缺陷数据会被记录保存到数据库中。管理员可以根据条件参数据进行检索，并统计缺陷的发生率，合格率等。

(5) 用户及权限管理：根据生产需要，配置多用户使用权限管理。一些基础设备信息一旦设定不允许更改，不同级别的权限设定防止因为误操作而造成系统罢工。还有一些敏感信息只允许安全员查看，例如密码。

(6) 软件系统设置：配置选择数据库等系统信息。数据保存可配置选择Oracle、MySql、MS SQLServer 等数据库。保存到文件系统的文件格式可选XML 或者JSON，年月日的时间格式。

2 缺陷检测算法选择与模型训练

■2.1 缺陷检测模型

CNN 是一种应用于深度学习方面的神经网络，它具有训练复杂度低、训练参量少的优势，可以有效提升问题检测系统的准确性。它由注入层、卷积层、池化层、全连结层和输入输出层组成，当中卷积层和池化层可以有效地抽取出特征数据，从而实现更高效的问题检测能力。在卷积神经网络中，上一级神经元仅与下一级神经元连通，而CNN 则使用了权值共同的卷积核，减少了神经网络中参数的总量还能够有效地规避过拟合的现象[5]。图2 展示了卷积神经网络的基本原理。

图2 卷积神经网络

深度学习技术具有强大的特征提取能力，可以有效地自动学习和处理原始数据，从而大大提高了处理效率，解决了传统方法存在的许多困难。YOLOv5 提高了检测的精度、速度，目前普遍应用于视频和实时目标等的检测中[6]。本文对热轧带钢表面缺陷检测采用YOLOv5 模型进行检测。可以有效地提高网络系统对小目标的识别，这种方法更加适用于热轧带钢表面缺陷块分布不均匀和外形结构多样的情况。

■2.2.数据集来源

本次网络模型基于东北学院提供的NEU-DET 数据集，该集收录了热轧钢带六种常见外观瑕疵样本，包含轧制氧化皮、斑块、裂纹、点蚀外观、内含物和划痕，典型样本如图3 所示，为建模训练提供了有效的参考依据。针对数据集图像样本数量较少，且同类缺陷样本相似度较高的情况，对样本数据进行了数据集扩增。同时用图像处理的知识对已有图像样本做了随机放缩、随机裁剪、反转和拼接等操作。使用Python 标记软件labelimg 对新图形中的缺陷加以标记，并将标记数据转换为xml 格式，以便模型能够更好地理解和分析。

图3 典型样本

■2.3 缺陷检测模型训练

本次深度学习网络模型实验使用 PyTorch-1.13.1 框架搭建，当前计算机操作系统为Windows11。配置NVIDIA GeForce RTX 3070 Ti GPU，CUDA11.6。训练模型选择YOLOV5S，将数据集割裂成三块部分：练习集、检测集和检验集，以便更好地开展模型训练。输入图像尺寸大小为640×640，batch_size 设为8，迭代次数epochs=100 学习率 lr=0.005。

如图4 的训练：Box_loss 是GIoU 损失参数的平均值。Obj_loss 是目标检测loss 的平均值；Cls_loss 是分类loss的平均值，随着练习数量的增加，cls_loss 值会逐渐减小；Precision 是精度；Recall 是positive 的准确性。通过使用Val box_loss 和obj 两种方法，我们可以验证bounding box 损失的平均数，以及目标检测的平均数，并使用cls 来分类loss 均值，mAP 则是通过将Precision 和Recall 作为两个坐标轴，数据线围成一个面积。

图4 模型训练部分结果

3 检测流程及软件界面设计

■3.1 缺陷检测流程

根据缺陷检测的需求检测流程如图5 所示。开启光源以为相机等设备，待系统硬件设备就位后，启动软件并连接数据库进入就绪状态。若过程中有任何环节失败则启动警报器提示工作人员进行人工排查原因，以完成系统初始化步骤。

图5 检测流程图

设备和软件系统启动成功后，控制缺陷检测系统进入检测工作状态，设备开始循环检测。对扫描到的位置图像记录原图，使用图像处理算法经过灰度化归一处理，去噪滤波等处理后送入检测模型进行检测。对检测到缺陷的情况，控制记号笔在带钢陷位置附近标记横线，根据参数确定是否控制警报器启动，并把缺陷数据记入到数据库，最后把检测情况实时投放到显示器上并继续检测。

■3.2 软件界面设计

热轧带钢表面缺陷检测系统如图6 所示，主要有实时检测监控显示界面，检测模型设置及图像参数设置，相机和光源以及工控机的设置，检测数据管理，用户及权限管理，检测软件系统的设置。

图6 热轧带钢表面缺陷检测系统

主界面由标题栏、菜单栏、实时检测画面、操作控制区及日志输出组成。在检测模型设置图像处理以及检测模型的参数，调整光源和相机参数。图像处理包含滤波、降噪、调整亮度、剪裁、灰色化和二值化等，通过分析和处理图像最后检测出目标缺陷，并记录数据。数据管理功能可支撑后期的查询和相关报表统计。

热轧带钢表面缺陷检测系统主要的功能是对热轧带钢表面缺陷的在线实时检测，在一定的光源照射协助下，通过采集热轧带钢表面数据，经过一定技术的图像处理后把数字图像信息传递到缺陷检测模型进行检测，再把检测后的结果保存到文件系统和数据库系统，并将检测结果在外部显示器上进行实时显示。

该系统提高了缺陷检测的准确性和稳定性，降低了检测的复杂性和劳动强度，并能24 小时不间断的检测。可以做到全自动无人值守，为进一步更高效地研究热轧带钢表面缺陷检测成套系统提供了参考。

基于深度学习的热轧带钢表面缺陷检测系统在Windows11 (64 位) 系统环境下，使用Python3.8 作为开发语言，PyCharm 2021.3.3 (Professional Edition) 作为开发工具，选择初始数据库为MySQL，可供选择的数据库有Oracel 以及MS SQLServer。导入Numpy，OpenCV,Pytorch 等通过对图像处理，实现检测模型的设计、训练、调试和缺陷检测。PyCharm(Professional Edition)是Python 脚本语言的应用开发环境（IDE），并入多种开发框架，可以使用Git 等对代码版本控制管理，此外PyCharm 提供了多种数量的集成函数库以便快速高效的开发完成Python 应用程序。英特尔公司发起并参与开发的一种开源的跨平台计算机视觉库OpenCV（Open Source Computer Vision Library），有多种语言的SDK，包括C++、Python、Java 等，内置了满足大部分功能的函数和算法。可对方便地对图像数据进行常用处理，包括对边缘的检测和图像的分割，对目标识别和对象的跟踪检测、对目标特征的提取及对图像和视频的处理，常用在计算机视觉、机器人、智能视频监控等领域。MySQL 数据库是目前使用较为广泛的关系式数据库，数据存储可靠，不会因为系统故障或其他原因导致数据丢失。能够高效地处理大量数据，其内置的索引和查询优化器能够使查询快速执行，并有免费的版本。以操作灵活度强、体积小、速度快等显著优点，可以在多种操作系统和编程语言中运行，且与其他数据库系统兼容，能应用在大多数的平台中。