基于改进ResNet50的锭状物缺陷检测系统的设计研究

刘宇斌，王壮基

（广东理工学院，广东 肇庆 526100）

随着科技的发展，出现了工业4.0时代和盛行的工业物联网为主题产生的“智能工厂”，而工业产品的表面缺陷对产品外观给予消费者的舒适度、美观度、使用性能等产生不良影响，所以在工厂生产过程中会对产品表面的缺陷进行检测以便控制产品的外观质量。现今常用的检测方式包括人工检测、机械检测、射线检测以及机器视觉检测等。其中，人工检测产品表面缺陷的检测方式存在着抽检率低、效率低、受人工主观因素影响大等明显缺点。机械检测通常是接触式检测，检测过程需对被检测件位置进行不断调整，因而效率低；射线检测可实现高分辨率检测，但结构复杂、造价昂贵。这些方法均体现出以下凸显的缺点：检测置信度低，缺乏检测的一致性、科学性；效率低、实时性差，远远不能满足在线高速的生产节奏；抽检率低，不能完全反映产品表面的质量，尤其是对加工过程中产生的大量非周期性缺陷存在漏检。

对此，本项目提出了一种基于改进ResNet50的缺陷检测系统，主要目的是对锭状物（物品外观形状为锭状，如柠檬除垢片、洗衣机清洁锭、易拉罐顶盖等）进行缺陷检测的系统设计，从根本上降低了检测产品表面缺陷成本，解决了抽检率低、漏检、效率低等问题，为智能工厂打下了坚实的基础。

1 系统设计

1.1 图像提取模块

该系统采用了IMX219传感器为图像获取装置索尼IMX219 CMOS图像传感器具有800万像素分辨率（3280× 2464），在800万全尺寸视频输出时可达到30帧/秒的拍摄速率，在1280x720分辨率输出时可实现高达180帧/秒的高速拍摄功能。其所捕捉的图像畸变率低于1%，对所识别物品的形状更准确，可以更好地对产品外观进行缺陷判断。此外，IMX219搭载了4色独立的Lens Shading补偿功能。除了通常的Lens Shading补偿功能以外，还具有个体校正功能以调整模块生产时镜头的安装偏差。模块检查时，可以通过把校准配置信息写入内置OTP，来缩短相机启动的配置时间。IMX219同时具有根据色温进行切换和混合等功能扩展的特点。

1.2 图像处理模块

随着深度学习的发展，越来越多的科研项目运用到卷积神经网络，并且随着卷积层的加深模型效果也不断变好，但是随着网络的加深，存在着梯度爆炸、消失等一系列问题，导致网络模型不能收敛，随着ResNet模型、残差网络思想的出现，将一部分输入数据直接传送给输出，不经过卷积神经网络，这种模型思想解决了上述存在的问题，同时可以极大的加深网络，主要就是因为如图1所示的残差块结构。

图1 ResNet模型的残差块结构

通过实际训练观察训练结果与计算量，该系统决定采用ResNet50网络为处理模型，但是，传统的ResNet50网络模型在进行处理时第一层网络为7×7的卷积层，由于在该系统中有些缺陷特征不太明显，需要获取更加微小的特征点，所以特将第一层卷积层替换为双层的4×4的堆叠卷积层，相较初始模型具有更多的非线性激活函数，同时减小了函数计算量，使ResNet50模型更适用于该缺陷检测系统。

1.3 硬件组成

该缺陷检测系统主要由控制板、数据获取装置、破损物提取装置、计数装置四大部分组成，如图2所示；数据获取装置通过对传送带上的锭状物进行检测，将存在缺陷或污渍的缺陷物品视频流传给控制板，控制板控制数据获取装置对缺陷物进行标记的同时控制破损物提取装置将缺陷物品提取出来，同时上传给计数装置统计该批产品的良品率。

图2 缺陷检测系统结构图

2 实验结果与对比分析

2.1 实验运行环境

该系统运行环境基础硬件配置如表1所示，同时，在该环境下搭建运行环境，包括ubuntu20.04、CUDA10.2与对应的cudnn、qpencv3.4.0等必备环境，深度学习框架为Dark-net-53。

表1 硬件配置表

2.2 数据采集

利用IMX219摄像头对锭状物进行数据收集，通过对锭状物体进行拍摄，获得样本数据为2cm×2cm（直径×高）的锭状物，实验一共采集正常数据图片50张、污垢数据图片58张、破损数据图片51张、凹痕数据图片53张，图3为各个样本数据的代表图片。

图3

2.3 实验结果

通过利用测试集对训练好的模型进行验证得出结果如表2所示，在各个模型中经过改进后的Resnet50模型权重最小，虽然准确率相较最高的ResNet101模型低了0.12%，但是，对单张图片的检测速度提升了4.6倍，同时根据各个参数的综合考量，得出改进后的ResNet50网络模型是最适合该检测系统的网络模型。

表2 各类主流算法模型在该实验中的测试对比表

3 结语

本文以改进ResNet50模型为核心研究了锭状物缺陷检测的应用，按照图像提取模块、图像处理模块、硬件组成设计开发出锭状物缺陷检测系统。结合嵌入式技术，采用小型高性能开发平台进行图像采集、缓存与数据传输，并采用改进的ResNet50模型进行训练，实现了锭状物缺陷检测系统的设计实验表明，通过改进的ResNet50网络模型是最适合锭状物缺陷检测系统的网络模型。缺陷检测系统的识别准确率和判断精准度都有了明显的提高，能够实现锭状物缺陷检测成本较低，功耗低，功能丰富。