基于YOLOv2网络模型的手机镜片缺陷实时检测方法*

王国鹏 王习东 王保昌 王恒涛

基于YOLOv2网络模型的手机镜片缺陷实时检测方法*

王国鹏1王习东1王保昌2王恒涛1

（1.三峡大学计算机与信息学院，湖北 宜昌 443002 2.三峡大学理学院，湖北 宜昌 443002）

针对手机镜片缺陷检测采用人工目视法存在效率低、误检率高、易受主观影响；且现有的机器视觉法存在成本高和应用场景为静态图片等问题，提出一种基于YOLOv2网络模型的手机镜片缺陷实时检测方法。首先，对手机镜片缺陷检测数据集样本进行归一化处理；然后，调整网络模型的训练参数，并将数据集送入YOLOv2网络模型进行迭代训练，分析训练过程的性能曲线，得到最优权重；最后，对验证集样本进行检测分析。实验结果表明：该检测方法的实时检测速度可达14帧/s；缺陷定位精度高，检测准确率为96.13%；可满足低成本条件下，手机镜片缺陷实时检测的需求。

YOLOv2；手机镜片检测；机器视觉；归一化处理

0 引言

目前，国内多数手机镜片制造工厂采用人工目视法检测镜片缺陷。该方法的检测环境为长时间亮光照射，对人眼造成损伤，且效率低、误检率高，易受检测人员主观因素影响，人工成本也较高[1]。近年来，随着机器视觉技术的发展，其在镜片缺陷检测方面的应用也逐渐深入[2]。朱建峰采用优化精密显微镜等仪器点光源投影照明的方案,实现镜片面状疵病的最佳成像效果,分析镜片疵病形状和大小，对各疵病种类分别编写对应的图像处理算法进行识别，检测准确率达95.48%[3]。朱虹兆基于深度学习训练出一种退化的YOLO网络，实现对树脂镜片样本缺陷的识别，验证集的缺陷识别准确率达95.97%[4]。

随着卷积神经网络在目标检测和图像识别领域的蓬勃发展[5],目标检测模型YOLO以算法实现快捷、灵活，泛化性能高等特点成为应用研究的热点[6]。

在上述检测方法的基础上，本文利用YOLOv2网络模型，提出一种手机镜片缺陷实时检测方法。首先，制作并标注手机镜片缺陷检测数据集，并对样本图片进行归一化处理；然后，调整YOLOv2网络模型的训练参数，并将数据集送入YOLOv2网络模型进行训练，分析训练过程性能曲线，得到最优的网络权重数据；最后，对验证集样本进行检测分析。

1 网络模型

1.1 网络模型选取

R-CNN系列算法为双阶段结构网络，检测速度无法满足实时性需求。YOLOv1预测框机制和损失计算等方面不够成熟[7]，导致对特征形态尺寸小的目标定位精度低，不适合手机镜片缺陷检测。YOLOv2是由REDMON等于2017年提出的单阶段结构网络[8]，核心思想是将目标检测问题转化为分类回归问题[9]，并引入Anchor机制，改善网络模型训练过程中的召回率，增强图像细粒度特征分类能力，适用于检测特征形态尺寸小的目标，且检测速度快，可实现目标实时检测。

考虑到本检测方法后期将部署在FPGA开发板上。该开发板成本较低，计算资源相对有限，故网络模型选用对小尺寸目标检测精度高、实时检测速度快和网络结构轻量级的YOLOv2。

1.2 YOLOv2网络模型

YOLOv2网络模型结构如图1所示。

图1　YOLOv2网络模型结构

YOLOv2网络模型由CBL、MCN、Route和Reorg 4类组件构成。其中，CBL为YOLOv2网络结构的最小组件，由Conv（卷积运算）、BN和LeakyReLU组成。Conv实现特征提取，得到特征图。批归一化BN层对特征图像素做线性变换，加快训练收敛过 程[10]。激活函数对特征图像素做非线性变换，增强网络非线性拟合能力，除最后输出层使用Sigmoid函数外，其余皆使用Leaky ReLU函数。

MCN为降采样组件，由最大池化层MAX和个CBL构成。最大池化层实现特征图的降采样，减小特征图规模及保持其功能特性不变。

Route为路由层，将多维度的特征信息进行融合。

Reorg为重排序层，实现特征的重新排序，将较大尺寸的特征图分成多张小尺寸的特征图。卷积核步长为2的重排序示意图如图2所示。

图2　卷积核步长为2的重排序示意图

2 实验及结果

2.1 数据集及实验环境

选取手机镜片常见的4种缺陷（花瓣伤、胶洞、裂痕、膜裂）为研究对象，制作数据集。使用Labelimg软件标注手机镜片缺陷检测数据集。YOLOv2网络需要大量的样本图片，本文通过数据增强（旋转变换、仿射变换、图像增强和添加噪声等），既增加了样本数量，又变换了手机镜片缺陷的方向和大小，还增强样本图像噪声的鲁棒性[11]。手机镜片缺陷检测数据集划分如表1所示。实验设备配置如表2所示。

表1　手机镜片缺陷检测数据集划分

表2　实验设备配置

2.2 训练网络参数

YOLOv2训练网络参数：为平衡训练效果和显存占用压力，每次迭代批量送入网络的图片数量为64张，每次批量送入训练器的份数为8；为提升训练速度，避免过拟合，动量常数为0.9，权重衰减正则系数为0.000 5；随着迭代增加，为使网络模型学习更加有效，初始学习率为0.001，训练总迭代次数为200次；学习率调整策略为steps步进式，当迭代次数达到160和180次时，学习率分别衰减至0.000 1和0.000 01；将Region层的类别数改为4，同时对应地将最后一个卷积层的卷积核数目改为45。

2.3 训练过程变化曲线

本文采用GIoU_Loss作为模型训练损失函数，直接把设为回归的Loss[12]。

训练过程中GIoU_Loss变化曲线如图3所示。

图3　GIoU_Loss变化曲线

由图3可知，当训练模型迭代至90次时，损失函数收敛在0.01附近。

召回率（）是所有正样本中预测正确的比例，计算公式为

式中，样本分类说明如表3所示。

表3　样本分类说明

训练过程中，模型的召回率变化曲线如图4所示。

图4　召回率变化曲线

由图4可知，当训练模型迭代至70次时，召回率的数值趋近于0.96。

从图3和图4的训练过程变化曲线分析可知，所训练的YOLOv2网络模型权重效果理想。

2.4　实验结果与分析

模型训练完成后，调用YOLOv2网络模型的USB摄像头检测器，收敛后的检测速度达14帧/s，满足实时检测的需求。缺陷实时检测结果如图5所示。

图5　手机镜片缺陷实时检测结果

图5(a)模型正确框中2个花瓣伤缺陷；图5(b)模型正确框中1个胶洞缺陷；图5(c)模型正确框中2个裂痕缺陷；图5(d)模型正确框中1个膜裂缺陷。目标框上方的数据为预测类别的标签和置信度。从检测结果来看：该网络模型能较好地预测并区分4种缺陷；同时在多缺陷共存的情况下，没有出现缺陷漏检情况。

准确率是指样本中模型正确检测出的缺陷数占各类别样本总数的百分比。本实验采用平均准确率来衡量模型检测的实际性能，计算公式为

式中，为YOLOv2网络模型对验证集中每张样本各缺陷类别检测的准确率；为验证集样本数。

YOLOv2网络模型对验证集样本进行手机镜片缺陷检测后的结果如表4所示。

表4　YOLOv2网络模型验证集的手机镜片缺陷检测结果

分析表4可知：检测准确率最低的手机镜片缺陷为花瓣伤；由于花瓣伤特征形态尺寸较小，特征形态与背景的差异也较小，导致其提取特征相对简单，检测准确率相对较低。

本文检测方法与文献[3]和文献[4]中的2种机器视觉检测方法进行性能对比，结果如表5所示。

由表5可知：本文方法的准确率为96.13%，分别比另外2种方法提高了0.65%和0.16%；本文方法在检测准确率、应用场景和成本方面均优于另外2种方法，满足低成本条件下手机镜片缺陷实时检测的需求。

3　结论

为满足实时检测应用场景对检测速度、准确率和稳定性的需求，本文提出一种基于YOLOv2网络模型的手机镜片缺陷实时检测方法。实验结果表明：该方法实时检测速度可达14帧/s，相比于镜片制造工厂人工目视法的1.1帧/s提高了近13倍，达到实时检测的目的；且该检测方法的缺陷定位精度高，检测准确率为96.13%。本文在PC端上实现并验证了此方法的可行性，后期将该检测方法部署在FPGA开发板上，对实时检测进行硬件加速，以实现移动端低成本低功耗的镜片缺陷检测。

[1] 孙力,刘晨,姚红兵.基于机器视觉的树脂镜片水印疵病检测[J].江苏大学学报(自然科学版),2018,39(4):425-430.

[2] 林磊,臧铁钢.基于机器视觉的树脂镜片表面疵病边缘检测[J].机械制造与自动化,2021,50(2):230-232,240.

[3] 朱建峰.基于机器视觉技术的树脂镜片面状疵病检测研究[D].镇江:江苏大学,2019.

[4] 朱虹兆.基于退化YOLO网络的树脂镜片缺陷识别方法研究[D].哈尔滨:哈尔滨理工大学,2019.

[5] RUSSAKOVSKY O, DENG J, SU H, et al. ImageNet Large Scale Visual Recognition Challenge[J]. International Journal of Computer Vision, 2015,115(3):211-252.

[6] 陈文峰,张学习,蔡述庭,等.基于YOLO v3和传感器融合的机器人定位建图系统[J].自动化与信息工程,2021,42(2):34-38,48.

[7] REDMON J, DIVVALA S, GIRSHICK R, et al. You only look once: unified, real-time object detection[J]. IEEE, 2016.

[8] REDMON J, FARHADI A. YOLO9000: better, faster, stronger[J]. IEEE Conference on Computer Vision & Pattern Recognition, 2017:6517-6525.

[9] 陈友升,周介祺,梁敏健,等.基于YOLOv5视觉感知的实时叉车驾驶操作行为识别方法[J].自动化与信息工程,2021,42 (3):21-26.

[10] 刘建伟,赵会丹,罗雄麟,等.深度学习批归一化及其相关算法研究进展[J].自动化学报,2020,46(6):1090-1120.

[11] 俞彬.基于生成对抗网络的图像类别不平衡问题数据扩充方法[D].广州:华南理工大学,2018.

[12] REZATOFIGHI H, TSOI N, GWAK JY, et al. Generalized intersection over union: a metric and a loss for bounding box regression[C]//2019 IEEE/CVF Conference on Computer Vision and Pattern Recognition (CVPR). IEEE, 2019.

Real Time Detection Method of Mobile Phone Lens Defects Based on YOLOv2 Network Model

Wang Guopeng1Wang Xidong1Wang Baochang2Wang Hengtao1

(1.College of Computer and Information, China Three Gorges University, Yichang 443002, China 2.College of Science, China Three Gorges University, Yichang 443002, China)

For the defect detection of mobile phone lens, the manual visual method has the advantages of low efficiency, high false detection rate and easy to be affected by subjectivity; and the existing machine vision methods have the problems of high cost and static pictures. A real time detection method of mobile phone lens defects based on YOLOv2 network model is proposed. Firstly, the samples of mobile phone lens defect detection data set are normalized. Then, the training parameters of the network model are adjusted, and the data set is sent to the YOLOv2 network model for iterative training. The performance curve of the training process is analyzed, and the optimal weight is obtained. Finally, the verification set samples are tested and analyzed. The experimental results show that the real-time detection speed of this method can reach 14 frames/s; the defect location accuracy is high, and the detection accuracy is 96.13%. It can meet the needs of real-time detection of mobile phone lens defects under low-cost conditions.

YOLOv2; mobile phone lens detection; machine vision; normalized processing

TP391.41

A

1674-2605(2021)05-0005-05

10.3969/j.issn.1674-2605.2021.05.005

王国鹏，男，1998年生，硕士研究生，主要研究方向：计算机视觉、数据分析。E-mail: minalinsky2333@qq.com

王习东（通信作者），男，1976年生，博士，讲师，硕士生导师，主要研究方向：光电检测技术及系统、弱磁检测、FPGA应用开发。E-mail: xdwang@ctgu.edu.cn

基金项目：湖北省自然科学基金面上类项目（2018CKB914）；湖北省教育厅自然科学研究计划项目（B2017027）。