基于YOLOv4卷积神经网络的条烟包装外观缺陷检测系统

陈 镕,章韦伟,郭忠明,吴 伟

(龙岩烟草工业有限责任公司,福建 龙岩 364021)

条烟包装外观缺陷[1-2]对烟草的销售量有一定的负面影响[3]。针对这一问题,张爱云等[4]通过目标外观图像分析,利用机器视觉技术设计检测系统实现缺陷检测;朱立明等[5]构建视觉检测系统,并利用深度神经网络模型提取出目标外观图像特征,对缺陷类别进行了划分;李忠海等[6]采集目标图像,并利用语义分割技术分析图像,实现目标缺陷检测。

为了及时发现包装前产品的外观缺陷,确保包装中的产品质量,本文提出并设计了基于YOLOv4卷积神经网络的条烟包装外观缺陷检测系统。

1 条烟外观缺陷检测系统设计

1.1 系统整体架构设计

图1所示为基于YOLOv4卷积神经网络的条烟包装外观缺陷检测系统整体架构,主要包括传送带模块、图像采集模块、执行模块以及控制模块。

图1 系统整体架构

1)传送带模块:该模块主要功能是将待检测的条烟由上游运送至检测系统进行外观缺陷检测。

2)图像采集模块:包含工业相机子模块与LED补光子模块。工业相机子模块包括黑白相机与彩色相机,沿着传送带分别采集条烟的6个表面图像。各相机均配备LED补光器,其主要功能为相机采集图像时照亮条烟外观。

3)控制模块:该模块包含计算机控制子模块和可编程逻辑控制器(PLC)控制子模块。图像采集模块采集到的条烟表面图像传输至计算机控制子模块内,利用卷积神经网络算法实现条烟外观缺陷检测,并依照检测结果向PLC发出控制信号。

4)执行模块:PLC控制子模块获取控制信号后,控制执行模块清除条烟外观缺陷检测结果不合格的产品。

1.2 图像采集模块设计

图2所示为图像采集模块结构图。

图2 图像采集模块结构框图

条烟外观缺陷有不同类型及样式[7],传统图像采集模式无法满足要求,需设计智能条烟外观缺陷图像采集模块。图像采集模块中,黑白相机采集条烟外观标牌上的字符与条形码图像并进行二值化处理[8],以提升图像对比度;彩色相机对条烟外观的品牌名称、Logo图案进行采集[9],以保证所采集的条烟外观图像内包含所有外观缺陷。彩色相机与黑白相机搭配工作。随着视角的改变,条烟外观的细节将有不同的表现形式,这有助于更全面地捕捉和分析条烟的外观缺陷,而斜角条件下可以提供更多的视角和外观特征,因此在条烟外观缺陷图像采集过程中,斜角条件下的图像采集结果相较于直角条件下的采集结果,更有利于后期条烟外观缺陷图像识别并提高处理精度[10]。因此依照检测要求与相关测试结果,设定LED补光子模块沿垂直方向倾斜45°安装,而黑白相机与彩色相机分别在垂直方向和沿垂直方向倾斜20°进行安装。工业相机子模块中的镜头扮演着人眼晶状体的角色,主要用于对光源进行聚焦,以实现清晰的成像。而相机则扮演着人眼视网膜的角色,负责接收和记录被聚焦的光线,实现对条烟外观缺陷的图像成像。在选择工业相机子模块中所使用的镜头时,不仅要考虑条烟外观大小、特性及距离,同时还要确保其接口同相机接口一致。LED补光子模块主要提供准确的光源与照明,增强所采集条烟的外观图像质量,提升后续条烟外观图像识别过程中图像处理的效率,由此提升条烟外观缺陷检测的准确性。

1.3 控制模块设计

1.3.1模块结构设计

控制模块主要包括计算机控制子模块与PLC控制子模块,其结构框图如图3所示。

图3 控制模块结构框图

计算机控制子模块(上位机)的主要功能是整体协调控制、图像采集与识别控制以及数据库管理等。与此同时,该模块通过通信接口连接移动设备,令管理人员可随时随地查看缺陷检测结果,或对系统进行设定、更改等。PLC控制子模块(下位机)主要功能是对LED光源触发与缺陷产品分拣执行等底层进行控制。

1.3.2基于卷积神经网络的条烟外观缺陷检测

采集到条烟外观图像后,为保证缺陷检测结果的准确性,需对图像实施滤波处理。选用均值滤波器,该滤波器以单像素点周边方块范围内像素灰度均值为该像素点的灰度值。采用均值滤波器对条烟外观图像实施滤波处理时无需实施大范围的频谱转换,因此具有较好的实时滤波性能,符合条烟外观缺陷检测的效率要求。采用YOLO卷积神经网络进行条烟外观缺陷检测,该网络在本质上可理解为一个单阶段目标检测器,可将条烟外观缺陷检测任务设定为单步实现的定位和分类的回归问题。YOLOv4卷积神经网络在传统YOLO卷积神经网络基础上对主干网络、激活函数与损失函数等方面均进行了优化,显著提升了检测性能。YOLOv4卷积神经网络模型以CSPDark-Net53为主干网络,其中包含Dark-Net卷积块、Mish激活函数以及CPS大残差模块。Dark-Net卷积块作为轻量级深度学习架构,其主要优势为具备较高的执行响应速度。同时主干网络内引入Mish激活函数,公式描述如下:

f(x)=xtanh(ln(1+ex))

(1)

式中:f(x)为Mish激活函数,x为输入的条烟外观图像。

CPS大残差模块可有效提升卷积神经网络对于条烟外观图像特征的学习能力,不同的大残差模块中均包含3×3的卷积核。将条烟外观图像作为卷积神经网络输入,经五次采样处理后,条烟外观图像尺寸每经过一个残差块就会减小50%,直至条烟外观图像尺寸为13×13、通道数量提升为1 024为止。主干网络对条烟外观图像特征提取后,得到13×13的特征图,通过3×3卷积核后达到最大池化层,再将13×13卷积结果和26×26、52×52的条烟外观特征图输入路径聚合网络内。主干网络的输出通过空间金字塔池化获取特征层,经由卷积与上采样等处理获取大尺寸特征,再经由卷积与下采样等处理获取小尺寸特征,由此生成条烟外观图像不同尺寸条件下的特征信息。基于此,计算通道运行过程中的损失,依照先验框3个特征层进行缺陷分析,通过非极大值抑制法调整先验框,得到最终的条烟外观图像缺陷特征预测框。YOLOv4卷积神经网络模型内引入CIoU损失函数进行条烟外观图像缺陷预测损失分析,该损失函数能够有效处理条烟外观图像缺陷预测框与实际框间的位置相关性,防止出现损失函数发散现象。以Loss表示YOLOv4卷积神经网络模型损失函数,主要包括位置损失、置信度损失与分类损失,分别用Lcl、Lco和Lcs表示。式(2)为Loss的计算公式:

Loss=Lcl+Lco+Lcs

(2)

Lcl的计算公式如下:

(3)

式中:IU和∂分别表示b和bgt的并交比和中心欧氏距离;b和bgt分别为条烟外观图像缺陷特征预测框与实际框;k和φδ分别为b和bgt最小封闭区域的对角线距离和长宽比的惩罚项,其中φ和δ分别为权重系数与长宽比的相似性系数。φ和δ的计算公式如下:

(4)

式中:ygt和y分别为条烟外观图像缺陷特征实际框与预测框的宽度值,hgt和h分别为条烟外观图像缺陷特征实际框与预测框的高度值。

Lco的计算公式如下:

(5)

Lcs的计算公式如下:

(6)

2 实验结果

为验证本文设计的YOLOv4卷积神经网络条烟包装外观缺陷检测系统在实际工作中的应用性能,将设计系统安装在烟草生产线上,如图4所示,采用本文系统对生产的条烟外观进行缺陷检测。

图4 检测现场

本文系统图像采集模块中的工业相机参数见表1,相机目镜为光学玻璃镜片。

表1 图像采集模块工业相机参数

2.1 识别模型参数分析

模型的参数设置对系统的检测性能将产生直接影响,以下分析YOLOv4卷积神经网络模型中卷积核数量与采样层节点数量的变化对条烟外观缺陷检测结果的影响。

2.1.1卷积核数量对识别结果的影响

图5所示为YOLOv4卷积神经网络模型在不同卷积核数量下,本文系统条烟外观缺陷检测准确率的变化情况。分析图5可知,随着卷积核数量的增加,本文系统条烟外观缺陷检测准确率总体呈上升趋势。卷积核数量低于45时,系统的检测准确率低于90%;卷积核数量低于180时,系统的检测准确率低于97%;而当卷积核数量达到180以上时,系统的检测准确率达到97%以上,且处于较为稳定的状态。由此说明,本文系统在卷积核数量达到180时即具有较高的条烟外观缺陷检测准确率。

图5 不同卷积核数量对缺陷检测准确率的影响

2.1.2采样层节点数量对识别结果的影响

图6所示为YOLOv4卷积神经网络模型在不同采样层节点数量下,本文系统条烟外观缺陷检测准确率的变化情况。

图6 采样层节点数量对缺陷检测准确率的影响

分析图6可知,随着采样层节点数量增加,本文系统条烟外观缺陷检测准确率整体呈上升趋势。采样层节点数量低于40时,系统的检测准确率低于96%;采样层节点数量为80时,系统的检测准确率达到最大,为98.3%;采样层节点数量继续增加,系统的检测准确率变化并不显著。因此,采用本文系统检测条烟外观缺陷时,可将YOLOv4卷积神经网络模型采样层节点数量设定为80。

2.2 缺陷检测结果

将本文系统图像采集模块所采集的条烟外观图像输入YOLOv4卷积神经网络模型内,利用训练好的模型提取图像特征,通过卷积与采样处理后输出条烟外观缺陷检测结果,具体见表2。

表2 条烟外观缺陷检测结果

分析表2得到,本文系统可有效实现条烟外观缺陷检测,且能够有效识别不同类别的外观缺陷,由此说明本文系统具有实际应用价值。

为进一步验证本文系统对条烟外观缺陷检测的精度,以油封破损缺陷为例,依照企业实际应用要求,选取误检率、检测精度与漏检率作为缺陷检测性能的评价标准。表3为2023年6月3日—6月7日连续5天的油封破损缺陷检测情况。

表3 油封破损缺陷检测

分析表3可知,本文系统对油封破损缺陷的检测率均达到98%以上,误检率和漏检率分别控制在0.90%和0.05%以下,满足条烟包装外观缺陷检测的实际应用标准。

3 结束语

本文设计了基于YOLOv4卷积神经网络的条烟包装外观缺陷检测系统,该系统将工业相机、计算机与PLC有机结合,能够实现条烟外观缺陷的准确检测。但本文系统的设计还可进一步优化,如系统所检测的缺陷数据存储在数据库内,可通过连接数据库与包装车间质量管理系统,实现烟草生产管理的整体化与信息化。这将是本文系统后续优化的主要方向。