YOLOv4-tiny算法的融合模块在卷烟小包外观缺失检测中的应用

杨超，李佳田*，张泽龙，陆大进，张兴忆，杨树青

YOLOv4-tiny算法的融合模块在卷烟小包外观缺失检测中的应用

杨超1，李佳田1*，张泽龙1，陆大进1，张兴忆1，杨树青2

1昆明理工大学国土资源工程学院，昆明 650093；2云南远足科技有限公司，昆明 650093

卷烟烟包外包装图案缺失检测是卷烟生产中的重要环节，目前常用的图案缺失检测方法普遍存在漏检率高、识别精度不够和速度慢等问题。因此本文提出了一种基于YOLOv4-tiny的烟包缺陷快速检测方法。该方法主要包括：（1）使用CSPDarknet53-tiny对图像特征进行提取。（2）通过添加多空间空洞卷积融合模块，获得丰富的上下文信息，增强感受野，从而提高模型的检测精度。（3）使用EIoU边框位置回归损失函数，提高烟盒图案识别预测框的精确率。本文方法与YOLOv4-tiny进行对比，实验结果表明，本文算法mAP值为97.35%，检测烟包外观的平均时间为17 ms，能够满足卷烟小包外观检测对时间和精确率的要求。相较于YOLOv4-tiny在mAP上提升了1.34%，在Average IoU上提升了3.68%，速度基本与YOLOv4-tiny持平，在保持快速检测的同时能够有效的提高精度。

YOLOv4-tiny；EIoU；图案检测；多空间空洞卷积融合模块

卷烟小包外观检测是烟包质检的关键环节，包装外观的质量问题会损害到企业的品牌形象和信誉，尤其是缺少“吸烟有害健康”等警示语[1]。减少有问题的烟包产品进入市场，是企业质量把控的重要一环。企业要求高端卷烟小包的外观缺陷率应≤1.50[2]。目前用于检测卷烟小包外观缺失的方法主要是模板匹配算法。模板匹配算法预先选好需要匹配的模板图像，在待检测图像上与模板图像进行匹配，确定相似度最大的位置，这种方法精度高，但是速度较慢。曾文艳 等[3]在模板匹配算法上进行了改进，减少相关系数的计算量，并利用OpenCV进行算法实现，提升了检测速度；孙海才等[4]提出了一种基于相关系数法的改进图像匹配算法，减少了检测时间。上述文献的模板匹配算法主要是通过滑窗的方式确定位置，每次滑窗要计算模板与样本图像的相关值，尺寸越大的样本图像或尺寸越小的目标图像，计算时间越长，并且伴随需要检测的目标增多，检测时间也会成倍增加。深度学习的目标检测方法为烟包图案缺失检测提供了新的途经。深度学习常用的目标检测方法主要分为two-stage检测算法和one-stage算法。two-stage检测算法先生成预选区域（region proposals），然后对候选区域进行分类，如RCNN[5]，Fast-RCNN[6]和Faster-RCNN[7]等。one-stage检测算法则不需要生成预选区域，直接确定目标的置信度和位置信息，主要代表有SSD[8]和YOLO[9]。考虑到时间成本和空间成本，one-stage类目标检测器大多数情况能够做到相同精度下用时更少。在目前工业目标检测中，轻量化的YOLOv3[10]和YOLOv4[11]被广泛使用，薛俊韬等[12]将YOLOv3的主干网络替换为MobileNet[13]，有效改善深度网络模型庞大以及计算复杂的问题，但是速度较慢。鞠默然等[14]人利用注意力机制来融合不同尺度的特征，对每个通道的特征进行权重分配，来学习不同通道间特征的相关性，具有更高的精度。武星等[15]设计了一种同构残差块串联的特征提取网络结构，简化特征图尺度，采用深度可分离卷积替换普通卷积。曹远杰等[16]采用GhostNet所构建的残差结构，降低了网路的参数量和计算量，加快了推理速度。上述方法都取得了不错的效果，为YOLOv4应用于小包图案检测提供了依据和参考，但以上算法的模型复杂，参数量大，在本文烟包外观图案缺失检测计算上算力过剩，仍有改进的空间。

当前烟包外观瑕疵检测中，存在着以下困难：①被检测物体由于受到光照等外部条件的影响，会使图像像素偏离真实值，从而产生误差，鲁棒性不强[3]；②现有目标检测算法在检测速度方面还不能完全满足在工业流水线上检测的要求[17]；③在数据集较少的情况下，现有算法对检测物体的定位还存在偏差。为此本文提出一种烟包外观图案缺失检测算法YOLOv4- Case。首先，使用CSPDarknet53-tiny作为算法的主干网络对样本进行特征提取；其次，添加多空间空洞卷积融合模块，对不同分辨率的特征图采样，获得更加丰富的语义信息和位置信息，增加感受野；最后，使用EIoU Loss作为损失函数，提高目标定位的精确率。该方法在不损失精度的条件下，提升了检测速度。

1 YOLOv4-Case算法设计

1.1 YOLOv4-tiny网络

为了提升检测的精度和速度，各种轻量级目标检测网络被相继提出，如YOLOv3-tiny和EfficientNet等。YOLOv4-tiny是最近提出的YOLO轻量级网络，相较于前代，在检测精度和速度上都有了较大的提升。YOLOv4-tiny是YOLOv4的精简版，属于轻量化模型，参数只有600万，缩减了近90%。CSPDarknet53- tiny是YOLOv4-tiny的主干网络，由YOLOv4的主干网络经轻量化处理得到，网络结构如图1所示。YOLOv4- tiny共有21个卷积层，3个最大池化层和2个步长为2的卷积层压缩尺寸。两个输出层，如果输入尺寸为416×416时，则最后输出26×26和13×13两种大小的输出层，相较于YOLOv4，省略了52×52的输出层，模型大小为22.5MB，是YOLOv4的9.22%。其中主干网络包含3个Resblock模块，经过1个卷积后，对特征的通道进行分离，取第二部分作为主干部分，接着进行卷积和残差运算，最后利用最大池化进行尺寸压缩，该模块加强了特征的提取能力，提升了特征的重复利用，其结构如图2所示。

图1 YOLOv4-tiny的网络结构

图2 Resblock

1.2 多空间空洞卷积融合模块

在语义分割中，通常需要经过卷积和池化提取目标特征信息，但在提取过程中难免会造成图像失真，导致图像信息的缺失，如果用扩大卷积核尺寸的方式获取更大范围的信息，将增加参数量，减慢计算速度。YuF等[21]提出了空洞卷积，连续卷积中添加间隔，在不改变分辨率和不增加参数的情况下，增加感受野，可以获得更多细节信息。传统卷积与空洞卷积的区别如图3所示。传统卷积的扩张率（dilation）为1，右图是扩张率为2的空洞卷积。

图3 传统卷积与空洞卷积

为提升模型提取特征的性能和检测精度，更好的捕捉更多的细节信息，融合多尺度的上下文信息，本文设计了一种多空间空洞卷积融合模块，如图4所示。将输入的特征图经5个分支提取特征信息，其中3个分支包含不同组合的空洞卷积模块，卷积核尺寸为3×3，步长为1，扩张率分别为（2,3,4,1）（2,3,5,1）（3,4,5,2），其中1个分支是卷积核尺寸为1×1，步长为1的卷积层组成，提升网络的表达能力；最后一个分支先将特征图做全局平均池化，再由1×1的卷积层提取信息，经过上采样还原尺寸。最后将得到的5个特征图进行特征融合，再经一个卷积层还原通道数。

图4 多空间空洞卷积融合模块

1.3 EIoU的位置回归

图5 EioU

本文使用EIoU Loss作为边框回归损失函数，定义如式（6）所示。

本文YOLOv4-Case的模型结构如图6所示。

2 实验结果与分析

2.1 环境配置

本文实验环境由表1所示。

表1 实验环境

Tab.1 Experimental environment

2.2 数据及模型配置

本文实验为贴合生产实际，数据集采用云南烟厂工业流水线上由高速相机拍摄的烟包外观图像，共采集到3个面共5415张图像，9个检测图案，每个面按70%、20%和10%的比例随机拆分为训练集和验证集，其中训练集样本为3791个，验证集样本为1083个，测试集样本为541个。使用labelImg工具对图片进行标记，生成xml类型的标签文件。由于数量过小的数据集会导致模型过拟合，所以对图像进行数据增强处理，通过gama变换，平移，旋转，翻转和奇异值分解等操作来增强模型的鲁棒性，提升模型的泛化能力。图7以封口面为例，展示本文数据增强表现。

图7 数据增强

构建模型，初始学习率设置为0.0001，batch_size设置为16，采用Adam优化器和余弦退火学习率下降策略（Cosine Annealing LR），每轮更新一次学习率，训练80轮，训练结果的mAP值如图8所示。

图8 训练结果的mAP值

2.3 评价指标

训练结束后使用测试集对模型进行评估。精度评价采用精确率（Precision），召回率（Recall），平均检测精度（mAP）和平均交并比（Average IoU）4种计算方法。检测速度评价采用每秒传输帧数（FPS）。

2.4 目标区域位置检测准确性对比

在图9中展示了Efficientdet，YOLOv4-mobilenet，YOLOv4-GhostNet，YOLOv4-tiny这4种的目标检测算法和本文算法YOLOv4-Case的效果对比。如图所示，所有模型都能准确识别目标，具有很高的置信度，但是在一些预测框和真实框的重叠程度上，即MIoU，存在区别，这也是评价算法优劣的重要标准。

由表2可知，在本数据集中，Efficientdet、YOLOv4- mobilenet、YOLOv4-GhostNet、YOLOv4-tiny和YOLOv4- Case的mAP分别为93.15%、95.96%、95.63%、96.06%和97.35%，其中Efficientdet的值最低，本文算法表现最佳，较YOLOv4-tiny提升了1.34%。在Average IoU的评价中，本文算法达到了93.48%，是几种算法中平均交并比最高的，较YOLOv4- tiny提升了3.68%。

在工业流水线目标检测中，除精度外，速度也是评价模型优劣的重要指标。由表2可知，Efficientdet、YOLOv4-mobilenet、YOLOv4-GhostNet、YOLOv4-tiny和YOLOv4-Case的FPS分别为21、42，48，57和56，本文算法虽然在检测速度上与YOLOv4-tiny接近，但检测精确率比YOLOv4-tiny高。以文献[3]和文献[4]的方法作为算法一和算法二进行测试列于表2中，结果表明，在检测精度和速度上均低于深度学习方法。

图9 效果对比

表2 Efficientdet、YOLOv4-mobilenetv3、YOLOv4-GhostNet、YOLOv4-tiny、YOLOv4-Case和参考文献在数据集上对比

Tab.2 Comparison of Efficientdet、YOLOv4- mobilenetv3、YOLOv4-GhostNet、YOLOv4-tiny、YOLOv4-Case and the algorithms described in references in Dataset

3 结论

本文基于YOLOv4-tiny算法进行改进提出了一种用于工业流水线目标检测算法，该算法采用CSDarknet53-tiny作为主干网络，并使用EIoU进行边框回归，通过使用空洞卷积扩展了图像特征的感受野，以某烟草流水线上获取的烟盒图像为数据集进行了实验。实验结果表明，该算法与Efficientdet、YOLOv4- mobilenetv3、YOLOv4-GhostNet、YOLOv4-tiny和模板匹配算法相比在速度和精度上具有显著优势。

[1] 胡群，王黎，李万珣，等. 烟草制品包装和标签履约情况综述及对我国卷烟包装影响的思考[J]. 中国烟草学报, 2012, 18(02): 96-100.

HU Qun, WANG Li, LI Wangxun, et al. An overview of worldwide tobacco product packaging and labeling with regard to FCTC implementation and implication on cigarette packaging in China[J]. Acta Tabacaria Sinica, 2012, 18(2): 96-100.

[2] 罗丽芳，洪俊梅，郝静烈，等. 降低云烟（软礼印象）小包外观质量缺陷率研究[C]. //云南省烟草学会2013年学术年会（工业篇）论文集. 2013: 164-174.

[3] 曾文艳，王亚刚，蒋念平，等. 基于机器视觉的香烟小包装外观质量检测系统[J]. 信息技术, 2014(01): 46-49.

ZENG Wenyan, WANG Yagang, JIANG Nianping, et al. Study on Detection System for Appearance Quality of Cigarette Package Based on Machine Vision[J]. Information Technology, 2014(1): 46-49.

[4] 孙海才，疏谦，马钺，等. 用于香烟包装质量检测的图像匹配算法研究[C]. //第七届全国信息获取与处理学术会议论文集. 2009.

SUN Haicai, SHU Qian, MA Yue, et al. Research on Image Matching Algorithm for Cigarette Case Quality Detection[C]. Proceedings of the Seventh National Conference on Information Acquisition and Processing, 2009.

[5] Girshick R, Donahue J, Darrell T, et al. Rich feature hierarchies for accurate object detection and semantic segmentation[C]//Proceedingsof 2014 IEEE Conference on Computer Vision and Pattern Recognition, Columbus, OH, USA, 2014: 580–587.

[6] FENG TJ, MA LT, DING XQ, et al. Intelligent techniques for cigarette formula design[J]. Mathematics and computers in simulation, 2008, 77(5/6): 476- 486.

[7] Ren S, He K, Girshick R, et al. Faster R-CNN: Towards Real-Time Object Detection with Region Proposal Networks[J]. IEEE Transactions on Pattern Analysis and Machine Intelligence, 2017, 39(6): 1137-1149. DOI: 10. 1109/TPAMI. 2016. 2577031.

[8] Liu W, Anguelov D, Erhan D, et al. SSD: Single Shot MultiBox Detector[J]. Lecture Notes in Computer Science, 2016:21–37.

[9] Redmon J , Divvala S , Girshick R , et al. You Only Look Once: Unified, Real-Time Object Detection[J]. IEEE, 2016.

[10] Redmon J, Farhadi A. YOLOv3: An Incremental Improvement[J]. arXiv e-prints, 2018.

[11] Bochkovskiy A, Wang C Y , Liao H . YOLOv4: Optimal Speed and Accuracy of Object Detection[J]. 2020.

[12] 薛俊韬，马若寒，胡超芳. 基于MobileNet的多目标跟踪深度学习算法[J/OL].控制与决策:1-6[2021- 07-07].https://doi.org/10. 13195/j.kzyjc.2019.1424.

XUN Juntao, MA Rouhan, HU Chaofang. Deep learning algorithm based on MobileNet for multi-target tracking[J/OL]. Control and Decision, 2020. DOI:10.13195/j.kzyjc.2019.1424

[13] Howard A G, Zhu M, Chen B, et al. MobileNets: Efficient Convolutional Neural Networks for Mobile Vision Applications[J]. 2017.

[14] 鞠默然, 罗江宁, 王仲博, 等. 融合注意力机制的多尺度目标检测算法[J]. 光学学报, 2020, 40(13): 132-140.

JU Moran, LUO Jiangning, WANG Zhongbo, et al. Multi- Scale Target Detection Algorithm Based on Attention Mechanism[J]. Acta Optica Sinica, 2020, 40(13): 1315002.

[15] 武星，齐泽宇，王龙军，等. 基于轻量化YOLOv3卷积神经网络的苹果检测方法[J]. 农业机械学报, 2020, 51(8): 17-25.

WU Xing, QI Zeyu, WANG Longjun, et al. Apple Detection Method Based on Light-YOLOv3 Convolutional Neural Network[J]. Transactions of the Chinese Society for Agricultural Machinery, 2020, 51(8): 17-25.

[16] 曹远杰, 高瑜翔. 基于GhostNet残差结构的轻量化饮料识别网络[J/OL]. 计算机工程：1-7 [2021-05-22]. https:// doi.org/10.19678/ j.issn.1000-3428.0059966.

CAO Yuejie, GAO Yuxiang. A Lightweight beverage recognition network based on GhostNet residual structure[J/OL]. Computer Engineering, 1-7[2021-05-22].http://doi.org/10.19678/j.issn.1000-3428. 0059966.

[17] 刘浩，贺福强，李荣隆，等. 基于机器视觉的卷烟小盒商标纸表面缺陷在线检测技术[J]. 中国烟草学报, 2020, 26(5): 54-59.

LIU Hao, HE Fuqiang, LI Ronglong, et al. On-line detection technology of label paper surface defects of small cigarette packs based on machine vision[J]. Acta Tabacaria Sinica, 2020, 26(05): 54-59

[18] H Rezatofighi, Tsoi N , JY Gwak, et al. Generalized Intersection Over Union: A Metric and a Loss for Bounding Box Regression[C]// 2019 IEEE/CVF Conference on Computer Vision and Pattern Recognition (CVPR). IEEE, 2019.

[19] He K, Zhang X, Ren S, et al. Deep Residual Learning for Image Recognition[J]. 2015: 770- 778.

[20] Lin T Y, Dollar P, Girshick R, et al. Feature Pyramid Networks for Object Detection[C]// 2017 IEEE Conference on Computer Vision and Pattern Recognition (CVPR). IEEE Computer Society, 2017.

[21] Yu F, Koltun V, Funkhouser T. Dilated Residual Networks[C]// IEEE Computer Society. IEEE Computer Society, 2017.

Application of fusion module of YOLOv4-tiny algorithm in cigarette packet appearance missing detection

YANG Chao1, LI Jiatian1*, ZHANG Zelong1, LU Dajin1, ZHANG Xingyi1, YANG Shuqing2

1 Faculty of Land Resources Engineering, Kunming University of Science and Technology, Kunming 650093, China;2 Yunnan Yuanzu Science and Technology Ltd. Kunming 650093, China

Cigarette outer package pattern defect detection is a very important link of cigarette production. Currently .the commonly used pattern defect detection methods generally have disadvantages of high error rate, insufficient recognition accuracy and slow speed. Therefore, this paper proposes a YOLOv4-tiny-based method for rapid detection of cigarette packet pattern defects. The method mainly consists of following processes: (1) image feature extraction using CSPDarknet53-tiny. (2) obtaining rich contextual information and enhancing the perceptual field by adding a multi-space cavity convolution fusion module, thus improving the detection accuracy of the model. (3) Using EIoU edge position regression loss function to improve the accuracy of the prediction frame for cigarette cigarette pattern recognition. By comparing the proposed method with YOLOv4-tiny, it shows that the mAP value of the proposed algorithm is 97.35%, and the average time of detecting the appearance of cigarette packet is 17 ms, which can meet the requirements of time and accuracy for cigarette packet appearance detection. Compared with YOLOv4-tiny, it improves by 1.34% in mAP and by 3.68% in Average IoU, and the speed is basically the same as YOLOv4-tiny, indicating higher accuracy while maintaining fast detection speed.

YOLOv4-tiny; EioU; pattern detection; multi-space dilated convolution fusion module

. Email：ljtwcx@163.com

杨超，李佳田，张泽龙，等. YOLOv4-tiny算法的融合模块在卷烟小包外观缺失检测中的应用[J].中国烟草学报，2022，28（2）. YANG Chao, LI Jiatian, ZHANG Zelong, et al. Application of fusion module of YOLOv4-tiny algorithm in cigarette packet appearance missing detection[J]. Acta Tabacaria Sinica, 2022, 28 (2).doi:10.16472/j.chinatobacco.2021.046

国家自然科学基金（41561082）

杨超（1995—），硕士，主要研究方向深度学习、计算机视觉，Email：563598286@qq.com

李佳田，Email:ljtwcx@163.com

2021-03-17

2021-12-17