一种基于多神经网络的烟支缺陷分类与定位方法

王端生，管一弘，杨雄飞，崔云月，罗亚桃，黄 岗

（1.昆明理工大学 理学院，云南 昆明 650500；2.昆明聚林科技有限公司，云南 昆明 650000）

0 引言

在烟支生产过程中，难免由于各种原因导致烟支缺陷，从而造成经济损失。因此，检测烟支是否存在缺陷是生产过程中必不可少的重要环节。同时，分析缺陷产生的原因也是预防缺陷的有效手段。目前，检测烟支缺陷的方法主要有2018 年肖峙宇等运用MATLAB 平台提供的边缘算子、滤波、去噪、灰度值处理等方法检测烟支，检测准确率达到84.7%。2018 年杨钰煊等采用各种边缘检测方法结合阈值分割进行瑕疵检测，发现当参数值为0.35 时，图像检测效果最佳。2019 年周明等将CCD 线阵相机和视觉算法相结合检测烟支，准确率高达90%。以上方法虽然可有效检测烟支的缺陷，但检测效率和精度仍有待提高。

多神经网络是一种由VGG19 神经网络和YOLOV3 神经网络组合而成的网络模型，可将两者相互结合，充分发挥两者优势。基于此，本文提出了多神经网络的烟支缺陷分类与定位方法，如图1 所示。

首先对烟支数据集进行图像预处理；再采用改进VGG19 网络对烟支是否存在缺陷进行预测，利用YOLOV3网络对烟支进行缺陷定位和类别判定；最后根据缺陷类别统计结果推断缺陷原因，查找易产生缺陷的工艺步骤。

Fig.1 Model flow图1 模型流程

1 VGG19 网络分类

1.1 模型选取

VGG19 神经网络由输入层、多个卷积层、多个池化层、三个全连接层和输出层组成，通过正向传播和反向传播更新网络权重，主要采用同样大小的卷积核尺寸和最大池化层尺寸，并采用多个3×3 的卷积核代替更大的卷积核，提升了网络深度、减少网络参数计算量。同时由于VGG19 网络足够深，结构简洁、易用性强，提取图像特征的效果较好，因此本文选取VGG19 网络进行研究测试。

1.2 模型搭建

（1）数据预处理。图像采集：利用海康威视CCD 工业线阵相机采集烟支一周图像，如图2 所示。

Fig.2 CCD camera to obtain full image of cigarette图2 CCD 相机获取烟支一周图

数据归一化：将所有数据样本特征值归一化到0～1之间，从而保证数据样本的原有性。归一化公式为：

其中，

x

*为归一化的样本数据值，

x

为原有样本数据值，max 为样本数据的最大值，min 为样本数据的最小值。

（2）数据集划分。数据集按7∶2∶1 划分为训练集、验证集和测试集。

（3）构建VGG19 网络模型。配置网络中隐含层及每层的神经元个数，将最后一个SoftMax 层的参数1×1×1 000改为1×1×2，同时搭建正反向传播网络。

（4）目标损失Loss 计算与结果分类预测。模型采用交叉熵损失函数计算损失，Loss 数据可直观呈现模型训练的好坏程度。网络模型的最后一层设置SoftMax 分类器，对烟支质量进行二分类预测，SoftMax 分类器采用Logistic 回归模型预测烟支是否合格，合格烟支标签值为1，缺陷烟支标签值为0。

（5）剔除缺陷烟支。模型识别出的缺陷烟支，可向剔除装置发送协议信息，将缺陷烟支进行剔除，保证烟支生产质量。

（6）缺陷烟支图像获取。保存模型识别的缺陷烟支图像，作为后续YOLOV3 网络的数据集，进行缺陷烟支定位和类别分析，查找易产生缺陷的工艺步骤。

2 YOLOV3 缺陷定位

YOLOV3 是用于目标检测和定位的神经网络，可通过标记图中目标样本类别进行模型训练，实现目标检测和定位。YOLOV3 网络构建、训练和测试的具体步骤如下：

（1）数据集获取与数据预处理。通过VGG19 网络分类后的缺陷烟支图像如图3 所示。对VGG19 网络分类的缺陷烟支图像进行预处理，利用图像增强和图像清洗技术扩展模型的泛化性，并按7∶2∶1 划分训练集、验证集和测试集。

Fig.3 Defective cigarette图3 缺陷烟支

（2）特征提取。构建模型后，提取烟支缺陷图像特征，YOLOV3 特征提取的主干网络基于Darknet-53，核心为残差卷积。Darknet-53 主干网络通过多个残差块堆叠而成，在YOLOV3 网络中主要利用Darknet-53 最后3个残差块进行目标特征提取，根据提取的特征层进行候选框线性回归预测，使最后的anchor（候选框）都具有真实目标对象。

（3）IOU 结果筛选。YOLOV3 网络在定位烟支缺陷时，由于检测概率不同，可能会对同一目标产生多个anchor，因此会存在同一个目标被多个anchor 重叠标记的情况，如图4-图6 所示。

Fig.4 Macular defect图4 黄斑缺陷

Fig.5 Puncture defect图5 刺破缺陷

Fig.6 Wrinkle defect图6 褶皱缺陷

为了解决上述问题，需要采用非极大值抑制算法（NMS），寻找置信度最高的anchor，具体步骤如下：①排序目标边界框置信度，将置信度最高的anchor 添加至最终边界框输出列表，并在目标边界框列表中删除该anchor；②计算所有anchor 面积及置信度最高的anchor 与其他anchor 的交并比；③删除交并比大于阈值的anchor，本文IOU 的阈值设置为0.5；④重复上述①—③过程，直到目标边界框列表为空。

（4）模型损失。本文提出的模型损失Loss=BLoss+OLoss+CLoss，其中，BLoss 是目标检测框xywh 偏移量计算的误差损失，OLoss 是目标检测置信度与IOU（交并比）计算的误差损失，CLoss 是目标类别分类计算的误差损失。计算公式如式（2）—式（4）所示：

3 实验结果与分析

3.1 VGG19 缺陷分类结果

本文采集1 000 张烟支数据集图像进行建模，第一组合格烟支500 张，缺陷烟支500 张。其中，Train 样本集700张，合格烟支350 张，缺陷烟支350 张；Val 样本集200 张，合格烟支100 张，缺陷烟支100 张；Test 样本集100 张，合格烟支50 张，缺陷烟支50 张。第二组合格烟支300 张，缺陷烟支700 张。其中，Train 样本集700 张，合格烟支210 张，缺陷烟支490 张；Val 样本集200 张，合格烟支60 张，缺陷烟支140 张；Test 样本集100 张，合格烟支30 张，缺陷烟支70 张。利用VGG19 网络对上述数据进行训练，不同组别数据集训练准确率和损失结果如表1 所示。

根据表1 数据统计，第一组数据集划分方式分类效果最好，VGG19 网络经过多次迭代训练准确率越来越高，预测值与真实值越来越接近，训练的准确率和损失曲线如图7-图10 所示。

实验证明，本文提出的模型能较好识别烟支缺陷并进行分类，识别平均准确率为97.6%。针对不同品牌的烟支检测时，当烟支缺陷较明显时，检测准确率为100%，部分检测效果如图11 所示。其中，标签为1 的合格图像在左侧输出ok，标签为0 的缺陷图像在左侧输出ng。

Table 1 Cigarette defect classification training results表1 烟支缺陷分类训练结果

Fig.7 Training set accuracy curve图7 训练集正确率曲线

Fig.8 Training set model loss curve图8 训练集模型损失曲线

Fig.9 Validation set accuracy curve图9 验证集正确率曲线

Fig.10 Validation set model loss curve图10 验证集模型损失曲线

Fig.11 VGG19 network prediction results图11 VGG19 网络预测结果

3.2 YOLOV3 缺陷定位结果

模型将缺陷烟支分为3 类：刺破（对应标签cp）、黄斑（对应标签hb）和褶皱（对应标签zc）。本文数据集选用VGG19 网络中的500 张缺陷烟支图像，其中VGG19 网络用来测试的70 张缺陷烟支（cp：20 张、hb：20 张、zc：30 张）图像同样作为测试集，剩余的430 张缺陷烟支（cp：140 张、hb：140 张、zc：150 张）图像随机划分280 张（cp：90 张、hb：90张、zc：100 张）作为训练集，剩余150 张（cp：50 张、hb：50 张、zc：50 张）作为验证集。利用搭建的YOLOV3 模型对上述数据进行训练，训练结果曲线如图12 所示。

Fig.12 YOLOV3 model loss curve图12 YOLOV3 模型损失曲线

由图12 可见，损失函数Loss 随迭代次数Epoch 增加而减少，Loss 曲线在前20个Epoch 快速降低，随后缓慢下降，最后趋于稳定。利用模型集测试70 张缺陷烟支，准确率为96.8%，定位准度良好，均能定位缺陷位置和识别缺陷类别，预测结果如下图13-图15 所示。

Fig.13 Macular cigarette defect prediction图13 黄斑烟支缺陷预测

Fig.14 Pricked cigarette defect prediction图14 刺破烟支缺陷预测

Fig.15 Folded cigarette defect prediction chart图15 褶皱烟支缺陷预测

本文提出根据缺陷类别和缺陷定位分析，查找易产生缺陷的工艺步骤。分析图13 的烟支缺陷，图像成斑点分布，大概率为烟丝原料问题；若成条状分布，大概率为卷接机组问题。分析图14 的烟支缺陷，图像仅有刺破无褶皱，大概率为二次风分装置故障；若图像同时含有刺破和褶皱，则大概率为搓板与搓接鼓轮之间发生故障。分析图15的烟支缺陷，褶皱可能产生在整个卷接机组中，无法具体判定故障部位，需要现场排查。

4 结语

本文提出基于多神经网络的烟支缺陷分类与定位方法。先通过VGG19 网络进行缺陷分类，再利用YOLOV3 网络进行缺陷定位和缺陷类别分析，查找易产生缺陷的工艺步骤。通过实验数据测试结果表明，该模型能准确预测、剔除缺陷烟支，同时根据缺陷类别可初步推断易产生缺陷的工艺步骤，为烟草企业和相关领域提供了一定的参考。当然，烟支缺陷类别众多，而本文仅选取三个类别进行研究分析，还有待进一步研究。