基于智能图像识别的烟盒包装质量快速检测系统的研究

张艮水，兰志超，鄢红章，郭子国，夏自龙，鲁展青，李 诚

(1.湖北中烟工业有限责任公司，湖北 武汉 430040；2.杭州书微信息科技有限公司，浙江 杭州 330009)

关键字：卷烟包装；智能图像识别；SVMs；质量检测

0 引言

在生产过程中，由于机械、电气设备等不稳定因素，卷烟外包装出现拉丝和边缘不齐整等，严重影响产品外观和质量。香烟质量检测是严控产品质量与合格率的关键环节，包括烟支检测、盒装香烟检测、条烟检验和包装箱检验。

近几年，工业上利用图像识别进行产品外部包装质量检测取得一些成效。智能图像识别技术是人工智能一个重要领域，其针对不同模式的目标和对象特征进行对象识别，包括目标的边缘和纹理等特征。利用机器学习不断跟踪识别模板。对目标物体进行检测、迭代和更新，从而快速准确地检测和分类[1]。大数据环境下的机器学习为数据处理提供技术支持，可以实现数据的高效获取、图文检索判断，其常见方法有支持向量机、BP神经网络和极限学习机等。

文献[2]建立了真伪卷烟包装鉴别模型，利用图像识别对包装进行图像处理和特征向量提取，可在多种复杂情况下，提高真伪鉴别效率和准确率；文献[3]针对烟叶生产中的实际技术问题，提出智能图像识别的烟叶成熟度判别方法，基于遗传算法的LS-SVM预测模型和烘烤过程中烟叶含水率的卷积神经网络预测模型进行质量检测；文献[4]建立了大数据分析的条烟外包装视觉检测系统，其检测分辨率高，适用范围广，可有效提高外包装合格率。

1 烟盒包装瑕疵检验

1.1 检验要求

盒装香烟检验是香烟品控的必要步骤，包装盒瑕疵检测是品控关键环节。典型的包装缺陷有：封条脱落、外包装边框不齐整、印刷字体错位、颜色过曝或曝光过低、表面损坏和内包装暴露等[5]。

自动化生产过程中，产品在流水线上做线性运动，且不会重复路线，因此需围绕产品移动路径和速度等特征，在保证正确率的前提下开展及时、快速的检测，否则将会漏判、误判。同时，由于检测图像可能会有多余背景影响判断正确率，因此需算法对图形进行预处理。产品包装盒有6个侧面，而产品与流水线总要有1个接触面，因此至少需要检测产品的5个侧面；当检测到瑕疵包装后，必须及时确定瑕疵类型和瑕疵位置，根据不同类型进行剔除，以提高后续生产效率。

本文提出一种基于智能图像识别技术的烟盒包装瑕疵检测方法。

1.2 检验流程

质量检测流程包括图像采集、边缘感应、灰度化处理和缺陷判别等环节。首先，图像预处理既能过滤干扰，优化其视觉效果，又能减少后续处理的数据内容，提高测量系统的精度，因此先进行预处理[6]；其次，判断预处理后图像的边框；然后，再确定感兴趣区域(region of interest，ROI)，根据良好包装盒的图像特征进行初步判定，对每个ROI进行判别；最后，当ROI被判断为有瑕疵时，就会进一步对瑕疵进行分类，确定瑕疵类型并剔除瑕疵烟包。完整流程如图1所示。显然，自动化程度高的图像识别处理技术是解决本文问题的关键。

图1 包装盒瑕疵检测流程

2 系统构造

质量检测系统包括图像采集、边缘感应、图像预处理和缺陷判别等模块，图像预处理是整个系统设计的重点。基于智能图像识别的包装质量检测系统需要采集和处理传送带上成包香烟的5个非底面图像，判断有瑕疵后剔除有瑕疵的烟包。系统构造如图2所示。

图2 包装盒瑕疵检测系统

该系统由图像采集模块、剔除模块、信号处理器和中枢神经模块组成。当烟包在传送带上通过时，采集模块逐包采集图像并转化成信号，将信号传至中枢神经模块，一旦判断为瑕疵样品，则进一步计算判断瑕疵类型，并发出信号，触发剔除机构动作，按类剔除。

将烟盒运动轨迹确定后，应在沿途设置多组同时检测的CCD摄像阵列，每组含5个CCD摄像头：1号、2号位于左右垂直侧面，3号位于流水线顶部，4号和5号分别位于3号的斜前方与斜后方，以30°角面向流水线运动的正、反方向。根据生产实际，产品量的不同，可沿途设置多组CCD摄像阵列，每组的每个CCD摄像头分别负责采集包装盒5个侧面的图像数据。

流水线下游的剔除模块包含信号处理器和剔除机构，可根据中枢神经模块发来的信号，按类型执行剔除动作。

3 算法原理

3.1 灰度化预处理

图片色彩对缺陷判断的影响不大，因此，当获得了分辨率不低于3 120×3 120的侧面照片后，先进行图片灰度化预处理。通过转化公式将图像的像素点变为灰度值二维矩阵，通过减少数据量，提高处理速度和监测效率。灰度值矩阵G1的计算公式为

G1=0.299R+0.587G+0.114B

(1)

R、G、B分别为3个颜色分量。

3.2 Sobel算子边框查找

从各模块工作过程可知，只要移动速度和烟包尺寸等参数确定后，拍摄出的无瑕疵烟包图像基本一致，其成像特征基本是稳定的、相似的、典型的，可作为系统判别条件之一。

然而，实际生产过程中成像不可能相同，一定存在不可避免的物理振动、采集时间和拍摄速度不一致等因素，因此需要对图像进行预处理，剔除多余背景区域。该区域由烟盒边框决定，可用快速查找边框算法[7]判定。

烟盒边框基本为矩形，左下角的点可视为二维坐标系的原点O(0,0)，那么边框内部某一点的坐标为ai(xi,yi)。边框上有1个点a0(x0,y0)，a0与ai连线的斜率方程为

(2)

N个斜率值数据储存于中枢神经系统的数据库中。数据库根据判别条件搜索出所有斜率值中的最大值kmax，该值可能为矩形边框、瑕疵或其他干扰线段。

查找边界算法的流程为：利用平均模板法将灰度化的图像的像素进行滤波，使图像平滑。用迭代法进行图像二值化后使用Sobel算子进行边缘查找，得到黑色的矩形边界，如图3所示，盒装香烟上的斜条纹是干扰区域。

图3 二值化后计算的边缘结果

3.3 瑕疵检测方法

通过转化公式将图像变为灰度值二维矩阵后，如果包装盒上有肉眼可见的缺陷，计算后会得到每种缺陷对应的特征值和特征向量。瑕疵判断依据：将计算值与标准模板矩阵的特征值和特征向量相比对。由于外层薄膜易反光，并且不同样品水印和暗纹的位置略有不同，在公式计算推导的过程中存在错误判断的概率。

本文采用ROI中含14种纹理特征的灰度共生矩阵参数作为特征矩阵，每种纹理对应1个特征向量。其中，非线性相关的仅有4个[8]，因过程中不出现复数，具有精度高、计算简单的特点，故一般采用这4种特征作为标准化模板参数，又称GLCM参数。

a.能量参数E，反应GLCM中元素的平方和。约束条件为0≤E≤1，若灰度相等，则E=1。

b.对比度参数C1，反应区内像素点和相邻像素点之间亮度的反差。约束条件为：

0≤C1≤N

(3)

N=(G-1)2

(4)

G为GLCM参数矩阵的行数。灰度越接近，对比度值越接近于0。

c.相关度C2，体现像素点之间的关联性。约束条件为-1≤C2≤1，灰度越接近，C2越小，若一致则关联性为NaN。

d.同质性H，体现GLCM中元素分布情况到对角线密切水平，约束条件为0≤H≤1。对角矩阵的H=1。

确定任意面的ROI：选择任意面；如果选择的是烟盒顶部，由于其面积小对计算影响不大则确定整个顶面为ROI；若选的是正面和背面，可以选择密封处，或印刷图案、汉字、符号处。图4和图5为捕获的小包装正面和顶部的ROI。

本文选择ROI的原因：提高计算便捷度、提升监测精度，减少计算步骤也使检测实时高效。而在实际检测中，也可依靠过往经验，根据企业特定产品的标准和最容易发生缺陷的区域来选择。

图4 包装正面感兴趣区

图5 包装顶部感兴趣区

选择后，计算该区域GLCM的平均值，并确定阈值为Em、C1m、C2m和Hm。根据Euclidean距离判断法[9]对每个烟盒、每个面进行快速计算，计算差异值F。当F大于特定值判断瑕疵，公式为

(5)

参数间具有关联性，能放大瑕疵信息，降低光源外因对计算的干扰，计算简单，判断快速、准确。

3.4 瑕疵类型判别分级算法

瑕疵和GLCM参数间的关系复杂，仅根据14个纹理中的4个不相关特征，很难判断瑕疵类型。SVMs是一种在小规模样本实践中有效的机器学习算法，收敛速度快，扩展能力强[9]。本文采用基于SVM机器学习的遗传分级算法进行包装瑕疵类型判断。

a.图像统计参数的选择。当产品烟盒包装质量出现问题时，很难从彩色图像的形状特征中发现瑕疵，应从灰色图像的统计特征中判断。

高阶统计参数可以反应干扰，但难以察觉细小瑕疵点，如果在特征向量里加入高阶局部特征参数分量，并使用DCT正交变换，就能提高精度、减少计算量、避免出现复数项[10]。DCT系数阵列为

f(m,n)=

0≤n≤N

(6)

W为感兴趣区像素值；Gw(x,y)为像素点灰度值。

本文使用高阶统计参数复核基参数判别瑕疵，使用DCT系数阵列前三阶项的特征向量，加上灰度特征矩阵的E、C1、C2、H这4项基参数，构成1个七维特征向量。在瑕疵判别时，对七维特征向量进行比对。

b.SVMs分级算法。支持向量机SVMs作为一种监督学习算法，广泛应用于机器视觉分类，与无监督、聚类相对应和区别。在样本量较小时，分类精确度高，并且具有不错的泛化能力。但经典的二类支持向量机对于多分类问题存在困难，目前可以使用多个SVMs组合解决[11]。

本文用聚类法构建多个SVMs组合模型，分级流程如图6所示。5个SVM构成了判断SVMs二进制树的多级评分器，分级顺序为：封条脱落、外包装缺失、颜色泛白、包装翻面、包装错位和包装损坏。

图6 多类分级的SVM二进制树

每个七维特征矩阵都可经由以上流程判别，从SVM1开始，到类型确定后终止。出瑕疵类型为正样本，不属于该类型的为负样本。每次练习的负样本可以作为下一级的正样本，直到获得结果。

4 试验分析

本文构建了一个烟盒包装质量检测系统模型，结合生产现场进行试验。受测样本包含6种缺陷类型的180个样品，试验条件与烟草企业包装线的可行参数基本一致。试验验证，该方法可以检测出所有类型缺陷，并实现按类缺陷剔除，误判率可通过调整差异值的方法降低,直到低于甲方要求的合理水平。

对各类瑕疵的正确识别率如表1所示。由表1可知，对包装损坏缺陷的正确识别率相对较低，是因为包装损坏类缺陷包含的情况比较多，难以对其精准定义，因此其特征向量难以描述。

表1 各类瑕疵的正确识别率

5 结束语

本文提出一种基于智能图像识别技术的烟盒包装瑕疵检测方法和一种基于机器学习、SVMs模式识别的分级算法，可以实现包装瑕疵快速检测和分类。建立了包装瑕疵检测的烟盒包装质量检测系统模型，验证了本文算法具有正确识别率高和误判率合理等优点，对构建基于智能图像识别的产品检测系统具有一定的工业参考价值。