基于相似性分析和阈值自校正的烟箱缺条智能检测方法

王 伟，朱立明 ，章 强，张利宏，赵春晖

1.浙江中烟工业有限责任公司，杭州市西湖区科海路118号 310024

2.浙江大学控制科学与工程学院 工业控制技术国家重点实验室，杭州市西湖区浙大路38号 310027

条烟装箱是卷烟生产的最后一道工序，在装箱过程中有可能会出现烟箱缺条等质量问题。为加强过程监控管理，大多数卷烟企业通过改造升级封箱机，采用电子称重型或机器视觉型缺条检测方法对装箱过程烟箱进行检测，但仍未能彻底解决缺条问题，由此给企业的品牌形象造成负面影响。电子称重型缺条检测方法［1-3］假定纸箱质量恒定，通过烟箱实际质量与标定质量的对比判断是否缺条，随着烟草行业卷烟纸箱回收利用项目的推广，纸箱在使用、回收过程中由于吸潮等原因造成回收纸箱质量与标定质量偏差较大，影响了电子称重型缺条检测方法的准确性，且该方法不能保存烟箱生产过程数据，无法对缺条问题进行追溯。机器视觉型缺条检测方法通过实际图像与模板图像的匹配［4-7］或者实际图像自身特征值与特征阈值的对比［8-10］判断是否缺条，具有准确快速、稳定性好、适应性强、容易追溯等特点，近年来受到较多关注。但在实际图像自身特征值与特征阈值对比的缺条检测方法中，如何有效设计并高效提取烟箱图像特征是该类方法检测缺条的关键。借鉴面向复杂大规模过程的分布式监测思想［11-14］，采用图像横向、纵向分块的策略，建立了一种基于相似性分析和阈值自校正的烟箱缺条智能检测方法，通过精准提取和量化烟箱图像的特征，以期提升机器视觉型缺条检测方法的准确性，杜绝烟箱缺条问题的发生。

1 基于分块思想的建模图片相似性分析

在封箱机上增加前、后成像装置，当推板将前25条烟全部推入纸箱时获得前位图片OF（Nof×Mof×3），当后25条烟全部推入纸箱推板返回时获得后位图片OB（Nob×Mob×3），将前位和后位图片的彩色RGB图像转换为灰度图像GF（Nof×Mof）和GB（Nob×Mob）。针对某一封箱机，由于前位和后位图片的拍摄角度相对固定，为快速识别出烟箱的有效区域，采用人工标记烟箱有效区域的方法，分别获得前位和后位图片的左上角X轴坐标（xf、xb）、左上角Y轴坐标（yf、yb）、宽度（wf、wb）、高度（hf、hb）等8个参数，并获得烟箱有效区域的灰度图像PF（Npf×Mpf）和 PB（Npb×Mpb）。

基于前位图片烟箱有效区域的灰度图像，根据图像高度将其等分为5块，获得5行子图像 XPFi（Nxpf×Mpf）（i=1，…，5），计算各个子图像矩阵 XPFi列向量的均值，获得5行子图像的向量XMPFi（1×Mpf），采用皮尔逊相关系数［15］计算每两个相邻行之间的相似度（ρf12、ρf23、ρf34、ρf45），计算公式为：

式中：cov（XMPFi，XMPFi+1）表示两个相邻行向量 XMPFi和 XMPFi+1的协方差；δXMPXMPFi、δXMPXMPFi+1分别表示向量XMPFi、XMPFi+1的标准差。

基于前位图片烟箱有效区域的灰度图像，根据图像宽度将其等分为5块，获得5列子图像YPFi（Npf×Mypf）（i=1，…，5），计算各个子图像矩阵YPFi行向量的均值，获得5列子图像的向量YMPFi（Npf×1），采用皮尔逊相关系数计算每两个相邻列之间的相似度（ρ′f12、ρ′f23、ρ′f34、ρ′f45）。采用相同方法计算后位图片烟箱有效区域灰度图像的每两个相邻行之间的相似度（ρb12、ρb23、ρb34、ρb45）和每两个相邻列之间的相似度（ρ′b12、ρ′b23、ρ′b34、ρ′b45）。

2 基于核密度估计的建模图片阈值计算

针对一个烟箱的前位和后位图片可以计算得到一个相似度行向量ρ1，依次由元素ρf12、ρf23、ρf34、ρf45、ρ′f12、ρ′f23、ρ′f34、ρ′f45、ρb12、ρb23、ρb34、ρb45、ρ′b12、ρ′b23、ρ′b34、ρ′b45构成。收集No个未发生缺条烟箱的前位和后位图片，计算每个烟箱的相似度行向量ρj（1×16）（j=1，…，No），构成相似度矩阵 R=［ρ1，…，ρNo］T。针对矩阵每一列数据，由于其分布情况未知，采用核密度估计方法［16］确定数据的分布特征，计算得到对应每一列的核密度曲线。第k列的核密度估计计算公式为：

式中：K（·）为高斯核函数；ρjk为相似度矩阵 R第j行第k列的相似度指标；No为建模图片的个数；h为窗宽。

公式（2）中，当h较小时，核密度曲线能够反映较多细节，但光滑性较差；当h较大时，核密度曲线较为光滑，但会掩盖一些细节。将核密度曲线中最左侧（即相似度最小）的相似度数据作为建模图像中对应该位置的阈值，获得阈值向量θ（1×16）。

3 缺条在线识别和阈值自校正

重新采集烟箱的前位图片OFT和后位图片OBT，将其转换为灰度图像GFT和GBT。基于提前识别好的前位和后位图片有效区域坐标，分别获得烟箱有效区域的灰度前位图像PFT和后位图像PBT。将灰度前位图像PFT按照图像高度分行，根据公式（1）计算相邻行之间的相似度ρtf12、ρtf23、ρtf34、ρtf45；再按照图像宽度分列，按照公式（1）计算相邻列之间的相似度ρ′tf12、ρ′tf23、ρ′tf34、ρ′tf45。将计算得到的 8个相似度指标与阈值向量θ的前8个元素进行一一比较，如果所有相似度指标均大于阈值向量θ的对应元素，识别该前位图片未出现缺条，否则识别该前位图片出现缺条，并在图片上进行相应标注。采用相同方法识别灰度后位图像PBT是否出现缺条。

对于在线识别未缺条的烟箱图像，通过工艺人员确认后，将表征烟箱图像特征的相似度行向量ρT添加到已有相似度矩阵R中。基于更新后的相似度矩阵RT=［ρ1，…，ρNo，ρT］T，根据公式（2）重新计算得到对应每一列的核密度曲线。将核密度曲线中最左侧（即相似度最小）的相似度数据作为对应该位置的最新阈值，获得更新后的阈值向量θT（1×16）。基于相似性分析和阈值校正的烟箱缺条智能检测算法流程见图1。

图1 烟箱缺条智能检测算法流程图Fig.1 Flowchart of method for intelligent detection of carton missing in cigarette case

4 数据验证与结果分析

4.1 参数设置

选取杭州卷烟厂2018年7—8月13号封箱机“利群（软长嘴）”牌号的历史运行数据，对烟箱缺条智能检测方法的有效性进行验证。通过数据甄别，选取130组未发生缺条烟箱的前位和后位图片作为建模图片。其中，某一烟箱内部条烟的前位、后位原始图片见图2，原始图片的矩阵分别为 OF（652×738×3）和OB（652×738×3）。

图2 烟箱内部条烟前位、后位原始图片Fig.2 Original images of front position and rear position of cigarette cartons inside cigarette case

进行灰度变换后的灰度图像矩阵分别为GF（652×738）和GB（652×738）。人工标记的前位灰度图像有效区域为：左上角X轴坐标xf为121，左上角Y轴坐标yf为196，宽度wf为550，高度hf为290；后位灰度图像有效区域为：左上角X轴坐标xb为131，左上角Y轴坐标yb为280，宽度wb为 470，高度hb为245。烟箱有效区域的灰度图像见图3，有效区域的灰度图像矩阵分别为PF（290×550）和PB（245×470）。

图3 图像分割后有效区域灰度图像Fig.3 Grayscale images of effective area after image segmentation

前位图片烟箱有效区域灰度图像的5行子图像为XPFi（58×550），通过计算XPFi列向量均值得到5行子图像的向量为XMPFi（1×550），每两个相邻行之间的相似度ρf12、ρf23、ρf34、ρf45分别为 0.918 1、0.937 5、0.947 2、0.891 6。前位图片烟箱有效区域灰度图像的5列子图像为YPFi（290×110），通过计算YPFi行向量均值得到5列子图像的向量为YMPFi（290×1），每两个相邻列之间的相似度ρ′f12、ρ′f23、ρ′f34、ρ′f45分别为0.779 9、0.835 0、0.918 4、0.921 8。

后位图片烟箱有效区域灰度图像的5行子图像为XPBi（49×470），通过计算XPBi列向量均值得到5行子图像的向量为XMPBi（1×470），每两个相邻行之间的相似度ρb12、ρb23、ρb34、ρb45分别为 0.982 5、0.932 2、0.947 2、0.960 2。后位图片烟箱有效区域灰度图像的5列子图像为YPBi（245×94），通过计算YPBi行向量均值得到5列子图像的向量为YMPBi（245×1），每两个相邻列之间的相似度ρ′b12、ρ′b23、ρ′b34、ρ′b45分别为0.745 7、0.621 7、0.840 0、0.924 7。进而构成该烟箱的相似度行向量ρj（1×16）。

图4 前位和后位图像16个相似度指标对应的核密度曲线Fig.4 Kernel density curves corresponding to 16 similarity indicators of front position and rear position images

通过对130组建模图片的相似度分析，计算得到相似度矩阵R（130×16）。针对矩阵每一列数据，选取窗宽h为3，根据公式（2）计算每一列的核密度曲线，16个相似度指标对应的核密度曲线见图4。将核密度曲线中最左侧（即相似度最小）的相似度数据作为建模图片中对应该位置的阈值，获得阈值向量θ（1×16），其16个元素分别为0.847 7、0.839 7、0.813 9、0.824 6、0.631 5、0.674 0、0.760 2、0.762 1、0.957 2、0.883 1、0.912 2、0.909 6、0.544 3、0.536 7、0.755 1、0.826 7。

4.2 测试验证

重新采集1组未发生缺条烟箱的前位和后位图片进行在线识别，通过灰度变换和图像分割获得前位图片有效区域的灰度图像矩阵PFT1（290×550），计算得到PFT1的8个相似度指标ρtf12、ρtf23、ρtf34、ρtf45、ρ′tf12、ρ′tf23、ρ′tf34、ρ′tf45分别为 0.902 8、0.871 6、0.940 7、0.863 8、0.816 8、0.808 5、0.845 7、0.888 8。8个相似度指标均大于阈值向量 θ（1×16）的前8个元素，识别该前位图片未出现缺条，并在图片上进行相应标注，见图5a。通过灰度变换和图像分割获得后位图片有效区域的灰度图像矩阵PBT1（245×470），计算得到PBT1的8个相似度指标ρtb12、ρtb23、ρtb34、ρtb45、ρ′tb12、ρ′tb23、ρ′tb34、ρ′tb45分别为 0.976 8、0.927 2、0.954 8、0.951 4、0.724 1、0.683 3、0.853 9、0.926 4。8个相似度指标均大于阈值向量 θ（1×16）的后8个元素，识别该后位图片未出现缺条，并在图片上进行相应标注，见图5b。

图5 在线识别并标注后的未缺条图片Fig.5 Images without carton missing after online identification and labeling

再重新采集1组烟箱内部前位条烟发生缺条的图片进行在线识别，通过灰度变换和图像分割获得有效区域的灰度图像矩阵PFT2（290×550），计算得到 PFT2的 8 个相似度指标ρtf12、ρtf23、ρtf34、ρtf45、ρ′tf12、ρ′tf23、ρ′tf34、ρ′tf45。分别为0.485 6、0.929 5、0.880 1、0.919 8、0.818 3、0.813 9、0.854 2、0.639 8。8个相似度指标中，ρtf12和ρ′tf45小于阈值向量θ（1×16）对应的元素，识别该前位图片出现缺条，并在图片上进行相应标注，见图6a。再重新采集1组烟箱内部后位条烟发生缺条的图片进行在线识别，通过灰度变换和图像分割获得有效区域的灰度图像矩阵PBT2（245×470），计算得到PBT2的8个相似度指标ρtb12、ρtb23、ρtb34、ρtb45、ρ′tb12、ρ′tb23、ρ′tb34、ρ′tb45分别为0.843 7、0.916 5、0.943 1、0.960 1、0.590 9、0.515 7、0.840 6、0.907 9。8个相似度指标中，ρtb12和ρ′tb23小于阈值向量θ（1×16）对应的元素，识别该后位图片出现缺条，并在图片上进行相应标注，见图6b。此外，测试数据中剩余13种缺条缺陷均能准确识别和检测，表明所建立的烟箱缺条智能检测方法可以很好地解决条烟装箱过程中的缺条问题。

图6 在线识别并标注后的缺条图片Fig.6 Images with carton missing after online identification and labeling

重新采集10组未发生缺条烟箱的前位和后位图片进行在线识别，均可识别出未发生缺条。将表征这10组未发生缺条烟箱图片特征的相似度行向量ρT1，…，ρT10依次添加到已有相似度矩阵R中，选取窗宽h为3，根据公式（2）重新计算每一列的核密度曲线，获得更新后的阈值向量θT（1×16），其16个元素分别为0.846 6、0.839 0、0.811 6、0.822 2、0.629 7、0.677 1、0.760 8、0.762 5、0.956 8、0.883 1、0.912 8、0.910 4、0.540 8、0.537 5、0.755 0、0.827 3。

5 结论

针对生产中出现的烟箱缺条问题，建立了一种基于相似性分析和阈值自校正的烟箱缺条智能检测方法。通过前位和后位图片的横向、纵向分块以及分块间的相似度指标计算，实现了图片特征信息的有效表征和量化；采用核密度估计构建所有建模图片特征相似度指标的初始阈值，并不断学习新的未缺条图片特征进行阈值自校正，能够准确检测烟箱缺条缺陷，标注后的图片为缺条问题追溯提供了依据。选取杭州卷烟厂13号封箱机“利群（软长嘴）”牌号的历史运行数据对该方法进行验证，结果表明：该方法能对测试数据中的所有15种缺条缺陷进行准确识别，检测准确率为100%。本方法能够在封箱机生产环节对装箱过程进行实时高效检测和管控，有效消除了烟箱缺条等质量隐患。