基于视觉成像技术的高速包装机模盒内烟支检测的研究

潘昱亭，蔡培良，张晶，杜浦泽，唐玉林，吕国强，邵乐乐

基于视觉成像技术的高速包装机模盒内烟支检测的研究

潘昱亭，蔡培良，张晶，杜浦泽，唐玉林，吕国强，邵乐乐

（红云红河烟草（集团）有限责任公司曲靖卷烟厂，云南 曲靖 655001）

解决机械探针式烟支检测在检测模盒内烟支时存在误检和漏检的问题。设计一种基于视觉成像技术的高速包装机模盒内烟支检测装置，研究其关键技术，包括工业相机、LED光源和控制器的安装，动态图像采集和图像处理算法，PLC控制程序的设计等。该烟支检测装置安装使用后，对模盒内烟支缺陷产品检测的准确率≥98%，误检率≤1%。该烟支检测装置能有效解决机械探针式烟支检测误检和漏检的问题，提高了产品质量，降低了废烟消耗，提高了设备有效作业率，可推广应用于行业内所有包装设备上。

包装机；烟支检测；视觉检测；图像处理算法；PLC编程

FOCKE FX2（以下简称FX2）是一种高速卷烟包装设备，烟支通过输送通道到达包装机烟库组件，在烟库搅拌电机的作用下均匀下落到烟库下烟通道，然后推烟排将烟支平行推入包装机七角轮模盒内，并且形成767的排列方式，FX2是双通道的高速包装机，烟库推杆每次能推4包烟进入模盒内。烟支在输送过程中，易出现烟支空头、缺支等现象，所以，在烟支进入七角轮模盒之后，需要对模盒内的烟支进行检测，将空头、缺支等缺陷产品进行判别和剔除，这一环节在整个卷烟包装过程中至关重要。

目前针对FX2机型，国内普遍采用机械探针式烟支检测或光电式烟支检测，张涛等[1]设计的探针式烟支检测，通过烟支端面各烟支不同的深度来判断烟支是否空头或缺支，虽然能检测，但实际使用过程中，探针式烟支检测容易误检和漏检；王法明[2]设计的光电式烟支检测，虽然避免了探针式检测对烟支挤压造成的烟丝下陷，其检测反应速度及检测灵敏度都得到了提高，但是随着使用时间的增加，光电式检测光线强度会慢慢衰减，逐渐造成漏检，影响检测的有效性，因此，上述方法均不能保证对烟支空头或缺支的有效检测。为此，基于视觉技术设计一种包装机模盒内烟支检测装置，从而实现对模盒内烟支的缺陷产品进行有效检测和剔除，保证产品质量，减少废烟消耗，提升设备效率。

1 问题分析

FX2高速包装机目前采用的是机械探针式烟支检测，其工作原理是利用探针在接触到烟支端面时，因其端面空松凹陷使探针不能被有效压缩，探针顶部不能接触公共端，从而识别该烟支空松。在实际使用中，由于模盒内烟支比较晃动，造成探针与烟支接触时并没有完全对齐，就会偏离烟支位置造成误判。另外，机械探针式检测是靠内部弹簧的伸缩情况来感应烟支空陷的深度，并且每包烟都需要探针靠近一次，这样，在使用一段时间以后弹簧会发生形变造成无法回弹，导致漏检甚至压坏烟支。总之，使用机械探针式烟支检测对模盒内烟支进行质量检测时，容易造成误检和漏检，不仅不能有效保证产品质量，还造成大量的废烟消耗，因此，针对上述问题，设计一种基于视觉成像技术的高速包装机模盒内烟支检测装置[3]，对模盒内烟支的缺陷产品进行有效检测和剔除，从而保证产品质量，减少废烟消耗。

2 模盒内烟支视觉检测系统

为了解决由于现有机械探针式烟支检测在检测模盒内烟支时存在误检和漏检的问题，基于视觉成像技术设计了一种包装机模盒内烟支检测装置。

2.1 模盒内烟支视觉检测装置的构成

如图1，该高速包装机模盒内烟支视觉检测装置，包括了4个LED闪光灯、4个工业照相机、2个控制器、工控机、触摸显示屏、PLC、编码器、PLC控制程序等。通过PLC控制程序编写[4]，将触发脉冲信号和机器相位共同作为触发条件，对七角轮模盒内烟支进行实时动态检测，采集的照片经控制器处理后上传到工控机，通过图像处理相关算法计算出图片是否为缺陷图片[5]，并通过PLC编写移位剔除程序将缺陷烟包在第一干燥鼓入口处准确剔除。

图1 模盒内烟支视觉检测装置的结构

2.2 模盒内烟支视觉检测装置的工作原理

在七角轮模盒烟丝侧和滤嘴侧各安装2个工业相机及LED光源[6]，当模盒内烟支旋转到检测工位，且机器相位到达指定相位时，触发脉冲触发相机和LED光源动作，进行瞬时拍照。相机将所拍到的图像传输到各自的控制器中进行处理，处理后传输到工控机，进行图像算法分析，从而识别出烟支是否空头或缺支，如果烟支空头或缺支，工控机输出高电平信号至PLC，通过程序编写移位后，将缺陷烟包在第一干燥鼓入口处进行剔除。当连续出现3包缺陷烟包时，PLC控制机器停机，并发出报警信息。

如图2所示为高速包装机模盒内烟支视觉检测装置的检测示意图，图2中1为烟丝侧的2个工业相机及LED闪光灯，2为滤嘴侧的2个工业相机及LED闪光灯。

正常生产时，模盒内烟支跟随七角轮顺时针旋转，每次旋转51°，当模盒内烟支转到机器相位290°～310°时，由触发脉冲触发工业相机对模盒内烟支进行拍照，烟丝侧拍到的是第1组双包烟2个轨道的烟包，滤嘴侧拍到的是第1组双包烟的轨道1中的烟支和第2组双包烟的轨道2中的烟支，在拍照时滤嘴侧的2个工业相机采集到的图像其实是相差1个工位的，因此，在进行移位剔除时，滤嘴侧的烟包移位数也要相差一个工位，这样才能保证缺陷烟包准确剔除[7]。

图2 模盒内烟支视觉检测装置的检测示意图

3 模盒内烟支视觉检测的算法

3.1 视觉检测中的模盒识别方法

在系统拍摄的烟丝端面图像中，多数烟支区域内只包含烟丝与盘纸，灰度差异较大，系统根据此特点能准确地将烟丝分割[8]，但有部分烟支区域内还包括模盒部分，模盒随着使用时间的加长会逐渐老化，其颜色也会由白色逐渐变为黄色，在灰度化处理后，模盒与烟丝的灰度值非常接近，在后续的处理中可能会将其误识别为烟丝，影响系统的检测准确度[9]，故文中提出一种烟支空头检测过程中的模盒识别方法，保证烟丝分割的准确性。

具体步骤如下：

1）将烟丝端面图像按RGB三通道分割为3张灰度图像，分别记为Ib、Ig、Ir。

2）将Ib中每个像素点对应的灰度值与Ir中每个像素点对应的灰度值[10]进行比较，并将结果赋值给蒙板图像Mask1，若比较值为正，蒙板图像上相应像素点的灰度值赋值为0，若比较值非正，蒙板图像上相应像素点的灰度值赋值为255。

3）将Ig中每个像素点对应的灰度值与Ir中每个像素点对应的灰度值作差取绝对值，结果与10进行比较，将比较结果赋值给蒙板图像Mask2，若比较值为正，蒙板图像上相应像素点的灰度值赋值为0，若比较值非正，蒙板图像上相应像素点的灰度值赋值为255。

4）蒙板图像mask1、mask2求交集，将两蒙板图像作“与”操作得到蒙板图像mask3。

5）使用蒙板图像mask3对原彩色图像进行赋值处理。若蒙板图像中某像素点的灰度值为255，则将烟丝端面图像相应像素点的RGB值全部赋值为255；若蒙板图像某像素点的灰度值为0，则相应像素点的RGB值不变。此时，烟丝端面图像中渐变成黄色的模盒部分已识别并设置为白色。

第2和第3处理过程见式（1）。

其中，()、()、()分别为原图像BGR的3个通道的灰度值。

最后处理效果见图3。

图3 去除模盒实验效果

原彩色图像经该方法处理后，得到结果如图3d所示，烟丝右侧的黄色模盒部分均已识别出并已全部设置为白色，此时模盒与烟丝部分形成了鲜明的对比。如图3e所示，图像经过二值化[11]处理并绘制的轮廓能更为准确地反应出烟丝的实际情况。

3.2 烟支自动定位方法

由于FX2包装机特殊的烟支装填方式，烟支在模盒中晃动较大，对基于机器视觉技术的烟支检测装置提出了更高的要求。为了保证烟支检测的准确性，文中提出一种智能的、自动的烟支定位[12]方法，准确确定各烟支的检测区域。下面将以烟丝侧为例进行详细说明。

对图像传感器采集的待检烟支烟丝端面图像进行灰度化处理，见图4。

图4 烟丝灰度图像

以图像像素灰度值作为投影特征进行水平投影，见式（2），得到水平投影曲线如图5所示。在水平投影曲线中，每排烟支边界处的投影值相对周围其他区域较大，形成波峰。

对水平投影曲线进行式（3）的特殊滤波处理，得到与烟支排数相对应的几段独立波形，波形图像，见图6。

最后查找确定各段波形中波峰的具体位置，根据波峰位置对灰度图像进行分割可得到每排烟支对应的图像，见图7。

图7 水平分割效果图像

同理，以图像像素灰度值作为投影特征分别对分割出的每排烟支图像进行垂直方向的投影，得到垂直投影曲线。在垂直投影曲线中，每支烟边界处的投影值会相对周围其他区域较大，形成波峰。对垂直投影曲线进行特殊滤波处理，得到与烟支数相对应的几段独立波形。查找确定各段波形中波峰的具体位置，根据波峰位置对灰度图像进行分割可得到该排烟支中包含的各烟支，最终确定模盒内各烟支的准确位置，最后分割效果见图8。

图8 最终定位效果图像

在进行空头或缺支检测前，先采用该方法对烟丝或滤嘴侧图像进行烟支位置的准确分割，达到每支烟支准确定位的效果，能对香烟包装机模盒内的烟支进行准确定位，确定各烟支的检测区域，从而保证后续烟支空头检测的准确性。

3.3 烟支空头识别方法

如图9所示，为了有效地识别烟支空头，将工业相机的光学镜头中心轴与待检测烟支的烟丝端面成一定角度，以最常见的直径为7.8 mm的烟支为例，要求烟支空头基准的可调范围为0～5 mm，如果烟支空头5 mm，当图像传感器拍摄到的恰好全部是白色的烟支盘纸内表面时，光学镜头与烟支之间的角度为57.4°，实际安装时该角度应该略小于57.4°，即当烟支空头5 mm时图像传感器还能拍摄到很小的烟丝区域，这样可以保证烟支空头基准设为5 mm时是有效的。

一支空头约为3 mm烟支的烟丝端面的图像需要经过的一系列图像处理流程，见图10。当工业相机采集到待检测烟支烟丝端面的图像后，传送至控制器中进行图像处理，因为烟丝为褐色、盘纸内表面为白色，所以可以利用这种明显的颜色对比，通过图像处理技术对烟丝进行识别，处理过程包括灰度化处理、二值化处理、腐蚀处理、膨胀处理。灰度化是将图像传感器拍摄到的烟丝端面的彩色图像转换为灰度图像；二值化是将烟丝与烟支盘纸内表面进行区分；腐蚀及膨胀是消除经二值化处理后的图像中的一些小噪点。这样可以提高后续查找烟丝区域轮廓的速度，将烟丝像素的灰度值设为255，烟支盘纸内表面像素的灰度值设为0，查找并绘制待检测烟支烟丝区域轮廓，再计算出待检测烟支烟丝区域轮廓面积，即待检测烟支烟丝区域的像素数，然后将待检测烟支烟丝区域的像素数与基准值进行比较，当待检测烟支烟丝区域的像素数小于基准值时，判断烟支为空头烟支。

图9 烟丝侧工业相机的镜头角度

图10 烟丝测图像处理流程

3.4 烟支缺支识别方法

烟支缺支的识别方法见图11，为了有效地识别烟支缺支，将工业相机的光学镜头中心轴与待检测烟支的滤嘴端面垂直，拍摄滤嘴端面的图像。因为滤嘴是白色的，所以有滤嘴的部分亮度很高，没有滤嘴的部分亮度很低，这样就能很明显的区分出是否缺支。

工业相机采集到滤嘴侧图像后传到控制器进行图像处理，图像处理包括灰度化、二值化、腐蚀、膨胀等处理，查找并绘制出滤嘴端面区域的轮廓线，计算各滤嘴端面区域轮廓线包围的像素数，当滤嘴端面区域像素数低于用户设定的基准值时计算机则判断该烟支位置缺少烟支。如图12所示，当检测框内不缺支时，计算轮廓面积为6 655像素，而当检测框内缺支时，计算轮廓面积为2 009像素，两者之间差异非常明显，因此，此方法能有效检测出模盒内烟支是否缺支。

图11 滤嘴侧工业相机的镜头角度

图12 烟支缺支识别方法

4 检测装置控制程序的设计

4.1 取消原机烟支检测组件配置

原机烟支端部检测组件通过Ethenet与FX2包装机Profibus总线通信网络[13]连接在一起（见图13），安装烟支视觉检测后，需保留原机烟支检测的网络配置，保证设备网络通信正常，并将原机烟支检测组件功能关闭（见图14）。

图13 FX2包装机总线网络

图14 关闭原机烟支检测组件功能

4.2 设置视觉检测相位

结合FX2的七角轮安装位置、运行轨迹和相位变化，给烟支视觉检测添加触发、剔除及自诊断的相位区间，使视觉检测在相应的相位区间给设备输出剔除[14]、报警和停机的指令，见图15。

图15 设置视觉检测相位区间

4.3 程序编写

烟支视觉检测输出一个8位二进制变量，用于传递检测、剔除、自诊断信号[15]。根据生产需要确定程序段所需要具备的功能，编写相机触发、空头和缺支信号输出以及自诊断信号的程序，见图16。

4.4 设置剔除移位

设置空头和缺支烟包的剔除移位REJECT_005和REJECT_006，如图17所示，使缺陷烟包在第一干燥鼓入口处剔除。

5 应用效果

完成烟支视觉检测改造后，进行连续10个工作日的跟踪记录，将烟支视觉检测系统每天的剔除数量、误剔除的烟包数量、下游机缺陷品返回的烟包数量进行数据统计。改造前的统计数据见表1，由数据可知，改造前的烟支检测系统对模盒内烟支缺陷的误检率高达8.3%，漏检率达4.2%，检测效果很不理想；改造后的统计数据见表2，由数据可知，改进后的烟支视觉检测系统对模盒内烟支缺陷的误检率为0.3%，漏检率为0%，能有效保证模盒内烟支的质量。

图17 设置空头和缺支烟包的剔除移位

表1 改造前的剔除数据统计

Tab.1 Statistics of eliminated data before transformation

注：缺陷产品主要包括模盒内烟支空头、烟支缺支、烟支歪斜以及断残烟支等4种缺陷类型。

表2 改造后的剔除数据统计

Tab.2 Statistics of eliminated data after transformation

注：缺陷产品主要包括模盒内烟支空头、烟支缺支、烟支歪斜以及断残烟支等4种缺陷类型。

6 结语

文中基于视觉成像技术设计了一种高速包装机模盒内烟支检测装置，对高速包装机模盒内烟支质量缺陷进行判别和剔除。该烟支检测装置能有效地解决机械探针式烟支检测在检测模盒内烟支时存在误检和漏检的问题，提高了产品质量，降低了废烟消耗，提高了设备有效作业率，可推广应用于行业内所有包装设备上。

[1] 张涛, 张昆. 一种烟支空头检测器设计[J]. 电子科学技术, 2015, 2(2): 224-225.

ZHANG Tao, ZHANG Kun. The Design of Cigarette Loose End Detector[J]. Electronic Science & Technology, 2015, 2(2): 224-225.

[2] 王法明. 一种光电式烟支检测系统的设计[J]. 仪器仪表用户, 2008, 15(4): 43-44.

Wang Fa-ming. Design of Cigarette Monitor System Based on Photoelectric[J]. Instrumentation Customer, 2008, 15(4): 43-44.

[3] 章磊, 李耀, 刘光徽. 基于机器视觉的烟支检测系统的设计[J]. 电子技术应用, 2012, 38(5): 15-18.

ZHANG Lei, LI Yao, LIU Guang-hui. Designing of Cigarette Detection System Based on Machine Vision[J]. Application of Electronic Technique, 2012, 38(5): 15-18.

[4] 史腾虎, 李少波, 于丽娅, 等. P LC编程方法、方式研究[J]. 自动化仪表, 2021, 42(7): 31-36.

SHI Teng-hu, LI Shao-bo, YU Li-ya, et al. Research on PLC Programming Method and Mode[J]. Process Automation Instrumentation, 2021, 42(7): 31-36.

[5] 卢凡. 基于机器视觉的包装机空头烟支检测技术研究[J]. 轻工机械, 2010, 28(2): 65-67.

Lu Fan. Research on Detection Technology of the Packaging Machines Loose Ends Based on Machine Vision[J]. Light Industry Machinery, 2010, 28(2): 65-67.

[6] 闫枫, 吴斌. 视觉检测系统中的光源照明方法[J]. 兵工自动化, 2006, 25(11): 85-86.

YAN Feng, WU Bin. Lamp-House Illumination Method in Visual Detection System[J]. Ordnance Industry Automation, 2006, 25(11): 85-86.

[7] 李询, 王福利. 包装机缺支自动剔除装置[J]. 烟草科技通讯, 1979, 12(3): 7-9.

LI Xun, WANG Fu-li. Automatic Eliminating Device for Missing Branch of Packaging Machine[J]. Tobacco Science & Technology, 1979, 12(3): 7-9.

[8] 许新征, 丁世飞, 史忠植, 等. 图像分割的新理论和新方法[J]. 电子学报, 2010, 38(2): 76-82.

XU Xin-zheng, DING Shi-fei, SHI Zhong-zhi, et al. New Theories and Methods of Image Segmentation[J]. Acta Electronica Sinica, 2010, 38(2): 76-82.

[9] 景晓军, 蔡安妮, 孙景鳌. 一种基于二维最大类间方差的图像分割算法[J]. 通信学报, 2001, 22(4): 71-76.

JING Xiao-jun, CAI An-ni, SUN Jing-ao. Image Segmentation Based on 2D Maximum Between-Cluster Variance[J]. Journal of China Institute of Communications, 2001, 22(4): 71-76.

[10] 李强, 张钹. 一种基于图像灰度的快速匹配算法[J]. 软件学报, 2006, 17(2): 216-222.

LI Qiang, ZHANG Bo. A Fast Matching Algorithm Based on Image Gray Value[J]. Journal of Software, 2006, 17(2): 216-222.

[11] 吴冰, 秦志远. 自动确定图像二值化最佳阈值的新方法[J]. 测绘学院学报, 2001, 18(4): 283-286.

WU Bing, QIN Zhi-yuan. New Approaches for the Automatic Selection of the Optimal Threshold in Image Binarization[J]. Journal of Geomatics Science and Technology, 2001, 18(4): 283-286.

[12] 傅卫平, 秦川, 刘佳, 等. 基于SIFT算法的图像目标匹配与定位[J]. 仪器仪表学报, 2011, 32(1): 163-169.

FU Wei-ping, QIN Chuan, LIU Jia, et al. Matching and Location of Image Object Based on SIFT Algorithm[J]. Chinese Journal of Scientific Instrument, 2011, 32(1): 163-169.

[13] 夏继强, 邢春香, 耿春明, 等. 工业现场总线技术的新进展[J]. 北京航空航天大学学报, 2004, 30(4): 358-362.

XIA Ji-qiang, XING Chun-xiang, GENG Chun-ming, et al. Development of the Fieldbus Technology[J]. Journal of Beijing University of Aeronautics and Astronautics, 2004, 30(4): 358-362.

[14] 蔡培良, 杨剑锋, 李明, 等. C800–BV包装机条盒纸胶点视觉检测系统的设计[J]. 烟草科技, 2017, 50(9): 92-96.

CAI Pei-liang, YANG Jian-feng, LI Ming, et al. Design of Visual Detection System for Glue Points on Carton Blank for C800-BV Cartoner[J]. Tobacco Science & Technology, 2017, 50(9): 92-96.

[15] 蔡培良, 何邦贵, 华卫, 等. BV包装机条烟外观质量检测装置的设计[J]. 包装工程, 2018, 39(23): 143-150.

CAI Pei-liang, HE Bang-gui, HUA Wei, et al. Design of Inspection Device for the Appearance Quality of Cigarette in BV Packaging Machine[J]. Packaging Engineering, 2018, 39(23): 143-150.

Cigarette Detection in Mold Box of FX2 High-speed Packaging Machine Based on Visual Imaging Technology

PAN Yu-ting, CAI Pei-liang, ZHANG Jing, DU Pu-ze, TANG Yu-lin, LYU Guo-qiang, SHAO Le-le

(Qujing Cigarette Factory, Hongyun Honghe (Group) Co., Ltd., Yunnan Qujing 655001, China)

The work aims to solve the problems of false detection and missing detection of cigarettes in the mold box by mechanical probe. A cigarette detection device used in the mold box of high-speed packaging machine was designed based on visual imaging technology. Through the research on the key technologies, including the installation of industrial camera, LED light source and controller, dynamic image acquisition and image processing algorithm, and design of PLC control program. After the cigarette detection device was installed and used, the detection accuracy of defective cigarettes in the mold box was ≥ 98%, and the false detection rate was ≤ 1%. The cigarette detection device can effectively solve the problems of false detection and missing detection of cigarette by mechanical probe, improve the product quality, reduce the waste cigarette consumption, and improve the effective operation rate of equipment and can be widely used in all packaging equipment in the industry.

packaging machine; cigarette detection; visual detection; image processing algorithm; PLC programming

TB486

A

1001-3563(2023)05-0188-08

10.19554/j.cnki.1001-3563.2023.05.024

2022−03−23

云南省科技项目（2018BA087）

潘昱亭（1994—），男，本科，助理工程师，主要研究方向为卷烟包装设备电气故障诊断。

蔡培良（1972—），男，高级工程师，主要研究方向为卷包设备和电气控制理论。

责任编辑：曾钰婵