基于机器视觉的烟丝质量特征在线量化分析

康晓珍，杨 义，谢尚宇，孙 哲，方世杰

（1.河南中烟工业有限责任公司黄金叶生产制造中心，郑州 450000；2.首域科技（杭州）有限公司，杭州 310000）

随着企业品牌规模扩大，产品均质化生产成为企业关注的焦点之一。烟丝过程质量的稳定性对成品卷烟质量的均质化具有重要意义。目前烟丝过程质量在线检测指标有限，烟丝物理指标检测方法复杂，人工抽检数据量少，不能全程检测烟丝质量，存在一定的局限性。

视觉检测在烟丝外观质量特征识别方面有一定的技术优势，且在烟草生产领域，对烟丝外观质量的检测有很大的研究空间，探索烟丝外观质量特征与烟丝物理指标之间的关联关系，不仅可以增加过程烟丝检测指标维度，对烟丝过程质量的评价也将是一个新的突破点。

夏营威[1]等设计出离线烟丝宽度测量装置，其基于制丝过程中切丝所造成的平直切口边缘为测量点，来进行切口匹配进行宽度的测量，其实现了离线烟丝宽度的测量，并达到0.1 mm的精度。2014年，研究人员[2]提出使用多项式函数曲线方程来拟合烟丝骨架走势，通过求取骨架上具体点位的切线斜率和其斜率法线与烟丝的2个相交点，将两相交点之间距离表示为单个烟丝宽度测量值。

2021年，赵继俊等[3]实验对比了基于图像处理的烟丝宽度测量方法和ISO 20193—2019《烟草和烟草制品.烟丝条宽度的测定》[4]文件所提出国际标准烟丝宽度测量方法的精密度、效率。吴文强等[5]设计出结合风选结构方式和图像识别技术的在线烟丝检测方式，应用于制丝风选室内实现在线实时检测统计烟丝长度、宽度和面积等。2022年，刘洪坤等[6]提出新的基于变径圆的烟丝宽度检测方法，通过最大类间方差法分割烟丝和背景，并基于烟丝骨架线寻找一系列点作为圆心，在骨架线中画出多个烟丝内切圆，并将多个内切圆的平均直径作为烟丝宽度，其方法对比于ISO投影法和Hough变化法，整体提高了烟丝宽度检测的效率和准确率。

本文介绍了一种使用机器学习算法在线测量烟丝特征的新型检测仪，其设计应用于烟丝烘丝产线后实时在线检测烟丝的不同形态特征，并能及时通过应用终端向操作人员实时展示烟丝尺寸的各项数值（包括但不限于烟丝长度、烟丝宽度和烟丝卷曲度等参数），从而及时调整各项生产指标，保证烟丝整体的产品质量，帮助烟厂把控烟丝工艺质量，提高烟丝品质。

1 测量仪系统组成

本在线烟丝测量仪由抖料装置系统、图像采集系统组成，如图1所示。

图1 在线烟丝测量仪系统构造图

1.1 抖料系统

抖料系统主要负责获取、分离并摊平烟丝，最后将摊平的烟丝通过皮带送入图像采集系统中。

抖料装置主要由自动获取烟丝的伸缩接料装置和用于分离、摊开烟丝的两轴震动散料装置（如图2所示）组成，其中两轴震动散料装置又由用于分离成团烟丝的漏斗和用于摊平烟丝的水平震动槽组成。仪器在运行过程中，伸缩接料装置从运行的产线中接取成坨烟丝物料，并送入上下抖动的漏斗中，漏斗由电机驱动，按照固定的频率进行往返振筛，烟丝在经过抖动漏斗中，由其内部结构（共3层）进行分离，最后经过振筛的烟丝会落到漏斗正下方的水平震动槽上。水平震动槽表面由小米粒板组成，水平震动槽同样进行着高频率的震动使掉入其中的烟丝能够被高速抖动送入水平皮带装置，并最终落入水平皮带装置表面。落入水平皮带表面的烟丝能够基本达到互相分离、不重叠的状态，被继续被运动的皮带送入图像采集系统中。

图2 两轴烟丝震动散料装置结构图

1.2 图像采集系统

图像采集系统如图3所示，由遮光罩、相机组件和水平皮带装置组成。水平皮带为不反光的墨绿色皮带，高速运动的皮带将经过抖料装置分离后落下的烟丝送入遮光罩中。遮光罩由黑色亚克力材质制成，用于遮挡外部光线。遮光罩内部上方配有LED面光源（400 mm×300 mm发光面积）照明系统，以保证遮光罩内拥有充足的光照，且使视场内的亮度、均匀度保持一致。遮光罩正上方处开有一圆形孔洞用于放置相机组件，相机组件由面阵相机（4 096×3 000，14 fps）和镜头（16 mm焦距）组成。相机能够实时快速拍摄烟丝图片，并基于机器视觉算法对图片进行处理。

图3 图像采集系统结构图

2 相机标定和矫正

这一部分将详细介绍如何计算相机投影矩阵（相机内外参数）来减少镜头畸变所带来的影响。

相机镜头的畸变实际上是由光学透镜所固有的透视失真特性而造成的，相机的畸变通常分为3类：桶形畸变、线性畸变和枕形畸变。相机畸变会使拍摄到的物体产生轻微或严重的变形，其对测量精度要求较高的物体的影响较大，为了保证算法测量计算出的烟丝特征与烟丝本身的真实属性尽可能地逼近，因此对采集到的图像先进行矫正是十分重要的。

相机的畸变矫正通过求解相机的内外参数，使用世界坐标系到图像坐标系的映射关系来调整图像，从而尽可能地使矫正后的图像逼近于真实图像。

内外参数的求解通常有2种方法。

第一种是利用给定的标定物，拍摄多张不同照片，通过提取控制点来对相机内外参数进行计算[7-8]，此方法适用于任意的相机模型，且标定精度较高，但是标定过程相对复杂，对标定物的精细程度有一定的要求，且对噪声较为敏感。其中张敏等[9]在基于直线特征的非线性畸变校正方法的基础上提出了一种全新的带权重因子的弯曲测度指标函数，这一改进大大地提高了畸变矫正的精度。

另一种方法是相机的非量测畸变校正方法，与第一种方法相比，其不再需要精密的标定物件，而是利用了共线点的投影几何不变性来快速地进行参数的求解[10-11]，张靖等[12]通过构建直线和畸变曲线直线的面积参数，通过遗传算法来搜索畸变参数的最小值，据研究表明该方法具有更好的抗噪声能力。

本文使用Matlab软件自带的相机标定库（Camera Calibration Toolbox）来进行相机内外参数的计算，其矫正原理是基于标定物的张正友[13]畸变矫正方法。张正友畸变矫正法克服了标定物需要高精度这一限制，而仅需要打印出的黑白格棋盘（如图4所示）作为标定物即可。

图4 黑白棋盘标定板图

将拍摄的不同角度的标定板照片送入Matlab软件处理，设定棋盘的实际参数尺寸，经过软件计算就可得到相应的镜头畸变矫正内外参数矩阵和相应的重投影误差。重投影误差定义为特征点在相机坐标系下的估计值和观测值的差。在本次矫正中平均误差约为0.14，如图5所示。

图5 重投影误差结果图

同样地能够通过黑白棋盘来进行相机标定的工作。通过相机标定，可以计算得到相机镜头的精度K，其表示相机拍摄的图像中1个像素所代表的实际空间距离（mm）。对于测量仪所使用的镜头型号，通过计算，相机精度K约为0.059 7，意味着图片中的1个像素距离代表现实空间中0.059 7 mm。

3 图像处理

在这一部分将会分析讨论，通过图像YUV颜色通道来处理采集到的烟丝图片，获得烟丝的各个参数指标，如宽度、长度等。

3.1 基于YUV颜色通道的颜色分割

一张彩色的图像可以由不同的颜色空间来表示，比如最常见的RGB（红绿蓝）色彩空间，工业印刷所采用的CMY（青（Cyan）、洋红（Magenta）和黄（Yellow））色彩空间，以及本文采用的YUV色彩空间。夏营威[1]等使用了RGB色彩空间的Red和Blue分量差值来作为阈值进行图像的分割，将烟丝和背景图像进行提取。在本文介绍的测量仪图像处理系统中，基于背景皮带的颜色和改变相机的拍照参数与光照效果，选择通过YUV颜色通道对烟丝进行图像背景分割。烟丝原图如图6所示。

图6 烟丝原图

对烟丝原图分别进行YUV彩色空间各个单通道的图像提取，并统计其各通道的颜色分布，结果如图7和图8所示。

图7 烟丝YUV单通道图

图8 烟丝图片YUV分布图

从结果上看，烟丝在V通道上与背景的差异较大，并且V通道中像素值主要分布在120范围内。本算法使用V通道图来对烟丝背景进行分割，通过测试选择阈值T来使用式（1）对图像进行精准分割。

式中：T为人为设定的阈值；P为图像V通道下像素的值；Pfinal为经过阈值变化后的结果。

经过式（1）的处理，将图像处理为0和1的二值图像，结果如图9所示。

图9 烟丝二值图

由图9可知，经过阈值划分处理的二值图上仍然存在许多噪声，使用滤波操作去除噪声有时会破坏烟丝的完整性，将1根烟丝断成多根烟丝。为了消除噪声和保护烟丝的完整性，将采用连通性标记的方式去除噪声。

3.2 连通性标记和骨架提取

连通性描述了像素区域和边界的概念，连通性标记能够标记出相连的具有相同（或相似）像素值的像素点，常用的连通性处理有4邻域和8邻域，如图10所示。

图10 4邻域和8邻域

4邻域只考虑目标像素上、下、左、右4个相邻位置的像素是否有相同的像素值，若有，则将其标记为相同标记。8邻域在4邻域的基础上，额外加入了斜对角4个方向的像素来评估目标像素的连通性。

图像经过连通性标记后，所有像素拥有各自的标记类别，再根据人为设定的阈值来去除小于一定面积的具有同种标记类别的连续像素，使用此方法可以去除噪声且不会破坏烟丝本身的完整性。进一步，可以通过调整阈值，去除识别图像中面积过小的烟丝碎末等小颗粒物体。处理后的图像如图11所示。

图11 去噪后的烟丝二值图

去除噪声之后，需要对烟丝进行骨架提取操作，骨架是二维二元目标的重要拓扑描述[14]，其主要表示目标物体中心的骨架部分，是描述图像几何和拓扑特性的重要特征之一。如图12所示。

3.3 烟丝长度和宽度计算

骨架化会将二进制目标对象减少到1像素宽的形式表示，从而可以统计出烟丝骨架中像素的具体构成个数n，用其乘以相机的实际精度K就可以获得较为精准的烟丝长度L（mm）。烟丝骨架如图12所示。

图12 烟丝骨架图

式中：L为烟丝长度；n骨架像素个数；K为相机标定时得到的相机精度值。

同样，在烟丝骨架的基础上，进行烟丝宽度的计算。将烟丝骨架当作烟丝的中心线，在烟丝二值图中求中心线上每个像素（像素值为1）到背景（像素值为0）的最短距离d（最少像素个数）。将中心线上的每个像素的最短距离相加求平均，获得烟丝宽度的一半。烟丝整体宽度计算如式（3）所示

式中：n为烟丝中心线上像素的个数；di（i=1，2，3，…，n）为第i个像素到背景的最短距离；K为相机的标定精度，Width为类烟丝宽度。

4 实验与分析

4.1 对比试验

为测试烟丝宽度计算方法的准确性，使用符合ISO 20193—2019[4]标准的TPI150-Ⅱ型烟草数字投影仪进行对比试验。实验烟丝样本容量为10根，实验步骤为：①随机挑选10根长度大于等于20 mm的烟丝；②将烟丝无重叠地水平放置在测试区域，进行图像采集并使用算法计算并统计烟丝宽度；③取出测试区域的10根烟丝并垂直平整地粘贴在“烟丝宽度测量夹具”中（如图13所示），将测量夹具放在烟草数字投影仪（如图14所示）的测量平台上；④移动测量平台，寻找第一根烟丝的左边缘进行测量点标记（起点），后水平移动平台，寻找烟丝右边缘进行测量点标记（终点），将2点之间的距离作为烟丝宽度；⑤反复执行操作④，每根烟丝取20个宽度，并获取平均值当作最终宽度；⑥重复执行操作④和⑤，直到10根烟丝全部测量完成。实验结果统计见表1。

表1 仪器测量和算法测量烟丝宽度对比

图13 烟丝宽度测量夹具图

图14 烟草数字投影仪界面图

本实验采用符合ISO标准人工测量仪器和本文介绍的烟丝宽度测量算法作对比，采用相同10根实现样本。结果所示，算法相较于ISO方法测量的标准值，误差范围在0.1 mm之内，标准差σ=0.033 9 mm，平均相对误差为4.16%。

4.2 实际运用

经过实验表明，烟丝测量算法相较于ISO标准测量方法误差在期望之内，为进一步测试测量仪的整体效果，选取一定量的烟丝样本进行较为完整的实验。将烟丝样本加入抖料装置中，启动抖料机器、相机系统和数据分析软件获取并分析数据。烟丝经过抖料分离装置打散分离成一根根独立的烟丝，然后连续流入相机拍摄系统，通过图像识别与后期计算，可以得到烟丝的各种尺寸形态特征数据。对整个画面的烟丝进行统计分析，可以得到每张图片所有烟丝的统计量，再对所有图片数据进行加总统计分析，可以得到整批烟丝样本的统计量。由图15可知相机拍摄出来的某1张烟丝分布画面，可以看出，烟丝经过抖料系统得到了很好的分离。软件系统可以分析每根烟丝的形态尺寸参数，表2列举了图15中烟丝A的尺寸形态参数，除了常规的长度和宽度，还可以测量每根烟丝的周长、面积和卷曲度等参数。表3统计了图15中所有烟丝的长度分布及平均宽度等参数，表4则展示了整批样本烟丝的整体统计结果。所设计的烟丝结构检测仪既能测量单根烟丝的参数，又能统计整批烟丝的结构参数，提供了多维度多尺度的信息。

表2 图15中烟丝A的尺寸形态参数

表3 图15所有烟丝的统计量

表4 整批样本烟丝总体统计量 （%）

图15 单张图相中的烟丝形态分布展示

5 结论

本文介绍了一种检测烟丝结构的在线检测仪，其实现了从烟丝生产线上自动取料，通过振筛的方式分离并摊平烟丝，通过图像采集系统获取图像参数较为稳定的图像，并通过镜头的畸变矫正尽可能地减少获取图像中的烟丝和真实目标的误差。烟丝检测算法基于机器视觉，通过图像分割，骨架提取等方式，来准确地计算烟丝的长度和宽度。

通过对比实验验证了算法烟丝宽度测量的平均相对误差在5%以内。在线检测仪相较于离线的测量设备，其在保证一定的检测精度下极大地提高了测量的效率，节省了人力和时间成本。所设计的烟丝结构检测仪既能测量单根烟丝的参数，又能统计整批烟丝的结构参数，提供了多维度多尺度的信息，并且可以实现在线检测分析，为制丝工艺质量的监控及精细调控提供了重要基础支撑。