基于机器视觉编织袋缝合缺陷识别与检测

高 举，李永祥，徐雪萌

（河南工业大学，郑州 450001）

0 引言

从20 世纪60年代由PP/PE 塑料编织袋的专利产生为起点，塑料编织袋得到广泛的研究与发展［1］。70年代末，随着改革开放，塑料编织袋开始从国外被引进国内，并快速运用到食品包装行业、农业粮食存储、化工行业、建筑行业等的外包装［2］。近年来，随着工业4.0 的提出与发展，智能化发展越来越受到青睐，智能化包装生产线中运输、供袋、填充、称量、密封等工序已经发展成熟［3］。在密封过程中，由于生产线设备、环境等方面的不良因素影响，密封后编织袋缝线容易出现跳线、倾斜、两端留线长短不合格、缝线到编织袋边界距离不合适等瑕疵。密封后检测即编织袋缝线缺陷识别正确率对编织袋包装产品质量有着至关重要的影响，如果发现不及时会产生缺陷产品，造成生产资源浪费；一旦进入市场流通，会损害消费者对产品的印象，造成一定的经济损失［4］。

当前对编织袋质量检测有着一定的研究基础。潘宇等［5］提出了一种基于图像处理确定角点位置的方法来识别编织袋平面大小及位置的方法；迟欢［6］分析了编织袋缺陷的类型，采用机器视觉的在线检测来识别编织袋孔洞以及拉丝缺陷；张天厚［7］基于机器视觉对重叠编织袋进行识别，为机器人码垛提供方法。在相关的机器视觉研究中，研究人员把技术应用于外包装印刷品表面缺陷等的质量检测［8］，编织袋缝合的质量检测还比较缺乏。在线检测的工作效率直接影响包装生产线的智能化过程，因此采用Matlab 中的数字图像处理方法来实现编织袋缝线的校正、裁剪分割以及特征提取，然后采用模式识别与之相结合的方法达到编织袋缝线缺陷识别与检测的目的。

1 编织袋缺陷检测系统结构

图像采集对机器视觉检测系统的设计有着至关重要的作用，作为一个检测系统的开始阶段，图像采集的好坏直接影响图像处理与特征提取。光源主要分为前向照明和背向照明，考虑到编织袋表面反光，为减少噪声，系统采用白色条形LED灯前向照明来提高图像的质量。常用的工业相机大部分是基于CCD 和COMS 芯片的相机，COMS比CCD 工业相机成本低、图像传输快。快门类型分为全局快门和滚动快门，由包装生产线设备条件可知，在运动状态下采集图像，选用全局快门。根据编织袋尺寸以及物距可知，视野所需宽度为550 mm，高度为200 mm，采用迈德威视产品，工业相机采用型号为MV-SUF1205GCM-T，镜头采用型号为MV-LD-16-10M-B。研发编织袋缺陷检测系统结构如图1所示。

图1 编织袋缺陷检测系统结构图Fig.1 Structure diagram of woven bag defect detection system

2 编织袋缺陷检测算法研究

2.1 编织袋缝合缺陷类型及特征信息

编织袋材料采用PP 颗粒聚丙烯，封口缝制采用链式轨迹，编织袋在缝纫过程中，正确类型编织袋缝线如图2（a）。当缝合不正确时，缝线主要有6 种缺陷类型，如图2（b）-2（g）所示。

图2 编织袋缝合类型Fig.2 Types of sutures in woven bags

特征提取意义在于把每一个缺陷与正常图像区分出来，为下一步识别检测提供数据。留线长短提取细化后像素总和；跳线提取像素列为1 的最大间隔宽度像素；倾斜度提取线性拟合得到倾斜角；缝线波动范围提取与拟合直线相同斜率直线截距最大值和最小值时的距离差值；缝线离编织袋封口距离提取缝线行中心到上边界的距离。

2.2 图像处理及特征提取

虽然在图像采集中尽量减少噪声影响，但由于环境复杂，必定带来一定的噪声干扰［9］。图像处理在机器视觉设计中属于最重要步骤，包含图像预处理（灰度化、滤波去噪、二值化、形态学处理等）、阈值分割和特征提取等，最终目的是减少采集图像所带的噪声干扰，使感兴趣区域（ROI）更明显，有利于特征提取。编织袋缝线识别算法流程如图3所示。

图3 编织袋缝线识别算法流程Fig.3 Algorithm flow of woven bag sewing line recognition

2.2.1 图像处理算法研究

在传送带输送过程中，图像采集模块采集图像有可能产生倾斜，对特征提取有较大影响。为提高图像质量，采用倾斜校正预处理。校正算法通常有Radon 和Hough 变换2 种形式［10］，都与图像中直线有关，直线用极坐标形式表示为：

式中 x，y——像素点位置；

θ——直线角度；

ρ——从原点到直线的距离。

Radon 校正是一种通过计算每一个图像像素点到不同参数直线的线积分（或投影）最大值时的角度，从而确定图像倾斜角度的算法。Hough校正是通过直线极坐标形式，寻找参数最大重叠点对应的角度进行图像倾斜矫正。在Matlab 中Hough 变换算法为：

软件技术：在机械电气一体化系统中，软件占据着十分重要的地位。只有加强硬件、软件的相互配合，使得两者之间协调以至，才能充分发挥其作用[1]。

Radon 变换算法为：

其中Image 为边缘检测图像；H 是参数的空间矩阵；theta 是角度值［0，180］；R 是投影值的空间矩阵。找到H 和R 的最大值位置即能找到旋转角度值。

为更好更快地进行校正，在校正之前进行图像预处理。采集的编织袋图像是3 维图像，数据量较大算法，处理时间较长，对图像进行灰度化处理能够减少数据量，有利于减少处理时间，且不影响信息提取。采用二值图像形态学去噪能够减少噪声对边缘的影响。校正步骤如下：

（1）编织袋二值化。灰度化常用有最大值法、平均值法和加权平均法［11］。系统采用加权平均法将RGB 值转换为灰度值，计算方法为：

其中GRAY 为转化后灰度值，R、G、B 分别是红、绿、蓝通道的灰度图像值。最大类间方差法（Otsu）是由日本学者OTSU 于1979年提出的一种对图像二值化的高效算法［12］。将灰度图像进行基于Otsu 算法的全局阈值二值化处理得到二值图像，将目标与背景很好的分割，二值图像如图4（a）所示。

（2）二值图像去噪。对二值图像求解各连通区域面积，找到最大连通区域面积以减少噪声影响。填充二值图像中的孔洞，对图像进行形态学开运算，消除两端留线的影响和平滑边缘的作用，减少边缘检测时带来的误差，去噪结果如图4（b）所示。

（3）边缘检测。常用的边缘检测算子有梯度算子、Robert 算子、Sobel 算子、Canny 算子等，Canny 边缘检测算法是John F.Canny 于1986年提出的多级边缘检测算法，具有低错误率、对边缘定位准确以及最小响应的特点，是一种最优的边缘检测算法［13］。对二值去噪图像用Canny 算子进行边缘检测，如图4（c）所示。

（4）校正图像。用Radon 或Hough 变换来确定旋转角度，对图像进行旋转操作得到校正图像，如图4（d）所示。

图4 图像校正过程Fig.4 The image correction process

用倾斜和正常编织袋图像对校正算法进行性能测试并对比，旋转角度结果一样，Hough 算法平均时间优于Radon 算法。因此，采用Hough 算法。图像校正过后，每一张编织袋图都能够以同一种显示状态呈现出来，减少图像采集时带来的倾斜误差，提高图像质量。

在获得校正图像后，将图4（d）裁剪为3 部分，分别为左端留线图像、中间缝线图像和右端留线图像。

对校正后的原始图像B 通道作为灰度化处理，然后采用Otsu 算法对图像进行二值化，分割出缝线的二值图像，填充缝线二值图像孔洞，求解各连通区域面积，把连通区域面积小于100 的定义为噪声并消除，达到二值图像的去噪，如图5（a）所示。

对校正二值图像进行列求和，以阈值≥300判断3 部分裁剪位置。最小的列位置即为第一个裁剪分界线，最大的列位置即为第二个裁剪分界线，即可得到左端留线二值图像、中间缝线二值图像和右端留线二值图像，如图5（b）所示。

对左、右端留线和中间缝线二值图像进行像素点为1 的位置寻找，最大和最小的列索引即为图像的裁剪范围；然后对裁剪后中间缝线二值图像行求和，找到大于平均值的最小行位置索引；最后将两端留线行最大值索引中的最小值作为中间缝线图像的最大行裁剪范围，编织袋图像裁剪结束，如图5（c）所示。

图5 图像裁剪过程Fig.5 The image cropping process

裁剪后，图像分为3 部分，每一部分都带有各自部分的特征信息，有利于特征的提取。

2.2.2 提取特征

对图5（c）留线图像计算二值图像像素总和作为两端留线长短特征。分水岭变换，是一种基于拓扑理论的数学形态学分割方法［14］。细化是将二值图像外围像素剥离，最后只剩一个像素点的中间骨架过程。分析裁剪后的左、右端留线二值图像，留线存在突出部分。首先采用分水岭变换能够很好地把留线长度变化提取出来；然后采用细化算法把留线长度提取出来；最后计算像素总和即为留线像素长，如图6所示。

图6 两端留线特征图像Fig.6 Feature image with lines left at both ends

对裁剪后的中间缝线图像找到所有为1 的像素点位置，以像素位置点为坐标进行直线拟合得到直线斜率，即可得到倾斜角度，并用倾斜角度建立直线；用所有像素点位置求所有截距，可得截距最大值和最小值，即可得2 条直线距离，此为缝线的波动范围，如图7（a）所示。缝线二值图像像素最小行位置和最大行位置的平均值代表缝线所在位置，即为缝线距袋口边界的距离，如图7（b）所示。对缝线二值图像求列的和，寻找和为0 的位置，采用循环用后一位置值减去前一位置值，当大于每针缝线的像素值宽度即为跳线位置特征，如图7（c）所示。

图7 中间缝线特征提取Fig.7 Feature extraction of middle seam

2.3 缺陷检测

实际生产中，每个企业都有不同类型的产品，编织袋的尺寸大小、颜色不一样。这些因素就需要构建一种通用性比较强的检测方法。之前分析的6 种缺陷类型，每个特征都有评判的标准，需要采集产品的正确和缺陷样本。判断产品的类型是否满足要求，需要人为把采集样本分类为正确和缺陷来训练网络。

由于缺陷类型较多，因此采用每一类缺陷建立判断，在正确范围内输出为1，否则为0。6 个缺陷的判断全为1 时，即把该样本标记为“1”（合格产品），反之则为“0”（缺陷产品）。

对于不同分类器方法，对提取的特征有着不同的性能，为找到最有效的分类器，采用支持向量机（SVM）、最近邻分类器（KNN）、贝叶斯分类器（NB）、决策树（DT）、集成模型、人工神经网络（ANN）6 种常用的机器学习分类器算法［15］。

3 试验分析与结果

试验所有算法都在计算机（处理器：Intel（R）Core（TM）i7-6700 CPU @ 3.40 GHz 3.41 GHz，RAM：8.00GB，Windows 10 操作系统）上进行，算法采用Matlab 2020b 软件。试验采集1 500 张编织袋图像，其中1 000 张用来训练模型，500 张用来测试训练模型。

SVM、KNN、NB、DT、集成模型采用5 折交叉验证，优化器采用贝叶斯优化，采集函数采用每秒期望改善（plus）。

优化结果为集成模型，集成方法为RUSBoostedTrees 算法，最大分裂数为1，学习器数量为41，学习率为0.002。测试准确度为97.8%，预测速度为～7 900 obs/s。采用此算法时，图像处理及识别平均检测时间约为0.652 s，检测效率约为5 521 个/h，编织袋封口机生产效率一般为1 800 个/h，满足包装生产要求。

4 结语

通过对缝合编织袋图像校正与裁剪，提取6 种缺陷特征建立数据库，利用SVM、KNN、NB、DT、集成模型、ANN 算法训练模型。研究发现在集成模式中使用RUSBoostedTrees 算法最优，准确率为97.8 %，平均检测时间为0.652 s。该方法在编织袋缝合缺陷检测中时间短、精度高，满足生产要求。