基于机器视觉的布匹瑕疵在线检测

李 新，王明景，白瑞林，李 杜

（1.无锡信捷电气股份有限公司，江苏 无锡214072；

2.江南大学 轻工过程先进控制教育部重点实验室，江苏 无锡214122）

引言

图案布匹的纺制已非常普遍，但生产的图案布匹时常出现瑕疵，造成布匹品质下降。人工检测成本较高、速度慢且误检率高，机器视觉检测可在织布过程中及时发现瑕疵，极大提高生产自动化程度。近几年国外高端视觉检测系统大量涌入国内，价格昂贵且算法封锁，国内正加大对机器视觉的研究以开发快速高效且拥有自主知识产权的视觉控制系统，现已有一些公司拥有智能视觉系统，如大恒图像、凌云光子等，但多为仿制国外视觉系统，关键检测算法涉及较少。图案布匹瑕疵检测算法由于纹理复杂检测难度高，较多研究者致力于此领域的研究［1］。

规则图案或是纹理较大例如点纹、条纹以及方格纹等布匹难以检测，其原因一方面是图案布匹纹理背景与瑕疵难以区分；另一方面图案布匹纹理多样且变换复杂，难以设计可适应于多种图案布匹的检测方案。李鑫［2］等提出借助均值以及方差并通过Gabor重构的方法可较好检测出纹理较小的布匹瑕疵，带有图案布匹由于背景干扰检测，检测效果较差。针对背景与瑕疵难以区分问题，Millan等人［3］提出用近红外相机获取普通相机所不能捕获的纹理信息，实测证明近红外相机只可滤除部分颜色纹理，而无法滤除针织凸起等纹理。随后Baykal［4］提出用哈希方差提取行列特征信息，虽可标出瑕疵区域但哈希方程对噪声太过敏感，略有噪声就可能误检为瑕疵，而工业生产中噪声信号无法避免；对此Chin等人［5］、Rahman等人［6］又提出对噪声不敏感算法例如黄金差影、特征空间匹配的方法，可检测出明显瑕疵区域但对细小瑕疵检测效果不佳；Ngan等人［7］提出基于框架偏移的检测算法，检测出瑕疵块而不能定位出瑕疵区域；杜斌等人［8］针对布匹纹理图像提出一种提取规则带特征后分水岭分割的检测方法，可精确检测出瑕疵区域，但是算法复杂、实时性较差。

基于上述分析，提出一种通过区域差影后提取梯度，然后标记分水岭分割的快速算法。该方法能够快速精确地识别出有瑕疵图像块，满足织机图案布匹检测对高精确率、高实时性的要求。

1 整体算法流程

系统总体方案如图1所示，整体算法分为离线学习和在线检测过程。离线学习时捕获无瑕疵布匹图像，首先求取无瑕疵图像距离叠加函数的极值，分析极值权重以筛选极值精确求取出纹理基元周期；在线检测时，根据离线过程所得纹理基元周期确定区域差影图像块大小，将待检测图像与标准无瑕疵图像区域差影，然后对差影后图像用自适应的分水岭分割，精确定位出瑕疵区域。

算法重点在于如何精确求取纹理基元周期，如何凸显瑕疵区域并将瑕疵区域精确定位。

图1 系统整体算法流程图Fig.1 General arithmetic chart of system

2 纹理基元周期精确求取

图案布匹的纹理周期求取有傅里叶变换、自相关系数和共生矩阵等方法［9］。对于一幅含有基元数目较少图像的傅里叶频谱并不能反映出周期特征，自相关系数法极值点求取易出现错误，传统灰度共生矩阵法求取复杂且不精确，而由共生矩阵衍生出的距离叠加函数虽然对噪声敏感导致极值求取不精确，但经过对极值权重分析可以有效解决这一问题，精确求取出纹理基元周期。

2.1 距离叠加函数

对一维水平序列其距离匹配函数（distance matching function，DMF）［9］定义为

式中：δ为像素移动距离；N 为序列g长度。λ（δ）的值可以随着δ从0到N－1递增而顺序计算。如果序列为周期性的且周期为p，那么对此序列g应有：

式中，n＝1，2，3，…，1≤i±np≤N 因此如果像素移动距离δ与纹理周期p相等，则有：

记大小为p×q的图像中第i行元素的距离叠加函数为

式中：f（i，j）为图像中第i行j列的元素，i（1≤i≤p），j（1≤j≤q）；δ为像素移动距离；λ1i（δ）的值可以随着δ从1到q－δ依次递增而顺序计算。同样可得大小为p×q的图像中第j列元素的距离叠加函数为

由图2可看出距离叠加函数间隔约15个点出现一极小值点，分析多个极小值点间的距离便可得纹理基元周期，但由于噪声的存在，并不恰好在间隔15个点处产生极小值，且存在细小毛刺，对此可将每一列的距离叠加函数累加，减小噪声影响。

图2 周期为15个像素的某一行距离叠加函数Fig.2 DMF of a row with period of 15

将每一行距离叠加函数累加，得整幅图像的行距离叠加函数为

同样方法得列距离累加函数为

叠加后的距离叠加函数DMF如图3（c）所示，相比较于单行的DMF更加平滑，周期更加精确。

图3 周期为15的某一行距离叠加函数叠加Fig.3 Added DMF of rows with period of 15

2.2 极值权重分析

尽管叠加后相比较于单行的DMF更加平滑，但有些布匹图像的叠加距离函数叠加后出现干扰极值点，难以分辨，平滑滤波可以消除但对参数要求苛刻，步长太大或者太小均会影响平滑效果。在此提出一种设定极值权重的方法，通过对极值点信息分析对极值点做权重排序，删除权重较小极值点，消除干扰极值点影响。

含有干扰极小值点的DMF如图4中所示，图中共A、B、…、H、I 9个极小值点，用极值间距离求取纹理周期，D、F、H显然为干扰极值点。在此对每个极值点权值分析，考虑到干扰极小值点的周围均存在值比其更小的极小值点，可通过距离法确定其权值。假定N个极小值点分别为P1、P2、…、PN，首先对其升序排列，记排列后序列为Q1、Q2、…、QN，对于Qj计算与每一个Qi的距离，其中Qi在Q序列中比Qj先出现即1≤i≤j，记所求距离的最小值为Di，最后对Di降序排列，此列表即为其权重降序排列表。

图4 含有干扰极小值点的DMF图Fig.4 DMF with disturbed point of minimum

图4 中的A、B、…、H、I 9个极小值点，升序排列后为 A、B、C、E、G、H、I、F、D，依次求取与序列前点的距离最小值，可发现D、F、H、I均与序列前点距离的最小值较小，对距离最小值做降序排列后，此4点排在最后即权重最低，舍弃后用极小值间距离计算纹理周期。

条纹布匹计算周期时水平和竖直方向中其一为零或二者相差极大，需对为零的方向的周期修正，令较小周期与另一周期相等。具体周期精确计算流程如图5所示。

通过上述方案可以精确求取纹理基元周期，且可以对水平与竖直方向纹理基元周期差别较大时对较小周期修正，典型几种图案布匹图像周期求取如图6所示，图6（a）、6（b）和6（c）水平周期与竖直周期相差较小，图6（d）中条纹周期竖直方向周期为零，修正为与水平周期相等。

图5 周期精确求取流程图Fig.5 Flow chart of period calculating accurately

图6 典型图案布匹纹理基元周期求取结果Fig.6 Periods of several typical textures

3 检测算法以及实现

精确求取纹理基元周期后检测算法可相对简单，这对保证工业现场实时性要求异常重要，复杂算法例如规则带、小波变换等方法虽可定位瑕疵区域，但是实时性较差。

系统采用区域差影法，并对差影后图像快速分水岭分割，可以快速且高效分割出瑕疵区域。

3.1 区域差影

最初用于PCB板检测的差影分析是处理规则纹理布匹的有效手段，由于PCB板有定位标识，容易将标准图像与待检测图像点对点对齐，做差影处理进而用阈值分离出瑕疵区域，但图案布匹图像没有定位标识无法点对点对齐；PCB板由于同一批次定制尺寸相同，且无变形、光照不均影响，用标准图像与待检测图像差影可取得较好效果，但是布匹图像由于织布过程中布匹的拉伸、机械装置的振动，极易变形且噪声较多，不可全局差影而需分区域差影。分析可知差影用于凸显图案布匹瑕疵存在2个问题：如何对齐图像以及如何选择差影区域大小。

区域差影相对于传统差影不需点对点对齐，而是将点与点的相减用区域与区域的相减代替，用区域间的能量差代替点间的灰度差。对于同样大小的模板和待检测模块，假设大小均为m×n，定义二者的能量为

如图7所示，从标准无瑕疵图像中选取标准模板Gm×n，在检测图像中以每一点为中心依次选取同样大小图像块，求取其与Gm×n间能量差，保存在能量图E中，区域差影后图像如图8所示。

图7 区域差影原理图Fig.7 Schematic diagram of area subtraction

图8 区域差影前后对比Fig.8 Comparison between pre and post subtraction

3.2 瑕疵区域分割

区域差影后图像瑕疵区域已比较明显，但由于局部凸起的存在以及光照的影响，难以用固定阈值分割，在此提出一种自适应的分水岭分割算法。

3.2.1 梯度求取

首先对区域差影图像高斯平滑，即：

式中：＊表示卷积，二维高斯滤波器G（x，y）的定义为（10）式沿x与y方向的乘积；σ为常数（根据不同图像，选取的σ值不同），高斯滤波器G（n）为

经过局部高斯平滑预处理后，即可求取梯度。

为追求实时性，采用简单梯度Prewitt算子直接卷积计算可得水平与竖直2个方向梯度，融合2个方向梯度可得区域差影后图像梯度。

3.2.2 分水岭分割

分水岭分割由于噪声以及其他诸如梯度的局部不规则性的影响造成过度分割，控制过度分割的方法是以标记的概念为基础的，为了解决此问题，在此利用H-minima变换对纹理梯度图像进行标记，以去除伪局部极小值和抑制过分割［11］。

H-minima变换的表达式如下：

式中：T∈N 为阈值；记g为掩模图像，εf（g）是g在f上的测地腐蚀，其定义为：

当I为原图像时，则H-minima变换就可应用于I的梯度图像，即 H-minima（Δ（I））。H-minima变换通过与给定的阈值T进行比较来消除那些深度低于阈值T的局部极小值，以便提取出满足条件的极小值来得到标记图像，即ΔImask＝Hminima（ΔI｜T）。

从本质上来说，H-minima变换实际上也是进行一次滤波，产生的效果是只留下突变最明显的纹理区域的边界以抑制过分割，阈值T一般选取55～60。

4 实验分析

系统构建采用自主研发SV4型分辨率为30 M的CMOS智能相机、25mm定焦镜头以及大功率条形光源，调节白平衡后获取织机出布口图像，采集图像系统如图9所示，采集图像后截取出布口下方条形ROI区域，并在Matlab R2012a平台做算法仿真实验，系统配置CPU为Pentium（R）E6700 3.2GHz，内存（RAM）2.00GB。

图9 采集图像系统图Fig.9 System diagram of image capturing

获取布匹图像分为条纹与点纹的2种平纹织物，采集每类纹理布匹200幅，随机包含缺陷。检测效果如图10所示，点纹和条纹图案布匹通过分水岭分割，均精确定位出瑕疵区域。

图10 纹理图像检测结果Fig.10 Result of texture detection

将新算法同文献［6-7］中算法进行实时性及精确性比较。文献［6］需通过充足的样本离线训练，构建偏移框架提取特征进而确定阈值，且光照等外界条件变化时根据特征所提取阈值亦变化，鲁棒性差，本文方法只需离线求取纹理基元周期，针对同一批图案布匹学习一次即可；文献［7］通过提取规则带特征，虽可检测输出瑕疵但是规则带求取复杂实时性差；实验证明通过精确求取基元周期后区域差影的方法速度明显优于文献［6-7］算法，且检测精度较高，完全满足工业现场实时性的要求。新算法检测结果见表1；算法检测时间及精度对比见表2。

表1 算法检测结果Table 1 Detecting results using our algorithm

表2 算法检测时间及精度对比（图像大小54pixels＊600pixels）Table 2 Time and accuracy comparison among three algorithms（size of image is 54pixels＊600pixels）

5 结论

本文针对图案布匹编织过程，精确提出图案纹理基元周期，并构建基于区域差影后分水岭分割自动分割出瑕疵区域的检测方法，有如下特点：

1）提出一种精确求取纹理基元周期的方法，此方法求取距离叠加函数极值，通过极值权重分析，精确求取纹理基元周期。

2）提出一种用区域差影凸显瑕疵特征，对差影图像求取纹理梯度，再进行标记分水岭分割，能够快速准确分割出纹理瑕疵区域。

实验结果表明，本文算法能够准确地检测出纹理布匹瑕疵的位置，准确率均达98%以上，实时性强，完全满足工业现场要求，基于机器视觉的布匹瑕疵在线检测系统的应用将极大提高纺织行业自动化程度，减少劳动力的同时提高检测效率，应用前景广阔。

［1］ KUMAR A.Computer-vision-based fabric defect detection：a survey［J］.IEEE Transactions on Industrial Electronics，2008，55（1）：348-363.

［2］ 李鑫，王新莉，赵让乾，等.基于机器视觉的智能化布匹瑕疵检测方法［J］.河南工程学院学报：自然科学版，2010，22（4）：12-14 LI Xin，WANG Xin-li，ZHAO Rang－qian，et al.A intelligent fabric detection method based on machine vision［J］.Journal of Henan Institute of Engineering：Natural Science Edition，2010，22 （4）：12-14.（in Chinese with an English abstract）

［3］ MILLAN M S，ESCOFET J.Fabric inspection by near-infrared machine vision［J］.Optics Letters.2004，29（13）：1440-1442.

［4］ BAYKAL I C，MUSCEDERE R，JULLIEN G A.On the use of hash functions for defect detection in textures for in-camera web inspection systems［C］.Phoenix-Scottsdale：ISCAS，2002.

［5］ CHIN R T，HARLOW C A.Automated visual inspection：a survey［J］.IEEE Transactions on Pattern Analysis and Machine Intelligence，1982， （6）：557-573.

［6］ RAHMAN A，MURSHED M.Detection of multiple dynamic textures using feature space mapping［J］.IEEE Transactions on Circuits and Systems for Video Technology，2009，19（5）：766-771.

［7］ NGAN H Y T，PANG G K H，YUNG N H C.Performance evaluation for motif-based patterned texture defect detection［J］.IEEE Transactions on Automation Science and Engineering，2010，7（1）：58-72.

［8］ 杜斌，白瑞林，陈文达，等.一种基于规则带特征的图案布匹检测新方法［J］.光学技术，2011，37（06）：713-717.DU Bin，BAI Rui-lin，CHEN Wen-da，et al.A novel method for patterned texture inspection based on regular bands［J］.Optical Technique，2011，37（06）：713-717.（in Chinese with an English abstract）

［9］ LIU Y，COLLINS R T，TSIN Y.A computational model for periodic pattern perception based on frieze and wallpaper groups［J］.IEEE Transactions on Pattern Analysis and Machine Intelligence，2004，26（3）：354-371.

［10］ ASHA V，NAGABHUSHAN P，BHAJANTRI N U.Automatic extraction of texture-periodicity using superposition of distance matching functions and their forward differences［J］.Pattern Recognition Letters，2012，33（5）：629-640.

［11］ RAFAEL C G，RICHARD E W，STEVEN L E.Digital image processing using MATLAB［M］.Beijing：Publishing House of Electronics Industry，2004.