应用深度卷积神经网络的色织物缺陷检测

景军锋， 范晓婷， 李鹏飞， 洪 良

(西安工程大学 电子信息学院， 陕西 西安 710048)

应用深度卷积神经网络的色织物缺陷检测

景军锋， 范晓婷， 李鹏飞， 洪 良

(西安工程大学 电子信息学院， 陕西 西安 710048)

针对织物缺陷检测时传统人工的误检率、漏检率较高问题，提出一种应用深度卷积神经网络的色织物缺陷检测算法。因织物图像采集过程中含有较多噪声且信噪比较低，先对缺陷织物进行最优尺寸高斯滤波，有效滤除细节噪声；再根据织物图像特征建立深度卷积神经网络，利用径向基神经网络的非线性映射能力作用于卷积神经网络，并通过反向传播算法调整权值参数，获取无缺陷样本与训练样本之间的映射函数；最后，利用映射函数及特征字典重构图像并提取特征，根据Meanshift算法分割缺陷，确定缺陷位置。结果表明：应用深度卷积神经网络的缺陷检测算法对色织物图像库中的缺陷图像可实现提高检测效率、缩短检测时间，获取准确缺陷位置的目的。

色织物； 图像库； 缺陷检测； 深度卷积神经网络； 映射函数

随着科学技术的迅速发展，我国纺织行业竞争日趋激烈。布匹质量的优劣程度对纺织生产影响相当巨大，各大纺织企业面临着高标准，严要求，低成本的巨大压力。而传统的人工目测方法存在明显缺陷，如织物缺陷大小及出现频率受主客观因素的影响较大，劳动强度过大且不利于工人身体健康等，因此，研制并开发自动织物缺陷检测系统具有广阔的研究前景。

对于自动织物缺陷检测系统而言，核心部分是织物缺陷检测算法，而检测算法中最重要部分在于图像特征值的选择。目前，图像特征值提取方法主要分为3种[1]：一是在频域提取特征值的傅里叶变换法、Gabor滤波器法和小波变换法[2]；二是基于空间域的灰度共生矩阵法、直方图统计法以及数学形态学法[3]；三是基于模型算法的自回归模型、马尔科夫随机场法[4]等。以上3类方法主要针对背景纹理简单的坯布织物检测。对于图案织物的缺陷检测主要包括：基于结构的纹理结构算法[5]，混合算法，如图像分解算法[6-7]、Bollinger算法[8]、规则带法[9]、LBP算法[10]等以及基于图像基元的移动变量相减的方差与能量算法[11]等。这些算法主要是对灰度图像进行处理，而对于包含较多颜色信息的彩色织物的缺陷检测研究相对较少，因此，如何对色织物进行缺陷检测具有深刻的研究意义。

基于投影序列相似度量的织物缺陷检测[12]，基于织物能量局部二值模式的缺陷检测[13]以及基于CIE L*a*b*颜色空间的2-D Gabor滤波器的织物缺陷检测[14]等是目前存在的几类针对色织物缺陷进行检测的算法，但由于几种算法均采用基于颜色空间及像素本身进行处理的学习模式，导致样本的细节特征不能完全表达，无法检测多层色织物内部的缺陷且对外界检测环境要求较高，因此，本文采取一种基于深度学习模式的深度卷积神经网络的色织物缺陷检测算法。其中多隐层的卷积神经网络模拟了生物神经网络，降低了网络模型的复杂度，从而具有更优异的特征学习能力，织物的图像特征得到了更准确地提取，更有利于后续的图像特征提取及分类。本文先对缺陷织物进行最优尺寸高斯滤波预处理操作，不仅可以有效滤除细节噪声，而且不会造成图像边缘信息的模糊。图像缺陷检测过程包括训练阶段和检测阶段。训练阶段是根据织物样本图像特征建立深度卷积神经网络，即利用径向基神经网络较强的非线性映射能力作用于卷积神经网络，并通过反向传播算法调整权值参数，获取无缺陷样本与训练样本之间的映射函数。检测阶段是利用获取的映射函数及特征字典重构图像并提取图像特征，根据Meanshift算法图像分割出缺陷，并经过双峰法二值化，确定织物缺陷位置。大量实验结果表明，该方法对于不同类型，不同颜色的织物的多种缺陷均达到良好的可视效果。

1 色织物缺陷检测算法

基于深度卷积神经网络的色织物缺陷检测过程主要包括3个阶段：1)对采集到的色织物进行预处理；2)构建深度卷积神经网络，获取特征字典和映射函数；3)利用Meanshift算法进行图像阈值分割实现缺陷检测。算法的流程如图1所示。

1.1 最优尺寸高斯滤波预处理

织物图像在工业现场采集的过程中，环境因素较为复杂且不稳定以及图像采集设备的精度和灵敏度等客观因素的影响，容易造成织物图像较大程度失真，信噪比降低，这种现象的存在会大大影响后续织物缺陷检测阶段。因此，为了提高织物图像的信噪比，最大程度地降低图像失真并去除噪声，采用基于图像信噪比选择优化尺寸的高斯滤波进行织物预处理，该操作不仅可以有效滤除细节噪声，而且大量保留图像边缘信息。该算法首先通过织物图像信噪比(SNR)评估图像受噪声影响的程度，然后根据最小化一阶Holder优化准则[15]，确定高斯滤波函数中的最优标准方差，并根据最小二乘法拟合出最终的高斯滤波函数尺度，实现预处理。同时为了使图像更加清晰，采用自适应直方图均衡化增强图像对比度。

图2示出暗红色错色和藏青色带纱2类色织物缺陷类型在未经过最优尺寸高斯滤波预处理和经过最优尺寸高斯滤波预处理获取的最终的二值化检测结果。结果表明最优尺寸高斯滤波操作对检测结果具有良好的影响，经过预处理的色织物的检测结果能够准确显示出织物缺陷的位置。

图1 深度卷积神经网络的色织物缺陷检测算法流程图Fig.1 Flowchart of deep-convolutional neural network method for yarn-dyed fabric defect detection. (a) Training phase; (b) Detection phase

图2 色织物未经过预处理和经过预处理结果Fig.2 Samples of yarn-dyed fabrics without/with preprocessing. (a) Dark red, wrong color; (b) Wrong color with Gauss filter preprocessing; (c) Binary result without Gauss filter preprocessing of wrong color; (d) Binary result with Gauss filter preprocessing of wrong color; (e) Navy blue, belt yarn; (f) Belt yarn with Gauss filter preprocessing; (g) Binary result without Gauss filter preprocessing of belf yarn; (h) Binary result with Gauss filter preprocessing of belf yarn

1.2 深度卷积神经网络

1.2.1 卷积神经网络构建

卷积神经网络(Convolutional Neural Network，CNN)是多层感知器的结构变种。该网络是由多层卷积层和多层降采样层重复叠加而成，自底而上，神经网络的最上层是由多个普通神经网络构成的全连通层[16]。目前，卷积神经网络被广泛应用于人脸识别、语音识别、图像识别、运动目标跟踪与检测等问题中。

卷积神经网络是从卷积层自底而上分别对节点进行卷积和降采样提取图像特征。卷积神经网络中卷积层的定义以及卷积后输出的图像尺寸如下式所示：

(m*h)x=∫m(t)h(x-t)dt

图像特征映射函数定义如下式所示

式中：gn为卷积层的第n个神经元；卷积层与上一层节点的连接权重为Gn；偏置项为an；i,j分别为神经元在图像特征平面上的坐标。卷积神经网络的整体结构如图3所示。其中，输入图像作为输入层。自底而上，从输入层到S1是卷积过程，主要是增强原图像特征，降低噪声。在Sigmoid函数中，通过可训练的卷积滤波器，利用偏置函数进行修正，进行卷积获得卷积特征图像S1，它包含图像的轮廓特征。从S1到C1是降采样过程，主要是降低数据计算量，保留有效信息。该过程即S1中连续的窗口像素进行求和(一般窗口像素取为图像的纹理周期)，并利用偏置函数修正加权平均值，从而映射到C1的一个窗口上获取映射特征图像，C1是降采样后图像，包含图像的边缘信息。从C1到S2是卷积过程，从S2到C2是降采样过程，更复杂的图像特征被准确提取出来，而且通过感受野和权重共享可减少网络的参数，使得算法训练速度更快，需要的训练样本更少，效率明显提高。

图3 卷积神经网络整体结构图Fig.3 Structure of convolutional neural network

1.2.2 径向基神经网络优化

传统的卷积神经网络的输出层是通过使softmax回归作为激励函数用于图像特征的最后分类[17]；但是降采样层与输出层采用全连通的方式，会大大降低输出层对图像特征分类的能力，容易造成特征分类的准确度下降等现象，所以，利用径向基神经网络(Radial Basis Functions，RBF)[18]中局部指数衰减的非线性函数对卷积神经网络的非线性输入输出进行局部逼近，可以优化传统的卷积神经网络的输出层，提高系统网络的分类能力。

径向基神经网络包含输入层、隐含层和输出层，径向基神经网络在卷积神经网络(见图3)的基础上构建的深度卷积神经网络的结构如图4所示。

图4 深度卷积神经网络整体结构图Fig.4 Structure of deep-convolutional neural network

1.2.3 反向传播学习算法调整权值参数

卷积神经网络和径向基神经网络构成的深度卷积神经网络需要进行字典学习，即权值参数调整与字典更新。深度卷积神经网络的权值参数调整与字典更新包括前向传播和反向传播。前向传播和普通的神经网络是相似的，均采用由前向后依次传递。本文中反向传播是采用基于反向传播算法(Back-Propagation)的有监督学习对深度卷积神经网络进行训练。反向传播算法主要是通过前向传播产生的结果和误差作用于反向传播调整权值参数。

假设输入样本(x,y)，其前向传播输出的误差代价函数为

(5)

(6)

1.3 二值化阈值

注：A为缺陷图象；B为二值化结果图5 部分色织物缺陷样本检测结果Fig.5 Some defect detection results of yarn-dyed fabric samples. (a) Warp and Broken of dark red; (b) Knot of dark red; (c) Dropping stitches of red; (d) Hole of red; (e) Hop yarn of gray; (f) Hole of gray; (g) Wrong filling of blue-white; (h) missing filling of blue-white; (i) Belt yarn of navy blue; (j) Thick bar of navy blue; (k) Belt yarn of light blue; (l) Double weft insertion of light blue; (m) Grin of orange; (n) Wrong organization of orange; (o) Rove of pink; (p) Broken yarn of pink;(q) Rust stains of white; (r) Double warp of white; (s) Knot of purple; (t) Belt yarn of purple

检测过程中对输入的缺陷样本进行最优尺寸高斯滤波预处理，并利用训练阶段获得的映射函数对样本图像进行重构，根据深度卷积字典提取重构图像特征。然而获取的图像特征需要进一步分割，才能获得增强的缺陷部分。考虑到Meanshift算法是一种高效的聚类迭代算法[19]，因此，采用基于Meanshift的图像分割方法处理图像。Meanshift图像分割包括图像滤波和图像合并。Meanshift滤波是将图像像素中的Meanshift向量众数作为中心引力场，吸引其他像素，从而将图像分割成小区域，实现平滑滤波过程。然后通过Meanshift合并，将相邻差异性较小的像素合并，获取较突出的缺陷区域。最后，对分割出来的缺陷部分进行双峰法的二值化处理，可以获取最终的二值化缺陷检测结果。

2 实验结果与分析

为了对提出的基于深度卷积神经网络的色织物缺陷检测算法性能进行评估，进行了大量实验。实验中共选取了500幅无缺陷色织物作为训练样本，400幅缺陷色织物作为检测样本。织物包括暗红色、红色、灰色、蓝白色、藏蓝色、浅蓝色、橙色、粉色、白色、紫色共10种色织物。缺陷包括带纱、结头、错组织、密路、双脱纬、缺纬、断经、稀路、污渍、破洞等20种色织物缺陷类型。10种颜色的色织物各包含50幅无缺陷训练样本，40幅缺陷检测样本。本文实验是在Matlab R2008a环境下，处理器为Intel(R) Core(TM)i5-2400CPU@3.10GHz的计算机下完成的。色织物的图像采用PNG格式，尺寸均为256像素×256像素。

图5示出部分色织物缺陷检测结果。从第1行到第10行分别为10种颜色的色织物样本及二值化缺陷检测结果，每种颜色分别展示2种缺陷类型，共16种缺陷类型。

缺陷检测结果表明，基于深度卷积神经网络的色织物缺陷检测算法对色织物具有较好的检测性能，包括细节缺陷如断经、飞花、结头等类型均能得到较准确的检测。其中，对于蓝白色、藏蓝色、浅蓝色及橙色4种背景纹理结构相对复杂的色织物缺陷样本，检测效果也十分理想，算法的检测时间较短，达到了高效率与高准确率的目的。

表1示出10种色织物的10种缺陷类型的检测成功率。对于10种色织物各40幅缺陷检测样本，每种颜色的缺陷类型各5种，每种缺陷类型各8幅。根据表1的检测结果可看出，对于10种缺陷种类平均的检测成功率能够达到87.5%以上。个别织物缺陷检测成功率，由于织物背景纹理相对复杂，缺陷与背景纹理难以辨别导致检测成功率相对较低。但是对于工业现场经常出现的带纱、破洞、污渍、结头等缺陷检测成功率是较高的，色织物的缺陷位置和形状可得到较好的可视化效果，检测效果较理想。

表1 色织物缺陷检测成功率Tab.1 Defect detection rate yarn-dyed fabric %

3 结束语

本文采用基于深度卷积神经网络算法对色织物进行缺陷检测。织物图像在现场采集过程中会引入噪声，使得图像在一定程度上产生失真。因此，首先对缺陷织物进行最优尺寸高斯滤波，可以有效滤除细节噪声并刻画图像边缘信息。缺陷检测过程包括训练阶段和检测阶段，其中算法的训练阶段是对无缺陷样本集进行卷积神经网络和径向基神经网络的构建，并利用反向传播算法进行参数调整与字典更新，从而获得深度卷积神经网络的卷积字典和映射函数。算法的检测阶段包括利用获取的映射函数对织物图像进行重构，并根据深度卷积字典提取重构图像的图像特征。最后，通过Meanshift算法对图像特征进行图像分割，获取较突出的缺陷区域，并对分割出来的缺陷部分进行双峰法的二值化处理，得到色织物的二值化缺陷检测结果。实验验证了算法的有效性，对400幅缺陷检测样本中20种缺陷类型的识别率较高，且适应性较强，可以实现高效率、高准确率、缩短检测时间的目的，基本达到工业现场对色织物颜色及缺陷种类在线检测的要求。

FZXB

[1] KUMAR A. Computer-vision-based fabric defect detection: a survey [J]. IEEE Transactions on Industrial Electronics, 2008,55(1): 348-363.

[2] 张扬，蒋高明，姚君洲，等. 基于MRF层次模型的贾矢经编针织物图象分割技术[J]. 纺织学报， 2012，33(12):102-106. ZHANG Yang, JIANG Gaoming, YAO Junzhou, et al. Segmentation of jacquard warp-knitted fabric image based on hierarchical Markov random field model[J]. Journal of Textile Research, 2012, 33 (12): 102-106.

[3] 潘如如, 高卫东, 钱欣欣，等. 基于互相关的印花织物疵点检测[J]. 纺织学报, 2010, 31(12):134-138. PAN Ruru, GAO Weidong, QIAN Xinxin， et al. Defect detection of printed fabrics using normalized cross correlation[J]. Journal of Textile Research, 2010, 31(12):134-138.

[4] NGAN H Y T, PANG G K H, YUNG S P, et al. Wavelet based methods on patterned fabric defect detection[J]. Pattern Recognition, 2005, 38(4): 559-576.

[5] NGAN H Y T, YUNG S P. Automated fabric defect detection: a review[J]. Image and Vision Computing, 2011, 29(7): 442-458.

[6] NG M K, NGAN H Y T, YUAN X, et al. Patterned Fabric inspection and visualization by the method of image decomposition[J]. IEEE Transactions on Automation Science & Engineering, 2014, 11(3): 943-947.

[7] 景军锋, 范晓婷, 李鹏飞， 等. 应用Gussian回代交替方向图像分解算法的色织物疵点检测[J]. 纺织学报, 2016,37(6):136-141. JING Junfeng, FAN Xiaoting, LI Pengfei, et al. Yarn-dyed fabric defect detection based on Gaussian back substitution image decomposition[J]. Journal of Textile Research, 2016, 37(6):136-141.

[8] NGAN H Y T, PANG G K H. Novel method for patterned fabric inspection using bollinger bands[J]. Optical Engineering, 2006, 45(8): 087202-087217.

[9] NGAN H Y T, PANG G K H. Regularity analysis for patterned texture inspection[J]. IEEE Transactions on Automation Science & Engineering, 2009, 6(1):131-144.

[10] TAJERIPOUR F, KABIR E, SHEIKHI A. Defect detection in patterned fabrics using modified local binary patterns[C]//IEEE International Conference on Computational Intelligence and Multimedia Appli-cations[s.l.]: IEEE, 2007:263-267.

[11] NGAN H Y T, PANG G K H, YUNG N H C. Performance evaluation for motif-based patterned texture defect detection[J]. IEEE Transactions on Automation Science & Engineering, 2010, 7(1):58-72.

[12] 朱丹丹. 基于图像分析的色织物疵点检测研究[D]. 无锡：江南大学, 2014: 33-43. ZHU Dandan. Research of defect detection for yarn-dyed fabric based on image analysis[D]. Wuxi: Jiangnan University, 2014: 33-43.

[13] 李文羽. 基于机器视觉和图像处理的色织物疵点自动检测研究[D]. 上海：东华大学, 2014: 60-76. LI Wenyu. Research on automatic detection for yarn-dyed fabirc defect based on machine vision and image processing[D]. Shanghai: Donghua University, 2014: 60-76.

[14] JING J, LIU S, LI P, et al. The fabric defect detection based on CIE L* a* b* color space using 2-D Gabor filter[J]. The Journal of The Textile Institute, 2015，107(10): 1-9.

[15] 王文远. 基于图像信噪比选择优化高斯滤波尺度[J]. 电子与信息学报, 2009, 31(10):2483-2487. WANG Wenyuan. Selecting the optimal gaussian filtering scale via the SNR of image[J]. Journal of Electronics & Information Technology, 2009, 31(10): 2483-2487.

[16] KRIZHEVSKY A, SUTSKEVER I, HINTON G E. Imagenet classification with deep convolutional neural networks[J]. Advances in Neural Information Processing Systems, 2012, 25(2):1-9.

[17] 余永维, 殷国富, 殷鹰, 等. 基于深度学习网络的射线图像缺陷识别方法[J]. 仪器仪表学报, 2014, 35(9): 2012-2019. YU Yongwei, YIN Guofu, YIN Ying, et al. Defect recognition for radiographic image based on deep learning network[J]. Chinese Journal of Scientific Instrument, 2014, 35(9):2012-2019.

[18] WllAMPWSKI B M, CECATUI C, KOLBYSZ J, et al. A novel RBF training algorithm for short-term electric load forecasting and comparative studies[J]. IEEE Transactions on Industrial Electronics, 2015, 62(10):1.

[19] TAO W, JIN H, ZHANG Y. Color image segmentation based on mean shift and normalized cuts[J]. IEEE Transactions on Systems, Man, and Cybernetics, Part B (Cybernetics), 2007, 37(5): 1382-1389.

Yarn-dyed fabric defect detection based on deep-convolutional neural network

JING Junfeng， FAN Xiaoting， LI Pengfei， HONG Liang

(SchoolofElectronicsandInformation,Xi′anPolytechnicUniversity,Xi′an,Shaanxi710048,China)

Focusing on the problems of high error detection and omission rate of traditional artificial fabric defect detection，this paper presents a yarn-dyed fabric defect detection method, which based on the deep-convolutional neural network. The fabric image contains much noise and has low signal noise ratio(SNR), and optimal dimension Gauss filter as preprocessing is conducted firstly for the sampled images to remove the detailed noise. Secondly, the deep-convolutional neural network is established based on the features of fabric samples, nonlinear mapping ability of radial basis function neural network acts upon convolutional neural network, weight parameters are adjusted via back propagation algorithm, and a mapping function between defect free samples and training samples can be obtained. Finally, the mapping function and features dictionary are used to reconstruct image and extract features, according to the Meanshift algorithm to segment the defects and determine the fabric defect position by two value. The experimental results demonstrate that the method based on the deep-convolutional neural network can achieve the purpose of improving efficiency, shortening the time of measurement, and obtaining an accurate defect image.

yarn-dyed fabric; image library; defect detection; deep-convolutional neural network; mapping funcition

10.13475/j.fzxb.20161001707

2016-10-09

2016-11-10

国家自然科学基金项目(61301276)；陕西省工业科技攻关项目(2015GY034)；西安工程大学研究生创新基金资助项目(CX201602)；陕西省教育厅专项科研计划项目(16JK1342)；陕西省自然科学基础研究计划项目(2015JQ6258)

景军锋(1978—)，男，副教授，博士。主要研究方向为机器视觉与图像处理。E-mail：413066458@qq.com。

TP 391

A

获奖说明：本文荣获中国纺织工程学会颁发的第17届陈维稷优秀论文奖