基于深度学习的籽棉中异性纤维检测方法

何晓昀， 韦 平， 张 林， 邓斌攸， 潘云峰， 苏真伟，

(1. 广东理工学院， 广东 肇庆 526100； 2. 四川大学 制造科学与工程学院， 四川 成都 610065)

棉花中异性纤维检测是长期以来影响我国棉花和纺织品质量的瓶颈问题[1-2]。近年来，随着机采棉面积的不断扩大和地膜在棉田中的大量使用，这一问题愈加突出[3]。

文献调研表明，目前国内外棉花中异性纤维的检测均在皮棉阶段完成[4]，此时采摘的棉花经过轧花和开清等加工工序，已经去除了棉籽，纤维松散、容摊平、摊薄、阴影较少，有利于机器视觉检测；但其中的部分异性纤维经过加工后，成为难以辨认的细小碎片，另有少数因机械和风力的搅拌作用混入了棉团之中，很难被机器视觉系统或人眼识别。这些细小、破碎和隐匿的异性纤维随机分布在棉花中，形状各异，有的和棉花颜色相近，无论用人工方式还是机器视觉方式都很难进一步清除干净[5]。

近年来，籽棉中异性纤维的机器视觉检测引起了众多研究者的兴趣。季宏斌等[1]对管道内的籽棉图像进行分割处理，识别出籽棉中的地膜；袁荣昌等[6]提出通过籽棉图像的模糊识别对籽棉品级进行分级；王昊鹏等[4]提出一种基于局部二值模式和灰度共生矩阵的籽棉杂质分类识别方法，采用支持向量机作为分类器对籽棉中杂质进行分类识别；韦平等[7]提出采用线激光和LED构成双光源照明，通过颜色变换、改进Sobel算子和一维最大熵阈值法处理图像，使籽棉中异性纤维的识别率达到了74%。总体来说，籽棉成团、纤维紧密、阴影浓厚，团粒分布不均，图像存在大量背景空洞，加之其中的白色异性纤维与棉花颜色相近，难以通过颜色、形状、纹理等特征对图像进行分割，因此，异性纤维的检测远未进入实用阶段。

近年来人工智能的发展为图像的识别提供了一种新途径[8]：2006年，Hinton等[9]将有监督和无监督的2类神经网络结合在一起，首次提出了深度学习的网络模型； 2013年Girshick等提出了R-CNN算法[10]，开创了深度学习用于图像检测的新纪元，2016年又陆续提出了Fast RCNN[11]和Faster RCNN[12]算法。相对于YOLO等其他实时的深度网络，Faster RCNN不仅检测速度快，而且对复杂度高的图像识别率较高[13]。由于籽棉图像背景复杂，异性纤维所占比例较小，且易被棉花阴影遮挡，本文采用Faster RCNN深度学习算法分别对LED照明和“LED+线激光”双光源照明的2种籽棉图像进行训练和检测，提出了一种籽棉中异性纤维检测的新方法。

1 图像获取

本文在相关文献[7，14-15]研究的基础上，分别采用LED照明和“LED+线激光”双光源照明，使用Basler线扫描相机拍摄含异性纤维的籽棉图像。其中LED灯照明亮度为12 500 lx；“LED+线激光”双光源照明的激光采用650 nm红色激光，功率为 7 010 mW/m2，亮度为3 300 lx；线扫描相机分辨率为4 096像素，行频为7.2 kHz。实际生产中异性纤维在棉花中所占的比例非常少(每吨小于20 g)，实验室内获取大量异性纤维图像较为困难。本文在实验室环境下模拟实际生产中经过籽棉清理机的籽棉和异形纤维，将来自天骄纺织厂的12种各色异性纤维混入去除棉叶、棉壳等有机杂物的籽棉中，采用文献[7]和[14]中的成像装置，共获得LED照明的籽棉图像520张，“LED+线激光”双光源照明的籽棉图像1 148张。图1示出2种照明条件下拍摄的含异性纤维的籽棉图像。

图1 含异性纤维的籽棉图像Fig.1 Foreign fibers in cotton.(a) LED image;(b) “LED + leaner laser” image

2 基于深度学习的图像处理

2.1 图像预处理

本文运行Faster RCNN深度学习网络的计算机采用intel i7芯片和Nvidia GTX1080显卡；为加速运算，使用Ubuntu16.04平台、CUDA和CUDNN共同处理数据。图2示出预处理图像。

图2 预处理图像Fig.2 Preprocessed image.(a) LED image；(b) "LED + leaner laser" image

首先将线扫描相机获取的图像裁剪为边长在350～900像素范围内的矩形图像；然后在网络训练阶段，用标注软件Labelimg对图像中的异性纤维进行人工标注，生成与图像相对应的XML文件；最后将图像与其对应的标注文件制作为训练数据集和测试数据集。

2.2 深度学习网络

本文采用的Faster RCNN深度学习网络结构如图3所示。可知，实验由13个卷积层、13个采样层和4个池化层，通过多种卷积模板提取图像的基本特征。然后，图像的特征图谱输入到全连接层，最后利用多任务分类器完成特征分类和特征位置回归。

图3 Faster RCNN深度学习网络结构Fig.3 Faster RCNN deep-learning network architecture

这种训练方法结合无监督的学习和有监督的学习，通过大量样本图像的迭代，逐步减少误差，逼近目标。达到预定的训练精度后，大规模的神经网络节点和连接将获得的“智能”记忆存储起来。当新的图像输入时，网络通过各层运算完成待检测图像的识别。

2.3 网络训练

使用Faster RCNN深度学习网络分别对LED照明和“LED+线激光”双光源照明下的图像进行训练：首先将裁剪好的图像输入深度卷积网络，生成特征图谱；其次将特征图谱输入RPN网络(region proposal network)生成目标候选区域；然后采用ROI池化层提取备选区域特征；最后利用多任务分类器做备选区域的位置回归和目标类别判定。

根据经验，每一阶段迭代设置为8 000次，完成4阶段共计3.2万次迭代即可达到理想效果。图4示出迭代损失曲线。可以看出随着训练迭代次数的增加，损失率逐步缩小并趋于稳定。

对本文实验获取的图像进行训练发现：LED照明下的520幅籽棉图像需经过29.7 min可完成对Faster RCNN深度网络的训练;“LED+线激光”双光源照明下1 148幅图像经过52.03 min 可完成网络训练。

图4 迭代损失函数曲线Fig.4 Loss rate curve of training

2.4 图像检测

为检验深度学习网络的检测能力，在训练样本外另选130张含异性纤维的测试图像输入训练好的Faster RCNN网络进行检测。采用LED照明和“LED+线激光”双光源照明的部分图像检测结果如图5、6所示。图像的识别速度为0.05 s/幅，图中框选区域表示检测出来的异性纤维位置。LED照明的4种样品检测结果的置信度分别为1.000、0.999、0.962、1.000；“LED+线激光”双光源照明下4种样品检测结果的置信度分别为0.990、0.992、0.943、0.996。说明检测结果可信程度高。

图5 LED照明下的检测结果Fig.5 Detection result by LED.(a)Sample 1;(a)Sample 2;(a)Sample 3;(a)Sample 4

图6 “LED+线激光”双光源照明下的检测结果Fig.6 Detection result by "LED + leaner laser".(a)Sample 1;(a)Sample 2;(a)Sample 3;(a)Sample 4

3 结果与分析

本文对LED照明和“LED+线激光”双光源照明的籽棉图像分别采用基于阈值分割的图像处理算法[15]和Faster RCNN深度网络进行检测，结果如表1所示。

表1 传统阈值方法与深度学习识别率对比Tab.1 Comparison between traditional threshold method and deep-learning method

由表1可看出，基于深度学习方法的LED图像识别率达到90.3%,双光源图像识别率为86.7%，二者均高于常规的图像处理方法。其中，采用常规的阈值分割算法，LED照明环境下白色异性纤维的识别率只有5.9%，主要原因是白色异性纤维颜色和籽棉接近，难以找到最佳的阈值进行分割；在双光源照明条件下，白色异性纤维产生强反光，其亮度值明显高于棉花[16]，常规阀值算法的检测率达到了74.4%，但仍然低于深度学习方法。

由表1还可以看出，采用的“LED+线激光”双光源照明实验的深度学习识别率略低于LED图像，原因一是“LED+线激光”双光源照明方法虽然能够凸显白色异性纤维信息，但同时丢失了部分图像颜色信息；原因二是没有对基于深度学习方法进行光源配置的优化。

4 结束语

籽棉中异形纤维检测是一个值得探索的研究方向。籽棉图像阴影浓厚，传统的图像处理方法很难分割出背景与目标。本文的实验和分析表明，在LED照明或“LED+线激光”双光源照明的条件下，相对于常规的图像处理方法，基于深度学习和CNN神经网络的人工智能识别方法识别籽棉中各种异性纤维的能力更强。下一步可研究不同的照明条件和深度学习网络对棉花中异性纤维检测的影响，进而优化成像系统和图像的智能识别方法。

参考文献：

[1] 季宏斌,刘培艳,陈涛. 基于机器视觉技术的机采棉地膜清理机的研制[J]. 中国棉花加工,2010(6):28-31.

JI Hongbin, LIU Peiyan, CHEN Tao.The cleaning machine of mulch film in seed cotton based on machine vision technology[J].China Cotton Processing, 2010(6):28-31.

[2] 古卫东,袁龙胜. 浅谈MQZS型籽棉三丝清理工艺[J]. 中国棉花加工,2014(2):42-43.

GU Weidong,YUAN Longsheng. The three type of MQZS cotton silk cleaning process[J]. China Cotton Processing, 2014(2):42-43.

[3] 王欣,李道亮,杨文柱,等. 基于可见光机器视觉的棉花伪异性纤维识别方法[J]. 农业机械学报,2015,46(8):7-14.

WANG Xin,LI Daoliang,YANG Wenzhu,et al. Lint cotton pseudo-foreign fiber detection based on visible spectrum computer vision [J]. Transactions of the Chinese Society for Agricultural Machinery, 2015, 46(8):7-14.

[4] 王昊鹏,李慧. 基于局部二值模式和灰度共生矩阵的籽棉杂质分类识别[J].农业工程学报, 2015,31(3):236-241.

WANG Haopeng,LI Hui. Classification recognition of impurities in seed cotton based on local binary pattern and gray level co-occurrence matrix[J]. Transactions of the Chinese Society of Agricultural Engineering, 2015, 31(3):236-241.

[5] 张成梁,李蕾,董全成,等. 基于GA-SVM模型的机采籽棉杂质识别[J]. 农业工程学报,2016,32(24):189-196.

ZHANG Chengliang, LI Lei, DONG Quancheng,et al. Recognition for machine picking seed cotton impurities based on GA-SVM model[J]. Transactions of the Chinese Society of Agricultural Engineering, 2016,32(24):189-196.

[6] 袁荣昌,孙龙清,董晨曦,等. 基于模糊模式识别的籽棉品级分级模型[J]. 计算机应用,2011,31(8): 2097-2100.

YUAN Rongchang, SUN Longqing, DONG Chenxi, et al. Grading model of seed cotton based on fuzzy pattern recognition[J]. Journal of Computer Applications, 2011,31(8):2097-2100.

[7] 韦平,张林,刘翔,等. 籽棉中异性纤维的双光源成像检测方法[J]. 纺织学报,2017,38(4):32-38.

WEI Ping,ZHANG Lin,LIU Xiang， et al. Detecting method of foreign fibers in seed cotton using double illumination imaging[J].Journal of Textile Research, 2017,38(4):32-38.

[8] 李君宝,杨文慧,许剑清,等. 基于深度卷积网络的SAR图像目标检测识别[J].导航定位与授时,2017(1):60-66.

LI Junbao,YANG Wenhui,XU Jianqing,et al. Deep convolutional network based SAR image object detection and recognition[J]. Navigation, Position and Timing, 2017(1):60-66.

[9] HINTON G E, SALAKHUTDINOV R R, et al. Reducing the dimensionality of data with neural net-works[J]. Science, 2006,504(5786):504 - 507.

[10] GIRSHICK R, DONAHUE J, DARRELL T, et al. Region-based convolutional networks for accurate object detection and segmentation[J]. IEEE Transactions on Pattern Analysis and Machine Intelligence, 2016, 38(1):142-158.

[11] GIRSHICK R. Fast R-CNN[C]//Proceedings of the 2015 IEEE International Conference on Computer Vision. Santiago:IEEE, 2015:1440-1448.

[12] REN S Q, HE K M, GIRSHICK R, et al. Faster R-CNN: towards real-time object detection with region proposal networks[J].IEEE Transactions on Pattern Analysis and Machine Intelligence, 2017,39(6):1137-1149.

[13] 张慧,王坤峰,王飞跃. 深度学习在目标视觉检测中的应用进展与展望[J].自动化学报,2017,43(8):1289- 1305.

ZHANG Hui,WANG Kunfeng,WANG Feiyue. Advances and perspectives on applications of deep learning in visual object detection[J]. Acta Automatica Sinica, 2017, 43(8):1289-1305.

[14] 张林,韦平,伍剑波,等. 基于线激光与LED的棉花中异性纤维检测方法[J]. 农业工程学报,2016,32(15):289-293.

ZHANG Lin, WEI Ping, WU Jianbo, et al. Detection method of foreign fibers in cotton based on illumination of linelaser and LED[J]. Transactions of the Chinese Society of Agricultural Engineering, 2016,32(15):289-293.

[15] 王冬,尹伯彪,刘翔,等. 棉花中白色异性纤维的线扫描激光成像检测方法[J]. 农业工程学报,2015,31(9):310-314.

WANG Dong,YIN Bobiao,LIU Xiang,et al. Laser line scan imaging method for detection of white foreign fibers in cotton[J]. Transactions of the Chinese Society of Agricultural Engineering, 2015,31(9): 310-314.

[16] 刘翔,何相呈,苏真伟,等. 棉花中白色异性纤维的激光成像快速检测方法[J]. 农业工程学报,2014,30(15):190-196.

LIU Xiang,HE Xiangcheng,SU Zhenwei,et al. Laser imaging method for fast detecting white foreign fibers in cotton[J].Transactions of the Chinese Society of Agricultural Engineering, 2014,30(15): 190-196.