基于改进型RFB-MobileNetV3的棉杂图像检测

徐 健，胡道杰，刘秀平，韩 琳，闫焕营

(1.西安工程大学 电子信息学院，陕西 西安 710048；2.深圳罗博泰尔机器人技术有限公司，广东 深圳 518109)

棉花是纺织工业的主要原料，棉纱、棉布也是出口创汇的重要商品。目前，棉花的采摘方式主要是机器采摘，这种方式效率高，缺点是棉花含杂量大，导致生产过程中处理难度大。随着棉花含杂率的提高，纺织品的缺陷率也大大上升，这将造成严重的纺织品浪费。同时人工除杂耗时耗力，生产效率低且排杂不彻底[1-2]。机器视觉采用非接触式检测，对于工业自动化生产检测领域来说，不仅提高了系统的可靠性，而且有较高的制造效益和智能化程度，因此，基于机器视觉的检测识别具有重要的研究价值[3]。通过改进算法对棉杂的检测识别，可为棉花含杂率的测量提供基本技术支持[4]。

基于视觉的棉杂检测算法主要有基于颜色特征提取的方法、阈值法和基于深度学习的方法等。基于颜色特征提取的方法主要是对图像进行处理后，利用提取棉花纤维和变异性化纤的RGB色彩模型空间的各成分数据，可实现数值聚类分析。利用RGB彩色图像阈值聚类数据分析的技术将得到的图像数据细分为3级，依次是棉纤维、RGB分布均匀与不均匀的异性纤维，进而确定有无异性纤维，在对图像进行形态学等预处理后，获得棉花异性纤维特征，该方法可提升准确度，但检测速度并未有改善[5]。阈值法是通过选择线性插值法处理非极大值抑制实现高低阈值的迭代优化，完成阈值自动优化以及伪边缘抑制进而检测棉杂，但该方法有较大误差[6]。基于深度学习的方法是使用了改进MobileNetV2模型对棉花表面杂质进行精准检测与分类，但存在网络判断误差，该方法在识别能力与速度方面还有待提高[7]。

在总结上述各种棉杂检测方法中准确率与速度的限制因素的基础上，本文采用改进型RFB-MobileNetV3(RFB-MNV3)为主体的检测网络框架作为检测器，通过减少原来模型的冗余网络层数，在不改变原模型准确率的前提下，优化算法从而提高检测速度。同时结合改进型RFB模块部署到模型池化层中，提升检测准确率与速度，满足嵌入式设备实时在线检测的需求。最后在同等情况下，将本文检测算法与其它检测算法进行分析比较，为棉杂的在线检测提供技术理论参考。

1 MobileNetV3检测算法流程

1.1 MobileNetV3模型结构

自深度学习开展以来，研究在树莓派、手机等资源受限的嵌入式设备上部署轻量级网络架构已成为趋势。MobileNetV3(MNV3)作为轻量级神经网络的目标检测方法，其主要部分可作为YOLOv4中的CSPdarknet53来进行特征提取，如图1所示。MNV3模型不但采用了深度可分离卷积方法，将空间滤波和特征形成机制分开，进而合理地分解传统卷积结构，而且具有线性瓶颈的倒残差机制，从而通过问题的低秩性质使得断层结构变得更加合理。

图1 MNV3 block结构图

倒残差结构中包括了1×1的深度卷积层和1×1投影层，当且仅当输入与输出之间存在着相同的通道后，才用剩余信号通道去连接残差结构，该结构保持输入与输出紧凑连接，同时内部扩展到高维特征空间，以提高非线性通道变换的表达能力。MNV3模型增添了独特的Bneck网络结构，在结构中将H-Swish激活函数与ReLU激活函数互搭使用，以减少运算量，提高算法的推理性能。此外，为调整各通道的权重，在各通道上都添加了基于挤压激励结构的轻量级注意力模型。通过专家验证，确认其在ImageNet中的分类准确率比MobileNetV2高3.2%，同时也将模型的冗余计算减少15%，检测速度提高25%[8]。目前，将棉杂检测分类的实际问题应用在工业纯棉生产车间中，MNV3模型结构对准确率的提高有极大的促进作用，其信号通道自定义作用方式如下：

式中：α为输入特征矩阵；H-Swish为代替原来Swish的激活函数；ReLU6为普通ReLU激活函数，限制最大输出值为6，可在低精度时有很好的数值分辨率。ReLU6(α+3)/6近似替代Sigmoid函数[9]进行特征矩阵运算，得出输出特征矩阵与α相乘，使网络推理优化以加快检测速度。

1.2 检测算法流程

将本文所提出的改进型RFB-MNV3方法运用在棉杂图像检测中，以准确迅速地检测棉杂。首先，利用工业相机收集棉杂图像，选取适用图像作数据集，同时建立改进型RFB-MNV3模型环境，将原图像进行预处理[10],使用卷积神经网络迭代训练，得到模型训练的最优权重，从而获得杂质检测识别效果的分析情况；随后使用轻量化主干网络进行特征提取，无论在速度上还是准确度上都能得到显著提高，其具体检测流程如图2所示。

图2 检测流程

2 改进的MNV3网络结构

一些经典的深度学习模型网络可以达到较高的目标识别准确率，但存在网络结构复杂、参数量多、内存要求高、预测速度慢等缺点。MNV3的互补搜索技术具有参数量少、性能高、速度快等特点，是一种轻量级且高效的网络结构。在MNV3网络结构基础上，调整参数层和通道数，缩减参数量，可提高检测速度，更适合杂质图像的检测识别。对收集到的棉杂数据集进行分析发现，样品中的杂质呈细小而杂乱的分布。利用工业相机定焦镜头拍摄，再经灰度化预处理，得到尺寸为640像素×480像素的棉花图像，将杂质图像进行人工标注，棉花里的大部分杂质会被其它因素影响，因此，对之前使用的模型结构进行改进，改进后的MNV3结构如表1所示。

表1 改进后的MNV3结构

由表1可看出，本文研究通过删除MNV3中一些冗余的网络层结构，输出通道数从1 280个改为240个，网络层数从5个改为2个，但重要的模块则被保留。减少卷积层和通道数的主要目的是提高算法的检测速度，但同时会使模型的拟合度降低，因此，本文将除输出层外其它所有层的激活函数都规定为Hard-Swish。因为MNV3部分激活函数是ReLU，其非线性比Hard-Swish要差，因此，使用Hard-Swish可确保拟合度不会下降。改进后的MNV3模型是在原MNV3模型训练效果不变的条件下，减少了参数和网络层，使改进后的MNV3模型更具轻量化，可使检测速度提升更快。本文MNV3均采用改进后的模型。

3 改进型RFB模块

由于仅改进模型的网络层数，不能更好地优化嵌入式设备中的在线检测，因此要解决精度和速度的再优化问题，本文选择感受野(RFB)模块[11]，其由不同卷积内核扩展速度的卷积层组成，可在浅层特征图中获得更多的容量信息，并增强检测网络的特征表示。原始RFB模块实时算法特征表达能力不强，且特征提取器要求不能太深，导致各方面检测效果不佳。本文提出的改进型RFB模块结构图如图3所示。

图3 改进型RFB模块结构图

棉杂图像数据传输信号由上采样层传输进入，通过用3×3卷积层取代5×5卷积层，用1×3+3×1卷积层取代3×3卷积层，模型被压缩，使参数减少了约1/9，然后用1×1卷积激活ReLU函数。与原来的RFB模块相比，其优势突出表现在2个方面：1)采用单独的下采样，RFB不需要考虑模块输入和输出间通道不一致的问题，可采取直接连接的方法而不是快捷方式，压缩结构将参数减少了25%，使信息传输过程更加畅通，即可增加RFB模块的信息多样性；2)改进RFB模块将5×5卷积替换成1×3+3×1+3×3结构，在MNV3网络结构中加入改进的RFB模型，池化层做连接处理，形成本文改进型RFB-MNV3网络结构。该网络结构通过信息扩大缓存加速算法的识别能力，使检测准确率与速度进一步提升。

4 实验过程及结果与分析

实验环境以Windows 10为操作系统，处理器(CPU)为i7-7800X，显卡(GPU)为NVIDIA GTX2080Ti，64 G内存。训练环境是基于Keras：2.1.5，Tensorflow-GPU：1.13.1的深度学习框架，GPU加速库为Cuda10.0、Cudnn7.4.1.5，编程语言采用Python3.6。

4.1 数据集

目标检测模型的精度在一定程度上受数据集质量的影响。由于目前并没有棉杂图像的公开数据集，以机器视觉为主要判别方式的前提下，本文搭建了基于改进型RFB-MNV3模型的棉杂图像采集系统，主要组成部分包括LED光照系统、工业相机、镜头、计算机、实验架平台。

依据实际工业生产情况，考虑到原棉中杂质较多，在实验中随机挑选10个500 g的棉杂样品铺平分散进行图像采集。利用工业相机拍摄棉花中不同数量的棉壳、棉秆、头发和棉叶杂质图像，共收集到4 850张棉杂图像。选取4种常见棉杂进行数据集制作，分别为棉壳(seed)、棉秆(stalk)、头发(hair)和棉叶(leaf)。使用LabelImg工具标注所收集到的棉杂图像(见图4)，标注完成后就会生成相应的XML文件进行存储。迭代训练中的棉杂数据集会经过在线数据增强处理，防止出现过拟合，最终根据实际情况判断选择训练集和测试集数量以8:2的比例划分。

图4 棉杂标注图

4.2 训练过程

卷积神经网络的浅层学习特征具备通用性，故结合自建棉杂数据集与迁移学习思想，将这些通用特征学习从部分已训练完善的网络中迁移过来，以节省训练时间。本文模型训练主要有预训练和微调2个部分。首先，通过改进型RFB-MNV3模型在公开检测数据集上预训练得到初始权重系数；其次，将得到的初始权重赋值给棉杂数据集训练微调网络；最后，为保护模型的稳定性，设置早停机制，若网络性能没有提升则训练过程就会停止，保存训练得到的权重信息。

为进一步确认棉杂识别和鉴定方法的效果，采用AdamOptimizer优化器进行参数优化，因为其可控制学习速度，经过偏置校正后，每次迭代学习率都有一个确定范围，使得参数比较平稳。初始学习率默认为0.000 1。每个归一化处理(Batch size)数据输入后，采用梯度下降法对权重参数进行更新，初始训练为200个训练次数(Epoch)，且在不断优化权重下增加Epoch，这样可增强改进型RFB-MNV3模型特征提取的优化功能，实时对棉杂图像进行检测，进一步检验其模型稳定性。棉杂特征图中某处数值的大小表示为当前位置对当前特征强弱的反应。假如在第1个卷积层用了64张3×3的卷积核，那么在卷积结束后就有64张通道可以进行计算，也就是说在这层共产生了64张单通道的特征图。主干特征提取网络的可视化特征图如图5所示。

图5 可视化特征图

第1个卷积层操作完成后，且把同层的特征图重叠在同一图像的张量上，通道依据顺序并排叠加，所有卷积层都可得到不同的特征。当卷积神经网络不断加深层数，从深层获得的特征图会不断抽象化，使人眼难以识别目标的纹理和边缘等特征，但改进后的RFB-MNV3模型网络以其特立的跨层接入，可以使深层特征图中的高层输出特征图与低层输出特征图进行互补和增强，这样在多跳连接的过程中可以更好地描述目标特征信息，使整个网络在不同层次上被提取为更丰富的特征。

4.3 性能检测

为证明本文模型的有效性，分别对单类棉杂目标和多类棉杂目标进行检测。图6(a)、7(a)示出改进前模型对单类及多类棉杂目标的检测结果，图6(b)、7(b)示出改进后模型对单类及多类棉杂目标的检测结果。对比可知，改进型RFB-MNV3模型检测效果更好，定位准确且没有漏检。

图6 改进前后模型对单类棉杂检测结果

图7 改进前后模型对多类棉杂检测结果

为突出本文算法的优越性，采用不同光照变化和变换相机位姿等条件下摄取的棉杂图像进行验证，图8示出不同相机位姿的检测结果。可见，在复杂变化条件下，本文改进模型可准确地对棉杂目标进行检测，检测准确率显著提高。不同光照情况下的检测结果如图9所示，分别对应为光照较强、正常和较弱3种情况。对比可知，在不同光照条件下，本文改进模型可准确检测棉杂，且无误检、漏检情况。

图8 不同相机位姿的检测结果

图9 不同光照条件下的检测结果

4.4 评估指标

目标检测领域一般利用平均准确率(AP)和平均准确率均值(mAP)作为模型性能效果的评价指标[12]。计算公式如下：

式中：fpre表示模型检测出正确的目标数占总目标数的比例；frec表示模型已检测出的目标数占总目标数的比例；TP为模型预测正确的正确样本数；FP为模型预测错误的正确样本数；FN为模型预测错误的错误样本数；AP为召回率和准确率曲线下的面积；mAP为所有的类别的AP均值；k为检测的总次数;R为召回率，%；P为准确率，%。由于准确率与召回率受置信度的影响，即实验中引入mAP值来表现模型的评价和性能效果。

改进型RFB-MNV3模型下棉杂分类的平均准确率如图10、11所示。由各类别检测结果的AP值看出，检测平均准确率在83%～96%之间，其中识别棉壳的效果最好(平均准确率为96%)。改进型RFB-MNV3算法使各类别平均准确率均值可达到88.15%，即该模型能较好地将棉杂进行检测识别，可基本满足实际工业生产需求[13]。

图10 棉杂分类平均准确率

图11 改进型RFB-MNV3分类检测效果

4.5 对比分析

为客观证明本文改进方法的优越性与可行性[14]，在自制棉杂数据集上，分别与其它经典算法进行对比，结果如表2所示。

表2 不同模型下的检测效果对比

分析表2可得，改进型RFB-MNV3模型的参数量所占空间是MNV3的6.38%，与其它网络模型相比为0.46%～3.42%。改进型RFB-MNV3模型检测速度可达到0.02 s，检测时间比MNV3快175 s，比其它网络模型平均快213 s。网络模型的检测时间受不同因素影响，如卷积运算、激活函数等，虽然与参数量不是线性相关，但参数量下降后检测时间也显然会缩短，这有利于实时检测。改进型RFB-MNV3模型的平均准确率为89.05%，比MNV3高6.83%，比其它网络模型高8.48%～17.32%。平均准确率均值将平均精确率和召回率结合，可评价图像分类的综合性能。改进型RFB-MNV3模型的平均准确率均值比MNV3高6.31%，比其它网络高8.76%～17.72%。综上可知，对于棉杂图像的分类识别，改进型RFB-MNV3模型的各项检测指标均优于其它网络模型。

为验证改进型RFB-MNV3模型的检测效果，本文利用不同目标检测模型算法在同一实验平台上进行训练和测试，验证结果如图12所示。可以看出，改进型RFB-MNV3可显著提升准确率。改进后算法在棉杂检测方面具有高准确率且无漏检，表明其在棉杂检测分类中具有很大的应用可能性，本文算法可满足棉花生产过程中所要求的基本应用[15]。

图12 各类算法检测结果对比

5 结 论

本文提出基于RFB-MNV3的棉杂检测方法，根据棉杂的具体特征进行研究，通过对原始MNV3的改进以及引入改进型RFB模块，提高模型的速度与精度，从而实现棉杂的有效检测。本文提出的移动端部署轻量化网络模型，目的是开发最优化高效率轻量化网络模型，以优化嵌入式设备上的精确延迟交换，这将是今后棉杂检测研究发展的趋势。本文算法在网络结构与检测分析方面进行了改进，其在原棉检测中可有效地用于棉杂识别，但还需要开发一种更优化的算法，以计算棉花图像中的含杂率，这将是今后进一步研究的内容。