基于Faster rcnn的棉麻纱混纺比自动检测

肖登辉，李立轻，b，汪 军，b

(东华大学a.纺织学院；b.纺织面料技术教育部重点实验室:上海 201620)

0 引言

棉麻混纺比是纺织检测中的重要参数，其对于纱线的成纱质量及棉、麻混纺织物的舒适性有重要的影响。棉、麻纤维是化学成分相同的植物纤维，难以通过化学方法区分鉴别[1]；目前均采用物理方法，如显微投影法[2]，直接通过显微镜观察，依靠检测人员经验对棉、麻纤维进行鉴别，是目前广泛应用的方法，但该方法费时费力，且要求检测人员经验丰富。溶解吸光法[3]和着色法[4]利用棉、麻纤维微观结构的不同进行鉴别，虽然检测效率高，却对环境温度、时间控制等提出了较高的要求。近红外光谱法[5]也比较常用，但只能定性分析、无法定量分析。除此以外，一些图像处理方法，如边缘检测、BP神经网络、SVM[6]等也应用于棉、麻检测，此类方法只能进行定性检测，无法测算出其中的棉、麻根数故其应用受到限制。

Faster rcnn[7]是深度学习的一个网络模型，相较于传统的机器学习以及图像处理的分类任务，该网络不需要提取目标特定的特征来进行拟合训练集，可以自动地根据目标的语义信息进行检测，且具有高准确率。笔者提出了基于Faster rcnn对棉、麻纤维进行目标检测，探究目标检测在测算棉麻纱混纺比的可行性。

1 基于Faster rcnn测算棉麻纱混纺比的原理

现有测算棉麻混纺比的方法，多数基于纺织行业标准FZ/T 30003—2009《麻棉混纺产品定量分析方法 显微投影法》。该标准规定的方法，需要制作切片、通过肉眼对棉、麻纤维进行识别，当棉、麻纤维根数超过1000根时，测算的棉麻混纺比才具有代表性。这种方法费时费力，且结果存在太多的主观因素。笔者选取的目标检测技术能从图片中检测出目标，并对其进行框选。Faster rcnn作为目标检测算法之一，虽然相较于其他目标检测算法(YOLO[8]，SSD[9]，FCOS[10])在速度上略差，但精度相对较高，是一个2阶段的检测网络，见图1。

图1 Faster rcnn网络结构

要得到Faster rcnn良好的模型，一般首先准备相关目标的数据集，接着训练模型(耗费时间较长)，然后对模型评估。

模型评估是对模型优良性的考察，mAP(平均精度的均值)作为目标检测通用的评估参数，它结合了目标置信度、预测框与真实框的IOU值以及分类准确度等因素，全方位考量模型的综合指标，在计算mAP之前，需要计算精准率和召回率。精准率是预测目标数占总预测数的比值，召回率是模型预测准确个数占总实际真实目标个数的比值，IOU评估的是模型的预测框与真实框的拟合情况。

(1)

式(1)中，Sgt∩pre代表真实框与预测框的重叠面积，Sgt∪pre代表真实框与预测框的并集面积。

(2)

式(2)中，pre为精准率，TP为模型预测准确的目标数，FP是模型预测错误的数量。

(3)

式(3)中，recall为召回率，FN为未被模型检测出的实际框数量。

(4)

式(4)中，APC为C类的AP值，N为所有图片中包含该类所有目标的数量。

获得模型的具体流程，见图2。

图2 总流程图

2 获取Faster rcnn模型

2.1 数据集的准备

数据集的格式采用VOC2007格式。数据集被分为训练集、验证集和测试集，按8∶1∶1分配。

2.1.1 图片的获取

为了便于区分图片中的目标，以便减少为标注带来麻烦(主要是避免同张图片出现棉纤维和大麻纤维)，笔者将棉纤维图片和大麻纤维图片分开获取，完全按照哈氏切片器的操作流程制作切片。切片制样的对象为纯棉或纯麻纤维团，哈氏切片器顶出纤维团厚度设置为0.15 mm，即转取15个旋钮，利用YG002C型纤维细度仪在相机镜头50倍和物镜4倍，即总放大倍数为200倍的条件下进行拍摄获取图片，见图3。

图3 获取到纤维的图片

2.1.2 图像的预处理

在获取图像时，受到外界信号的干扰，会产生噪声，笔者采用中值滤波进行处理。此外，由于Faster rcnn训练传入的图片要求统一尺寸，实验采用双线性插值方法将所有图片统一为512像素×512像素。

2.1.3 图像的标注

Faster rcnn训练过程是有监督的学习过程，需要对目标标注，采用Labelimg软件(见图4)；实验只需要将图片中的目标框出，该软件就能将人为标注的信息自动保存为xml文件，每张图片对应1个xml文件。此外，存在于图片边缘的纤维，默认不计入根数，在标注过程中不进行标注。

图4 图片的标注

2.1.4 数据增广

数据集共有800张图片，其中训练集为640张，这对于深度学习的训练是远远不够的，因为过小的数据集容易引起模型的过拟合现象，增加数据集的数量可以加强模型的泛化能力。笔者采用了数据增广方案，利用一个脚本对训练集中的每张图片进行翻转、镜像、旋转等操作(见图5)，在对图片进行增广时，图片相对应的标注文件也会相应地增加，数据增广后的训练数据数量达到了3200张。

图5 数据增广过程

2.2 模型的训练

数据集制作好后，需对Faster rcnn进行训练。笔者采用Ubuntu 16.04系统，2块1080ti，Pytorch框架作为训练环境，基于棉纤维和麻纤维的形态区别，采用的学习率在刚开始时设为0.010，用到的优化函数为随机梯度下降(SGD)，批次大小(Batch size)设置为8。图6和图7为模型训练中的学习率和损失函数值表现。

图6 训练过程中的学习率

图7 训练过程中的损失函数值

2.3 模型的评估

模型对事先划分好的测试集(共80张图片)进行预测，由于检测对框位置精度要求不高，将超参数IOU阈值设置为0.5，即IOU值大于0.5认为是预测准确的。此外，预测的置信度阈值设置为0.1。具体的实验结果见表1，表1中的实例数量指的是80张图片中对应类别目标的总个数。

表1 模型的评估实验结果

3 Faster rcnn模型在棉麻混纺纱的试验

实验测算混纺比的公式全部参照纺织行业标准FZ/T 30003—2009，具体见式(5)～式(8)。

(5)

N2=1000-N1

(6)

式中：

N1——棉纤维折算根数；

n1——棉纤维实际计数根数；

n2——大麻纤维实际计数根数；

N2——大麻纤维折算根数。

(7)

X2=1-X1

(8)

式中：

X1——棉纤维质量百分比；

d1——棉纤维直径/μm；

ρ1——棉纤维密度/(g·cm-3)；

d2——大麻纤维直径/μm；

ρ2——大麻纤维密度/(g·cm-3)；

X2——大麻纤维质量百分比。

依据文献，棉纤维密度为15.4 g/cm3[11]，平均直径为17.3 μm[12]；大麻纤维密度为1.458 g/cm3，平均直径为20 μm。

采用60%棉和40%大麻混纺18.7 tex纱进行验证。实验时，由于单根纱线无法直接利用哈氏切片器进行截取，故采用染黑的山羊绒包覆单根混纺纱的方法获取长度为0.30 mm纤维团；接着从切下来的纤维团中分离出白色的纱线段。为了减少拍摄次数、即减少纤维分散面积，实验用刀片将纤维聚集尽量均匀地分散在一条直线上，见图8。通过该方法，只要调节载物台前后移动便可拍摄所有纤维所在面积。实验进行了10组，对每组实验的图片均进行预处理，统一尺寸为512像素×512像素，利用优化后的模型对10组拍摄的图片分别做预测，结果见表2。

图8 纤维聚集在一条直线上

表2 模型在棉麻混纺纱的检测结果

从表2数据可知，仅从平均根数得出的质量百分比基本与实际质量百分比相吻合。

4 结论

基于Faster rcnn目标检测网络，以棉、麻纤维作为数据集进行图片采集、处理等，之后进行模型训练、评估和检测实验。实验结果表明，利用Faster rcnn作为检测棉、麻纤维的目标检测网络在测试集上mAP达到了0.905，并在验证实验中得出该模型检测的棉麻混纺比与实际标准值的误差基本吻合，说明了利用Faster rcnn网络模型作为自动化检测棉、麻纤维核心算法的可行性和可靠性。虽然，该方法在精度上可观，然而在制样中以及图片采集过程中还是存在着耗时、耗力的问题，希望在后期发展中得到改进。