基于改进SOLO神经网络钢包起重挂钩的识别测定

狄泽波 马 丽 张继凯 白红英

(1.内蒙古科技大学信息工程学院，2.北京市商业学校商贸信息系，3.鄂尔多斯应用技术学院数学与计算机工程系)

钢铁行业属于资源、劳动密集型行业[1-4]，充分运用新型的自动化控制方式可促进行业的发展与进步，而且已经成为产业转型的核心动力[5]。钢包起重挂钩的识别测定需要依靠钢铁企业工人的技术和经验，不仅增加了钢包工人的工作强度，而且降低了安全生产效率。

深度神经网络将计算机视觉和数字图像处理行业领域推向了一个新的技术时期[6]，实例分割[7]技术做为计算机视觉的研究内容之一，被广泛应用于各个领域。在钢包起重挂钩的识别方案中，不再依靠多余易损机器设备[8](如RFID技术和传感器)来获取钢包挂钩的信息，只需要通过相机或者摄像头就能实现目标物体的无接触自动记录(包括起重挂钩分割、距离测定等)，成为钢铁行业钢包管控的首选方案。但由于工厂环境存在背景杂乱、光照条件差以及挂钩多尺度等问题，从工厂的监控视频中准确地分割出挂钩具有一定的挑战性。针对以上问题提出优化SOLO[9-12]分割算法，在特征提取算法网络里引入特征金字塔[13]来提升网络的特征能力，使用改进的ResNet[14-16]网络进行挂钩识别，从而在降低计算复杂度的同时，提高在复杂环境下分割的鲁棒性以及高召回率和精确率，最终提高钢包挂钩分割的精度。

1 基于SOLO的钢包起重挂钩图像分割

1.1 SOLO网络分析与改进

SOLO网络早已广泛用于很多领域，尤其是图像分割领域。在复杂环境下，钢包挂钩表现出与背景难以区分以及挂钩状态的判断等问题，所以SOLO网络直接应用到钢包起重挂钩状态的识别与分割当中准确率和速度还有待提高。

文中提出的钢包起重挂钩分割架构主要包含根据优化的ResNet主干网络和特征金字塔网络开展特征的提取。将特征图送入预测头同时生成语义类别预测以及掩码，最终实现实例分割。

基于SOLO的钢包起重挂钩状态识别的过程包含以下三个步骤：

(1)将标注好的钢包起重挂钩图片送入到特征提取网络中；

(2)在特征提取网络中引入FPN(特征金字塔技术)，生成多个不同分辨率且通道数固定的特征图，加强特征的提取效果；

(3)经过卷积、池化和激活函数的作用，将得到的特征图输入到后面的预测头中，预测头包含两个并行的分支：类别预测和掩码生成。

1.2 主干网络的改进

在改进的SOLO分割算法中，通过在ResNet主干网络的基础上拆分、转换和合并Inception残差模块的方式构建ResNeXt网络，保留了完整的ResNet结构。实现跨特征图组的信息交互。以ResNeXt为主干网络获取钢包图像中的挂钩(hook)和耳轴(circle)特点。该网络能够在减少主要参数量的情形下提升算法精度。

Inception残差模块如图1所示。采用cardinality为32的卷积组，首先输入通道数为256的特征图，然后通过1×1的卷积对输入的特征矩阵降维，再通过3×3进行卷积运算，最后通过concatenate进行特征融合输出通道数为256的特征图，可以在不增加参数量的同时提取更深层的特征。

图1 Inception残差模块

1.3 引入图像腐蚀与膨胀修复mask并计算距离

在图像的实例分割中，分割生成的掩码mask受到复杂环境(背景复杂、光照条件不足、画面不清晰等)的影响，降低分割的精度，所以引入图像腐蚀与膨胀(去噪、填充空洞)对生成的掩码mask进行图形修复，提高分割的精度并有利于计算距离，从而判断挂钩的状态。图像的腐蚀与膨胀提出了一种结构元素，它是用来操作图像的一种空间模板。图像腐蚀类似“区域被腐蚀”，缩减细化分割图片中高亮区域或白色区域。设有两幅图像X、B。B为结构元素，X为原始图像。把结构元素B平移a后得到Ba，若Ba包含在X的范围内，记录下来这个a点，将达到以上条件的点a的集合称之为X被B腐蚀的结果。图像腐蚀的过程如图2所示。其中阴影部分是X被B腐蚀的结果。同样膨胀可以看做是腐蚀的对偶运算。

图2 图像腐蚀示意图

根据分割方法结合图像修复得到最终分割的掩码mask区域。对挂钩(hook)掩码计算并输出质心坐标，同理耳轴(circle)掩码生成质心坐标(X，Y)。将得到的两个坐标通过欧式距离公式(1)得到质心间的像素距离。

(1)

2 实验结论与分析

2.1 数据采集与处理

实验环境：硬件系统为2.50 GHz CPU，341 G运行内存，NVIDIA GeForce 2080Ti独立显卡1张，显卡内存11G；软件开发平台为Ubuntu 20.04电脑操作系统、Pytorch深度学习框架、编程语言为Python、CUDA 10.2、CUDNN8.0.0，利用SGD优化器优化目标函数，学习率设定为0.01。实验中的数据集均由相机采集和Labelme标注制作。数据信息初始屏幕分辨率为960×544。数据集包括814幅图像，其中407幅图像通过数据增强(提高对比度、任意颜色)能够在一定程度上仿真模拟钢包繁杂的环境变化。

2.2 评价指标

分析应用召回率AR和精确率AP来评价分割算法。实际计算公式(2)和公式(3)为：

(2)

(3)

式中：TP为真全样本数量；FP为假全样本数量；FN为虚假负样本数量。

2.3 实验结果

进一步检验文中改进的SOLO分割算法的性能，通过与具有代表性的Mask R-CNN、YOLACT、PolarMask网络模型进行对比，获得指标结论见表1。

表1 钢包数据集在不同网络的实验结果

通过表1可知，文章提出的改进SOLO算法的精确率和召回率均高于其他网络，分割效果优于其他网络。通过对比SOLO两种不同残差模块的骨干网络Res-50和Res-101，可以得到Res-101的AP和AR均高于Res-50。通过改进ResNet网络，可以从表中看出ResNeXt-101在Res-101的基础上AR提高了7.90个百分点、AP提高了3.20个百分点。在实例分割的应用中，还要考虑在确保精度的前提下减少分割时间。以上算法在GPU内以均值0.57、0.55、0.50 s等时间分割一张图像，可见文章采用ResNeXt-101作为骨干网络，引入FPN进行多尺度的特征融合，并在输出的掩码进行图像分割区域修复，得出该研究算法分割效果最优且分割时间最短。

3 结论

为了提高钢包起重挂钩分割的精度，使用改进SOLO算法实现对钢包挂钩状态的识别，通过在骨干网络中加入残差模块与特征金字塔对网络的结构进行优化，然后对分割掩码进行图像修复。最终构建ResNeXt-FPN网络结构，可以在复杂的工厂环境下实时有效分割出挂钩。最后通过分割掩码区域输出对应的质心坐标并计算出像素距离从而实现无接触自动调控起重挂钩的位置信息。该优化的模型对于钢铁企业起重挂钩的管理具有一定的指导意义。