基于深度学习的工业传送带异物检测研究

陆强　徐林　杨凌珺　何胜方　张辉　卢兆林

摘  要：在大型工业生产企业，工业用料主要通过传送带运输，需要用大量视频监控设备实时观察传送带，以防各类生产工业原料的运输过程中传送带出现异物导致的偏移、折叠、撕裂、发热起火等意外情况对工厂人员与财物造成危险。为了避免监控过程巨大的人力消耗，提出一种基于改进CenterNet的传送带异物检测方法。针对实时监控对计算速度性能的需求，对深度学习网络进行改进，采用深度可分离卷积替换残差结构以减少计算参数，引入具有线性瓶颈逆残差结构以避免参数减少带来的精度损失;针对传送带上异物具有多尺度、多角度特性，引入多尺度特征模块以增强网络感受野、优化特征提取;最后实现了工业传送带异物检测系统。应用该系统在马鞍山钢铁集团的港务原料厂进行实验测试，结果表明，应用改进CenterNet算法的系统可有效进行工业传送带异物及状态突变的监控。

关键词：异物检测;视频监控;深度学习;深度可分离卷积

Abstract：  Most ore is mainly transported by conveyor belts. A large number of video surveillance equipments need to be used to observe the conveyor belt in real time to prevent accidental conditions such as deviation， folding， tearing， heat and fire caused by foreign objects in the conveyor belt during material transportation， which may cause danger to the personnel and property of the industrial facilities. In order to avoid the huge manpower consumption in the monitoring process， a foreign object detection method based on improved CenterNet is proposed. In response to real-time monitoring requirements for computing speed and performance， the deep learning based network is improved by using deep separable convolution to replace the residual structure to reduce calculation parameters， and then introducing an inverse residual structure with a linear bottleneck to avoid the loss of accuracy caused by parameter reduction; The foreign object on the conveyor belt has multi-scale and multi-angle characteristics. Multi-scale feature modules are added to enhance the network receptive field and optimize the feature extraction. Finally， the industrial conveyor belt foreign object detection system is realized. Using this system， the experimental test was carried out in MASteel Group. The results show that the system using the improved CenterNet algorithm can effectively monitor the foreign object and state mutations of the industrial conveyor belt.

Keywords： foreign objects detection; video surveillance; deep learning; deep separable convolution

0引 言：

大型傳送带是工业运输的关键设备。随着产能的增加，对各类工业传送带在载重、速度和运输距离等方面的要求也越来越高。可是由于长度，传送带上的物料复杂性等，传送带容易发生偏移、折叠、发热起火、撕裂、断裂、堵料等安全事故。一方面，安全事故极易造成人员伤亡;另一方面，传送皮带作为带式输送机的主要结构，造价与维修价格十分昂贵。因此，保障工业传送带安全稳定运行，对保障生产安全和工业产能具有重要意义。

根据有关统计，在常见的传送带异常事故中，大部分都属于传送带撕裂[1]。该事故的主要原因是异物误入传送带，常见的异物有锚杆、槽钢等铁器和矸石。迄今为止，传送带保护研究主要集中在皮带纵向撕裂的检测上[2]，在一定程度上减少皮带撕裂后所造成的损失，但不能从根本上杜绝传送带被破坏。本文拟从传送带发生意外的根本原因出发，旨在设计并实现在异物对传送带造成影响之前及时发现并向工作人员报警的系统，以保障工业作业稳定安全运行。

目前的文献中，多应用射线法[3]进行煤矿传送带的异物检测。射线法通过不同元素对射线能量吸收系数的不同区分某些矿产，比如煤与非煤异物。但该方法成本高，难度大，且射线探测器的辐射对井下作业人员存在极大的安全隐患。而对于地面作业的大型工厂比如马钢的原料厂而言，方法并不多。现在采用监控摄像头检测异物的方式更受欢迎，因为摄像头设备安装维护简单，成本较低。但是随着工业传送带越来越长，摄像头布置越来越多，监控显示屏数量远少于摄像头，且人工24小时监控也需要大量的人工成本，所以怎么用机器取代人工监控一直是广大研究者的研究热点。

近年来，随着机器学习与人工智能的飞速发展，基于卷积神经网络的目标检测方法成为计算機视觉的研究重点，基于深度学习的异物检测方法也在工业上得到了广泛应用。目标检测方法主要有Anchor-Based和Anchor-Free两种。Anchor-Based以两阶段的Faster R-CNN[4]和Mask R-CNN[5]及一阶段的YOLO[6][7]、SSD、RetinaNet等为代表，相比于传统的人工设计特征的机器学习目标检测算法，Anchor-Based方法在检测精度上取得了巨大进步，但高精度的带价是需要人工设置大量anchor，进而引入大量超参数，这些超参数的设置有很大的不确定性。为消除anchor的缺陷，提出Anchor-Free方法，即用关键点代替anchor-based方法中的anchor，主要代表算法有CornerNe、FCOS、CenterNet等。

上述算法均可实现工业传送带异物检测，但要综合考虑工业传送带异物检测的精度和实时性要求，受CenterNet网络启发，在其基础上，针对实时性要求提出深度可分离卷积和逆残差结构改进网络，针对传送带上异物多尺度的情况，提出金字塔池化模组，聚合不同区域的上下文从而达到获取全局上下文的目的。实验结果表明，本文提出的算法可在不依赖锚框的情况下，准确检测出传送带上异物，满足工业传送带异物检测系统的速度和精度要求，算法可扩展性较好。

1 CenterNet算法

CenterNet是一种将目标检测问题转化为关键点估计问题的Anchor-Free目标检测算法。该算法将待检测物体用中心点替代，借助热力图确定物体中心并回归出物体的高度，宽度等其他属性。

CenterNet常用的有卷积残差网络（Upconvolutional Residual Networks， ResNet），深层特征融合网络（Deep Layer Aggregation，DLA） 以及沙漏网络（Hourglass Network）三种主干网络。上述三种主干网络的内部结构各不相同，但均为完整的编解码网络。其结构的输出是三个独立的预测值，分别为类别信息，中心点坐标预测，中心点偏置，该输出是通过在模型的最后输出部分增加三个网络构造加以实现。在使用CenterNet算法时，无需多尺度的设计，无需实现设置锚框，这在很大程度上简化了结构，避免了复杂的相关超参数选取。

2 CenterNet的改进

2.1Hourglass网络改进

在常用的三个主干网络结构中，ResNet速度稍快，Hourglass精度最高，所以我们选择在Hourglass-104[6]网络上进行改进。

其中如图所示的一阶模块，可见Hourglass网络最基本的网络单元是残差模块，该单元承担了整个网络绝大部分计算操作，但其计算参数相当多，而本文要实现工业传送带异物检测系统的实时应用，对网络速度性能要求非常高，所以针对残差单元的改进是必须的。为了提高残差单元的计算速度，引入逆残差结构，该结构之所以能极大提升网络计算速度，起主要作用的是其中的深度可分离卷积（Depthwise Separable Convolution， DSC）模块。假设输入数据为，其中分别为特征图像batch_size的大小、通道数、宽高。做3x3的卷积操作，标准卷积的计算量式（2-1）为：

由此可见，当处理的数据越多时，深度可分离卷积带来的速度收益越明显。在此基础上，我们为了获得更高的精确度，需要从特征图中获取更多的信息，因此引用了逆残差结构。逆残差结构和残差网络正好相反，它是首先获取大张量，再将它缩小。逆残差结构首先利用扩展层（Expansion layer）进行维度的扩展，然后使用深度可分离卷积提取特征。为使网络重新变小，使用投影层（Projection layer）对数据进行压缩。在扩展层和投影层当中都有可以学习的参数，所以整个网络结构可以学习如何更好地扩展和重新压缩数据。逆残差网络结构。

2.2多尺度特征融合

传送带上异物出现在摄像头后，由远及近再由近及远，其分辨率随着距离时刻发生变化，所以工业传送带异物检测系统需要适应不同尺度、不同类别的目标。为了增强算法对不同尺度异物检测的鲁棒性，进一步提高检测精度，引入PPM（Pyramid Pooling Module，金字塔池化模块）[7]。

在利用GAP （Global Average Pooling， 全局平均池化）融合全局上下文信息时，其集成和提取信息的能力有限。因此单纯使用GAP将信息压缩到一个通道中有可能会造成大量有用信息的丢失。这里引入PPM模块将不同感受野的特征和子区域的特征融合加以增强特征表征能力。PPM模块将上级网络提取出的特征图分为两个部分。将其中一个部分分为多个子区域分别进行全局平均池化后利用的卷积调整其通道大小，再使用双线性插值获得未池化前的大小，最后融合两个部分，由此得到channel数增加1倍的特征图。最后，通过1×1卷积实现多尺度特征融合，有效提高了网络在检测小尺度输送带异物空间位移时的鲁棒性，提高了不同尺度异物的检测效果。

3 实验与分析

本文数据集均在马钢集团的港务原料厂传送带上采集，总共采集34条胶带，30天内在每个小时开始后5分钟内的运行视频。视频已覆盖各胶带在不同光线、不同物料、不同天气状态下的各类样本。因各个摄像头的配置规格不同，平均每秒可采集10张图片。另，通过在料堆厂中采集了11种常见物料的状态，并且采集了常见异物在料堆中的位置、形态等。综合以上采集图片，达到每种样本平均8000以上的采集量，之后将所有采集到的照片分类、汇总，再利用各类反转、镜面方法，针对不同的视频图片进行拓展生成。其可使用的图片数也已经实现了平均8倍的增长。最终建立了十万级别数量级的大型数据库。其中70%作为训练集，20%作为验证集，剩下10%作为测试集。

经过大量训练后，网络基本达到收敛状态。为验证算法性能，在相同实验平台，相同训练数据下，与不同检测网络性能做对比测试，测试结构如表1。

可以看出，改进后的算法与原算法相比，平均检测时间缩减了近130ms，检测精度也提高了8%左右。相比于两阶段的Faster R-CNN算法，我们的算法虽然精度稍低，但计算速度有着巨大优势，相比于一阶段的YOLOv3算法，我们的算法检测速度和精确度都有一定优势，结果表明，本文提出的算法在检测速度与精确度上在目前主流算法中均有较大优势。

从测试集中随机挑选四张测试图片，用本文提出的算法进行测试，检测结果如图6所示，可以看出本文算法对于小尺度（如瓶子）和大尺度（如箱子）等各类目标均能准确检测，尤其是在由近及远的过程中，本文算法能稳定识别同一个物体不同分辨率的样子。

4 系统结构设计与实验分析

工业传送带异物检测系统，主要包括布置在传送带上的工业相机、计算机及报警系统。

异物检测系统运行流程为：

（1）工業相机24小时不间断监控传送带，并将视频流实时传输给计算机。

（2）计算机运行传送带异物检测软件，实时分析工业相机传输过来的画面，若发现有异物出现在传送带上，则向报警器发出信息。

（3）报警器响起警报，提醒工作人员及时清理传送带上的异物以保障传送带安全稳定运行。

工业传送带异物检测软件子系统包括监控视频读入，并对每一帧图像进行预处理，再由改进后的CenterNet算法进行自动检测，将检测结果反馈到软件界面上，若出现异物及时报警。

软件运行界面。

5 结论

本文针对马钢工业传送带异物实时监控对计算速度性能及精度的要求，在CenterNet目标检测算法的基础上，首先引入了逆残差网络结构，减少网络参数，提高计算速度，然后加入特征融合模块以解决传送带上物体分辨率变化问题，最后实现了完整的工业传送带异物检测系统，并在马钢的港务原料厂得到初步应用。如何进一步提升算法速度与精确度，并搭配机器人实现异物自动分拣功能，从而实现去人工化，进一步降低安全隐患是后续工作的重点研究方向。

参考文献（References）

[1]李伟伟.皮带运输机在煤矿运输中常见故障与处理[J].西部探矿工程，2019，31（12）：85-86.

[2]曹虎奇.煤矿带式输送机撕带断带研究分析[J].煤炭科学技术，2015，43（S2）：130-134.

[3]葛学海，白云飞，陈鹏，张立功.煤与矸石分离系统中X射线探测器的设计[J].选煤技术，2017，{4}（06）：64-67.

[4]Ren S ，  He K ，  Girshick R ， et al. Faster R-CNN： Towards Real-Time Object Detection with Region Proposal Networks[J]. IEEE Transactions on Pattern Analysis & Machine Intelligence， 2017， 39（6）：1137-1149.

[5]He K ， Gkioxari G ， P Dollár， et al. Mask R-CNN[J]. IEEE Transactions on Pattern Analysis & Machine Intelligence， 2017.

[6]Redmon J ， Divvala S ， Girshick R ， et al. You Only Look Once： Unified， Real-Time Object Detection[J]. IEEE， 2016.

[7]Redmon J ， Farhadi A . YOLO9000： Better， Faster， Stronger[C]// IEEE. IEEE， 2017：6517-6525.