矿井带式输送机胶带表面异物视频检测系统设计研究

蒲志强

(陕西长武亭南煤业有限责任公司，陕西 长武 713600)

在煤炭运输过程中，锚杆、木块、木杆、大块煤等异物经常对带式输送机造成损坏，导致煤矿停产，造成巨大的经济损失。因此，应对带式输送机上的异物进行实时监测，以尽量减少煤矿企业事故发生的概率、影响程度和经济损失。目前，带式输送机上外来物体检测的主要方法是人工检测、射线法和图像识别法。人工检测方法要求工人整天用眼睛观察胶带表面，容易引起工人视觉疲劳，造成煤矿安全隐患[1]。射线法利用射线反射吸收的不同能量进行煤与非煤物质的识别，但该方法所使用的相关设备费用昂贵，维护困难。对于图像识别方法，可以利用煤矿井下的高分辨率摄像机采集图像，然后通过计算机进行智能检测。该方法安装和维护简单，检测效率高，因此具有广阔的应用前景。 目前SSD算法也有一定的缺陷：SSD具有大量的参数，对GPU的依赖性很强，同时在设计中考虑了各种目标对象的大小，设置了各种比例的识别框，但当目标对象较大时，原来的识别框设置比例不适合检测。 为此，针对目前视频检测存在的缺陷，从以下几个方面进行了改进：调整网络的卷积模式，减少网络参数的数目，提高网络的运行速度。

1 基于改进SSD的胶带表面异物检测

1.1 SSD检测框架设计

SSD 算法模型分为2部分：①第1部分是特征提取网络，利用VGG16协议对输入图像进行特征提取；②第2部分是多尺度特征检测网络，通过逐层减少汇集产生的特征映射[2]，在每层特征映射上生成多个识别框，然后根据多个卷积预测目标物体的位置和类别，最后通过非最大值抑制方法得到最终检测结果，实现多尺度特征映射的检测。其结构如图1所示。

图1 SSD检测技术网络结构Fig.1 Network structure of SSD detection technology

SSD和YOLO的方法都使用CNN网络来提取图像特征，但SSD网络提取不同大小的特征映射来检测图像中不同大小的目标。同时，SSD还借鉴了Faster r _ SSD中生成锚点的方法[3]，并设置了具有不同纵横比和不同尺度的识别检测框。

(1)采用多尺度特征映射进行检测。多尺度特征映射是一个不同大小的特征映射。在SSD中，特征映射会随着操作发生变化，特征映射向前越远，特征映射越大，特征映射向后越远，特征映射越小。如图2所示，较大的特征映射和较小的特征映射都用于检测，目的是用较大的特征映射检测较小的对象，用较小的特征映射检测较大的对象。图2中，8×8的特征图可分为更多的单元，可以检测较小的目标，而4×4的可分单元较小，可以检测较大的目标[4]。

(2)设置识别框。生成识别框时，由于对数据层的处理，每个数据层提取的特征映射也是不同的。提取SSD中Conv4_3、 Conv7、 Conv8_2、Conv9_2、Conv10_2、Conv11_2的应用层输出作为检测特征映射，其识别分辨率大小分别为(38，38)、(19，19)、(10，10)、(5，5)、(3，3)、(1，1)。然而，对应于不同大小的特征映射的识别框的数量和识别框的大小是不同的。

图2 不同检测网格大小的特征Fig.2 Features of different detection grid sizes

(3)Loss函数的定义。为了判断网络训练所得到的预测结果与实际情况之间的误差，在网络训练的SSD 中引入了一个损失函数，包括位置误差和置信误差。位置误差损失函数的计算通过预测结果识别框坐标与GT图像坐标之间的误差进行度量。

1.2 改进的SSD算法设计

尽管SSD比r_SSD和YOLO更快，但它仍难以满足实时需求。为此对SSD进行了以下改进[5]。

(1)SSD模型的主干网络为VGG16，主要用于图像特征提取，但该网络参数较多，需要较长的时间提取图像特征。为此，引入深度可分卷积来简化特征提取网络，减少了网络参数的数量，提高了网络的运行速度。

(2)对于SS的位置损失函数，只能根据识别框与GT图像之间的度量损失，而忽略了重叠区域的大小。因此，引入了GIOU来代替原始损失函数中的位置损失函数，提高网络定位精度。

(3)当SSD网络被应用时，识别的识别框被设计用20个不同大小的物体。本文中目标对象的类型较少，而目标对象的体积较大。因此，网络识别框的生成方法并不完全符合这一点。为此，本文将优化网络识别框和特征提取层的大小，以提高网络的准确性。

1.3 深度可分离卷积原理

在深度学习中，网络结构比较复杂，参数也比较多，计算机的计算能力和存储空间相对较大。当标准卷积网络被深度可分卷积(DSC)代替后，网络参数的数量减少，运行速度提高。标准卷积如图3所示。

图3 标准卷积示意Fig.3 Schematic diagram of standard convolution

深度可分卷积将标准卷积分解为深度卷积和逐点卷积，对输入图像进行深度卷积生成输出，然后利用1×1的卷积核对深度卷积结果进行点卷积生成最终输出，提高了视频识别的算法速度以及识别率[6]。深度卷积如图4所示。

图4 深度卷积示意Fig.4 Schematic diagram of depth convolution

2 基本网络的优化改善

2.1 基本网架构

在计算机视觉领域，注意力机制被广泛用于提高网络性能。在这项研究中，由于现时目标检测方法是基于解析力的分割方法，这个网络的架构包括编码器、解码器和辨识模块，联合预测过程如图5所示。

图5 基本网络条件下算法预测过程示意Fig.5 Schematic diagram of algorithm prediction process under basic network conditions

同时由于显示模型的时间和空间复杂性，提出采用的浮点运算模型具有空间复杂度，辨析频率达到40.35 Hz[7]。该网络由以下3个组成部分组成[8]。

(1)编码器。特征采用深度可分卷积提取，最大限度地用于采样，以获得多比例尺特征映射。低层特征具有更高的分辨率并包含更多的位置和细节，但它们的语义较低。高级特征具有更强的语义信息，但分辨率低、细节感差。因此，为了提高模型的性能，融合了多尺度特征映射。

(2)解码器。使用转置卷积来增加抽样特征映射恢复空间维度。连接层用于融合多尺度特征，这允许上下文将信息传播到高分辨率层，加强了特征图的细节和增强了特征表示和识别。

(3)辨识模块。SSD设计有辨识模块，以提高对前景像素的敏感度，使SSD能够自动学习聚焦于不同形状和大小的目标轮廓，可以突出显著区域，但无法抑制无关区域背景。

2.2 网络条件下特征图辨析规定

在SSD中，为了检测不同大小的目标对象，分别从Conv4_3、Conv7、Conv8_2、Conv9_2、Conv10_2和Conv8_2层次提取了不同大小的特征图[9]。其中，大的特征映射被用于图像处理检测小的物体，而小的特征映射可以用来检测大型对象，同时，识别框在每个中心点设置不同的长宽对每个特征映射进行检测。

在这个实验中，煤、锚杆、木块、木杆对于图像中相对较大的区域识别工作尤为关键，所以当特征提取了一个较小的特征映射，可以提取一个较小的特征映射到探测目标物体，如锚杆、木块在识别框生成时，方形识别框的长宽比为1。此时的长宽比是特征图中识别框的比例层，相对于原始图形，Smax和Smin分别代表识别框的最大值和最小值。一般选取Smax=0.9、Smin=0.2[10]。长度和宽度是相应识别框的长度和宽度，不能随意设定。

2.3 影响SSD网络的因素

(1)不同尺度的特征映射对网络性能的影响。在SSD中，利用CNN网络对图像进行特征提取。特征映射越高，特征映射越大，特征映射越低，特征映射越小。在检测过程中，较小的对象被大的特征映射检测到，较大的对象被小的特征映射检测到，网络的准确率可达87.1%，但当特征映射减少时，网络的准确率相应降低[11]。当大特征映射减少时，网络性能受到的影响较小，而当小特征映射提取减少时，网络性能受到很大影响。大特征映射被充分利用来检测小目标，小特征映射被用来检测大目标，从而提高了检测精度，这也是SSD网络性能较好的一个主要原因。

(2)不同识别框长宽比对网络性能的影响。在SSD网络中，具有不同长宽比的识别框也会影响SSD网络的性能。不同高宽比的识别框越多，网络的精度越高，但也增加了计算量，降低了运行速度。

3 工程实验环境的建立

3.1 实验装置

图6 控制系统和机械装置装配Fig.6 Control system and mechanical device assembly

此外，由于生产环境中粉尘较大，图像采集装置配备了相机镜头除尘装置。所有的组件都已安装在一个映像采集室，减少现场的不均匀照明，如图7所示。该系统的核心是1台计算服务器，由CPU(Intel(R)Core(TM)i7 9600 K@12核心3.7 GHz)、16 GBRAM(随机存取内存、内存)和GPU(NVIDIAtitanXP图形)组成，保证实时检测。PLC控制器系统主要由PLC、定位模块、通信模块组成，连接通信模块与计算服务器一起进行数据传输，并利用该定位模块来控制操纵器装置。

3.2 静态图像识别训练

通过静态方式收集的图像识别数据并进行整理，共收集了13 251幅原材料图像，其中9 357幅含有异物。通过人工计数，发现每张图像中包含40个碎片(包括煤、煤矸石和异物)。该数据集包括4种异物：硬棒、刚性木板、软绳和软布。异物的辨识情况如图8所示。

图7 图像数据收集与照明辅助部件安装示意Fig.7 Schematic diagram of image data collection and installation of lighting auxiliary components

据统计，有刚性异物11 930件，其中棒状物体为10 112件及板样物体为1 818个。软异物分为绳状物体(304 632件)和布样物品。此外，异物周围散落着煤矸石碎片535 308块。

从统计结果可知，样品中刚性异物的数量远多于软异物(约12∶1)。在刚性异物中，棒状物体的数量最多，占异物总数的78.59%。 图像样本中材料类别之间的严重不平衡，影响CNN网络应用的适应性训练成果。因此，应当使用数据增强功能并且结合实际工程实践来提高模型检测的性能。

图8 各类异物的辨识效果Fig.8 Recognition effect of various foreign objects

4 研究结果的实践应用

4.1 多个图像识别方法的对比分析

为了评价建议的有效性方法，进行了准确性对比实验。该方法与le-net5，PCANet+SVM进行了三级分类试验。

从数据集中选择的不同数字的图像数据，包括没有异物、小异物和大型异物以及大小实验数据集是200、500、1 000、2 000和2 500个。实验结果是平均识别率经过多次实验后所得到的结果记录，不同异物识别方法的准确率对比分析见表1。根据实验结果可知，改进后的SSD方法的视频识别准确率是高于其他方法的。

K1+160—K1+310高边坡开挖后形成6级边坡，计算得其安全系数、破坏概率、风险计算结果均超过规范要求，故需对该边坡进行治理，运用坡脚挡墙结合预应力锚索施工措施。详细加固措施见表1，施工断面图见图4。治理加固总费用为229.8721万元，具体见表6。

表1 不同异物识别方法的准确率对比分析Tab.1 Comparison and analysis of the accuracy of different foreign body recognition methods

4.2 动态图像识别效果

该模型选择了矿山传送带监控视频帧图像，形成数据集，然后训练图像分类模型。煤矿监控视频数据从不同工作面的监控录像数据中提取，并且来自不同的采煤机、胶带和采煤机在不同区域的视频图像，每秒钟获取一个视频图像帧。根据训练图像的辨识，图像煤矿的视频帧是基于是否含有异物及异物大小和数量分为3类：没有异物、小异物及大异物，每个类别包含3 000张图片，如图9所示。

图9 不同类型异物类别的识别图像Fig.9 Recognition images of different types of foreign body categories

4.3 非煤异物实验数据验证统计

以锚杆、角铁、螺母等异物为例，设计了1 178个异物样品。其中，锚杆出现412次，角铁出现358次，螺母出现388次。经计算可得：3种异物的预测精确率分别为88.3%、90.2%和93.0%，召回率分别为94.3%、93.6%和95.5%，平均准确率为90.5%。用实际工程实验验证对SSD模型改进前后的异物检测精确率和召回率进行统计，结果如图10、图11所示。

图10 非煤异物预测精确率Fig.10 Non-coal foreign matter prediction accuracy rate

图11 非煤异物预测召回率Fig.11 Predicted recall rate of non-coal foreign matter

由图10、图11可看出，利用Focal Loss函数改进SSD检测模型后的精确率和召回率明显提升。经计算，锚杆、角铁、螺母的平均精确率分别提升了约4.7%、3.5%和6.8%，平均召回率分别提升了约6.6%、3.5%和6.0%。

5 结语

针对煤矿井下带式输送机输送带表面异物检测问题，优化了主干网络、损耗函数和SSD算法的基本网络。采用深度可分网络代替SSD算法的骨干网络，减少了代替后的算法参数数目，提高了运行速度，但也略微降低了检测精度，Focal Loss函数再次得到优化，并且代替原有的位置损失数据的表达，克服了识别图框与工程实时图像重叠被忽略的问题，提高了检测精度，优化了特征映射的提取层和识别框的长宽比，提高了大目标的检测精度。实验结果表明，优化后的检测精度更高，检测速度更快。改进后的模型能够有效地提高模型的预测精度，基于深层神经网络模型的图像分类精度与一般图像分类精度比较更加清晰。因此，本文所研究的模型和检测系统具有较强的工程实用性，并且具有较好的可扩展性，易于进行理论分析，在工程领域具有较好的应用前景。

参考文献(References)：

[1] 王媛彬.煤矿烟雾的计算机视觉检测方法[J].辽宁工程技术大学学报(自然科学版)，2016，35(11)：1230-1234.

Wang Yuanbin.Computer vision detection method of coal mine smoke[J].Journal of Liaoning Technical University(Natural Science Edition)，2016，35(11)：1230-1234.

[2] 王福斌，孙海洋，Paul T.U.边缘扩展的胶带撕裂支持向量机视觉检测[J].中国机械工程，2019，30(4)：455-460.

Wang Fubin，Sun Haiyang，Paul T.U.Support vector machine vision detection of belt tearing with edge extension[J].China Mechanical Engineering，2019，30(4)：455-460.

[3] 赵金宪，王亚晶.基于DSP的顶板破碎程度图像处理系统研究[J].机械制造与自动化，2011，40(5)：106-107.

Zhao Jinxian，Wang Yajing.Research on the image processing system of roof fracture degree based on DSP[J].Machinery Manufacturing and Automation，2011，40(5)：106-107.

[4] 陈湘源.基于超声波的带式输送机多点煤流量监测系统设计[J].工矿自动化，2017，43(2)：75-78.

Chen Xiangyuan.Multi-point coal flow monitoring system design based on ultrasonic belt conveyor[J].Industry and Mine Automation，2017，43(2)：75-78.

[5] 郝志伟.基于机器视觉识别技术的煤矿带式输送自适应控制系统设计[J].煤炭工程，2019，51(9)：37-41.

Hao Zhiwei.Design of coal mine belt conveyor adaptive control system based on machine vision recognition technology[J].Coal Engineering，2019，51(9)：37-41.

[6] 代伟，赵杰，杨春雨，等.基于双目视觉深度感知的带式输送机煤量检测方法[J].煤炭学报，2017，42(S2)：547-555.

Dai Wei，Zhao Jie，Yang Chunyu，et al.Coal detection method of belt conveyor based on binocular visual depth perception[J].Journal of China Coal Society，2017，42(S2)：547-555.

[7] 李纪栋，蒲绍宁，翟超，等.基于视频识别的带式输送机煤量检测与自动调速系统[J].煤炭科学技术，2017，45(8)：212-216.

Li Jidong，Pu Shaoning，Zhai Chao，et al.Belt conveyor coal quantity detection and automatic speed regulation system based on video recognition[J].Coal Science and Technology，2017，45(8)：212-216.

[8] 赵谦，王奕婷，曾召华，等.一种矿井巷道图像边缘检测算法[J].工矿自动化，2013，39(2)：71-75.

Zhao Qian，Wang Yiting，Zeng Zhaohua，et al.An algorithm for edge detection of mine roadway images[J].Industry and Mine Automation，2013，39(2)：71-75.

[9] 张明辉，王建武，刘极智，等.基于机器视觉的轴承沟道曲率半径在线检测[J].机床与液压，2019，47(16)：50-54.

Zhang Minghui，Wang Jianwu，Liu Jizhi，et al.On-line detection of curvature radius of bearing groove based on machine vision[J].Machine Tool and Hydraulics，2019，47(16)：50-54.

[10] 高德芝，郑榜贵，段建民.基于逆透视变换的智能车辆定位技术[J].计算机测量与控制，2009，17(9)：1810-1812.

Gao Dezhi，Zheng Banggui，Duan Jianmin.Intelligent vehicle positioning technology based on inverse perspective transformation[J].Computer Measurement and Control，2009，17(9)：1810-1812.

[11] 曹月花，罗文广，蓝红莉，等.复杂环境下道路车道线识别算法的研究[J].现代电子技术，2017，40(14)：109-113.

Cao Yuehua，Luo Wenguang，Lan Hongli，et al.Research on road lane line recognition algorithm in complex environment[J].Modern Electronic Technology，2017，40(14)：109-113.