基于深度神经网络的护帮板运动状态监测

杜 明，赵国瑞

(1.中煤科工开采研究院有限公司，北京 100013 ；2.天地科技股份有限公司，北京 100013)

煤矿智能化建设是我国煤炭工业发展的必由之路，综采工作面智能化开采技术是实现智能化煤矿的核心支撑技术[1-3]。面对新时代煤炭工业发展需求，突破煤炭绿色安全开采等重大关键技术，实现高效、智能化生产成为煤炭开采未来发展主要方向[4，5]。

综采工作面是煤炭的第一生产现场，综采装备通过“三机”协调机制有序完成综采工作面的生产任务。其中，液压支架是维护采场安全的唯一装备，其通过与周围岩体形成耦合作用场，起到工作面顶板支撑、煤壁防护、采空区矸石隔绝的重要作用。液压支架护帮板主要承担支护煤壁、预防片帮的作用。在协同采煤过程中，液压支架护帮板被采煤机滚筒截割的危险工况被称为截割干涉，即在采煤机抵达前，液压支架护帮板没有收回或收回程度未能满足安全行程时，将会出现护帮板被采煤机滚筒截割的情况，造成严重的生产事故，因此，液压支架护帮板实时运动状态监测是实现综采工作面液压支架护帮板与采煤机滚筒截割干涉识别的重要前提，也是实现安全高效智能开采的关键技术之一，对煤矿安全、高效、智能开采具有重要意义。

1 液压支架护帮板状态监测概况

液压支架护帮板是液压支架的重要组成部分，其利用液压油缸的收放作用，向煤层施加一个外张力，防止片帮事故发生或减弱片帮规模，对确保采煤机、刮板输送机的正常运行以及人员安全起着重要作用。护帮板运动状态监测的早期研究主要依靠压力、倾角和位移等接触式传感器联合物理结构约束实现位姿状态解算。徐勇智[6]设计了一套基于压力传感器、电感式接近开关和PLC的液压支架护帮板收放监测系统，实现了护帮板收放状态的数据采集与传输。然而传统接触式测量方法，硬件成本高、安装繁琐、效率低、维护困难，且矿井环境复杂，存在电磁干扰，会导致测量结果不准确。针对这些问题，部分学者研究了基于视觉的非接触式测量方法。王渊等[7]提出一种基于图像识别的液压支架护帮板收回状态监测方法，利用尘雾图像清晰化算法与机器视觉测量方法对液压支架护帮板的收回角度进行监测，通过测量护帮板角度来确定液压支架护帮板的收回状态。满溢桥[8]以液压支架护帮板与采煤机滚筒截割干涉监测为目标，以液压支架护帮板监控图像作为信号源，研究了基于图像特征的液压支架护帮板位姿解算和截割干涉监测方法。

虽然机器视觉技术在煤炭工程中取得了广泛应用[9-12]，但基于视觉的护帮板位姿监测方法基本都采用传统图像处理方法，利用图像增强和边缘检测技术，提取护帮板的轮廓形状，然后通过视图几何原理转换成护帮板位姿参数。然而，井下实际工况环境相对复杂，图像易到尘雾、光照以及设备运动的影响，出现严重的退化现象，传统的视觉处理方法难以保证算法的鲁棒性和准确性。基于以上分析，本文提出一种基于深度神经网络的液压支架护帮板运动状态监测方法，利用神经网络的强大特征表达能力，提升视觉监测方法的鲁棒性和准确性，实现护帮板状态检测和位姿量化。

2 状态监测算法

基于深度学习的护帮板运动状态监测算法流程如图1所示。算法工作流程主要分为四个部分，首先，对观测视频序列进行取样，获取护帮板样本图像，然后在护帮板区域选取关键特征点进行标记，形成训练样本数据，再次，基于深度卷积网络设计关键点检测模型，实现观测视频序列每帧图像的护帮板关键点位置检测，形成关键点运动轨迹，最后，利用前馈神经网络模型完成关键点运动轨迹与护帮板位姿角度的转换，实现护帮板运动状态量化监测。

图1 护帮板运动状态监测算法流程

2.1 护帮板关键点标记

护帮板运动状态跟踪通过对护帮板关键点实时检测来实现。根据护帮板对象的几何构造特性，共选取了16个关键特征点作为检测对象，分为3种类型。第一类为护帮板的定位孔，共10个关键点，其中下部4个关键点命名为[bt1，bt2，bt3，bt4]，中部2个关键点命名为[md1，md2]，上部4个关键点命名为[tp1，tp2，tp3，tp4]。第二类为内部角点特征，取上部线缆孔的4个角点，这4个关键点命名为[tc1，tc2，tc3，tc4]。第三类为伸缩液压油缸的连接点，命名为[tk1，tk2]。护帮板关键点在不同视角和运动状态下关键点的标记示例如图2所示，关键点分布范围较广，左右视觉下两侧的部分关键点容易被遮挡，二级板上的定位孔特征点不容易被遮挡，属于稳定特征点，在后续角度计算时也主要采用稳定特征点，其他特征点主要用于检测网络的辅助训练，增强检测的鲁棒性。

图2 护帮板关键点标记示例

2.2 护帮板关键点检测网络

护帮板关键点检测网络是一个深度全卷积神经网络，由两部分组成：特征提取部分和概率密度图生成部分。

采用在大规模图像目标识别数据集ImageNet[13，14]上预训练过的深度神经网络模型ResNet[15]进行改进，用于对输入图像进行网络特征提取。深度ResNet模型沿用了VGG[16]模型使用多个小卷积核代替一个大卷积核的方式，在减少模型参数的同时增加非线性激活函数的数量，使模型计算量更小，近似能力更强。然而不同深度的ResNet模型差异在于卷积层数不同，网络层数越深，卷积核个数越多，所能提取的特征越抽象，覆盖的特征越全面，但所消耗的计算资源越多，所需要的训练时间也越长。因此，为平衡训练成本和网络深度结构，采用ResNet50模型进行改进，并作为关键点特征提取骨干网络。

ResNet50包含50层网络，共分为5个阶段，除第一个阶段外，其余4个阶段都采用了瓶颈式残差结构。ResNet50采用最大池化和增加每阶段卷积步幅的方式快速调整网络输出分辨率，第5阶段输出的卷积特征空间分辨率仅为原始输入图像分辨率的1/32。第5阶段的输出特征具有较高的语义特性和较低的空间分辨特性，而关键点的定位检测需要具备足够的空间分辨率，同时，相关的研究表明[17，18]，对于关键点定位任务，输出特征的空间分辨率达到原始图像的1/8时，可以得到较好的空间定位精度，因此，需要对原始ResNet50的网络结构进行改进调整。

本文对ResNet50的网络结构调整集中在第5阶段。首先，取消了第5阶段中的卷积步幅来增加特征输出的空间分辨率，取消步幅后输出特征的空间分辨率为原始输入图像的1/16。然而，卷积步幅的降低会极大的降低后续卷积核的空间感受野，弱化了特征的空间捕获能力。为了保持输出特征的空间捕获能力，在第5阶段中引入扩张卷积[19]，将第5阶段瓶颈残差结构中的3×3普通卷积替换为3×3扩张卷积，并将扩张卷积的扩张系数设置为2，以保证特征的空间捕获能力。最后，移除ResNet50后端的全局平均池化层和全连接分类层，使特征网络仅输出第5阶段的卷积特征。

概率密度图生成部分采用反卷积层[20]，通过反卷积实现特征上采样，生成关键点空间位置概率密度图，概率密度的大小对应关键点在该位置的可能性，每一个关键点都对应一张概率密度图。本文中，反卷积的上采样倍数设置为2，最终关键点检测网络输出的概率密度图的空间分辨率为原始输入图像的1/8。

2.3 护帮板位姿映射网络

护帮板运动状态的量化监测是将护帮板的运动状态信息转换为护帮板对应的伸缩角度，实现全运动过程量化监测。护帮板监控视频经过关键点检测网络可以得到护帮板上关键点在每帧图像中的位置信息，这些关键点的序列位置信息构成了护帮板的运动轨迹，视频序列中的每个关键点都对应一条运动轨迹，由于护帮板运动属于刚体运动，所有关键点的运动轨迹共同表征护帮板的同一种运动。

传统的单目视觉位姿解算，需要通过相机标定、物体尺寸测量和视图几何建模等手段来完成，其过程相对复杂。笔者尝试从运动学的角度去求解护帮板的位姿状态。护帮板与顶梁属于刚性连接，通过液压推移油缸控制其运动，护帮板的伸缩运动可以表示为绕固定轴的旋转运动，则关键点在三维空间中的运动状态可以表示为圆周运动，在经过成像二维投影后，关键点在视图平面中的运动轨迹可以近似为椭圆曲线。在护帮板在一个伸缩周期内，其上一个关键点在二维平面上的位置轨迹如图3所示，从图中可以看出运动轨迹曲线近似椭圆，符合理论分析的预期。

图3 单周期内关键点运动轨迹

为了建立运动轨迹曲线与位姿角度的映射关系，本文在试验数据采样时，将护帮板的收放运动设定为匀速运动，并且设定护帮板垂直展开状态时的位姿角度为90°，完全收缩状态时的位姿角度为0°。经过多次收缩周期采样，可以得到多个运动周期的位置轨迹曲线，多周期数据采样可以消除收缩运动由于外界状态带来的非匀速扰动。在护帮板的收放周期内，由于匀速运动，可以计算得到这段时期内，每个关键点位置对应的位姿角度值，形成运动轨迹与位姿角度样本数据。

监控视图中的护帮板运动轨迹与真实位姿角度之间的对应是一种多重非线性关联映射，采用前馈神经网络模型来表征这一关联映射过程。采用的前馈神经网络结构如图4所示，网络的输入为关键点在图像中的二维像素位置坐标，中间隐藏层神经元个数为10，输出神经元个数为1，直接输出对应的位姿角度。

图4 轨迹-角度映射网络

3 实验结果及分析

3.1 数据样本构建

采用三个图像传感器在三个视角方向上采集试验素材，图像传感器间隔一个液压支架进行安装并且图像传感器位于液压支架前立柱上。采样时，其中一个图像传感器正对液压支架护帮板，其余两个放置在两个液压支架的距离之外。在视频数据采集过程中，液压支架护帮板固定一二级连接，当作一个一级护帮板模型使用，护帮板的伸缩适中保持为匀速运动。本次试验在两个试验点上共采集6个视频序列，每个视频序列包含3000+图像帧。

为了验证网络的泛化能力，仅使用少量图像样本作为训练数据集。利用视频聚类方法对采集的6个视频序列进行聚类处理，并将聚类中心个数设置为40，即在每个视频序列中选取40帧图像作为样本图像，共得到240帧样本图像。构建的样本数据集示例如图5所示，从图5可以看出，护帮板数据集包含不同视角(正视和侧视)、不同环境条件(尘雾和光照干扰)和不同运动状态下(运动模糊)的数据，同时，数据样本还包含护帮板收起状态下的图像数据。构建的样本数据集具有丰富的多样性，对关键点检测网络的泛化性具有较大的挑战性。

图5 护帮板关键点样本数据

3.2 检测网络训练及测试

关键点检测网络在TensorFlow[21]框架下实现，在进行关键点检测网络训练时，将数据集90%的样本作为训练数据，10%的样本作为测试数据。采用余弦阶梯学习率方式进行训练，训练轮数设置为1000000。训练损失过程曲线如图6所示。从图6中可以看出，训练轮数达到总轮数一半之后，网络就开始处于一个较稳定的收敛状态。

图6 关键点检测网络训练损失过程曲线

在关键点检测网络模型收敛后，通过监督测量方式来评估训练模型的检测能力。本文设计训练的关键点检测网络的训练误差和测试误差见表1，从表中可以看出，无能是否采用概率截断测试方法，其测试误差都处于稳定状态，反应了网络具有较好的泛化能力；另一方面，训练误差和测试误差都小于2个像素，表明本文的关键点检测网络具有较高的检测精度。

表1 关键点检测网络检测性能测试

3.3 运动轨迹生成

关键点检测网络模型训练后，以一个测试点的左视角监控视频为对象，进行全序列护帮板关键点检测。视频序列中第1611帧的关键点检测结果如图7所示，其对应的关键点概率密度如图8所示。

图7 单帧图像的每个关键点检测

图8 单帧图像每个关键点对应概率密度

将每帧图像中每个关键点的图像坐标绘制在图像平面内，即可得到视频流中护帮板的运动轨迹，左侧试验点监控视频对应的护帮板关键点运动轨迹如9所示。从图9可知，离护帮板旋转轴较远的关键点具有较好的空间轨迹分布和较高的空间分辨率。

图9 护帮板关键点运动轨迹

3.4 护帮板角度量化监测

护帮板下部关键点的轨迹分辨率较高，适合用来进行角度转换，以护帮板下部一个关键点作为试验对象，其运动轨迹随图像帧的序列化如图10所示。从运动轨迹中可以清晰地看出，本次试验记录了护帮板三个周期的伸缩运动，其缺口部分为护帮板完全收起或接近完全收起时间段，此阶段内护帮板上关键被遮挡或超出监控视场。

图10 关键点运动轨迹序列化

以一个运动周期为数据样本，根据匀速运动设定，标定角度样本训练数据，训练轨迹-角度转换前馈神经网络。在完成训练后对全视频序列进行轨迹角度转换，角度转换结果如图11所示。护帮板角度测量与试验真实标定之间的平均误差小于3°，满足实际工况的使用要求。

图11 轨迹-角度转换结果

4 结 论

针对综采工作面液压支架护帮板运动过程的量化监测问题，提出了一种基于深度学习的护帮板状态量化监测方法，并对提出的方法进行了试验验证，主要贡献及创新点如下：

1)针对液压支架护帮板运动状态难监测问题，设计了一种基于关键点检测的运动状态跟踪方法，采用改进后的ResNet50作为特征提取骨干网络，采用反卷积层输出关键点的空间位置概率分布。验证试验表明，关键点检测网络仅需要少量的训练样本即可实现护帮板关键点高精度检测，关键点检测的平均误差小于2个像素。

2)设计了一种基于前馈神经网络的护帮板位姿量化方法，通过运动标定，训练图像坐标下运动轨迹到护帮板位姿角度的映射关系，实现了护帮板运动状态的量化监测，试验验证表明该方法的平均测量误差小于3°。

3)所提液压支架护帮板运动状态监测方法在RTX2080 Ti显卡下运行速度为60FPS，满足井下实际监测的要求。