基于机器视觉的提升机高速首尾绳智能检测系统研究与应用

王琨 赵燃 王海君 张永福

（1.中天合创能源有限责任公司，内蒙古鄂尔多斯 017399；2.华洋通信科技股份有限公司，江苏徐州 221116）

0.引言

目前现代化的智能高效矿井为了及时发现设备存在的隐患，避免发生事故，在煤矿井上、井下的重点区域都建设了普通安防监控系统，在井上的调度指挥中心采取24h值班制，值班人员实时盯着各重点位置，监控作业过程，一旦发生隐患，通过程控电话或广播喊话的方式通知井下相关区域人员现场消除隐患。

但是煤矿井下设备面临点多面广的环节，由于人的视觉疲劳，难以长时间保持警觉，值班调度人员不可能“面面俱到”，也不可能24h目不转睛地看着多个或一个监控点，无法对违章作业、环境异常和设备异常状态进行及时获取。所以，需要有一双智能的“监控眼睛”替代人眼，及时发现隐患，立即进行报警处理，做到抓拍照片和延时录像，提醒现场人员和监管人员，并能发出联动控制指令，命令现场设备停车，避免重大事故的发生。

本项目介绍了一种基于机器视觉图像识别技术的煤矿首尾绳监测系统，该系统通过数字图像处理和分析来理解视频画面中的内容，具备自动分析和抽取视频画面中的关键信息的功能[1]。视频图像识别技术借助计算机强大的数据处理功能对视频图像中的海量数据进行高速分析，过滤掉用户不关心的信息，为监控者提供有用的关键信息。视频图像识别以数字化、网络化视频监控为基础，它是一种更高端的视频监控系统的应用。视频图像识别监控系统能够识别不同的物体，发现监控画面中的异常情况，并能够以最快和最佳的方式发出警报和提供有用信息，从而能够有效地协助值班人员处理危机[2]，并最大限度地减少人为因素的干扰。

1.项目建设内容

煤矿主井提升机钢丝绳在矿井生产过程中起着重要作用，其主要用在煤炭提升中使用，在矿井主要生产系统运行中起到非常关键的作用，为避免出现事故需要有多种监测手段[3]。大多数煤矿的主井提升运输系统具备全自动运行功能，但仍需安排岗位工值岗，观察提升系统的运行，防止出现异常情况。煤矿提升系统的钢丝绳首绳和尾绳是煤矿提升系统生产流程中重要的组成部分，也是提升机关键承载构件，其运行环境复杂，日常维护困难，一旦发生故障会引起停产或人员伤亡的严重事故。

长期以来，传统地提升系统首、尾绳系统的巡检、检修工作主要依靠人工进行定时排查，日常维护主要依赖的是“目视、手摸、卡尺量”，人工目测方法不仅可靠性差、效率低下，而且花费大量人力，无法做到高效的检测。而且国家层面发布的《煤矿安全规程》对于钢丝绳检测也有相关的规定，比如对在用钢丝绳的检测周期、拉力、弯曲程度都有要求，所有煤矿生产企业都是定期利用检修时间，每次花费几个小时的时间，依靠人力去人工观测钢丝绳的状况，这种传统的检测方式严重制约了煤矿的发展，而且存在安全隐患。而且表面显性损伤要依靠检测技术人员良好的经验和判断才能发现，隐性损伤则很难查到。依靠传统的检测方法也无法定量定性地描述首尾绳的损伤情况，更为严重的情况是尽管钢丝绳的使用性能始终处于不可逆的衰变当中，但日常维护中却无法准确衡量这种衰变的严重程度，直到剩余承载能力接近极限从而引发安全事故才被发现，所以急需一种新的技术来解决此问题。

本项目借助机器学习和计算机视觉技术，通过机器自动完成提升机首绳、尾绳各种外部状态分析、检测及预警，可完全替代人工查绳的劳动。

门克庆煤矿主井提升系统目前由圆型首绳和扁型尾绳组成。针对门克庆煤矿的现场情况我们利用机器学习和计算机视觉识别技术，在现场放置智能机器人来实现提升机首绳、尾绳的各种外部状态分析、检测及预警，从而替代人工查绳。其中首绳损伤检测包括：绳径变化、捻距变化，钢丝绳外部损伤（断丝等）；尾绳状态监控包括：尾绳摆动异常、尾绳散股、尾绳缠绕。

在该项目中技术研发包括3个步骤：（1）视觉系统选型和评估，数据采集和预处理；（2）检测模型算法设计和验证；（3）平台搭建，系统联调及检测系统在现场的部署和检测模型的迁移。具体包括：设计首尾绳摄像系统，根据主井提升机现场情况，设计首尾绳摄像系统，系统设计模式如图1所示。整个系统由巡检机器人、轨道、运动控制器及驱动器，图像处理工作站，交换机、工程师操作站、高速AI相机、补光灯等组成。系统采用运行于轨道上的巡检装置，巡检装置上安装有检测装置，由高精2D/3D线激光测量、高速线扫相机、线扫光源以及高清摄像机组成。高清广角相机用于拍摄周围实时视频，便于远端操作者感知现场状态。通过预设位置自动/手动运行到待检测位置。通过自带高精度图像传感器进行图像抓拍等处理。可实现钢缆多角度拍摄，保证检测无死角，见图1。

图1 系统示意图

2.算法流程

设计检测模型和验证，当钢丝绳尾绳姿态异常检测算法训练完成后，可以将该算法部署在终端IPC，实时对视频监控系统采集的图像进行判断，以确认是否发生尾绳缠绕等异常，并实时给出报警信息。系统满足首绳损伤多样性检测，同时满足矿井提升机钢丝绳检测，系统软件具备深度学习功能。本项目的算法主要采用机器识别的算法，我们开发的目标检测（钢缆检测）算法主要是分为单阶段（one-stage）和两阶段（two-stage）2个算法，下面主要以单阶段算法的代表算法Yolo算法的原理简单介绍下算法的开发流程。

首先需要了解图像识别技术如何编制图像数据，如图2算法流程图所示，将输入的钢丝绳的三基色图像经过卷积、激活函数和批标准化等系列操作多次得到一个特征矢量，然后利用该特征量进行分类或者检测，经过神经网络的运算后可以识别出该图像是出现钢缆故障的类别。在输入神经分析网络前还可以对图像进行数据方面的增强，例如随机翻转随机遮挡和改变色调对比度等操作。

图2 算法流程图

检测钢丝绳的智能算法用2张图即可简单解释，首先是将输入的图片经过深度卷积神经网络提取特征，提取了特征以后在钢丝绳特征图上会将最初的图片划分成若干的网格，每一个框都会去预测若干个检测框（Bounding Box，Bbox），每一个块都会对钢丝绳进行边界框的回归和类别的预测，最后预测的结果就是一个张量。在推理部分利用得到的张量对先验框进行调整，并给出类别和可信度，在钢丝绳检测中一般分类是正常的钢丝绳和有误差的钢丝绳以及背景和图中的异常进行比对，可根据需要自行定义类别。

推理时还需要针对不同网格点产生不同的检测框进行非极大抑制防止出现一个目标检测多次的问题。将图片数据处理好，将所需要的超参数针对自己的数据集进行修改利用开源框架TensorFlow、Pytorch就可以对机器神经网络进行训练，训练完成后就会得到当前训练的模型权重文件[4]。一个深度机器视觉学习算法的开发到最终落地是需要经过数据的获取与处理、模型训练、模型剪枝、模型部署、软硬件部署、现场测试等一系列的。算法层面还需要对数据的标注有一定理解，通常在开发过程中也是利用一些标注工具对获取的数据进行人工标注，作为神经网络训练的标签。

3.搭建平台

完成系统硬件现场部署、检测模型迁移及系统联调，并且在监控室布置用于系统数据传输及图形图像分析的上位机。

（1）提升机高速（全速14m/s）运行期间，能够实现检测钢丝绳无盲区的效果，实时监测单根钢丝绳捻距、断丝、变形、磨损等状态，定时自动或手动遥控切换至其他钢丝绳检测，可自动判断形成钢丝绳捻距、断丝、变形等状态变化趋势曲线，具备预报预警功能，可按周、月、季度、年查询钢丝绳全生命周期状态趋势。

（2）系统可自动完成同等位置一根钢丝绳及钢丝绳间捻距变化情况，可实现智能比对并形成检测报告。

（3）自动标定钢丝绳断丝图像信息、提升机位置，位置误差控制在100mm以内；可自动检测出标定捻距内断丝数量，准确率100%。

（4）检测准确率：钢丝绳金属截面积（LMA）误差 ＜±1%，钢丝绳绳径精度为0.01mm。

（5）可自动检测判断钢丝绳变形情况，即钢丝绳绳径局部变大、钢丝绳绳径局部变小、钢丝绳局部被压扁或损伤。

（6）可监控尾绳运行轨迹，能实时监控尾绳运行状态，尾绳运行轨迹或摆动超出预警值时，可给予警示并触发视频、位置紧急锁存功能。

（7）可检测出尾绳散股，10m及以上尾散股检出率100%，1m～10m尾绳散股检出率＞85%。

（8）具备大数据分析、处理功能，出具捻距断丝数量识别统计报告、直径测量数值报告、钢丝绳磨损锈蚀等级报告、其他各种损伤视图检测报告等，可自动生成检测报告和趋势图，检测报告和趋势图可以Word、PDF、Excel等文件形式导出打印。通过以上的算法软件我们可以精确定位到钢丝绳断丝发生的位置及捕捉到到此时断丝发生图，如发生断丝的位置为447.87m，并且看到了此时的图片，极大地方便了我们的检修。

4.结语

该项目的成功建设且投入运行后，实现了煤矿提升机首尾绳的全生命周期检测、分析、存档及管理，大幅提升了煤矿提升机系统的查绳效率和质量监测，节约了日常检修时间，降低了煤矿职工劳动强度和查绳的危险程度，保障了职工生命和煤矿财产安全，为进一步推进煤矿行业的智能化建设，提升煤矿行业的生产效率和管理水平，推进煤矿智能化生产发挥了表率作用。