智能选矸机器人的煤矸石图像识别系统设计

韩 龙，唐凌翔，王顺葵，张仁斌

（黑龙江科技大学 电气与控制工程学院，黑龙江 哈尔滨）

引言

目前，我国90%以上的块煤选矸环节主要采用人工分选方式，人工选矸劳动强度大，现场粉尘浓度高，严重影响选矸工人的身心健康。2019 年7 月，黑龙江省出台《“数字龙江”发展规划（2019-2025 年）》，提出推进智慧矿山建设，着力推动“机器换人”，大幅减少井下矿工数量，实现开采智能化、生产自动化和管理信息化，提高矿山生产效率。

智能选矸机器人可替代人工选矸，有效提高选矸效率和分选质量。煤矸石图像识别是智能选矸机器人重要的组成部分，它设计好与坏关系着煤矸石动态识别准确率。国内学者对煤矸石图像识别方法和硬件实现做了大量的研究，马宪民等在研究煤和矸石分选时，通过实际的煤矸石灰度图像的均值和方差与标准阈值相比较，实现煤和矸石识别[1]。吴开兴等结合了小波变换与灰度共生矩阵进行煤矸石纹理特征的提取，采用支持向量机算法实现煤矸石分类[2-3]。但煤矸石图像灰度和纹理特征的识别方法存在准确度较低、提取参数多、实时处理效率不高等问题。随着人工智能技术快速发展，基于卷积神经网络的图像识别算法取代了传统图像识别方法，并提升了图像识别的精确度和鲁棒性。赵学军等采用YOLOv3 目标检测模型实时精准地检测出煤与矸石混合体中的矸石，为提高煤炭质量改进分拣效率提供有效保障[4]。蔡秀凡等利用改进的YOLOv4 能够对小块煤矸石检测，同时也能够提高目标检测模型的整体检测精度，准确率可达94%以上[5]。王仁宝等采用高性能的TMS320DM642 作为煤矸石图像识别系统的硬件核心，提高了运算速度，并结合改进的边缘检测算法，实现了煤块和矸石的实时自动分选[6]。

目前煤矿采用DSP 及STM32 等嵌入式设备的图像处理能力较低，无法部署较大规模的图像识别模型。为保证系统实用性和提高煤矸石图像识别准确率，本文采用图像处理算力高的Jetson TX2 和YOLOX 模型设计了智能选矸机器人的煤矸石图像识别系统。

1 系统的总体设计方案

煤矸石图像识别系统由摄像头、嵌入式设备、输入设备、显示屏和下位机5 部分组成，系统的结构框图见图1。

图1 煤矸石图像识别系统结构框图

首先通过输入设备设置系统参数，然后摄像头对煤矸石图像进行采集并将信息传递给嵌入式设备，嵌入式设备对煤矸石图像信息进行识别处理，将标注识别率的煤和矸石信息在显示屏上显示，最后通过串口通讯将矸石的粒度大小和位置等信息发送给下位机。

2 系统硬件及软件设计

2.1 系统硬件电路

系统利用HD1313 摄像头对煤矸石图像进行采集，摄像头分辨率为1280*720P，帧率为30 帧，免驱协议为USB2.0 通讯协议；采集的煤矸石图像传送给英伟达公司Jetson TX2 嵌入式设备，Jetson TX2 上加载和运行预先训练好的YOLOX 模型对信息进行识别。识别结果通过HDMI 通讯接口在7 英寸显示屏显示，同时将矸石的粒度和位置信息通过RS232 串口通讯传送给下位机的微处理器。系统硬件电路见图2。

图2 系统硬件电路

2.2 系统软件设计

在Jetson Tx2 运行YOLOX 模型并经Tensorrt 加速，在Deepstream 框架下测试运行，并适配ROS 操作系统话题消息接口。系统软件设计分为预处理、模型训练、模型部署输出和下位机处理4 个阶段。煤矸石图像识别软件流程见图3。

图3 煤矸石图像识别软件流程

对煤与矸石图像进行筛选及整理得到可用的数据集，并按训练集、验证集和测试集进行划分，将最终的数据集整理后加载进训练模型中。然后执行训练模型脚本，在训练脚本内部，测试集不断地优化训练得到的模型参数，并且训练完成后最终得到Pth 后缀的PyTorch 模型，为了进一步增加视觉识别的帧率和准确度，需要转为TensorRT 模型。PyTorch 模型无法直接转化为TensorRT 模型，先将PyTorch 模型转化为Wts文件，再将Wts 文件转化为TensorRT 模型。摄像头获取视频送入Deepstream 的解析器，通过H264parse 插件对视频进行解析，并用Decoder 插件进行加速解码，用Streammux 插件进行排队合并，然后输入目标识别器。视频信息经YOLOX 模型识别后，将识别的煤与矸石信息在系统的显示器上显示。上位机Jetson Tx2 的ROS 通过串口通信将煤与矸石的信息发送给下位机STM32F103 RCt6，STM32F103 RCt6 对串口数据包进行解析并执行相应动作。

3 实验测试结果分析

在 PyTorch 框 架 下 将 YOLOX 与 YOLOv5、YOLOv4 模型进行比较，根据mAP@0.5（平均准确率均值）评价指标判断几种模型对于煤矸石图像的识别效果。矸石和煤的样本图像经过预处理之后共5 000张图片，其中煤样本3 000 张，矸石样本2 000 张。使用labelimg 标注软件对数据集内图片进行标注，实验的软硬件环境见表1。

表1 实验的软硬件环境

训练模型设置相关的网络参数，学习率设为0.01，分辨率设为648*512，批处理尺寸设置为128，实验的Epoch 设置为100，记录实验数据，整理得到各模型训练精度曲线变化情况见图4。

图4 三种模型训练精度对比图

从图4 训练结果可以看出，经过100 个Epoch 的循环之后，三个模型的精度逐渐趋于稳定，均达到了0.9 左右。其中YOLOX 精度最高，YOLOv4 精度最低。可见YOLOX 模型进行煤矸石图像识别总体效果好。

本文设计的煤矸石图像识别系统实物见图5，在Jetson TX2 上部署训练好的YOLOX 模型进行测试，实时煤矸石识别结果见图6。

图5 煤矸石图像识别系统

图6 煤与矸石图像识别结果

4 结论

本文采用英伟达公司Jetson TX2 嵌入式设备和YOLOX 模型设计了一种智能选矸机器人的煤矸石图像识别系统，实现了图像采集、实时数据处理和煤与矸石的识别功能。实验结果表明，本文采用的YOLOX模型对煤矸石识别精度高于YOLOv5 和YOLOv4 模型，提高了系统的识别准确率；采用Jetson TX2 增强了系统的图像处理能力，降低了系统成本，并满足了工作的实时性要求，该系统在煤矸石图像识别方面具有良好的性能。