基于EAIDK的智能煤矸分拣系统设计

王冠军，苏婷婷，刘文博，钱智平，李佳泽

(中国矿业大学 计算机科学与技术学院， 江苏 徐州 221116)

0 引言

传统的煤矸石人工分选方法是指原煤被运出井口后，经带式输送机运到人工拣矸楼，由工人把矸石与杂物拣出来，再输送到选煤车间。对煤矸石自动分拣方法的研究主要集中在煤矸石图像识别技术上，例如小波分析与DSP[1-2]、粗糙集理论[3]、纹理分析[4-5]、核典型相关分析[6]、灰度自适应边缘检测[7]等。以上方法均可实现简单的矸石检测，存在的主要不足是实时性较差且整体分拣准确率不高。利用密度进行分选[8-9]的方法适用于井下初选，且成本较高。针对上述问题，本文设计了一种基于EAIDK的智能煤矸分拣系统。

1 系统总体设计

1.1 系统结构

基于EAIDK的智能煤矸分拣系统由EAIDK-610平台、视觉系统、机械臂等组成，如图1所示。EAIDK-610是一种面向边缘计算的嵌入式人工智能开发平台，硬件方面，使用高性能ARM SoC搭载OPEN AI LAB嵌入式AI开发平台AID，具备语音、视频等数据采集能力，有适用于多场景的运动控制接口；软件方面，支持视觉处理与分析、语音识别、语义分析、SLAM(即时定位与地图构建)等应用的基础平台和主流开源算法。视觉系统由PLC、智能摄像机、触摸屏等构成，实现图像采集与处理功能。机械臂安装于输送带一侧轨道上，可以水平运动。

图1 基于EAIDK的智能煤矸分拣系统结构

1.2 系统工作流程

原煤经过带式输送机输送到原煤仓时，通过带式输送机上方的摄像机获得当前原煤图像，识别煤和矸石，并测量矸石位置和朝向；通过手眼标定获得摄像机坐标系与机械臂坐标系之间的关系；机械臂以合适的姿态运动到矸石位置，抓取矸石并移动到矸石桶位置后放下矸石；最后机械臂归位，进入下一轮煤矸分拣。系统工作流程如图2所示。

图2 基于EAIDK的智能煤矸分拣系统工作流程

2 基于EAIDK的矸石识别

在处理的图像中，煤块是黑色的，而矸石基本上是灰色的，煤块本身灰度比较低，只有当煤块反光时，反光部分出现亮点，煤块的这些部分灰度级才会较高，而矸石一般灰度级都比较高。以灰度分布的均值和方差作为特征值来区分煤块和矸石，根据模式识别的原理，将煤和矸石的标准特征值作为分拣标准。在识别时，将实际煤和矸石的灰度分布与之比较，理论上就可以将煤和矸石区分开来。

2.1 图像预处理

使用TEngine深度学习框架所支持的基于卷积神经网络的VGG16深度学习模型搭建检测模型，VGG16模型如图3所示。VGG16总共有16层，含13个卷积层和3个全连接层。图像经过64个卷积核的2次卷积，128个卷积核2次卷积，256个卷积核3次卷积，2次512个卷积核3次卷积后，分别进行一次池化处理，最后进行3次全连接。将矸石分拣图像输入VGG16模型，在VGG16模型中将图片的每个像素值减去在训练集上计算得到的平均RGB值，并将智能处理单元EAIDK-610接收到的图像信息调整为符合神经网络输入数据要求的格式。

2.2 图像识别标记

(1) 特征提取。将预处理后的图像输入特征提取网络得到特征图。VGG16模型经过fine-tune处理后作为特征提取网络，即移除VGG16模型中conv5最后一层的后续所有层，并使用剩余的权重作为模型下一次训练的起点。这种特征提取方式相比投影方法更为科学合理，且可通过改变卷积核大小、池化和最后输出的特征向量的大小控制整体模型的拟合能力，相比其他特征提取方法更为灵活。

图3 VGG16模型

(2) 目标检测。对特征图进行滑动扫描，生成一组预定义的锚点框。用回归模型和分类模型对预定义的锚点框进行坐标预测和矸石概率预测，判定目标是否为矸石并定位锚点框顶点坐标。最后，将回归和分类预测的输出进行非极大值抑制筛选，得到最终矸石筛选结果。在conv5中加入3个新的卷积层搭建目标检测网络：第1部分是一个常规卷积层，用于对前一层提供的数据进行编码；第2部分卷积层用于回归和预测；第3部分负责预测目标概率。

(3) 图像标记。根据预定义区域矸石检测结果对矸石进行标记。

通过多媒体接口将识别标记出的矸石信息输出到机器人接口进行后续拣矸操作，并在显示设备上实时显示，EAIDK-610可提供显示触摸一体屏配件。

3 矸石分拣控制

3.1 手眼标定

为获得摄像机与机械臂坐标系的关系，需要进行手眼标定。对于固定视觉手眼系统的标定，两坐标系之间的齐次坐标变换关系可记为[10-11]

(1)

式中：xc,yc,zc为目标点在摄像机坐标系中的坐标；xr,yr,zr为目标点在机械臂坐标系中的坐标；R为机械臂坐标系相对摄像机坐标系旋转3×3的正交矩阵，描述了机械臂坐标系在摄像机坐标系中的位置和姿态；Y为机械臂坐标系的原点在摄像机坐标系中的坐标。

3.2 机械臂控制

为实现煤矸石拣取，需要控制机械臂运动，使机械臂在规定时间内以合理姿态到达规定位置。在保证控制性能和精度的情况下，首先建立两自由度机械臂简化模型，通过拉格朗日方程建立动力学方程[12]：

(2)

根据动力学方程对机械臂进行正逆运动学解算，利用FPGA技术构建专用的机器人主-从手臂运动学硬件模型，在毫秒级的时间内实现复杂的主机械臂模型正解和从机械臂模型逆解计算，最后结合轨迹规划完成机械臂运动规划。机械臂运动过程分为3个阶段：① 趋近阶段：机械臂运动到输送带末端并打开抓手到合适大小。② 拣取阶段：抓取煤矸石并投放到矸石通道中。③ 回位阶段：机械臂回位到初始位置，等待下一次拣取。

4 实验验证

通过基于EAIDK的智能煤矸分拣系统采集100组数据，每组包含100张图像，原始图像预处理后送入VGG16模型进行训练，模型平均训练时间为10 min，利用训练完的神经网络模型进行矸石识别和分拣。模型的训练在服务器端进行，使用AI高性能计算(Alibaba Cloud HPC)平台完成。由于模型只需训练一次，所付出的时间代价是可接受的。经平台处理后的矸石识别图像如图4所示。矸石识别准确率曲线如图5所示。可以看出，矸石识别准确率稳定保持在95%以上。

图4 经平台处理后的矸石识别图像

图5 矸石识别准确率曲线

在河南神火集团薛湖选煤厂进行了系统测试，得出视觉系统的平均工作周期为110 ms，选煤厂自动机械臂响应跟踪时间小于30 ms，执行误差为1 mm左右，可以满足分拣工艺要求。

5 结语

设计了基于EAIDK的智能煤矸分拣系统，利用EAIDK-610平台作为控制中心，通过视觉系统实现图像采集与处理，并采用机械臂实现矸石分拣。该系统矸石识别准确率高，机械臂跟踪时间短，执行误差小。该系统存在的主要问题是当原煤含矸量较高时，系统响应受限，此外，由于自然光源和灯光等干扰，增加了图像处理难度，图像检测模型的训练时间也较长，下一步工作将集中于提高系统响应速度，进一步提高矸石识别率，并完善实时追踪系统。