基于机器视觉的煤矸识别系统设计及试验研究

庞尚钟，李 博，王学文，王璐瑶，高新宇，宋 旸，丁恩发

(1.太原理工大学 机械与运载工程学院，山西 太原 030024；2.煤矿综采装备山西省重点实验室，山西 太原 030024；3.山西焦煤汾西矿业 正文煤业，山西 孝义 032300；4.大同煤矿集团机电装备约翰芬雷洗选技术设备有限公司，山西 大同 037300)

作为全球最大的煤炭生产与消费国，煤炭占据我国一次能源的60%左右，对于中国能源体系具有不可替代的作用。在现代机械化开采过程中，经常出现的煤岩断层等各种环境现象均会导致原煤中含矸率的上升，影响原煤质量。因此，选煤是实现煤炭高效、洁净利用的有效方案[1，2]。目前，我国主要通过人工拣选和机械湿选法进行原煤洗选，基于X、γ射线的自动化选煤技术也在逐步应用与推广[3]。人工拣选无法保证分选质量，且工作环境恶劣、危害工人身体健康，而湿选法成本高、水资源耗费大，还会造成环境次生污染，射线选煤技术则易受水分影响，且具有辐射危害作用，难以用于井下排矸[4，5]。

机器视觉检测技术作为一种无接触、高智能化、安全可靠的先进检测方法，在煤炭生产领域被用于研究煤岩界面识别、干法选煤、输送带调速等[6-8]。在基于机器视觉的干法选煤研究中，王家臣详细分析了不同光照强度下煤矸图像灰度及纹理特征变化情况，为机器视觉选煤装备的光源设计提供了依据[9]，窦东阳针对实际应用中经常遇到的表面干燥原煤、湿净面原煤、干煤泥覆盖和湿煤泥覆盖四种工况图像，采用Relief-SVM进行了分类识别研究[10]，郭永存等人提出了一种POS-NP-FSVM方法，用来对X射线检测中生成的图像进行识别[11]，赵国利设计了一套机器视觉实时煤矸检测系统[12]。这些研究都从各自角度证明了机器视觉方法选煤的可行性，为实际工程应用提供了大量的参考。从上述研究中可以看出，基于支持向量机的煤矸分选方法虽有研究，但成型的实时识别与分选系统较少，相应工程测试不够充分，仍有待研究完善。

本文基于带式输送机，针对原煤中的块状矸石，设计了一种基于机器视觉的煤矸智能识别系统，在运输过程中通过工业相机进行图像采集，由上位机系统进行图像处理和识别，最终输出识别信号。该系统的设计实现能够有效减少入选原煤的含矸量，缩减洗选成本，且设备开发周期短，可在原有设备上进行适应性改造，进一步研究可适用于井下排矸技术的实现，对实现井下采选充一体化、绿色高效开采具有重大推动作用。

1 煤矸识别系统

1.1 系统工作原理

煤和矸石表面色泽的差异导致煤和矸石对光的反射和吸收存在差异，在视觉中直观表现为煤样本更黑、矸石样本更灰白，在数字图像处理中主要具体表现为图像灰度的差异。煤和矸石表面纹理也存在区别，与煤相比，矸石质地较硬，表面纹理更均匀且不存在明显反光区域。基于机器视觉的煤矸识别就是根据煤和矸石表面的差别进行分类识别的，通过工业相机采集图像，由上位机实时处理煤和矸石图像并进行信息提取，其特征信息用于分类识别，位置信息则用来确定信号发送的延迟时间，最终由执行机构实现精准的打击分离。

1.2 硬件系统

基于机器视觉的煤矸识别系统是依托于皮带运输机搭建的，目的是在原煤运输中，剔除原煤中粒径较大的块状矸石，缩减入洗成本。系统硬件主要由整列机构、上位机、图像采集装置、控制系统、分选机构组成，系统结构如图1所示。

图1 基于机器视觉的煤矸识别系统

整列机构实现对原煤的分列运输，使原煤有序的经过图像采集装置；图像采集装置包括数字工业相机和光源，工业相机对分列运输的煤矸进行实时图像采集并传输至上位机，光源则提供适宜的照明来保持图像特征并增强对比度；上位机和控制系统由计算机和单片机组成，计算机实现煤和矸石的实时图像处理并向单片机发送信号，单片机则控制分拣机构实现分拣动作。

1.3 软件系统

基于机器视觉的煤矸识别系统采用Microsoft Visual Studio 2017作为开发工具，调用OpenCV计算机视觉库进行图像处理，并结合Teledyne DALSA所提供的SDK进行MFC平台开发，系统采用C++语言进行开发，识别系统流程如图2所示。

图2 基于机器视觉的煤矸识别系统流程

软件系统工作界面简化图如图3所示，包括多种控制及显示功能。图像采集和处理：该部分控制相机采集操作的启停及模式，包含两种采集模式，当启动“图像处理”时，系统对实时采集的图像进行图像处理、特征提取、分类识别；文件控制：“新建图像”能够覆盖显示界面的原有图像，“加载图像”则是将本地图像加载进入系统，用于系统算法调试；相机设置：在系统停止采集时，可以通过“加载配置”来改变相机的采集参数，包括图像大小、采集速率等，通过调用SDK中的SapAcqDevice对采集频率、图像大小进行设置；存储部分：系统默认不进行图像存储，因此需通过“激活存储”来进行实时图像存储，通过“存储地址”选择存储路径，“BMP”、“JPG”为图像的存储格式；显示部分：对图像和部分特征信息实时显示；串口通信：对单片机进行数据传输。

图3 软件系统工作界面简化图

2 图像处理及特征提取

2.1 图像获取

在实验室环境中搭建试验平台，进行图像采集及系统测试研究，实验台如图4所示。采用数字工业相机(DALSA LA-GM-02K08A-00-R)进行图像采集，相机通过GigE线缆与电脑连接来实现数据传输，光源采用高均匀线性光源(DHSLP-900W)提供线性照明，光源可通过控制器进行强度调节。带式输送机可实现无级调速，工业相机的采集频率随带速增加而增加。

图4 煤矸识别实验台

本文以山西西山、内蒙古和陕西神木的煤和矸石作为分类对象，煤和矸石表面沾染的煤粉及泥土不做任何处理，分别选取各产地70个煤矸样本进行图像采集，得到煤炭和矸石样本图像各210张，部分样本如图5所示，M1-M3为煤，G1-G3为矸石。

图5 煤和矸石样本

2.2 图像处理

图像处理是机器视觉选煤技术的关键，煤炭生产运输环境复杂，工业相机采集的图像易受到粉尘、振动等环境影响，导致图像质量降低，影响最终的分选结果[13]。因此不仅需要将相机与振动源分离安装，还需保持高强度均匀照明，在图像处理过程中也需要进行图像消噪等处理，保证图像信息准确。

实验中的图像处理均是在识别系统中进行的，图像处理流程如图6所示。为去除所采集图像中的噪声信息，通过中值滤波处理来提高图像质量，再通过拉普拉斯算子进行边缘锐化处理。然后采用预先建立的平均背景模型，将背景差分得到的图像进行二值分割，分割阈值通过OTSU法计算得出。图像分割完成后，通过形态学操作和连通域分析去除图像斑点和目标孔洞，进行连通轮廓分析，最终取目标区域中内接矩形进行局部灰度特征提取，实现背景信息的完全消除。

图6 图像处理流程

2.3 图像特征

机器视觉识别系统是通过图像特征参数进行分类识别的，识别系统设计中采用了图像的灰度特征和纹理特征。

图像灰度均值和峰值灰度是图像最基本的灰度特征，两者都反映出一幅图像整体色泽的深浅。如图7所示，对所有样本进行灰度特征提取并生成散点图，从图中可以看出，灰度均值和峰值灰度均有较好的分割区间，但是有一定的分布混杂现象。煤和矸石样本灰度信息的统计见表1，可以看出以固定阈值作为分类标准将会造成一定的误识别。于国防、王家臣等人的研究结果表明，煤和矸石的灰度特征会随环境发生变化[9，14]，因此采用基于灰度特征的固定阈值分类方式可能无法保证工程应用中识别的准确率。

图7 样本灰度特征分布图

表1 样本灰度信息统计表

图像纹理特征是一种全局特征，它也描述了图像或图像区域所对应景物的表面性质。文中的图像纹理特征是基于Haralick等人提出的灰度共生矩阵提取的，选用其中4个特征参数进行分类识别研究，以此来减少计算难度，加快处理速度。灰度共生矩阵的数学表达式为[15]：

P(i，j，d，θ)={[(x，y)，(x+a，y+b)|g(x，y)=i；g(x+a，y+b)=j]}

(1)

能量(ASM)、对比度(CON)、熵(ENT)和逆差矩(IDM)分别从不同角度描述了图像的纹理特征。图8所示为4个纹理特征分布情况，从图8中可以看出，煤和矸石样本数据的分布范围存在着较大的重合。样本纹理特征数据统计表见表2，表2中显示了在最佳分类阈值下煤和矸石的纹理特征分布情况，阈值通过分析各组特征数据得出。不难看出，基于某一纹理特征设定阈值进行分类识别是不可行的。

从上述煤和矸石样本的特征分析来看，煤和矸石样本的灰度特征重合度较小，即使通过设定阈值也可达到不错的分类效果，而纹理特征则相反，这表明灰度特征比纹理特征具有更好的区分度。

3 分类识别

3.1 支持向量机

支持向量机(SVM)是一种二分类模型，它的目的是寻找一个超平面来对样本进行分割，分割的原则是间隔最大化，最终转化为一个凸二次规划问题来求解，是一种有监督学习算法[16，17]。同时，SVM是基于小样本统计理论的基础上的，该方法在解决小样本、非线性以及高维识别问题中表现出许多特有的优势。

基于煤矸图像特征的分类识别问题是一种线性不可分问题。针对此类线性不可分问题，SVM 的处理方法是选择一个核函数，通过将数据映射到高维空间，来解决在原始空间中线性不可分的问题。文中选择径向基作为核函数，因其具有训练过程快、性能稳定、推广能力好的优势[18]，径向基核函数表达式如下：

式中，g为宽度参数，表征RBF核函数宽度。

图8 样本纹理特征分布图

表2 样本纹理特征数据统计表%

3.2 SVM参数设置及优化

误差惩罚参数C和RBF核函数的宽度参数g是影响分类器性能的两个重要参数。C过大，算法复杂度变大，同时泛化能力降低，此时称作“过学习”；C过小，算法较简单，但经验风险值比较大，此时称作“欠学习”。对于宽度参数g，g越大，则支持向量越少，SVM学习变差，分类能力降低；g过小，支持向量过多，产生过度拟合现象。合理的选择C和g数值，将会提高分类器的学习和判别能力。

粒子群优化(Particle Swarm Optimization PSO)最早是由Eberhart和Kennedy于1995年提出，它用一种具有速度和位置属性的粒子来模拟觅食鸟类个体，每个粒子可视为N维搜索空间中的一个搜索个体，粒子的当前位置即为对应优化问题的一个候选解，粒子的飞行过程即为该个体的搜索过程[19，20]。文中通过PSO优化算法对SVM分类器的参数C和g进行寻优，设置迭代次数为50次，粒子规模为20，均在0.01～60区间内进行寻优，其结果见表3。

表3 PSO参数优化结果

3.3 分类结果分析

分别取90组煤和矸石图像样本的特征作为分类器训练集，其中各类煤和矸石各30组，部分样本特征提取见表4，1—3号样本为煤样本，4—6号为矸石样本。

表4 部分样本特征提取

分别以灰度特征、纹理特征及组合特征作为输入进行训练，每次训练均采用经PSO优化后的参数。使用训练后的分类器对剩余的煤和矸石各120组数据进行分类，分类结果见表5。从表中可以看出，以灰度特征或组合特征作为输入所训练产生的分类器具有较好的识别效果，分别能达到95.83%和93.75%，而以纹理特征作为输入的分类准确率只有72.92%。可以看出，分类器输入为灰度特征时比纹理特征具有更高的识别率；而当以灰度特征和纹理特征组合成新向量输入时，分类器识别率反而降低，可能是纹理特征中无效信息的干扰导致识别率降低。

表5 测试分类结果

4 结 论

1)设计了一种基于机器视觉的煤矸智能识别系统，以线阵相机作为采集工具，并开发了适用的软件平台，实现了煤矸图像的实时采集与识别。

2)随机选取山西西山、内蒙古、陕西神木的煤和矸石作为研究对象，对样本的6个特征数据进行分析，特征分析表明：灰度特征比纹理特征具有更大的区分度。

3)选取灰度特征、纹理特征、组合特征作为输入进行PSO-SVM分类器训练和识别实验，识别率分别为95.83%、72.92%、93.75%，结果表明灰度特征的识别效果最佳。

4)系统采用6个特征作为PSO-SVM分类器输入，取得了较好的识别效果，但特征选择还需进一步优化，系统也需进行更多适用性测试。