煤岩图像识别的改进算法

史健婷, 李 瑾

(黑龙江科技大学 计算机与信息工程学院， 哈尔滨 150022)

0 引 言

近年来，智慧矿山的一个重要环节就是煤炭智能开采，实现无人化开采是终极目标[1-3]。落实综采工作面的无人开采模式,能够增强煤矿开采工作的安全性[4]。在开采的过程中，采煤机作为开采的重要设备，其智能化程度直接影响开采的智能化水平[5]。采煤机截割岩石会损坏截齿，影响采煤的进程，增加成本。为提高开采的效率，实现无人化开采，深度学习技术开始应用到智能开采中[6]。利用深度学习分割综采工作面的煤岩图像，准确找出煤岩的分界线，使采煤机可以根据煤岩的分布情况自动调整截割位置和深度，提升开采效率[7]。在利用深度学习处理煤岩图像方面，华同兴等[8]将基于Faster R-CNN的目标检测算法用于煤岩识别与煤层定位。张斌等[9]将基于回归方程的深度学习目标检测算法YOLOv2与线性成像模型相结合并通过该算法智能识别与定位井下采集煤岩图像。司垒等[10]将基于U-NET网络改进的CRSnet网络应用在煤岩图像处理上。笔者通过改进传统U-NET++算法，利用残差网络来提升识别精度，以实现煤岩图像语义分割。

1 U-NET神经网络

1.1 传统算法

U-NET神经网络[11-12]是一种对称的全卷积神经网络。U-NET++[13]是将不同尺寸的U-NET结构融入到了一个网络里，其优势是可以抓取不同层次的特征，将它们通过特征叠加的方式整合，使融合时的特征图尺度差异更小。U-NET++结构[13]如图1所示。

图1 U-NET++结构Fig. 1 U-NET++ structure

1.2 改进算法

U-NET++网络是综合了每层信息，且长连接和短连接并存的结构，导致计算量增加很多，因此，利用U-NET++的结构特点，采用“剪枝”操作对数据集进行预测，以此提升运算速度。基于残差网络的思想，在U-NET++网络中加入类似Res2Net[14]的残差结构，提高分割结果的精度。

第一步是“剪枝”操作，根据U-NET++的结构可以看出，它在每一个深度的U-NET中都添加了深监督，U-NET++L1、L2、L3和L4模型[13]如图2所示。如果L1的分割结果足够好，就不必要再运行下面的L2、L3和L4，就可以将其余的剪掉。通过实验得到，L3的结果是最好的，因此，文中采用U-NET++L3作为对数据集进行预测的网络模型。

图2 U-NET++L1～L4模型Fig. 2 U-NET + + L1-L4 model

第二步是利用Res2Net的思想，在U-NET++模型中加入双层残差连接，如图3所示。由图3可见，残差结构首先将原来的输入图像按其通道数平均分为三组，将第一组特征直接输出，将第二组特征通过3×3的卷积之后输出，将第三组特征与第二组的输出特征进行残差连接后再通过3×3的卷积之后输出，最后将三组输出结果进行通道拼接，通过1×1的卷积层，将这些特征融合后进行输出，计算公式为

(1)

式中:y——输出；

x——均分后的每一组特征；

Ki——每组的卷积操作；

s——分组的组数。

图3 残差结构Fig. 3 Residual structure

文中将上述残差结构加入到U-NET++网络模型中，通过这个操作，可以更好获得不同尺度上的信息，从而得到更准确分割结果。文中使用的网络为R2U-NET++，具体结构如图4所示。

图4 R2U-NET++网络结构Fig. 4 R2U-NET++ network structure

2 煤岩图像数据集

2.1 数据来源

煤岩图像数据集较为稀缺，实验所用数据来源于黑龙江科技大学矿业工程学院，选出符合分割条件的数据，剔除单一的煤图像与岩石图像，共得到可用图像100张，接着将这些图像通过切分、旋转、添加噪声与去噪等操作扩张数据集到1 000张，添加噪声主要采用的是随机噪声、高斯噪声和椒盐噪声。如图5～7所示。

图5 随机噪声Fig. 5 Random noise

图6 高斯噪声Fig. 6 Gaussian noise

图7 椒盐噪声Fig. 7 Salt and pepper noise

2.2 特征分析

图像处理中常用的特征分为颜色、纹理、形状及空间关系特征。通过实验得出在煤岩图像处理中，颜色和纹理特征在进行预测时表现最优。

颜色特征是基于像素点的特征，描述了图像或图像区域对应物体的表面特性。在煤岩图像中，煤的颜色较深，岩石的颜色较浅。小部分岩石与煤的颜色相近，便通过纹理特征进行分析。纹理特征是一种物体表面特性，与颜色特征不同，纹理特征是不基于像素点的，需要在包含多个像素点的区域进行统计计算。纹理特征不会由于局部的偏差而无法匹配，对噪声有较强的抵抗能力。在煤岩图像中，由于煤的密度小于岩石的密度，煤的纹理相比于岩石的纹理较为稀疏，具体如图8所示。

图8 煤岩特征对比Fig. 8 Comparison of coal and rock characteristics

2.3 数据集标注

利用labelme软件对得到的数据进行打标签处理，最终得到的结果如图9所示。

图9 制作的样本标签Fig. 9 Sample label

数据处理之后对数据集进行划分，将700张样本作为训练集，300张样本作为测试集。按照文中所需网络输入的需求，将标记之后产生的json修改为png格式，再进行删减、归一化，最后输入到网络之中产生结果。

3 实验结果与分析

文中所使用的硬件为Intel i7、NVIDIA GeForce RTX 2060显卡、16G内存、6G显存，软件系统包括Windows10操作系统和CUDA11.0 pytorch 框架。

将数据导入到网络框架中，训练后得到训练好的权重，通过测试获得最终的分类结果，与其他网络模型对比分析分割结果。网络训练过程中损失值(Loss)的收敛曲线如图10所示。由图10可知，R2U-NET++和U-NET++稳定下来的损失值范围都在0.01～0.10之间，R2U-NET++的稳定性更好，从收敛情况来看，网络训练的结果比较理想。

图10 R2U-NET++与U-NET++的Loss曲线Fig. 10 Loss curve of R2U-NET++ and U-NET++

测试时间如表1所示。由表1可以看出，在同等硬件设施的条件下(RTX2060)，对测试集进行测试，得到文中所使用的网络，每张图片的预测速度约0.008 s，相比于传统的U-NET++模型速度快了0.002 s左右。由于本网络测试时使用了包含类似3层U-NET的网络，在测试用时上还是不如传统的U-NET网络模型用时少。

表1 测试时间

在训练结束后，使用PA(Pixel accuracy)和IOU(Intersection over union)这两个图像分割基本评价指标进行对比。PA为像素精度，即预测正确的像素量占总像素的比例，PA的值越大表明分割正确的像素值越高，分割效果越好，PA计算公式为

(2)

式中：k——图像像素类别的数量；

Pii——原本为i类同时预测i类的像素总数；

Pij——原本为i类被预测j类的像素总数。

ηIOU为交并比，即像素预测部分与真实部分的交集比上并集，ηIOU指标越高，表示预测结果和标定结果的重合率越高，并且不重合的区域越少，计算公式为

(3)

式中：S1——网络预测为岩石的区域；

S2——标注为岩石的区域。

文中对U-NET++网络与文中所改进的R2U-NET++网络进行对比，在环境指标各项相同的条件下，对比结果如表2所示。

表2 R2U-NET++与U-NET++的性能对比

由表2可知，改进后的R2U-NET++像素精度为0.88，交并比为0.793，U-NET++像素精度为0.86，交并比为0.789，可以看出改进后的R2U-NET++在像素精度和交并比上优于U-NET++。图11为R2U-NET++与U-NET++网络的准确率曲线，由图11可以看出，准确率在训练次数越来越多的情况下趋于稳定，R2U-NET++网络稳定在0.88，U-NET++网络稳定在0.86，R2U-NET++准确率优于U-NET++。将R2U-NET++与其它网络进行测试对比，得到的对比结果如表3所示。

图11 准确率曲线Fig. 11 Accuracy curve

表3 R2U-NET++与FCN、U-NET的性能对比

由表3可以看出，R2U-NET++像素精度为0.88，交并比为0.793，由于准确率和召回率是互相影响的，高准确率会造成低召回率，高召回率会造成低准确率，因此，综合分析R2U-NET++在所对比的网络中表现最好。关于三个网络的实际测试分割结果可视化的对比如图12～15所示。

图12 原图Fig. 12 Original

图13 FCN分割结果Fig. 13 FCN segmentation result

图14 U-NET分割结果Fig. 14 U-NET segmentation result

图12为分割前的原图，图13为通过FCN网络进行分割后的结果图，图14为通过U-NET网络进行分割后的结果图，图15为通过R2U-NET网络进行分割后的结果图。由图13～14可以看出,FCN和U-NET网络对于添加噪声后的图片边缘处理比较模糊，容易将煤分割成岩石或者将岩石分割成煤。由图15可以看出，R2U-NET++网络分割结果对边缘处理最为细致，分割结果最优。最后对图像分割结果进行二值化处理，煤图像用像素为0的黑色表示，岩石图像用像素为255的白色表示，结果如图16所示。

图15 R2U-NET++分割结果Fig. 15 R2U-NET++ segmentation result

图16 二值化结果Fig. 16 Binary result

对煤岩分割结果图像二值化处理后，在综采工作面上采煤机便可以通过像素值来判断煤与岩石的位置，实现煤岩识别。

4 结 论

(1)文中提出了一种基于U-NET++网络模型的图像分割算法，用于煤岩混合图像的分割。通过改进U-NET++网络模型，剪枝操作节约了训练与测试的运算时间，残差结构增强了特征信息的传递能力，提高了网络对边缘特征分割的准确率。

(2)通过优化网络模型，提升了R2U-NET++在煤岩图像分割的性能，分割时间缩短了0.002 s/张，分割结果准确度提升2%。