基于集成学习的煤和矸石图像识别技术研究与实现

郜亚松

摘要：针对目前基于深度学习方法对煤和矸石识别研究中所存在的数据使用效率低，泛化能力差等问题，本文提出采用交叉验证的方法来提升研究目标对象数据的利用效率，并对训练集数据添加人工噪声，从而提升深度模型的泛化能力。另外在训练过程中以验证集ROC提前终止训练的依据，可以兼顾实际生产中对煤和矸石识别的查准率和召回率的要求，同时加速网络的训练过程。最后在测试集进行模型预测时采用TTA（Test Time Augmentation）方法提升模型预测结果的稳定性，并采用集成学习的方法将多个深度计算模型的预测结果进行融合，以此提升整个识别方法的性能。经过实验研究结果发现，通过以上方法可以在小型数量级上较快得到一个具有较高识别精度和召回率识别模型，并且模型的预测结果更能够反映模型在实际生产环境中的真实表现。综上可以得知，本文所实现的模型方法更能够适应煤和矸石的识别研究领域的需求，对未来深度学习方法在煤矸识别的研究具有较高的实际应用价值和意义。

关键词：煤矸识别;集成学习;人工噪声;交叉验证;TTA

中图分类号：TP31        文献标识码：A

文章编号：1009-3044（2021）10-0197-03

煤作为我国主要能源供应，而矸石则是对煤产能效率的主要影响因素，所以如何有效地降低矸石含量，对于提升燃煤功能效率，具有很高的实际应用价值。

传统对于煤和矸石识别的研究主要分为两点，其中一种较为复杂的是煤和矸石的物理性质差异实现的识别技术，比较有代表性的有射线法，振动法等。但此类方法对于我国采煤环境地质复杂的情况不能很好适用，另外，这些工业方法会带来严重的辐射污染，声污染以及水污染等[1-2]。第二种则是根据煤和矸石在图像上所呈现出来的视觉差异所实现的识别技术，其中比较有代表性的分为基于手动提取的纹理，灰度等特征所实现的机器学习识别方法[3-4]。另一个是基于深度学习所实现的自主特征学习的图像识别方法，该方法相比于传统机器学习图像识别方法具有较高的泛化能力，并且可以通过对深度网络模型的复杂度以及结构进行调整，更方便的应对实际生产对模型的精度或速度的要求[5-6]。

通过对相关文献资料查询得知，目前基于深度学习模型在煤矸石识别的研究中。从数据集采集方面来说，大多数数据量总和基本位于5万张左右，这样的小型数据量对于深度学习网络来说若采用简单的训练集，验证集以及测试集的数据划分方式是很难高效的利用数据，同时也会对模型最终反映出来的评价指标有着较大的影响，使之无法真实地反映出模型本身的性能。除了研究中的数据集大小的问题之外，在实验室环境中所采集得到的煤和矸石的图像一般是比较清晰的，并没有像实际生产环境中所存在的粉尘，部分遮蔽物等诸多噪声的情况，并且在测试集中数据同样是没有相应的噪声信息，所以对应得到的深度识别网络模型的存在严重的过拟合问题。针对以上情况，本文提出使用交叉验证的方法来提升数据的使用效率，并且采用集成学习的方法融合多个深度识别模型的识别效果，从而来实现一个具有一个整体性能较强的煤和矸石的识别方法。另外通过对训练集数据添加人工噪声的方法，进一步的提升网络模型的泛化能力。最后在数据预测过程中采用TTA技术来提升网络预测结果的稳定性，同时采用集成学习的方法融合多个深度模型的预测结果来进一步提升网络的性能。本次研究，主要针对目前基于深度学习对煤和矸石图像识别研究中所存在的问题提出了相应的解决方法，对未来深度学习方法在煤和矸石智能化的研究中具有较高的实际应用意义和价值。

1 相关工作

本次对于煤和矸石识别技术的研究使用的是深度学习网络，其中挑选的是在各个相关识别比赛和实际应用中较多的两种网络，即ResNet系列和EfficientNet系列网络。其中ResNet中所具有的残差网络结构是目前所有深度网络模型的基础，该结构可以很好的降低由于网络深度加深所带来的特征消失等问题，可以有效地提升深度网络模型的可训性[7]。

EfficientNet网络是目前在各个深度学习相关竞赛以及公司研发深度学习相关产品中首先考虑使用的深度学习网络模型，该模型兼备了速度和精度。该网络模型摒弃了传统深度模型计算中为了追求速度和精度所使用的简单剪枝和加深网络的做法，而是通过研究出平衡网络深度，宽度和输入数据分辨率的方法来达到对速度和精度不同目的的要求[8]。

以往煤和矸石图像在进行训练时所采用的增强技术一般是对图像进行旋转，随机裁剪或者是颜色相关的方法，这些方法可以很好地减小了模型对图像中煤或矸石的位置，以及亮度等因素的敏感度。但在煤和矸石的实际生产环境充满了各种视觉噪声信息，所以为了进一步的提升深度模型对复杂环境的鲁棒性，本次研究中将针对图像采取人工添加噪声的方法对图像进行增强处理，其中包括在图像信息中添加雾噪声，雨噪声以及随机裁剪等，对应产生的人工噪声增强的图像效果如图所示。

集成学习和测试时增强技术TTA（Test Time Augmentation）[9]两者都是一种对预测结果做进一步处理的操作方法，其中TTA技术主要是对采用增强技术处理的测试集进行多次预测并求其均值作为最终预测结果的一个模型预测方法，该方法可以对一个模型的预测结果起到稳定的作用。而集成学习的方法则是将多个深度模型预测的结果，按照其对应任务目标要求所占的比重，对应分配其不同的权重，然后进行预测结果融合，可以有效地提升预测结果的性能。

2 网络模型搭建

雖然对于煤和矸石图像识别的目标设定中是二分类问题，但是若对于网络的输出设置为非煤即矸石的设定就会极大地降低网络的鲁棒性。例如向模型中传入既不是煤也不是矸石的图像，经过模型输出判断结果。若设定真正例为煤，那么输入图像的经过网络的判断非煤，那么网络就会判定为矸石，所以在对网络的输出设定含有两个节点的输出，并且要通过正确的调整判断阈值来进行最终结果的限定，而不是仅仅使用非A即B的判断，对应网络结构如下所示。

3 实验过程与结果

3.1 模型训练过程

为了能够从有限的煤和矸石的数据中训练得到最佳的识别模型，在训练过程中需要合理的对一些参数进行设定。首先对所采集到的所有数据90%作为训练集数据，然后将训练集根据交叉验证训练的划分经验和实验中数据的总量划分个数K为5，每个训练子集的轮次为15轮次，而初始学习率的设置由于采用了预训练权重，对应的学习率可以设置为较小的值，以实现对模型权重参数的微调，所以将初始学习率设置为0.0005，学习率衰减因子为0.4。除了以上两种常规深度学习网络训练中所设置的参数，还包含了提前终止训练上限值，经过数次训练之后确定了值为3，所代表的意思是当对在划分后的一个训练集上的模型随着轮次不断推进时，连续3次出现ROC得分没有得到提升，则提前终止模型在该子集上的训练。最后将本次训练中TTA参数的设置为3，表示将会使用训练好的模型在测试集上预测3次，然后将3次的预测得分求其均值，图中所示模型训练过程的工作流程。

从图中可以看到，在对不同划分情况的训练集和验证集训练完成之后，都会直接对本次划分情况下所产生的最佳识别模型进行预测TTA次预测，然后将预测结果求均值。在完成最后k个划分的训练之后，将所有的预测结果根据k值求均值，最终完成对一个深度网络的完整模型训练。

3.2 模型预测结果与性能评估

为了验证本文所实现的煤和矸石识别方法的优势，将选择一组对比模型进行实验，其中改组模型在未采用人工噪声增强的训练集上进行训练，然后通过交叉验证的方式取得最好的模型效果，然后将该模型分别对没有噪声的测试集上和有噪声的测试集进行测试，并对其ROC曲线进行对比分析，对应的曲线如下所示。

从图中可以看到，对于a组未采用噪声训练的模型在没有噪声的测试集上的表现几乎接近百分之百，但是当用于含有噪声的测试集上的时候，对应的网络性能产生了大幅度的下降，整个网络在两个数据集上的表现可以反映出未采用人工噪声训练得到的模型对于未知数据泛化能力是很堪忧的。而在本文设计实现的生成的模型在含有噪声和没有噪声的测试集上的变现虽然有小幅度的变化，但是基本预测结果数据分布相同，模型泛化能力得到大幅度的增强。另外，为了验证集成学习对于模型预测性能提升的有效性，选择了对ResNet系列网络和EfficientNet系列网络的预测结果进行结果增强，对应的ROC曲线如下所示。

从图中可以看到在没有采用集成学习的方法对预测结果进行预测之前的网络由于深度的变化对应的ROC得分有一定的起伏和波动，通过集成学习的方法处理之后对应整个网络的ROC得分得到的一定的增强，在ResNet网络这种性能表现较弱的学习机的提升更是明显，并且对应的预测结果得分相比原始模型更加平滑，在煤和矸石的图像识别上具有更好的性能。

4 结束语

本文主要提出使用交叉验证的方法对煤和矸石图像识别技术进行研究，可以很好地对有限的数据资源进行高效率的使用，并且通过针对性人工噪声添加的方法来提升网络模对煤和矸石复杂识别环境的鲁棒性，从而提升了深度计算模型实际应用价值。另外通过TTA技术对预测结果进行均值化处理，最后通过集成学习的方法融合多種深度识别模型方法对整个识别效果进行性能提升，经试验验证以上技术在煤和矸石识别的研究中对模型的整体提升具有显著的效果，有效地促进了深度学习在煤和矸石自动识别领域的应用，对未来进步的推进煤和矸石自动化识别的研究具有较高的实际应用价值和意义。

参考文献：

[1] 孟繁明，郭科伟.基于双能γ射线透射技术的煤矸石识别与分选系统研究[J].黑龙江科技信息，2013（36）：83.

[2] 李福仁.选煤技术及工艺流程的研究[J].石化技术，2020，27（7）：309，311.

[3] 余乐，郑力新，杜永兆，等.采用部分灰度压缩扩阶共生矩阵的煤和煤矸石图像识别[J].华侨大学学报（自然科学版），2018，39（6）：906-912.

[4] 洪惠超.基于机器视觉的煤矸石分选算法的研究[D].泉州：华侨大学，2018.

[5] 曹现刚，薛祯也.基于迁移学习的GoogLenet煤矸石图像识别[J].软件导刊，2019，18（12）：183-186.

[6] 王鹏，曹现刚，夏晶，等.基于机器视觉的多机械臂煤矸石分拣机器人系统研究[J].工矿自动化，2019，45（9）：47-53.

[7] Tan MX，leQ V.EfficientNet：rethinking model scaling for convolutional neural networks[EB/OL].2019[LinkOut]

[8] Szegedy C，Ioffe S，Vanhoucke V，et al.Inception-v4，Inception-ResNet and the Impact of Residual Connections on Learning[C].National Conference on Artificial Intelligence， 2016： 4278-4284.

[9] Wang G T，LiW Q，AertsenM，et al.Aleatoric uncertainty estimation with test-time augmentation for medical image segmentation with convolutional neural networks[J].Neurocomputing，2019，338：34-45.

【通联编辑：梁书】