机器视觉灰度化金字塔卷积模型的煤流异物识别

杨建辉，黄子洋，汪 梅，符立梅，刘安强，李远成，于振华，王 征，董立红

（1.陕西陕煤曹家滩矿业有限公司, 陕西 榆林 719000；2. 西安科技大学 计算机科学与技术学院，陕西 西安 710054）

0 引 言

我国拥有着种类繁多的能源资源，煤炭能源在整个能源结构中居于顶端位置。伴随着各种新能源的快速发展，煤炭的相对比重较之前有所降低,但其首要能源位置从未改变[1]。能源生产过程中的一个重要环节是煤流的带式输送，煤流中异物识别是不可或缺的重要任务[2]。

随着智能化矿井建设的推进，煤流带式输送技术得到快速发展。煤流中的矸石、矿工帽或锚杆等异物需要被及时发现和清除，无人化的煤流异物识别具有重要的意义[3]。煤矿生产过程的各个环节安装着各类高清监控摄像头，这为利用机器视觉完成煤流中的异物识别提供了可行的基础，相关研究内容主要包括煤流监视的图像分割、特征提取及识别模型的建立3个方面。在图像分割方面,图像的二值化是常用的分割方法,但是存在目标当作背景过滤、附着在矸石等异物的煤颗粒图像无法分离等缺点。在特征提取方面,由于煤与各类异物的灰度直方图峰值以及分布是不尽相同, 现已研究提出多种方法。在已有的相关研究成果中,支持向量机、各种改进的神经网络是目前最常见的分类器[4-5]。基于机器视觉的煤矸石识别方面，研究人员利用煤与矸石的图像数据提取特征，采用多种分类器进行煤矸石的识别[6]。针对模型的识别准确率，研究人员提出基于卷积神经网络的迁移学习，采用批归一算法对网络内部进行归一化处理，再利用DisturbLable算法对神经网络添加噪声，将训练的网络应用与煤矿的异物识别，识别效果明显提升[7]。此外，研究人员提出了基于视觉技术的煤岩界面特征分析与识别系统，论述了系统的总体设计方案，对系统的可行性进行了验证，并取得了较好的识别效果[8]。

在现有相关研究基础上，提出一种基于机器视觉灰度化的双路金字塔卷积模型用于煤流异物识别。在基于机器视觉权值训练灰度化异物识别的煤流监测方案中，煤流及转载点的实时图像为系统的输入，经过左右2个通路分别实现对标准图像和差分图像的特征提取融合，最后经过卷积神经网络的全连接层和激活层实现煤流异物的识别。

1 机器视觉权值训练灰度化方法

煤流监测系统的彩色图像的每个像素点具有红（R）、绿（G）、蓝（L）三个通道的数据，若一个像素点RGB三个通道的像素信息仅用单一通道数据表征，则这种像素点组成的图像为灰度图像，将彩色图像转换成灰度图像的过程称为灰度化处理[9]。目前，图片灰度化处理的方法有许多，比较常用的方法是平均值法，最大值法和权值平均法等方法也是经常用于灰度化处理的方法。权值平均法是根据人眼对颜色的不同的敏感度不同而得到的，其灰度公式如式（1）所示：

Gray = 0.114B+ 0.587G+ 0.299R

（1）

式中，R、G、B平均灰度化的权值分别为0.299、0.587和0.114。

权值平均法能够获得人视觉上相对合理的灰度化处理结果。但是在计算机视觉中，并不一定能够保证对图像的识别和人眼对色彩的敏感度一样。如果在不同的任务，不同的图像数据的情况下，能够调整权值平均法的三通道权值达到本次任务的最佳权值，自然效果也能达到更好的效果。使用权值平均法所需要的各通道权值需要根据实际任务重新确定。

为解决上述问题，提出了一种计算机视觉理解下的权值修正灰度化方法。图1是煤流监测中的机器视觉权值训练灰度化异物识别方案。主要思路为：设置R、G、B3个通道的权重为可修正权重，在神经网络训练过程中，根据计算机视觉理解差异，使用梯度下降法随着训练过程不断修正，最终获取较优的权重值作为权值平均灰度化方法中的权重值。提出的计算机视觉权值训练灰度化公式如下：

Gray=W（B）×B+W（G）×G+W（R）×R

（2）

其中，W为通道权重值；图像灰度化的像素值为其对应的R、G、B三个通道的像素值与对应的权值训练过程中的权值的乘积之和，通过这种计算公式得到图像的灰度值。

经陕西陕煤曹家滩矿的煤流监测图像样本训练，结果表明在双路金字塔卷积神经网络的煤流异物识别问题中，计算机视觉理解下的权值灰度化的R、G、B三个通道的权重值分别为：

图1 煤流监测中的机器视觉权值训练灰度化异物识别方案 Fig.1 Unwanted object recognition scheme based on the machine vision weight training for coal flow monitoring

W（R） = 0.300 4

W（G） = 0.428 5

W（B） = 0.271 1

特别指出：提出的权值训练灰度化权重值，由于实际目标的差异并不具有通用性，但提出的灰度化权值获取方法，具有普遍适用意义。

2 光照补偿

由于矿井环境光照变化、物体遮挡等因素的影响，煤流监测的图像的光照往往会出现分布不均的现象。在获取差分图像的过程中，只依靠图像差分技术难以去除这些光照差异，若不进行光照补偿处理，光照差异会作为干扰而输入差分图像通路[10]。

为排除光照差异对模型识别精度的影响，借助Opencv工具[11]，采用一种基于二维伽马函数的自适应亮度校正方法，该方法利用图像的光照分量的分布特性，实现对输入差分图像数据通路的灰度图像进行光照补偿处理。算法表达式如下[12]：

（3）

（4）

其中，O（x,y）为校正后的结果；F（x,y）为输入图像数据；I（x,y）为光照分量；γ为指数。具体实现亮度增强的效果；m为光照分量的亮度均值。对原作者提出这种方法进行复现测试发现原文公式中γ的指数应该是m-I（x,y），而非原文中的I（x,y）-m，这里只作为一种方法使用，具体不进行阐述。

3 无关前景像素的识别与剔除

在煤流带式输送监测系统中，被采集视频的图像中难免存在其他无关前景的物体，如移动的工作人员或其他设备等。这些无关前景而又被我们采集到的目标就成为了噪声干扰数据。如果不对这些噪声进行剔除，最终就会影响模型识别的准确性。

光流算法在计算机视觉领域，是用于运动目标检测的重要方法。采用Lucas-Kanade光流算法，以井下实时监测视频图像为对象，实现动态无关运动像素的监测，为无关像素点剔除提供依据[13]。Lucas-Kanade光流算法的实现是基于如下假设：

1）环境亮度一定：连续两帧图像之间，目标物体的像素亮度相同。

2）空间一致性：相邻的像素之间有相似的运动。

3）小运动:就是时间的变化不会引起位置的剧烈变化，这样灰度才能对位置求偏导。这也是光流法不可或缺的假定。

由假设1与泰勒公式可知光流方程如下所示：

fxu+fyv+ft=0

（5）

（6）

（7）

式中，x、y为像素点所在的坐标位置；u、v为像素点在x与y方向上的速率；fx和fy为图像的梯度；t为时间；ft为图像沿着时间的梯度。

在使用光流法实现对无关运动物体的去除过程中，需要跟踪相关像素点；以设置3×3的检测窗为例，如图2所示，检测窗共获取9个像素点[14]。

图2 光流算法检测窗示意Fig.2 Detection window schematic of the optical flow algorithm

根据假设2，近似认为检测窗中的9个像素点具有相同的运动，则代入光流方程得到如下[15]：

（8）

式中，x、y为像素点所在的坐标位置；n为像素点数。

方程（8）为超定方程，通常利用最小二乘法解决超定问题，最小二乘拟合后获得方程（9）[16]：

（9）

其中，i为像素点编号。Lucas-Kanade光流算法使用金字塔结构，将图像由金字塔底层映射至高层，高层视图中忽略较小的运动，而将较大的运动减小为较小的运动，以此实现对较大运动光流的计算[17-18]。

在井下环境中，无关的运动前景如行走的井下工作人员、移动的矿车等，具有运动速度快、运动方向明显、运动像素在画面中的持续时间较短、运动像素点呈现区域性分布的特点，其光流图相较于异物光流具有明显的差别。因此，使用获取视频，进行运动目标检测，确定运动性无关目标的像素区域，实现对应图像数据中运动性无关干扰的定向性去除这种方法是可行的。

4 双路金字塔卷积网络模型的构建

构建的双路金字塔卷积神经网络架构由标准图像通路和差分图像通路组成。标准图像通路的输入数据为煤流输送带监测系统的原始图像。差分图像通路的输入数据为原始图像经过灰度化、光照补偿和无关前景提出后的图像[19-20]。

4.1 图像差分

差分图像数据通路的输入数据在经过图像数据增强的原始图像数据基础上，对图像做差分处理、光照补偿处理和无关前景剔除处理，获取的处理结果作为差分图像数据通路的输入。

差分图像是指在连续的时间上，下一个时刻的一帧图像去减去上一个时刻的一帧图像所得到的图像，主要发现连续时间段的空间变化。通过差分图像获取煤流带式输送环境随时间的变化。差分图像的获取如下所示。

Δxk=xk-xs

（10）

式中，xk为当前图像数据；xs为基准场景图像数据；Δxk为获取的广义的差分图像。

差分图像是当前图像与基准场景图像的差分。基准场景图像的选取直接影响差分图像数据的通路，因此基准场景图像的选取需要尽可能合理。本文面向煤流带式输送监测系统中异物识别问题，适用的基准场景选取标准为：①选取正常无异物图像为基准场景图像；②基准场景画面无重影；③基准场景光照均匀，无明显光斑，无明显明暗差别；④基准场景中无干扰的无关物体。

基准图像在符合选取标准的前提下定期刷新。这里基准场景的选取标准相对较为苛刻，但是由于应用场景的基准变换是不会过于频繁，同时短时间的场景变化是不会很大的。所以基准的场景选取标准是可以接受的。

4.2 双路金字塔网络的特征提取

金字塔网络能够在小目标的实时识别过程中兼顾目标的运行速度问题。它先进行传统的自上而下的特征卷积，然后融合相邻的特征图。一方面是自上而下的特征卷积，另一方面是自下而上的特征卷积，两方面平行连接。因此，它能够很好地提取目标的本质物理特征及其位置特征。特征金字塔网络的卷积过程中，低层有着较为丰富的位置信息而高层则恰恰相反。高层有着底层缺少的本质物理特征而相对缺少位置特征等。这种顶层特征和底层特征的融合，能够实现目标的多尺度特征提取[21]。在经典金字塔网络的基础上，构建双路金字塔网络，如图3所示，分别对原始标准RGB图像和差分图像进行特征提取。

图3 双路金字塔网络的特征提取Fig.3 Feature extraction using the double-channel pyramid network

4.3 利用金字塔特征的卷积网络异物识别

为提高煤流输送带异物识别，以金字塔网络提取的被识别目标的特征为输入信号，利用卷积神经网络实现对金字塔网络所提取的被识别目标特征的识别。卷积神经网络对浅层的特征分辨度高，可以识别出图像特征的细节，但是对图像特征的趋势特征的分辨度有待提高。如果加大模型的深度，能够提升图像的趋势特征，但是增加网络的深度又很难捕捉到图像的细节特征，这将造成目标细节把握不到位，导致模型的识别准确率降低[22]。

构造图4所示的双路卷积识别模型，分别对原始标准RGB图像和差分图像的特征进行分类。模型训练总参数为67 703个。模型的输入层输入批处理后的48×48的图像。输入的图像数据分为2个通道，第一个通道为采集的原始图像，经过正常的卷积池化等操作进行提取特征。第二通道使用进行了光照补偿等处理操作的图像数据集批次送入网络进行训练。网络模型中插入了2个改进的金字塔特征提取网络进行数据的特征提取。网络中使用了4个深度卷积网络。网络的前两个卷积层和最后一个卷积层使用4个3×3的卷积核进行卷积操作。深度可分离卷积层使用16、32、64、128个3×3 卷积核进行卷积操作。最大池化层采样窗口大小为3×3。Softmax 层对全局平均池化层输出的特征进行分类，将识别目标定为煤、矸石、安全帽、锚杆4种类别。其中引入的金字塔特征提取网络模型如图5所示，s为学习算法的步长。

图4 双路卷积神经网络识别模型结构 Fig.4 Structure of the constructed double-channel convolution recognition network

5 仿真试验与结果分析

机器视觉灰度化双路金字塔模型的煤流异物识别系统软件采用Python3.7。训练样本和测试样本来自陕西陕煤曹家滩煤矿的带式输送监测系统实时监测图像和网络的煤与矸石图像。

1）差分通路的图像预处理测试。根据基准场景图像与实时井下环境图像获取的差分图像，实现了无关背景像素点的剔除；光照补偿处理对目标所受到的图像光照进行均匀化操作从而降低无关干扰；光流算法实现了动态无关像素点的识别和定向剔除。差分图像通过光照补偿和光流法去除无关前景像素的处理结果，即为识别模型的差分通路输入数据。图6为识别模型差分通路的图像预处理过程。

2）数据集的构成和识别模型训练。选取煤和矸石等异物的图片集作为训练集，训练识别模型。

图5 金字塔网络的图像特征融合模型Fig.5 Image feature fusion model of pyramid network

图6 识别模型差分通路的图像预处理过程 Fig.6 Image preprocessing process for the difference channel of the recognition model

其中模型的数据构成见表1。因为数据集的数量相对较少，所以在原始数据集的基础上通过旋转，拉伸，裁剪，添加噪声等数据增强方法对数据集进行扩充。将数据中70%的样本作为训练集，30%的数据作为测试集，数据的训练集和测试集构成见表1。

表1 数据的训练集和测试集构成

训练过程中模型损失函数收敛曲线如图7所示，模型准确度曲线如图8所示。其中三角线标注的训练损失曲线是传统单路卷积网络的损失曲线。圆圈标注的损失曲线是提出的双路多尺度特征提取网络的训练损失曲线。同样地，在图8中的模型准确度曲线，该模型的准确度也和传统模型的识别精度进行了对比。

图7 模型损失函数收敛曲线 Fig.7 Model loss curve

图8 模型准确度Fig.8 Model accuracy

3）识别模型测试。图9为煤流输送带的异物监测结果。图10为提出的权值训练灰度化方法训练的识别模型和传统的图像固定权值灰度化训像灰度化权值自适应调整方法对模型识别精度有一定的提升。图11是煤与矸石的识别结果。

测试结果表明，经典卷积网络模型识别精度提高了93.6%，基于权值训练的机器视觉灰度化双路金字塔卷积网络模型对输送带运输的异物识别准确练模型的测试结果对比。从结果可以得出图像灰度化的权值经过自适应调整后，相对于传统图像灰度化固定权值，模型的识别精度提升了5.2%，说明图率为95.7%。和其他识别分类模型在相同的数据集上进行测试比较,平均识别准确度结果如下：CNN82.6%，VGG1692.4%，改进的LeNet-587.8%，InceptionV393.6%，本文模型95.7%。

图9 煤流输送带的异物监测和识别结果Fig. 9 Unwanted object monitoring and recognition results of a coal flow conveyor belt

图10 权值训练灰度化测试结果Fig.10 Weight training grayscale test results

图11 煤与矸石的识别测试结果Fig.11 Recognition test results between coals and gangues

6 结 论

1）提出了一种图像权值自适应调整的煤流图像的灰度权值自适应调整方法。相较于传统的固定权值图像灰度化方法，权值自适应能够更好地针对不同环境不同任务去调整灰度权值适应当前状态，在异物识别中有着更加优秀的表现。

2）搭建了一种多尺度特征双路金字塔卷积模型用于煤流异物识别。引入了光照补偿等预处理操作，对原始无关的噪声去除从而提升识别准确率。利用多尺度金字塔特征提取网络对目标特征进行多尺度提取，通过将原始图像通路和差分图像通路融合，实现煤流运输中异物的准确检测和识别。

3）通过对陕煤曹家滩煤矿煤流的输送带监测图像测试，结果表明提出的识别模型对送带运输异物识别准确率为95.7%，比经典卷积网络模型识别精度有所提高。下一步工作将对光照不均匀情况下的训练权值灰度化方法进行研究。