基于图像处理的输送带煤量动态计量研究

王宗省，管振栋，张 欣，康树强

(山东科技大学 机械电子与工程学院，山东 青岛 266590)

地下煤炭从工作面采运到煤仓的过程中距离长，能耗大。在此运输过程中，带式输送机机工作容量约占整座矿井工作容量的30%，而输送带配备冗余功率容量高达20%。根据输送带上煤量对带式输送机进行实时变频调速是实现节能降耗的一种优质方案[1]。目前输送带煤量检测多采用称重的方式，这种接触式测量，虽然数据精确，但成本高，磨损大，维修困难。针对这种现状提出利用输送带监控视频图像，通过图像处理算法，得出输送带上的煤量在输送带上的占空比，实时估算出输送带上的煤量，再将结果传送变频器的调速电路，实现根据输送带上的煤量实时调速的目的[2]。2013年，王彦文等提出在线动态称重系统的基本框架，并使用工业摄像头参与信息采集；2018年，李萍[3]等利用机器视觉技术，通过计算激光条纹中心的偏移量实现煤量估计。不难预见，机器视觉将在井下生产中占有越来越重要的地位。

随着信息化的不断发展，煤矿企业生产监控系统有了极大的改善，煤炭运输监控视频可以通过以太网实时传到地上监控室[4]。鉴于节能生产的需求和现有的矿下生产设备，提出以传输带上的实时煤量监控图像作为采样数据，用OpenCV图像库与VS2010搭建上位机处理平台，因此调速方案中不需要引入新的硬件设备[5]。但是由于井下生产环境恶劣，受到煤尘、煤泥与水汽的干扰以及光源不稳定等因素的影响，采样图像中存在煤面与输送带反光严重、画面模糊、对比度低等问题[6]。针对监控图像处理过程中的噪声滤除、煤炭边界分割、异常情况处理、图像处理的实时性要求等方面进行了尝试与改良，同时，根据煤碳在输送带上的瞬时占空比，建立动态预估模型来估算出输送带上的煤量，最终将调度方案通过以太网传反馈至输送机执行控制器进行调速[7]。

相对传统的基于输送带秤、超声波等传感器的调速系统而言，基于图像识别的传输带调速系统不需要额外的传感器，仅使用井下通用设备即可实现。该方案投入成本少，实施方便，性能满足调速的需求，具有推广应用价值。

1 系统整体结构设计

系统的主要工作流程是通过网络获取井下摄像头的数据到调度室计算机，然后对获取的视频数据进行图像算法处理后，根据图像处理的结果和调速策略计算出井下运输输送带的预载速度。最后通过网络将速度发送给井下控制器[8]。PLC控制器接收速度数据后控制变频器调速，使输送带按指定的速度运行。调速系统整体结构如图1所示。

图1 调速系统整体结构图

2 基于图像处理的煤量动态计量

以兴隆庄煤矿采输送带机头部位的监控录像截图作为数据采集样本，经灰度处理后作为原始图像数据进行处理。受限于井下灯光环境以及煤炭运输过程的复杂性，在用图像处理的方法来动态计算输送带上的煤量时，其侧重点将区别于一般场景的识别过程。针对输送带反光，像素信息噪声大，分割界限特征值低等问题，提出适用于该环境下图像处理的基本步骤，如图2所示。

图2 输送带煤量图像处理的基本流程

2.1 窗口阈值滤波

在煤炭区域中存在白色的斑点或是白色的条纹，这些白色的部分是由于目标煤炭上的水分反光造成的。这些白色的部分遮盖了图像中目标煤炭的原始信息。为了能够准确识别煤炭必须尽量去除或者减小反光噪声的影响[9]。

初期使用均值滤波、中值滤波以及自适应滤波对图像处理，其效果均难以满足需求，故提出了一种基于窗口阈值的滤波算法。通过对窗口区域内各点的像素值进行统计，对该区域使用不同的阈值处理，最终有效去除噪声的同时保留了边界信息。

以待处理像素点位置为中心选用3×3的区域作为滤波窗口，首先将直方图双峰对应的灰度值取出，求两个灰度值的平均值，然后将该平均值与双峰对应的灰度值中较大的一个求平均值的结果作为该区域的阈值。对于反光不严重的图像，图像的直方图具有单峰的特征，而对于反光严重的图像，图像的直方图具有双峰的特征，且较大的像素值所形成的峰值是由于图像中反光造成的，通常选取直方图双峰之间的谷底作为阈值。现场图像的直方图双峰差别很大且双峰间的谷比较宽广，为了减少滤除有效信息，选择更靠近双峰中像素值大的一侧，因此计算双峰对应灰度值的平均像素后将该平均值与双峰对应的灰度值中较大的者求平均值后作为阈值。

在此使用信噪比(SNR)、信噪比均方差(SQRT_SNR)和峰值信噪比(PSNR)对四种滤波后图像质量进行数据评定，结果见表1。

表1 不同滤波方法的滤波效果评定表

从表1的评定结果可以看出，窗口阈值滤波法的信噪比、峰值信噪比均高于均值滤波、中值滤波，信噪比均高于两者，因此窗口阈值滤波法要优于上述两种方法。相比于自适应中值滤波法[10]，虽然窗口阈值滤波后的图像信噪比略低，但从峰值信噪比以及信噪比均方差的结果来看，窗口阈值滤波的效果要明显优于自适应中值滤波算法，综合来看，窗口阈值滤波更适合井下光照场景的图像预处理。

2.2 基于模板匹配的自适应阈值分割算法

由于背景区域和目标区域的对比度低分界不明显，所以当图像因为光照等原因发生亮度较大变化时，使用相同的阈值进行图像分割就会导致分割效果不理想。为了解决这个问题，首先利用陆地移动距离法(Earth’s Mover’s Distance，EMD)进行模型匹配分类。此方法不再受限于直方图的匹配策略，而是利用其距离测量值与模板对比后得到的距离进行匹配，因此不用担心漂移对最小距离度量的影响，然后对图像进行直方图拉伸增强图像的对比度并使用自适应阈值对图像进行分割。计算EMD的方法来源于运输问题的解决方案，在此用于区分反光不同的图像帧，在此基础上改善阈值分割的效果。

式(1)中代表直方图A的区间，J代表直方图B的区间。Cij代表直方图每个小区间转换的代价，fij代表直方图每个小区间转换的比例，其值越小代表匹配性越好。

选取两个特征明显的场景作为参考模板，如图3所示。其中，模板1是输送带上有煤时的运动图像，反光弱，模板2是输送带上没有煤时的运动图像，反光强。

图3 运动图像模板

选取多组反光强度不同的采样图片进行EMD参考模板匹配，从测试结果可以看出，当煤量不多但反光程度有较大的差异时，其匹配结果存在较大差异；当反光程度相近时，匹配结果相近。通过上述处理，可以快速将采集的图片进行分类，同时，针对反光程度较强的图像予以排除或进行阈值补偿处理。

当图像因为光照等原因发生亮度变化时，即使采用最优阈值进行分割仍会导致分割效果不理想，此时目标区域的内部会存在空洞，在背景区域输送带区域有时会存在斑点。为了解决这个问题可以首先对图像进行直方图拉伸增强图像的对比度，然后采用先腐蚀后膨胀的方法对图像进行处理来提高边界识别精度，最后使用自适应阈值对图像进行分割。

将图像中的像素按灰度等级t划分为两类，即背景C0和目标C1。

其中，C0的灰度级为0～t-1，C1的灰度级为t～L-1。背景C0和目标C1对应的像素概率ω0和ω1满足式(2)。图像的总平均灰度见式(3)：

图像中背景和目标的类间方差见式(4)：

其中，μ0和μ1为背景C0和目标C1的平均灰度值。令k的取值在0～L-1变化，计算不同k值下的类间方差δ2(k)，求其最大值时的k值即所求的最优阈值。

图像处理中的形态学包括膨胀与腐蚀等处理方法。膨胀可以将边界周围的背景点合并到目标中，通过膨胀可以填充目标中的小孔以及边界处的凹陷部分。但是对于准确的边界部分由于膨胀处理会导致边界向外扩展远离真正的边界。腐蚀操作与膨胀操作相反，腐蚀操作可以消除图像中小的斑点以及使图像边界内收。同样对于准确的边界部分由于腐蚀处理会导致边界向内凹陷远离真正的边界。样本1、2及分割效果分别如图4、图5所示。

图4 样本1及分割效果图

图5 样本2及分割效果图

将图4、图5样本图与分割处理后的图像进行比较可以看出，通过形态学处理可将图像中的小孔或者斑点处理掉，为最终的边界提取提供有利条件，配合自适应阈值分割法，处理后的图像能够十分清晰的显示出煤块的边界。

3 煤量识别方法分析

3.1 煤量估计模型

输送带工作时呈弧形，而且煤量不同输送带形变也会不同。煤宽与煤量对应关系如图6所示，由图6可以看出，煤量与煤宽并不是线性关系，另外来自工作面巷道带式输送机的煤量还与带速有关。

图6 煤宽与煤量对应关系示意图

假设输送带上的煤以输送带上平行于输送带边缘的中心线为对称轴均匀分布，当输送带固定时，煤炭的瞬时横截面积与输送带的煤宽有关。设输送带上的煤炭宽度为L(m)，横截面积为S(m2)，p为与煤炭宽度有关的非线性系数，根据具体输送带实验获取。煤炭的宽度L(m)可以通过煤宽比R图像中煤炭区域像素个数与输送带区域像素个数的比值)与输送带宽算出。设离散采样间隔Δt，因此某时刻t开始至下一帧有效图像处理的煤炭体积估算公式为：

V=Savg×v×Δt

(5)

式中，V代表煤体积；v为带速比，取值范围为0～1，带速=实际速度/额定速度；为了减小煤量突然变化带来的影响，通常取n个采样时间间隔作为调速间隔计算该时间段内的煤炭总量，然后进行调速。调速间隔内的煤量计算见式(6)：

式中，M为间隔时间的煤炭质量，Q为输送带上煤炭的密度系数。因此，要求出输送带上的煤量，必须同时求出输送带的带速V和煤宽比R。

3.2 连续帧间差分法识别带速V

根据带式输送机输送系统规模大小，运输带一般会采用一级、二级或三级输送带，三级及以上的系统比较少。一级输送带是靠近综采工作面的输送带，一般不进行调速，其状态为要么停止(V=0)，要么恒速运行(V=1)。因此，只要对其是否运动的状态进行图像识别就可以了。对于二级及以下的输送带，需进行调速，但其速度可以通过调速系统获得。

连续帧间差分法是通过视频流中连续的两帧图像相减获取运动目标。假设视频中连续两帧图像的采样间隔为T，连续两帧视频图像可以表示为I(x，y，t)和I(x，y，t+T)。连续两帧图像之差表示为d(x，y，t)，见式(7)。

d(x，y，t)=|I(x，y，t)-I(x，y，t+T)|

(7)

通常，连续两帧图像之差形成的结果图像中，运动区域的值相对背景区域要大。所以，对结果使用阈值分割可以得到运动目标，见式(8)，当计算出来的结果图像d(x，y，t)大于设定阈值T时，则可认为运动目标处于运动状态，否则，则认为是静止状态[11]。

图7 输送带上有少量煤运动时的测试效果

图8 输送带上有少量煤静止时的测试效果

输送带上有少量煤运动时的测试效果如图7所示，输送带上有少量煤静止时的测试效果如图8所示。从图7与图8中的处理后图像可以对比看出，静止状态下使用帧间差分法得到的图像整体呈黑色，运动状态下使用帧间差分法得到的图像中的煤炭区域会存在大面积的白色区域。帧间差分法对动态环境有很强的自适应能力，但是在检测结果中，虽然不能完全提取出所有的属于运动对象的特征象素点，但对于所研究的井下应用场景已经足够。所以通过帧间差分法得到的图像可以判断输送带的运行状态。

3.3 煤宽比R

煤炭宽度和输送带宽度的百分比，即为煤宽比，见式(9)。

其中，R为煤宽比，Xmin dle、Xcoat、Xbelt代表同一行上输送带中点位置、左侧煤炭边界位置和左侧输送带边界位置像素的x坐标。

为了将识别结果作为传输带调速的依据值，需要将图中的边界转换为煤炭宽度和输送带宽度的百分比，根据该比值和输送带上煤炭量与该比值的关系计算出输送带上的煤炭量。将图像中每一行的煤炭宽度和输送带宽度求平均后的比值作为最终结果用于计算煤量指导调速。为了避免输送带上煤炭边界存在急剧的凸起或者凹陷给调速带来影响这里将每一行的比值通过排序算法，排序后去掉最大和最小值后求平均值作为最终的结果。

4 应用效果

该系统在兴隆庄煤矿进行现场测试。通过将采样图片的真实数据与图像算法识别后的数据进行误差对比分析。具体方案为：人工识别采样图片(右侧)的煤宽边界值，用红点(纵坐标固定)标出实际煤宽的边界点，以两边界值的横坐标之差作为真实数据。使用识别系统自动处理图像(左侧)可得到测量后的数据，使用两者之差与真实值的百分比作为判断该方案优良的标准。结果如图9所示。

图9 运行结果对比

从图9可以看出：图片右侧不清晰，无法明确右边界横坐标位置，左侧边界与识别结果一致。

从现场调速报表中截取单独的部分数据见表2，测试时期在安全生产的前提下，将速度范围设置为三个档位。

表2 调速结果数据表

5 结 语

本方案现场测试效果良好，能够根据实时的预估煤量对带式输送机进行调频变速，使生产能耗与工作效率得到平衡，具有较高的实用价值与推广意义。