基于TOF深度图像修复的输送带煤流检测方法

汪心悦， 乔铁柱， 庞宇松， 阎高伟

(1.太原理工大学 新型传感器与智能控制教育部重点实验室， 山西 太原 030024； 2.太原理工大学 物理与光电工程学院， 山西 太原 030024； 3.代尔夫特理工大学 机械、海事和材料工程学院， 荷兰 代尔夫特 2628 CD； 4.太原理工大学 电气与动力工程学院， 山西 太原 030024)

0 引言

智慧矿山建设是实现煤炭工业高质量发展的重要保障。在智慧矿山各环节中，智能生产、智能运输及智能调度管理等环节都需要煤流数据的支持[1]。因此，输送带煤流检测问题十分重要。

带式输送机是主要的煤炭运输设备[2]。根据计量原理不同，传统煤流检测装置主要分为核子胶带秤[3]和电子胶带秤[4]。核子胶带秤的放射源在使用和存储时存在一定的安全和环保隐患；电子胶带秤属于接触式检测装置，检测精度易受输送带张力、刚度等因素的影响。近年来，非接触式检测方法在煤流检测领域得到广泛研究和应用。N. M. Mihut[5]设计了一种基于超声波传感器的输送带物料运输流量测量系统，但超声波测距响应速度慢，且带式输送机高速运行时测量误差较大。李萍等[6]基于线激光条纹实现带送煤炭体积测量，该方法采集区域不均匀，测量误差较大。代伟等[7]采用双目视觉方法获取煤料图像各点深度信息，基于煤量计算公式实现煤流检测，但双目视觉系统立体匹配计算成本高、实时性差，另外井下环境光照条件复杂、粉尘较大，且煤料与输送带颜色相近，均会影响检测效果。

基于飞行时间(Time-of-Flight，TOF)测距原理的相机[8-9]可直接获得均匀的场景深度信息和强度信息，测量效果几乎不受环境光影响[10]，且受物体表面灰度特性影响较小[11-12]。然而，TOF相机因采用主动红外成像机制，获得的深度图像在深度不连续处(即物体边缘)存在一些飞行像素噪声与多径误差噪声[13]，造成边缘信息错误，无法准确表示物体边缘的深度值。此外，受物体材质、拍摄角度和粉尘等影响，深度图像会包含一些无深度数据的空洞和脉冲噪声[14]。刘娇丽等[15]、J. Jung等[16]提出了不同的深度图像修复算法，但难以兼顾去噪和边缘特征保持。

本文采用TOF相机采集输送带运煤图像，根据TOF深度图像和强度图像数据特点，提出了一种基于TOF深度图像修复的输送带煤流检测方法，并通过煤料运输实验验证了该方法对煤流检测的精度。

1 输送带煤流检测方法原理

基于TOF深度图像修复的输送带煤流检测方法主要包括TOF图像采集、煤料区域识别、强度图像引导的深度图像修复、煤流计算等，如图1所示。煤料区域识别是将采集的TOF图像均衡化后，采用帧差法和边界跟随算法去除背景噪声。深度图像修复基于Canny边缘检测法检测深度图像和强度图像边缘并寻找相似边缘，采用强度图像引导的深度图像修复算法对深度图像边缘进行校正，从而获得高精度的深度图像。煤流计算通过建立煤料体积计算模型实现。

图1 输送带煤流检测方法原理Fig.1 Principle of coal flow detection method of conveyor belt

2 煤料区域识别

为了简化后续图像边缘修复和煤流计算，对图像中感兴趣区域(Region of Interest，ROI)即煤料区域进行识别。对获取的TOF深度图像进行直方图均衡化处理，以增强图像对比度。将当前深度图像fd与输送带空载时采集的深度图像f0逐像素相减，得到深度差值图像：

D=|fd-f0|

(1)

采用边界跟随算法检测深度差值图像最外层边界，压缩水平、垂直和对角线方向的像素点，只保存相应方向的终点坐标，即保留所有轮廓拐点处的像素点，拐点之间直线段上的像素点舍弃，从而加快运算速度。将边界内面积小于100像素的区域视为噪声并去除，得到ROI。

3 强度图像引导的深度图像修复

TOF深度图像中深度值不连续区域往往对应强度图像中灰度值不连续区域，因此提出一种强度图像引导的深度图像修复算法(图2)，利用强度图像中有效的边缘信息对深度图像中边缘处的不可靠数据进行修复。

图2 强度图像引导的深度图像修复算法原理Fig.2 Principle of intensity image-guided depth image restoration algorithm

基于Canny边缘检测算法分别获取当前深度图像和强度图像的边缘信息，采用双阈值识别图像中的强边缘和弱边缘，并结合强弱边缘的位置关系，得出图像整体边缘信息。之后将深度图像的边缘信息投影至强度图像，对投影后的深度图像边缘依次进行扫描，若某边缘点的8邻域范围内存在强度图像边缘点，则将该深度图像边缘点判定为相似度大的边缘点。将深度图像上所有相似度大且与强度图像边缘点不重合的边缘点放入候选集合R中，将深度图像上相似度大的边缘点8邻域范围内的强度图像边缘点放入候选集合I中，得到深度图像和强度图像的相似边缘。

利用强度图像边缘校正深度图像边缘的原理如图3所示。将强度图像边缘点投影至深度图像中，对集合I中的边缘点在8邻域范围内进行扫描，若集合I中某边缘点A在对应深度图像中相同位置的点A′的8邻域范围内存在集合R中的点，则将这些点去除，并将点A′处的深度值fA′由该点8邻域范围内所有边缘点深度值的中值所替代；若点A′的8邻域范围内不存在集合R中的点，则点A′处的深度值fA′不变。

图3 深度图像边缘校正原理Fig.3 Principle of depth image edge correction

深度图像边缘校正过程可表示为

(2)

式中：N8A′为点A′的8邻域范围；MA′为点A′的8邻域范围内所有边缘点深度值的中值。

针对深度图像上的空洞及相似边缘校正后在8邻域范围内留下的空缺，采用基于Navier-Stokes方程的图像修复算法，根据待修复区域周围的像素值及像素间的结构关系，估算空缺区域可能的像素排列，从而修复图像非边缘部分。针对脉冲噪声，选用尺寸为3×3的中值滤波器滤波，以深度图像深度值的中值作为滤波器中心像素值。完成上述操作后，得到高精度深度图像。

4 煤流计算

基于高精度深度图像，对煤料进行像素级分割，建立煤料体积计算模型，得出当前区域的煤料体积，再根据当前输送带速度计算煤流，如图4所示。OW为TOF相机的焦点，也是世界坐标系OWXWYWZW的原点；H为TOF相机距输送带的垂直距离；α，β分别为TOF相机在XW，YW方向的视野范围；v为输送带沿XW方向的实时速度；L，K分别为TOF相机所采集图像在XW，YW方向的实际长度。

图4 煤流计算原理Fig.4 Principle of coal flow calculation

将输送带空载时的高精度深度图像F0与当前高精度深度图像Fd逐像素相减并乘以转换系数δ(深度图像像素值与实际深度的转换比例)，得到当前ROI内煤料的实际高度图像：

h=δ|Fd-F0|

(3)

h上任意位置(x,y)处像素点的值h(x,y)代表该点对应的煤料实际高度。计算Fd中ROI表示的实际面积：

(4)

式中：SD为Fd所表示区域的实际面积；m为每帧深度图像的像素数；n为当前ROI内的像素数。

(5)

当前ROI的煤料总体积可近似转换为单位像素表示的体积积分，通过对煤料进行像素级分割并积分得到。积分原理如图5所示。将煤料体积近似划分为多个底面积相同的立方体，每个立方体与深度图像的像素点一一对应。

(a) 俯视

(b) 俯视分割

(c) 侧视

(d) 侧视分割

当前ROI内的煤料体积为

(6)

当前煤流为

(7)

5 实验与结果分析

实验环境如图6所示。采用Swift-G TOF相机(参数见表1)采集煤料深度图像和强度图像。将TOF相机安装在输送带上方，使其轴线垂直向下。考虑到测量范围，相机安装高度距输送带上表面1.08 m。将实验采集的图像以数字方式传输至计算机。基于Visual Studio 2019、开源计算机视觉库OpenCV 和Windows10操作系统对输送带煤流检测方法进行开发和实验。

图6 实验环境Fig.6 Laboratory environment

参数值分辨率/像素640×480工作范围/m0.5～6视野范围/(°×°)43×33照明内置7个LED@850 nm运行温度/℃-20～50最大帧率/(帧·s-1)44

实验采用大小不等的煤块。TOF相机以10帧/s的速度采集输送带运煤图像。输送带当前速度由测速装置获得。深度图像煤料区域识别如图7所示，其中a-c分别为均衡化、去除背景噪声、采用边界跟随算法处理后的深度图像，d为煤料ROI区域。

图7 深度图像煤料区域识别Fig.7 Recognition of coal area in depth image

强度图像引导的深度图像修复如图8所示。a，b分别为均衡化、边缘检测后的深度图像；c为深度图像与强度图像边缘相似度大的区域；d,e分别为均衡化、边缘检测后的强度图像；f为将深度图像ROI修复并均衡化后的结果。

图8 强度图像引导的深度图像修复Fig.8 Intensity image-guided depth image restoration

为便于验证煤流检测效果，将煤流转换为一段时间内的煤料总体积：

(8)

式中：s为TOF相机帧率；k为TOF相机在煤料经过时段所采集深度图像的总帧数；Gi为根据TOF相机采集的第i帧深度图像计算得到的瞬时煤流。

为了验证本文方法的准确性和精度，将煤料分为体积不同的3组，分别在0.5，1.0，1.5，2.0 m/s输送带速度下检测煤料体积，每次实验重复10次，取平均值，结果见表2。采用平均误差表示检测准确度，采用标准差表示检测精度。

表2 煤料体积检测结果Table 2 Detection results of coal volume

从表2可看出：未采用深度图像修复时，煤料体积最大检测误差为5.73%，最大标准差为3.783，表明基于TOF相机的输送带煤流检测方法可行；采用强度图像引导的深度图像修复算法后，煤料体积最大检测误差为3.78%，最大标准差为0.491，提高了检测准确性与精度；随着输送带上煤料体积增大，检测误差略有减小。实验中所有数据的平均处理时间为83 ms。可见，本文方法满足实际生产中对煤流检测准确性、精度及实时性要求。

6 结论

(1) 提出了一种基于TOF深度图像修复的输送带煤流检测方法:采用帧差法和边界跟随算法识别煤料区域；针对深度图像边缘信息不准确问题，提出了强度图像引导的深度图像修复算法，利用强度图像中的有效边缘信息对深度图像中边缘处的不可靠数据进行修复；结合TOF深度图像特点，通过建立煤料体积计算模型计算煤流。

(2) 实验结果表明，该方法对煤料体积的检测误差不超过3.78%，标准差不超过0.491，数据平均处理时间为83 ms，满足实际生产要求。

(3) 下一步将重点研究如何减少因带式输送机运行抖动导致的检测误差。