基于多源传感器的矿井移动目标跟踪与定位

孙晓辉

摘要： 针对井下NLOS环境信号接收强度（RSSI）和飞行时间（ToF）定位方法存在多径干扰和定位时延，导致定位误差较大问题，提出了基于多源传感器的矿井移动目标跟踪与定位方法。首先通过建立矿井移动目标跟踪与定位模型，利用混合卡尔曼粒子滤波算法监测井下移动目标的位置范围，在阈值内触发CCD视觉传感器对移动目标图像信息采样和特征提取。将预测和估计的移动目标坐标转化为CCD视觉传感器的图像物理坐标系坐标，并进行特征匹配图像的分割，以缩小CCD视觉传感器的特征匹配范围，提高匹配速度。最后利用SIFT算法对已训练图像与采集的目标图像进行特征匹配并对移动目标进行融合定位，根据CCD视觉传感器所在基站位置获取和校正矿井移动目标的准确位置信息，实现实时跟踪与精确定位。实验表明，与其他算法相比，在视觉传感器监测阈值内，本文方法能够有效提高定位精度和实时性，对井下目标遮挡、低照度和噪声环境下移动目标跟踪与定位具有较强的鲁棒性。

关键词： 矿井；混合卡尔曼粒子滤波算法；SIFT算法；CCD视觉传感器；跟踪与定位

中图分类号：TP311 文献标识码：A 文章编号：1009-3044（2018）09-0252-04

Abstract： For underground NLOS environment， signal reception intensity （RSSI） and time of flight （ToF） location methods exist multipath interference and location delay， resulting in large positioning error. A mine moving target tracking and location method based on multi-source sensor is proposed. First， a mine moving target tracking and positioning model is established. The hybrid Calman particle filter algorithm is used to monitor the location range of the underground moving target， and trigger the CCD vision sensor to sample and extract the moving target image information within the threshold range. The predicted and estimated coordinates of the moving target are transformed into the coordinates of the image physical coordinate system of the CCD vision sensor， and the feature matching image is segmented so as to reduce the feature matching range of the CCD vision sensor and improve the matching speed. Finally， the SIFT algorithm is used to match the features of the trained image and the acquired target image， and the hybrid Kalman particle filter algorithm is used to fuse the moving target. So that the accurate position information of mine moving target can be acquired and corrected by using the location of the base station where the CCD vision sensor is located， so as to realize real-time tracking and precise positioning. Experiments show that compared with other algorithms， the proposed method can effectively improve location accuracy and real-time performance in vision sensor monitoring threshold， and it has strong robustness for moving target tracking and location in underground target shelter， low illumination and noise environment.

Key words： mine； hybrid Kalman particle filter algorithm； SIFT algorithm； CCD vision sensor； tracking and location

1礦井移动目标定位现状分析

现阶段煤矿井下移动目标的定位精度和实时性不足，而随着矿山智能开采对信息化、智能化的要求越来越高，高精度、高实时性的移动目标定位对保障矿井人员避险和智能安全开采具有重要意义[1-2]。目前，已经有一些基于RFID、WIFI和UWB等定位技术，以及RSSI、TOA、AOA等定位算法在井下定位中得到较为广泛的应用，但上述定位技术和定位方法受设备自身时延、井下NLOS环境的多径干扰、井下电磁波传输衰减影响，导致RSSI、TOA和AOA等定位算法对移动目标定位精准度上仍显不足 [3-5]。

机器视觉跟踪与定位技术具有定位精度高、抗干扰能力强和可远距离获取目标图像等特点[6-8]，其在非接触测量、智能监控、目标跟踪与识别方面的应用成为研究热点， 已引起国内外学者广泛关注。S. Sokolov研究了Moravec算法的图像特征识别方法，该方法识别率较高，但由于没有对图像进行降噪处理，导致该算法对于图像噪声十分敏感[9]；张磊等提出结合SURF与Kalman滤波的CAMShift跟踪算法[10]，提高了图像识别的稳定性和识别率；文献[11]提出了基于SIFT特征的目标多自由度mean-shift跟踪算法，但是SIFT算法的特征点提取需要采取金字塔分层方式，运算、匹配耗时较大。而且上述算法在矿井中的研究和应用相对较少。

针对上述问题，基于无线传感理论与机器视觉理论，笔者通过建立矿井移动目标跟踪与定位模型，利用混合卡尔曼粒子滤波算法监测井下移动目标的位置范围，在阈值内触发CCD视觉传感器对移动目标图像信息采样和特征提取；并将预测和估计的移动目标坐标转化为CCD视觉传感器的图像物理坐标系坐标，实现特征匹配图像的分割，以缩小CCD视觉传感器的特征匹配范围，提高匹配速度；最后利用SIFT算法对已训练图像与采集的目标图像进行特征匹配并對移动目标进行融合定位，根据CCD视觉传感器所在基站位置获取和校正矿井移动目标的准确位置信息，实现实时跟踪与精确定位。最后通过实验验证了本文所提出方法的有效性和可靠性。

2算法实现

2.1 SIFT特征匹配算法

SIFT（scale invariant feature transform）是由Lowe[12-13]提出的一种尺度不变特征变换算法。SIFT算法采取局部极值作为特征点，具有旋转、缩放、光照不均等情况下具有较强的不变性和算法的稳定性，在图像较小的情况下仍旧可以产生较多的特征点。其算法实现主要分为三个部分：

（1）尺度空间检测，SIFT算法在DoG（Difference of Gaussian）高斯空间将检测的局部极值作为特征点，利用不同尺度的高斯核与图像卷积在不同空间尺度来表示图像。两个相邻图像的尺度之差[D（x，y，δ）]，即：

其中，[L]表示图像的尺度空间，[Ix，y]表示图像在位置点[x，y]的像素值，[Gx，y，σ]为二维高斯函数，[σ]表示高斯正态分布的均方差，[Gx，y，σ]可表示为

（2）算子添加旋转不变性，关键点[x，y]的邻域像素梯度的模值[mx，y]和方向[θx，y]分别为

为每个特征点确定一个方向，根据Lowe的推荐我们采取128维的SIFT特征描述符来描述特征点，为每个特征点添加位置、尺度和方向三个关键要素，由此来确定一个SIFT算法的特征区域。

（3）特征匹配，在确定不同图像的特征点后，判断不同图像之间特征点的对应关系，我们采取贪婪算法循环比较进而找到每个特征点在另一幅图中对应的特征描述符，即完成匹配。

2.2 基于多源传感器的矿井移动目标定位算法

本文提出的基于多源传感器的矿井移动目标定位算法流程如图1所示：

CCD视觉传感器对无线识别标签特征提取与训练，利用SIFT算法对安装在矿井移动目标的无线识别标签进行匹配特征的识别与提取，为移动目标的特征匹配提供特征集。

混合卡尔曼粒子滤波算法为移动目标位置和权重赋初值，在[k=0]时刻，设定初始粒子总数[nj]，并赋予粒子相同的权值[wji，k=1nj]，根据粒子重要性采样密度函数进行采样，

判决粒子是否退化，根据重采样的衡量指标判断是否满足粒子退化条件[Mi，k

将预测和估计的移动目标坐标转化为CCD视觉传感器的图像物理坐标，并进行特征匹配图像的分割，以缩小CCD视觉传感器的特征匹配范围，实现更高效的特征匹配。

CCD视觉传感器检测移动目标特征，当移动目标进入CCD视觉传感器可采集图像阈值范围内，如图2所示，CCD视觉传感器采集移动目标图像，并在混合卡尔曼粒子滤波算法分割的图像范围内进行移动目标的特征匹配。

判决SIFT特征匹配率[PSIFT_match]是否大于等于判决门限[Threshold]，当[PSIFT_match≥Threshold]时，执行CCD视觉传感器定位，否则，执行融合定位，输出融合后的移动目标坐标[CoordMerge]，

其中[ CoordSIFT]为CCD视觉传感器定位的移动目标坐标，[CoordKalman]为混合卡尔曼粒子滤波算法估计的移动目标坐标。

输出移动目标坐标，根据CCD视觉传感器的移动目标特征匹配在不同匹配率下的定位策略，多源传感器定位方法输出移动目标的坐标，实现矿井下移动目标精确定位。

3 实验结果与分析

为了验证本文提出算法的有效性，我们进行了仿真实验对比，仿真采用晋煤集团刘庄矿井的移动目标场景。采用JetBrains PyCharm平台和开源计算机视觉库OpenCV （open source computer vision library）进行仿真测试，实验硬件环境为处理器i5-3317u、4G内存、NVIDA GT635M GPU设备。

3.1 性能对比实验

（1）特征匹配精度。SIFT算法具有较高的匹配精度和抗噪声能力，在监控环境较为恶劣的矿井下仍然具有较高的算法精度，如图3所示：

我们在CCD视觉传感器采集到的视频图像中添加高斯噪声和椒盐噪声之后，采取SIFT算法进行特征匹配结果如图3所示，我们可以看出SIFT算法存在少量匹配错误，具有较强的抗噪声能力，在较为恶劣的环境中仍然具有较高的匹配性能。

（2）定位算法精度。为了考察和对比采用RSSI、TOF定位算法和本文定位算法在定位精度上的差异，定位精度测试实验对比结果见表1。

由表1实验结果可知，在矿井下0.5-10米范围内分别设置实验，分析可知RSSI算法和TOF算法在定位距离较短的情况下误差较大，容易受到干扰产生较大扰动，导致定位误差较大。本文算法在实验的10米定位范围内具有较高的定位精度，当发生遮挡或者距离较远时，CCD视觉传感器无法监测到移动目标，此时本文融合定位模型采取混合卡尔曼粒子滤波算法定位结果占据更大或者全部权重，弥补CCD视觉定位算法因为遮挡导致的目标丢失和定位不准问题，有效实现对阈值监测距离内的移动目标的高精度识别、定位和跟踪。

3.2 耗时对比实验

为了说明本文算法相较于传统基于SIFT特征匹配定位算法在耗时性能上的提升，我们选取晋煤集团刘庄煤矿井下巷道的检修场景200帧视频图像，图4为传统基于SIFT特征匹配定位算法和本文算法的耗时比较。

由图4实验对比分析可知本文算法采用混合卡尔曼粒子滤波算法预测、分割特征匹配图像来减小匹配范围使得在耗时上要低于传统基于SIFT特征匹配定位算法，能够为移动目标的特征匹配、定位以及追踪提供更高的运行效率和更高的实时性。

4 结语

本文基于传感器网络与机器视觉融合提出的基于多源传感器的矿井移动目标跟踪与定位方法，利用无线传感网络的混合卡尔曼粒子滤波算法与基于SIFT算法的CCD视觉传感器定位方法的融合，实现特征匹配图像的有效分割缩小匹配范围，较传统基于SIFT特征匹配定位方法耗时显著下降，有效提高了定位的实时性；在匹配精度上要高于传统的RSSI和TOF等算法，有效抵抗了电磁扰动显著提高了定位精度；对矿井下相对复杂且多遮挡环境下的移动目标跟踪与定位具有较强的鲁棒性。

参考文献：

[1] 孙继平.煤矿事故特点与煤矿通信、人员定位及监视新技术[J].工矿自动化，2015，41（2）：1-5.

[2] 张帆，闫秀秀，李亚杰. 基于稀疏度自适应的矿井智能监控图像重构方法[J].煤炭学报，2017，43（5）：1346-1354.

[3] 杨文铂，邢鹏康，刘彦华. 一种基于自适应RSSI测距模型的无线传感器网络定位方法[J].传感技术学报，2015，28（1）： 137-141.

[4] 孙继平，李晨鑫. 基于WiFi和计时误差抑制的TOA煤矿井下目标定位方法[J]. 煤炭学报，2014，39（1）：192-197.

[5] 张治斌，徐小玲，閻连龙. 基于Zigbee井下无线传感器网络的定位方法[J]. 煤炭学报，2009，34（1）：125-128.

[6] Kordelas G A， Alexiadis D S， Daras P， et al. Enhanced disparity estimation in stereo images[J]. Image and Vision Computing， 2015，35：31-49.

[7] Zhang L， Yang J J Y， Li D， et al. Research on Target Image Matching Algorithm for Binocular CCD Ranging[J]. Laser & Optoelectronics Progress， 2014， 51（9）：091002.

[8] 谌廷政，吕海宝. CCD细分技术方法研究及应用[J]. 光学学报，2002，（11）：1396-1399.

[9] Sokolov S G， Kazakov B E， Tseitlin D G. The finding of the nematode Daniconema anguillae， Moravec et K?ie， 1987 （Spirurida， Dracunculoidea： Daniconematidae） in Lithuania[J]. Helminthologia， 2006，43（1）：57-58.

[10] 张磊，彭力.结合SURF与Kalman滤波的CAMShift跟踪算法[J].电子测量与仪器学报，2017，31（3）：389-394.

[11] 朱胜利，朱善安，李旭超. 快速运动目标的Mean shift跟踪算法[J]. 光电工程，2006（5）：66-70.

[12] Lowe D G. Object recognition from local scale invariant features. In： Proceedings of the 7th International Conference on Computer Vision. Corfu， Greece： IEEE，1999：1150?1157.

[13] Lowe D G. Distinctive image features from scale invariant key points. International Journal of Computer Vision， 2004，60（2）：91?110.