井下低照度环境下的钻孔机器人目标跟踪器

由韶泽，朱 华，李猛钢，唐超权，吉泽勇，段宇峰

(1.中国矿业大学 机电工程学院，江苏 徐州 221116；2.江苏省矿山智能采掘装备协同创新中心，江苏 徐州 221008)

近年来，救援[1-3]、地下探测[4]等方向成为了煤矿机器人研究的热点。2019年《煤矿机器人重点研发目录》发布，引导了煤矿机器人的快速发展[5]。煤矿环境是典型的恶劣环境，存在着诸如通信受限、地形崎岖、光源缺乏等各种挑战。而对于采用机器视觉来工作的煤矿移动机器人来说，井下的低照度环境是大部分视觉算法的“头号杀手”，会引起精度降低、算法失效等问题，通常的应对方法是采用红外相机或者双目深度相机进行探测[6]。其中，红外相机提取的是灰度图，特征单一，不适用于高性能的目标识别、跟踪算法；双目深度相机提取的深度图虽然受光照影响小，但依赖显卡等大功率计算资源，对于移动机器人这种有着严格能耗限制的设备并不友好。近年来，计算机视觉中的图像增强算法与目标跟踪算法发展迅速[7-8]，其中前者可以针对低照度环境对图像进行加工以改善图像的质量，从而使处理后的图像更适于人眼的观感或机器的识别；后者则能够实现对指定目标的跟踪、定位与识别，并将目标的各项参数提供给控制器，为后续的应用处理提供数据。

目标跟踪是计算机视觉的重要组成部分，经过十几年的发展，目标跟踪器从传统的生成类方法迅速迭代至判别类方法[9-10]，并逐步研发出基于相关滤波[11-13]与基于深度学习的跟踪器[14-15]。近年来，跟踪器之间的形式差距越来越小，比如基于深度特征的相关滤波跟踪器[16]与加入了相关滤波模块训练的Siamese跟踪器[17]等。但深度学习网络的精度很大程度取决于目标样本的训练数量与类型，且参数众多容易出现过拟合，导致多数算法泛化能力较弱，工程实用性有待提高。

低照度图像增强技术在相机HDR(High Dynamic Range Imaging)、夜视处理、自动驾驶等不同领域中都有广泛应用。由于低照度图像中的灰度值总体偏小，使图像整体偏暗，因此最早的图像增强技术是针对图像特征直方图区进行调整，这种方法被称为直方图均衡化(Histogram Equalization,简称HE)[18]。由于图像各个相邻像素之间的相关性大，轮廓边缘像素与非边缘邻域像素间的灰度值差异较小，细节信息弱化，因此发展出了基于视网膜Retinex理论的图像增强技术[19]。深度学习和神经网络相关技术出现后，基于CNN[20]、GAN[21]等网络训练的图像增强算法，使得增强后图像的观感有所提升，但需要消耗巨大的计算资源。

基于以上问题及相关研究，笔者提出一种结合图像增强算法的低照度单目标跟踪器(Low-light image target tracker，简称LIT)，不仅能耗低、实时性强、特征采样好，并且简单易用，适合移植到各种承担煤矿前后车跟随、巷道巡检、地下探测等任务的移动机器人上。

1 低照度图像目标跟踪器

对于移动机器人的目标跟踪任务来说，算法的运行速度是第一准则，其次要兼顾精准度。在分析对比前人的相关工作成果后[7-8]，决定选择采用实时性能较好的多通道背景感知相关滤波器(Background-Aware Correlation Filters，简称BACF)[13]作为基准跟踪器，并结合增强效果与速度相平衡的弱光图像增强算法(Low-light Image Enhancement,简称LIME)[22]进行综合改进。低照度图像目标跟踪器算法流程如图1所示。LIT跟踪器通过对输入图像进行照度判别，并在低照度时对输入图像进行增强处理，再送入相关滤波器进行跟踪，以确定目标当前位置与尺度。

图1 低照度图像目标跟踪器算法流程

1.1 低照度图像增强

当一帧图像输入后，首先需要对其进行亮度检测，以确定是否对当前帧图像进行增强。由于目标跟踪中的图片常常处于不确定光照度的环境中，会造成某点的局部亮度高于全局平均亮度的问题，因此，提出了一种范围图像亮度检测的方法，具体形式如图2所示。

图2 局部亮度检测

对于一幅输入图像Lc(·)，仅检测目标周围环境的均值亮度，具体计算公式如下：

(1)

式中：c∈{R,G,B}，表示图像三原色通道;p表示图像中某一像素点(pixel)。

基于视网膜Retinex理论[19]，图像增强一般分为初始光照图估计和光照图细化两部分，LIME将其看作同时保持图像原始结构和平滑纹理细节的优化问题，基于照度图可以进行如下优化：

(2)

权重矩阵W的选取形式与文献[23]类似，采用公式(3)的方式设置权重，且仅基于初始给定值U构造一次:

(3)

(4)

式中:o包含图像宽w和高h两个方向，需要分别求解；Gσ(u,v)由标准偏差σ的高斯核产生;d(u,v)为u到v的欧氏距离;ε为防止分母为0的微小常量。

对于公式(2)，可以采用精确求解与快速求解2种方式来进行优化求解。

1.1.1 精确求解

一般情况下，公式(2)作为岭回归问题，可以构建如式(5)所示的增广拉格朗日(Augmented Lagrangian Method，简称ALM)公式，并采用交替方向乘子法(Alternating Direction Method of Multipliers，简称ADMM)求得优化函数的闭式解。由于得到了精确求解的数值，因此图像恢复质量较好。

(5)

式中：Z为拉格朗日乘子；〈·，·〉为内积；μ为惩罚因子。

式(5)通过ADMM可以将问题转化为以下3个不同子问题交替求解,以获得最优解。

1)子问题T：

(6)

2)子问题G：

(7)

公式(7)表示收缩算子J，用来对向量和矩阵按元素位给定阈值进行缩放，阈值由矩阵A的相应元素给出。

3)子问题Z和μ：

(8)

此处Z和μ的更新较为简单，下一次的优化值均由前一次迭代优化计算所得到的子问题T与G的值给出。

1.1.2 快速求解

由于公式(2)的L1范数矩阵为稀疏矩阵，因此可以通过求极限的方式来简化计算，使问题转化为求解对称正定的拉普拉斯矩阵，并通过以下方式直接求解：

(9)

由于抛弃了迭代求解的步骤，所以计算复杂度由O(NlogN)降低至O(N)。

1.2 多通道背景感知相关滤波器

多通道背景感知相关滤波器BACF将目标跟踪问题构建为最小化目标函数来进行优化求解：

(10)

式中:xk∈M,为第k个通道的矢量化图像样本，即输入的图像；yj∈M,为相关响应y的第j个元素，y符合高斯分布；fk∈D,为目标函数训练得到的滤波器;[Δτj]为循环位移算子；xk[Δτj]为样本xk的第j阶离散循环位移；λ为正则化参数；K为特征通道的数目；M为样本x的长度，裁剪矩阵P∈BD×M，其中D≪M，B表示掩模矩阵，P用来裁剪样本xk中心大小为D的像素。

相关滤波器需要在频域训练滤波器来提高计算效率[24]，根据Parseval定理构建公式(10)在频域的岭回归公式：

(11)

与1.1节类似，BACF同样可以通过构建ALM公式来进行优化求解：

(12)

(13)

(14)

(15)

完成优化求解后，在第f帧采用以下方式对样本进行自适应更新，其中η是在线学习率：

(16)

(17)

进行相关响应求解时共生成N个不同尺度的响应图，最终选取相关响应最大的尺度图s作为当前尺度变化。

2 试验装置与参数配置

2.1 算法参数配置

试验中LIT跟踪器的部分参数设置如下：缩放尺度个数S=5，尺度增量因子α=1.01，HOG特征图通道数为31，CN特征图通道数为11，ADMM迭代次数为2，正则化因子、惩罚因子与学习率分别为λ=0.01，σmax=100，β=10，η=0.013。增强算法的部分参数设置：ω=0.05，μ=2.0，γ=0.8，ADMM迭代次数也为2次。滤波器更新频率采用间隔更新的方式[12]，间隔帧数为5帧。

2.2 现场试验装置及硬件布置

井下试验在平煤集团首山一矿某回风巷内进行，试验平台为中煤科工集团西安研究院设计的ZDY-4000LK型煤矿钻孔机器人，摄像头采用徐州科瑞矿业的KBA12H矿用本安型相机，本安激光雷达为中煤科工集团重庆研究院设计的GUL40，两种传感器的防爆等级均为Exib I Mb。钻孔机器人硬件配置及试验区域如图3所示。

图3 钻孔机器人硬件配置及试验区域

在本研究中激光雷达仅用作数据采集，采用纯单目摄像头进行跟踪试验。工控机安装在机器人防爆箱体内，硬件配置为Intel i7-8700 3.40 GHz CPU和Nvidia GeForce GTX 1660Ti GPU。LIT算法代码采用C++编译，通过ROS节点开启运行，并采用rosbag进行录制，目标由人工在界面中框选。视频长33 s，共940帧，目标受到强光照变化，平面外旋转、快速运动，以及长时间出视野的影响。

3 试验结果及分析

3.1 图像亮度检测策略验证试验

亮度检测策略对图像增强算法的影响如图4所示。

图4 亮度检测策略验证

在OTB-100[7]中的David序列上，全局像素亮度设置为由0～127共128个级别，在第83帧的图像左下角可以看到一个亮点，这使得全局亮度高达120，而此时目标周围的平均亮度只有21，这就会导致亮度检测器错误地判断有图像增强的必要性。当第83帧图像的全局亮度为120时，采用图像亮度检测策略可以正确地判断目标范围的亮度。在测试集中，David序列目标在第150帧已经可见(光照度Light>30)。因此将曝光迭代次数设置为1，照明强度阈值L设置为40。从测试中可以看出所提出的范围图像亮度检测算法对于一般目标跟踪任务中的低照度图像亮度值的检测具有明显改善，不会因为非目标区域的噪点而产生非预期的效果。

3.2 图像增强算法对比试验

煤矿钻孔机器人在实时视频图像中进行跟踪时，优先考虑的是跟踪算法的运行速度及机器人的续航时间，图像优化时间过长会导致目标跟踪算法性能降低，计算量过大会导致续航时间骤降。因此重点讨论采用CPU作为主要算力的传统图像增强算法，没有对基于深度学习训练的相关算法进行比对。以图像增强算法的处理速度作为主要评价指标，并给出部分分辨率下的图像增强效果。

选取主流的几种图像增强算法[25-28]，并在常见的图像分辨率下与LIME进行优化时间的比对，样本图片缩放为摄像头常用的360、480、720、1 080 P共4种分辨率级别。图像增强算法速度对比见图5。

图5 图像增强算法速度对比

由图5可以看出，当图像大小为480 P以下时，除LIME-SP(Sped Up)外的其他算法都在5 Hz以下，且精确求解方法LIME-EX(Exactly)所用时间为快速求解方法的2倍。文献[27]和文献[28]由于没有快速优化求解的步骤，在所有分辨率下运行速度均低于1 Hz。当图像达到720 P时，LIME-SP的处理速度也急剧下降，文献[28]因内存溢出无法继续计算。为了保证视频图像的传输稳定性，移动机器人一般搭载的摄像头分辨率普遍为480 P或720 P。并且在目标跟踪算法采用间隔帧更新滤波器时[12]，更新频率与LIME-SP算法的增强频率大致相似，因此LIME-SP的运行速度足够LIT跟踪器使用。

原图、LIME-SP与其他4种增强算法在720 P图像中的细节对比如图6所示。

图6 图像增强算法质量对比

从图6可以看出,所有算法都具有明显的亮度恢复效果，均完整展现出了隐藏在黑暗中的机器人。其中文献[25]、[27]和[28]3种算法的噪点控制较好，没有出现过曝光的现象。相对而言，LIME-SP与文献[26]在图像降噪和处理曝光程度方面的控制欠佳，除了照度较高的区域之外，图中下方的地面区域都过度曝光。但从图6可以看出，进行增强处理后的图片其细节及照度均可正常用于LIT跟踪器的跟踪。

3.3 低照度跟踪算法实验

LIT跟踪器(玫红)与基准跟踪器BACF(蓝色)的定性比较，同时与文献[12](黄色)、文献[29](绿色)和文献[30](红色)中所采用的几种顶尖跟踪器进行比较，结果如图7所示。

图7 目标跟踪器性能对比(地下车库)

测试数据集共1 044帧，目标受到光照变化、旋转、背景相似及低照度的影响。在第165帧时，文献[12]和[30]因为背景相似的干扰导致跟踪失败，之后包围框跟随汽车与机器人运动。在第850帧进入黑暗区域后，文献[29]和BACF保持在目标“消失”的位置，只有LIT成功跟踪到最后一帧。

LIT跟踪器与其他几个跟踪器的平均运行速度和性能的定量对比结果见表1。可以看出，虽然所有算法都能保持实时速度，但只有改进后的LIT跟踪器成功地对目标进行了全程跟踪，而其他跟踪器在黑暗环境或背景相似条件下无法成功跟踪目标。

表1 平均帧率与性能定量对比

LIT跟踪器在井下实地场景中进行跟踪的效果如图8所示。可以看出：在第75帧时，虽然照度较低、色彩不明显，但LIT跟踪器仍能正确跟踪矿工头部；在第264帧时，由于进入灯光区域，目标特征明显变得清晰可见，跟踪效果正常；在第516帧时，目标进行了平面外旋转，跟踪目标转移为矿工头盔；在第580帧后，由于目标在视野中消失，包围框停留在图像边缘，但在第600帧后重新捕捉到正确目标并跟踪至最后。综合来看，LIT跟踪器虽然在中期和后期，在光照变化时对目标范围判断有误差，但始终能在选定目标范围内进行跟踪。

图8 井下现场试验效果

平均帧率曲线与跟踪器目标置信度曲线如图9所示，结果显示LIT算法在此场景下平均运行帧率为40 Hz，以跟踪大于0.5为成功跟踪来看，平均跟踪重叠精度达到81.6%，表明其能够准确地跟踪目标而不发生飘移。

(a)平均帧率曲线

通过现场试验可以看出，当模型隐藏在暗处中时，细节相对粗糙的增强效果仍然可以提升目标的跟踪精度。这意味着跟踪器不需要“超精细”样本模型也可以进行跟踪，这一方面是相关滤波跟踪器间隔帧更新带来的好处；另一方面，相关滤波跟踪器的特性使其可以根据目标与背景的明显差异来跟踪正确的目标。

4 结论

1)由亮度试验结果可以看出，所提出的局部均值亮度检测方法在具有局部噪点的情况下可以准确计算目标周围照度。

2)在CPU作为主要算力的情况下，LIME-SP图像增强算法在常规720 P摄像头所采集的图像优化速度优于其他方法，且在目标跟踪时能实时计算。

3)在考虑到移动机器人的功耗限制的前提下，LIT在低照度环境中的跟踪精度为100%、重合精度为94.3%，相较基准算法BACF来说，跟踪精度提升了49%，重合精度提升了105%。

4)井下现场试验结果表明，在钻孔机器人平台上，LIT平均跟踪重叠精度达到81.6%，平均运行帧率为40 Hz，可以正确有效地跟踪目标人员。