露天矿山智能矿用卡车的目标检测与跟踪研究

李源征宇，胡云卿，龙 腾，黄文宇，潘文波，李培杰

（中车株洲电力机车研究所有限公司，湖南 株洲 412001）

0 引言

在露天矿山生产系统中，一定数量的矿用卡车（简称“矿卡”）在电铲和卸载点之间运输泥土、岩石和矿物。由于矿卡具有高、宽、大的特点，其盲区大、制动距离长，因此矿卡发生交通事故的概率很高，由此造成巨大的人力、物力和财力损失。随着技术的发展，智能驾驶矿卡应运而生，其在提高安全性和生产力的同时还节省了劳动力成本，成为矿山数字化不可或缺的一部分［1］。在矿卡智能驾驶技术中，环境感知是非常重要的环节。智能驾驶环境感知系统常用的传感器有激光雷达、毫米波雷达和视觉传感器［2-3］。视觉传感器成本较低，在智能驾驶领域应用较为成熟，虽然其容易受浓尘遮挡的影响，但在轻度灰尘场景，具备实现露天矿山目标检测的应用潜力。目前，业界主要采用激光雷达和毫米波雷达作为矿卡智能驾驶的主要传感器。

激光雷达环境感知精度高、测距远，适合高等级自动驾驶对传感器精度和稳定性的要求，因此，基于激光雷达点云的目标检测成为研究的热点；但小目标上的激光雷达点云非常稀疏，不适合采用深度学习方法［4-6］。常用的基于几何特征的激光点云处理方法主要有欧几里得聚类算法、基于RANSAC的点云分割算法和基于深度图的分割聚类算法［7-11］等，这些方法适用于结构化的道路场景中。然而，露天矿山为非结构化道路，路面凹凸不平、尘土飞扬，且路面小障碍物（煤块或石头等）与道路颜色非常接近，而基于结构化道路的检查方法没有重点考虑凹坑、浓尘等对障碍物分割提取的影响，因此难以实现对非平铺、浓尘环境下小尺度、不规则障碍物的稳定检测。

毫米波雷达不受光照、恶劣天气和灰尘等因素的影响，具有准确的测速和测距性能，因此在自动驾驶领域也得到了广泛的应用［12］。然而，毫米波雷达也存在一些缺点，如雷达的角分辨率较低，会因为杂波不能被完全滤除而导致误检等［13-14］。

智能矿卡的运行工况复杂多变，安全性要求高，需要在非平铺道路上实现多目标的实时检测和跟踪，且需具备在浓尘和雨雾雪天气等多种恶劣环境下正常工作的能力。多传感器融合方法可以提高感知系统的鲁棒性和冗余性［15-18］，常用于解决恶劣天气和复杂环境的感知问题。文献［19］提到了一种矿区场景下毫米波雷达与激光雷达融合的算法，其采用联邦卡尔曼滤波的方式融合，能够在灰尘环境中有效地检测障碍物。本文综合考虑行驶环境、系统成本、算法复杂性及传感器特性等因素，提出一种激光雷达与毫米波雷达异构融合的方法，其通过点云深度图提取点云梯度特征，快速分割地面和非地面点云；采用二次分割提取误分类为地面点云的小障碍物，从而可以在更远的距离检测到小障碍物；采用自适应滤尘的多传感器融合策略，减少露天矿山扬尘造成的误报和漏报；将该方法应用于露天矿的实际运输作业，以在各种工况下验证其稳定性。

1 多源传感器异步融合感知系统框架

本文基于激光雷达与毫米波雷达，设计了一种多源传感器异步融合感知系统。该系统由毫米波雷达感知、激光雷达感知和多源传感器异步融合感知3部分组成，通过激光点云分割及聚类、多目标跟踪和目标状态融合模块相互配合，实现了高实时性和高鲁棒性的环境感知功能，感知系统整体框架如图1所示。

图1 多源环境感知系统框架示意Fig.1 Overall framework of the multi-target detection and tracking system

2 特征提取及聚类

为实现矿卡在典型露天矿山环境下的自动驾驶，要求感知方案能够进行较远距离的车辆、行人和异形障碍物检测及多目标跟踪。本文选择基于点云深度图进行雷达障碍物检测，其主要包括点云深度图构建算法以及点云分割和聚类算法两个部分。点云结构是无序的，通过深度图将其转换为有序的结构，从而提高了遍历和搜索的效率，极大地提高了算法性能，能够满足矿卡智能驾驶的实时性要求；同时算法通用性较强，可以适应多种复杂的场景。

2.1 激光雷达点云深度图构建

在预处理阶段，将获取的无序点云数据进行结构化处理。本文主要根据点云水平和垂直两个方向的角分辨率将点云数据转化为深度图数据。其中，深度图的行列计算如下：

式中：VAG——激光雷达垂直视场角大小；VR——使用激光雷达的垂直角分辨率；r——点云数据转化为深度图对应的行数；HAG——激光雷达水平视场角大小；HR——使用激光雷达的水平角分辨率；c——点云数据转化为深度图对应的列数。

2.2 激光雷达点云梯度提取及地面分割

基于结构化的点云深度图，对点云数据进行搜索。在搜索过程中，根据横向相邻点以及纵向相邻点的特征约束进行分割与聚类。横向相邻点的特征约束为相邻两点之间的欧式聚类或曼哈顿距离；纵向相邻点约束为纵向梯度特征，见图2。图中，点P与点M为同列相邻行的两点。纵向梯度特征α由式（3）确定。

图2 点云纵向梯度特征示意Fig.2 Schematic diagram of point cloud longitudinal gradient feature

式中：zp与zm——点P与点M在图2坐标系下Z轴方向坐标；lp与lm——点P与点M在图2XOY平面中与原点O的距离，lp与lm分别由式（4）和式（5）得到。

式中：xp与yp——点P的X轴和Y轴坐标；xm与ym——点M的X轴和Y轴坐标。

将式（3）计算所得纵向梯度特征α与阈值α0进行比较。若α大于α0，则判定该点与纵向相邻点为非地面点且属于同一障碍物，并同步更新聚类编号；若α小于α0，则将该点与纵向相邻点视为地面点。同理，将所有点云分割为地面点和非地面点。

2.3 点云二次分割

二次分割是对第一次分割中被错误分类为地点的小障碍物进行重新分割，使小障碍物保留的点云数量更多，从而可以在更远的距离检测到小障碍物。二次分割主要可以从以下3个方面考虑：

（1）基于第一次分割得到的梯度特征，在固定区域用不同阈值进行重新分割。第一次分割得到的地面特征可以将所有点云分割为高于地面的点云、靠近地面点云以及低于地面的点云。不同区域的点云被设定不同的梯度阈值，这样能够更加精细化地提取靠近地面的目标点云，保证小目标分割得到更多点云。不在近地面区域的目标点云通常属于较大障碍物，其设定的分割阈值可以更加宽松。

（2）可以基于单点强度来提取障碍物点云。通常情况下，障碍物的点云强度显著高于地面点云，可以考虑单点强度突出的点云，在其周围一定范围内进行搜索。在第一次分割和重新分割固定区域后的地面点云中，将强度突出的点云作为种子点。找到种子点后，搜索其邻域内点的梯度特征；如果邻域的梯度特征满足阈值要求，则将该区域的点云划分为非地面点云，从而实现小目标的特征提取。

（3）可以基于点云的密度特征进行小障碍物的提取。基于激光雷达的扫描方式，通常非地面点云更加密集。通过搜索每个非地面点邻域内的点云，计算其密集程度。若某个点邻域内包含多个距离较近的点云，则将此点云簇分割为非地面点云。

2.4 聚类

经地面分割和感兴趣区域提取后，得到感兴趣区域内的非地面点云。为了从点云中得到障碍物信息，需要进一步对感兴趣区域点云进行聚类处理。聚类算法的根本目的是将分散的激光雷达点云划分成为若干个独立的点云集合，并将得到的点云集合视为障碍物。

基于密度的聚类算法（density based spatial clustering of applications with nose，DBSCAN）被用于毫米波雷达的点迹聚类和激光雷达分割后的点云聚类，该算法主要使用2个参数：半径和密度阈值。本文根据传感器分辨率以及安装位置，确定矿卡前方和侧方不同区域内的半径和密度阈值参数。同时，在计算点与点之间的距离时，使用马氏距离代替欧式距离，选择障碍物的空间坐标、速度以及强度等作为距离参数。由于各个参数之间相互独立，因此马氏距离协方差矩阵的对角线参数为各个维度的方差。

3 多目标跟踪

本文结合航迹信息提出了一种最近邻数据关联算法的变形算法，其通过数据关联能够有效生成稳定连续的多目标航迹。假设当前帧共有i个目标j个测量值，该算法首先对每一个目标的前一帧数据进行分析，得到对应目标当前帧的预测值；然后获取雷达当前帧的所有目标测量值，同时根据目标预测值与测量值之间的关系建立关联门，再计算每一个预测值与测量值之间的关联距离，构成关联距离矩阵，如式（6）所示；最后，遍历每个目标关联门内的关联距离，找到最小关联距离对应的测量值，实现前一帧某个障碍物的预测值与当前帧某个障碍物测量值的数据关联。依次类推，即可得到所有目标当前帧对应的测量值。每个预测值与测量值构建的关联距离矩阵为

式中：d(p，q)——上一帧第p个预测值与当前帧第q个测量值之间的关联距离。

图3示出多目标关联示意，先由目标1遍历关联门内的测量，关联门内仅有d(1，1)和d(1，2)，且d(1，1)＞d(1，2)，则目标1与测量2关联；其他目标和剩余测量值按照同样的方式进行关联。本算法定义关联距离为马氏距离Md，如式（7）所示；进一步定义目标值与测量值之间的关联距离d，如式（8）所示。

图3 多目标关联示意Fig.3 Schematic diagram of multi-target association

式中：tl——当前目标的航迹长度；x、y——目标在车辆坐标系x轴、y轴方向的坐标，Ex、Ey——传感器在车辆坐标系x轴、y轴方向上的测量误差。

4 多源传感器异步融合

为了提高目标检测结果的准确率，克服异构传感器融合难点，本文设计了一种多源传感器异步融合策略，以提升非平铺道路、扬尘环境下车辆目标检测与跟踪能力。

4.1 多源传感器时空同步

激光雷达坐标系相对于车辆坐标系的转换可以通过坐标轴的平移偏差Δx、Δy、Δz和旋转角度偏差ε、β、γ来表示，因此本文采取基于特征的方法标定激光雷达外参数。其首先标定俯仰角偏差ε、横滚角偏差β、平移参数偏移Δz，然后标定偏航角偏差γ，最后标定平移偏移Δx和Δy，从而完成激光雷达与车辆坐标系之间的空间同步。

由于毫米波雷达获取的是目标级数据，本文采用基于标定物的多传感器联合标定方法进行多源传感器空间同步，仅考虑两者坐标系中x轴，y轴上的平移偏移量δX、δY和航向角偏移量δγ，传感器坐标系转换关系如下：

式中：XL、YL——激光雷达坐标系下x轴、y轴方向的坐标值；XR、YR——毫米波雷达坐标系下x轴、y轴方向的坐标值。

4.2 目标状态融合

针对矿区环境下的灰尘误报、灰尘遮挡导致障碍物漏报等问题，本文设计了一种新的融合策略以提升多源传感融合算法在矿区环境下的适应性和鲁棒性。在无灰尘情况下，融合算法根据激光雷达和毫米波雷达的感知结果和跟踪稳定性结果，采用模糊逻辑方法判断选择输出的目标，如对车前方大尺寸的物体需要激光雷达和毫米波雷达同时感知到才会输出，小尺寸的物体需要激光雷达稳定跟踪多帧才会输出。在较高浓度的灰尘情况下，融合算法会自适应地调整激光雷达和毫米波雷达的障碍物输出置信度，毫米波雷达透过灰尘输出感知结果。

同时由于传统的最近邻匹配算法只考虑了点与点之间的距离，未考虑障碍物的形状、尺寸和航向角等因素，因而导致激光雷达和毫米波雷达上报的大尺寸障碍物在时空同步误差较大的时候关联失败。因此，本文基于传统的最近邻算法改进了障碍物的匹配距离的计算，其用马氏距离替代欧氏距离，将障碍物坐标、长度、宽度和航向角5个参数用作马氏距离的计算并设定对应参数的方差；与传统的最近邻算法相比，其提高了障碍物关联的准确度。

在目标属性识别方面，激光雷达根据检测到的目标尺寸、速度和平均强度等信息，与分类目标的相应属性进行模糊比对，初步得到目标的类型信息。融合模块结合激光雷达和毫米波雷达的检测结果以及匹配关系，对目标类型进一步校准。

5 实验和分析

本文基于矿卡智能驾驶运行环境，对提出的多源传感器融合感知系统各个模块功能进行了实验验证，其中道路运行环境如图4所示。试验车在露天矿山道路上进行测试，并基于ROS（robot operarting system），系统采集激光雷达和毫米波雷达的原始数据，测试场景包括主要的装载、运载、卸载等场景，采用多目标检测与跟踪算法对数据进行处理，并对感知结果进行分析。

图4 矿卡智能驾驶行驶环境Fig.4 Driving environment of unmanned mining trucks

本文在露天矿山实际作业场景验证该系统的多源传感器目标融合效果。由于露天矿山作业过程中不允许有行人，场景中检测到的目标主要是车辆、石头和挡墙等，因此分别对车辆检测跟踪、小目标检测、灰尘滤除和挡墙角度检测等技术难点进行验证。图5（a）为矿卡和小轿车的检测跟踪效果，该感知系统融合激光雷达和毫米波雷达检测结果，利用基于最近邻关联的多目标匹配方法，在200 m处能够检测到矿卡，150 m处能够感知到小车。图5（b）为小型各异障碍物检测效果，对尺寸为30 cm×30 cm×30 cm障碍物，检测距离可达50 m，在30 m范围内可以精准感知出高于30 cm的石头和设备等障碍物，避免了小型障碍物对车辆轮胎的伤害。

图5 多目标检测与跟踪结果Fig.5 Results of multi-target detection and tracking

针对小障碍物，本文的二次分割算法能够显著提升检测能力，如图6所示。未进行二次分割前，传感器无法检测出远处小障碍物，见图6（a）；进行二次分割以后，小障碍物的点云更多地被保留，能够有效区分地面点云与小障碍物点云，小障碍物被检出，见图6（b）。

图6 小障碍物检测结果Fig.6 Results of small obstacle detection

图4（d）为露天矿山常见扬尘场景，灰尘能够有效反射激光雷达点云，导致误触发碰撞停车。本文算法利用毫米波雷达对灰尘不敏感的特性，将车辆前方安装的多个毫米波雷达返回的点云进行聚类，将聚类结果与激光雷达感知结果进行融合，通过判断毫米波雷达和激光雷达聚类的尺寸和位置的差异性，判断当前帧中激光雷达上报的障碍物是否因灰尘导致尺寸发生畸变或误报；若存在尺寸畸变，则利用毫米波雷达的尺寸和轮廓进行修正，滤除灰尘部分，从而减少灰尘误报。灰尘滤除前后结果如图7所示。

图7 灰尘滤除效果Fig.7 Dust removal effect

6 结语

本文提出一种基于激光雷达与毫米波雷达融合的多目标检测与跟踪算法。该方法结合激光雷达和毫米波雷达的优点，在保证高精度、高鲁棒性的前提下，解决了单激光雷达不能全天候工作和测速不准确的问题，提升了单毫米波雷达检测准确性；其还采用二次分割技术，提升了非平铺道路环境的小型各异障碍物的稳定检测；同时，采用多源传感器异步融合策略，提升了感知系统在扬尘环境下目标检测与跟踪能力。测试结果表明，该方法能在200 m范围内精准检测矿卡，且能精准检测50 m范围内30 cm见方的各种异形目标。在进行障碍物属性识别分类的研究中，采用通过融合毫米波雷达属性信息和激光雷达尺寸特征获取目标属性信息的方法对车辆的识别率较高，但对小目标的识别水平有待提升。后续将融合3D点云和视觉深度学习技术，进一步提升石头和小土堆的识别率。