自动驾驶汽车目标检测方法综述

李爱娟，巩春鹏，黄欣，曹家平，刘刚

1.山东交通学院 汽车工程学院，山东 济南 250357；2.山东交通学院 信息科学与电气工程学院，山东 济南 250357；3.山东交通学院 教务处，山东 济南 250357

0 引言

汽车自动驾驶技术主要包括环境感知、定位导航、轨迹规划和执行控制4个方面[1]，其中环境感知为自动驾驶汽车的决策和控制提供外界环境信息，是自动驾驶的前提和保障，目标检测是环境感知的重要内容[2-3]。综合分析国内外部分研究文献，以目标检测采用的传感器数量和种类对目标检测方法进行分类，综述各检测方法的特点及研究现状，并对目标检测方法未来发展方向进行展望。自动驾驶汽车目标检测方法分类如图1所示。

图1 自动驾驶汽车目标检测方法分类

1 基于单传感器的目标检测方法

自动驾驶汽车目标检测的传感器主要有相机、超声波雷达、毫米波雷达、激光雷达等[4]，目标检测常用传感器的特性如表1所示。

表1 目标检测常用传感器的特性

1.1 基于视觉的目标检测方法

相机是自动驾驶汽车获取周围环境信息的主要来源之一。早期的目标检测多采用视觉获取信息，基于视觉的目标检测方法是先选择候选区域，再对候选区域提取特征并判断目标类型，包括基于传统视觉的目标检测方法和基于深度学习的目标检测方法。

1.1.1 基于传统视觉的目标检测方法

基于传统视觉的目标检测方法采用手工提取特征[5]，主要检测方法有VJ检测器[6]、方向梯度直方图(histogram of oriented gradient，HOG)检测器[7]、可变形部件模型(deformable part-based model，DPM)[8]等。

VJ检测器采用滑动窗口遍历整个图像，判断目标是否存在。文献[6]通过VJ检测器实现对人脸的实时检测，采用检测级联增加对有效目标的计算，提高了检测速度。但该方法检测的目标种类及大小均不固定，滑动窗口不能适应物体大小的改变。

文献[7]改进VJ检测器的缺点，采用HOG检测器，沿用VJ检测器滑动窗口的思想，引入多尺度图像金字塔适应检测目标的变化。文献[9]采用HOG检测器与支持向量机分类器相结合的方法识别前方车辆，并可删除提取区域中的非车辆目标。

文献[8]改进HOG检测器，采用DPM，将整体检测目标分解为局部检测目标，分别检测目标的各个部件，再整合检测结果。传统的DPM主要检测目标图像的梯度特征，容易过滤一些信息。文献[10]提出基于车辆颜色的DPM检测方法，目标检测准确率大于90%，相比传统目标检测方法的检测效率和准确率均较高。

VJ检测器对自动驾驶汽车目标检测方法的进步做出了较大贡献，为后来的目标检测方法提供了思想支持；HOG检测器克服了VJ检测器不能适应物体大小改变的缺点；DPM将整体目标化为局部目标进行检测，一定程度上提升了检测效率。但上述方法均基于手工选取特征区域，存在计算量大、实时性差等问题，不能满足自动驾驶汽车高可靠性的要求[11]。

1.1.2 基于深度学习的目标检测方法

基于深度学习与基于传统视觉的目标检测方法主要区别为特征区域的提取方式不同，前者采用神经网络解决检测目标的分类和回归问题，按检测原理不同分为单阶段和两阶段目标检测方法。

1.1.2.1 单阶段目标检测方法

单阶段目标检测方法是直接应用单个检测网络，代表算法有“你只需看一次”(you only look once, YOLO)[12]系列算法、单点多框检测器(single shot multibox detector，SSD)[13]、RetinaNet[14]等。

文献[12]提出了1种统一的、实时的检测框架YOLO，将目标检测转化为回归类问题，可实现检测目标与背景环境的区分与关联，降低误检率。但对小目标和集群目标的检测较低。目前YOLO系列算法已经发展到v5版本，在保证高检测速度的同时，提升了检测准确率[15]。

针对YOLO v1版本存在的问题，文献[13]采用SSD方法引入多尺度检测，在神经网络的不同层检测多个不同尺度的目标，提升了小目标的检测准确率。文献[16]将SSD应用于小型交通标志的检测，具有较高准确率。为解决单阶段目标检测方法无法兼顾速度与准确率的问题，文献[14，17]提出了新的单阶段检测框架RetinaNet，该算法引入焦点损失函数，使检测框架的关注焦点放在难分类的检测目标上，极大地提升了单阶段检测方法的检测效果。

YOLO v1作为第1个单阶段目标检测方法，解决了检测速度慢的问题，满足实时检测要求，但对不同尺度目标尤其是小目标的检测效果较差；SSD引入多尺度检测，有效提升了小目标的检测性能，这一思想也被应用到YOLO v3算法中。单阶段目标检测方法的主要缺点是检测准确率低，而引入焦点损失函数的RetinaNet算法，在保持高检测速度的同时，达到了两阶段算法的检测准确率。

1.1.2.2 两阶段目标检测方法

两阶段目标检测方法将目标检测问题分2步解决，先产生候选区域，再对候选区域分类，主要包括区域卷积网络(region proposals with CNN，R-CNN)[18]、空间金字塔池化网络(spatial pyramid pooling networks，SPPNet)[19]和特征金字塔网络(feature pyramid network，FPN)[20]等系列算法。两阶段目标检测方法比单阶段目标检测方法更准确，但检测速度较慢。

文献[18]首次提出在自动驾驶汽车目标检测领域应用R-CNN，成为两阶段算法的研究基础。R-CNN在神经网络中输入1个固定大小的图像进行训练并提取目标特征，比传统目标检测方法的检测准确率高，但会产生大量重复计算，降低目标检测速度。文献[21-22]分别在R-CNN算法的基础上提出了Fast R-CNN、Faster R-CNN两阶段目标检测方法，但仍存在重复计算，达不到单阶段目标检测方法的实时性。

针对R-CNN存在需输入固定大小图像导致检测速度慢的问题，文献[19]引入空间金字塔模型，消除固定尺寸约束，提出了SPPNet，该算法不需要将目标缩放，减少了多余计算，提高了检测速度，但仍无法适应自动驾驶环境的实时检测目标。

上述目标检测方法只在神经网络的顶层进行检测，不利于检测目标的分类，文献[20]提出了FPN算法，充分利用神经网络检测多尺度目标。文献[23]将FPN算法用于小目标检测，该算法简单易实现，对小目标的检测效果明显。

SPPNet、FPN等算法的核心思想，不但应用在两阶段目标检测算法中提升检测准确率，也被引入单阶段检测算法，如在YOLO v3算法中引入FPN结构，将不同特征层融合后的结果用作目标检测，在小目标检测中起到关键作用；在YOLO v4算法中加入SPP模块，实现了局部特征和全局特征的融合。两阶段目标检测方法虽然检测准确率高，但会产生一些冗余计算导致检测速度慢，Faster R-CNN是R-CNN系列算法中检测速度最快、最接近实时检测要求的两阶段目标检测算法。

综上所述，基于视觉的目标检测方法的发展框架如图2所示。基于传统视觉的目标检测方法实时性差、检测准确率低，不能适应复杂的自动驾驶运行环境；基于深度学习的神经网络目标检测算法的检测速度与准确率一直未达到最优平衡点[24]。

图2 基于视觉的目标检测方法的发展框架

1.2 基于雷达的目标检测方法

自动驾驶汽车运行环境复杂多变，基于视觉的目标检测方法易受环境光照影响出现误检和漏检情况。雷达检测范围扩大，分辨率不断提高，已成为最主要的目标检测传感器。基于雷达的目标检测方法多采用点云特征，首先在三维点云数据中提取感兴趣区域(regions of interest，ROI)，再提取检测目标的特征，对检测目标进行分类[25]。

传统基于点云特征的检测方法与基于视觉的检测方法相似，均采用手工方式提取特征。基于雷达的目标检测方法受基于深度学习目标检测方法的启发，将神经网络运用到雷达提取点云特征。文献[26]将图像检测方法引入基于点云特征的目标检测，提出1种实时三维点云检测网络Complex-YOLO，能够实时检测多种类型的目标；文献[27]提出采用二维全卷积网络(fully convolutional network，FCN)，将三维信息投影到二维点图中预测目标的置信度和边界框。上述2种检测方法均采用三维信息投影到二维点图的方法，容易缺失部分信息。文献[28]直接在点云信息上进行目标检测，提出PointNet算法，该算法结构简单，引入最大值池化将每个点独立分类检测，再通过FCN将各点云特征整合获得全局特征。文献[29]将PointNet运用到行人检测，结合点云的多尺度局部特征和全局特征在激光雷达上实现行人检测，试验表明检测效果良好。PointNet在局部处理上存在缺陷，在此基础上文献[30]提出了PointNet++算法。

基于雷达与基于视觉的目标检测方法有类似之处，也分为单阶段和双阶段检测方法。毫米波雷达的分辨率较低，激光雷达的成本较高，基于深度学习的视觉检测方法提升了检测效率和准确率，但易受天气影响且不能获取目标的距离、速度等信息，无法提供准确可靠的环境信息[31]。由于自身特性的局限性和天气等影响因素，基于视觉和雷达的单一传感器目标检测方法不能适应复杂的自动驾驶环境[32]。

2 基于多传感器融合的目标检测方法

相机检测到的目标特征信息比雷达更丰富，但无法获取目标的距离、速度及三维信息[33]。将雷达与相机进行数据融合，既能获取图像信息，又能获取检测目标的深度信息[34]，目前目标检测最常用的传感器融合方式是相机与毫米波雷达融合[35]。文献[36]研究了基于相机和毫米波雷达融合的目标检测方法，相机识别目标特征的能力和毫米波雷达在恶劣环境中的抗干扰能力相结合，提升了目标检测准确率。文献[37]基于密度的聚类算法(density-based spatial clustering of applications with noise，DBSCAN)对激光雷达采集的点云数据进行聚类，利用Faster R-CNN算法识别图像信息，提出了基于激光雷达和视觉信息融合的框架，能快速准确地识别目标信息。

多传感器融合的目标检测方法是国内外高校及汽车行业的研究热点[38]。多伦多大学和Uber公司提出了1种通过神经网络连续融合图像和激光雷达点云信息的检测方法，通过融合2种传感器的数据信息准确获取目标的三维空间信息[39]；百度与清华大学研发团队提出了多视图3维网络(multi-view 3D networks, MV3D)[40]，融合框架采用点云的主视图和俯视图，同时处理相机的光学三原色图像和激光雷达点云2种信息，缩短了信息处理时间，保证了目标检测的实时性[41]。

信息融合是一门交叉学科，涵盖概率统计、估计理论及神经网络等[42]。信息融合的方法主要包括基于随机模型的加权平均融合法[43]、卡尔曼滤波(Kalman filtering，KF)融合法[44]、贝叶斯估计融合法[45]、D-S证据推理融合法[46]等传统融合算法和正在蓬勃发展的神经网络法、模糊逻辑法、遗传算法等人工智能融合法。

2.1 基于随机模型的目标检测融合方法

2.1.1 加权平均融合法

加权平均融合法是按不同权重处理多个传感器的数据。文献[47]加权分配2个超声波雷达的观测值，研究表明：当观测值权重取值合适时可获取最优估计值，结论推广到多个超声波雷达及激光雷达数据融合同样具有较高的可行性。但加权平均融合法不易确定各传感器数据的权重，影响采集信息的准确率。文献[48]提出了1种自适应加权平均融合法，采用不同方法处理高频、低频数据，较传统加权平均融合方法的准确率更高，但不易处理传感器自身误差及环境干扰。文献[49]通过设置权重淘汰检测结果差的传感器数据，减少多传感器的测量误差和不确定性，在实际应用中提高了融合系统的准确率。

2.1.2 KF融合法

KF是1种常见的数据处理方法，实时性好，广泛应用于计算机视觉、图像检测及自动驾驶环境感知等领域。KF融合法基于KF进行拓展，目前主要有不变扩展KF算法[50]、加权测量融合KF算法[51]、无迹KF与神经网络结合算法[52]等。文献[53]研究目标关联后的不同融合方法，提出了基于KF的多传感器信息融合算法。由于复杂的运行环境及目标的不确定性，文献[54]基于KF提出了1种实时多目标追踪(multiple object trackin，MOT)框架。文献[55]改进迭代扩展KF，提出了多传感器融合状态估计算法，考虑获取信息的不确定性，先将各传感器获取的信息单独处理再进行并联，提高目标检测的可靠性。

2.1.3 贝叶斯估计融合法

贝叶斯估计理论[56]通过先验信息与检测目标信息相结合预测事件发生的概率。文献[57]通过试验得到贝叶斯估计融合法，可有效融合多个传感器获取的数据，但该方法需要大量先验信息，在实际应用中先验信息并不容易获取。文献[58]提出了1种利用置信距离理论与贝叶斯估计相结合的多传感器信息融合法，充分利用2种理论的特性，提高了检测系统性能，但该方法只适用于同类型传感器检测同一目标的情况。贝叶斯估计融合法对不确定的信息处理较困难，文献[59]提出将KF与贝叶斯估计理论相结合的多传感器信息融合法，该方法能有效解决各传感器获取信息的不确定性和不一致性，提高了检测准确率。

2.1.4 D-S证据推理融合法

相较于贝叶斯估计理论，D-S证据推理在处理不确定信息方面有一定优势，是贝叶斯估计融合法的改进。文献[60]通过试验验证了D-S证据推理应用在多传感器融合的自动驾驶汽车目标检测方面的可行性和有效性。由于自动驾驶环境的复杂性和单一传感器的检测缺陷，对远距离目标及小目标的检测存在准确率低、可靠性差等问题[61]。文献[62]采用D-S证据推理对可见光和红外热图像进行决策级融合，提出了基于决策级融合的远距离目标检测方法。D-S证据推理融合法虽然在解决不确定信息问题上有良好的效果，但无法较好地处理证据冲突情况。文献[63]提出了1种结合加权法改进的D-S证据推理融合法，通过均值加权思想将D-S证据推理中的矛盾证据弱化，通过仿真验证了改进后的算法能有效弥补D-S证据推理融合法的缺陷。

2.2 基于人工智能的目标检测融合方法

基于人工智能的目标检测融合方法主要包括神经网络融合法、模糊逻辑融合法、遗传算法等，目前多传感器融合常用的方法是神经网络融合法。通过给神经网络输入大量信息，经过训练产生固定逻辑获得最佳的融合权值[64]。为解决雷达与红外传感器的融合问题，文献[65]在协方差未知的环境下，采用神经网络融合2种传感器获取的信息，通过仿真分析验证算法的可行性。文献[66]提出1种多传感器融合神经网络，将毫米波雷达的先验信息添加到卷积神经网络中得到新的注意力机制模块，再将该模块与SSD目标检测网络相结合，这种基于深度学习的融合算法提高了目标检测的稳定性和可靠性。文献[67]发现利用神经网络可有效解决多传感器融合的固有问题，但要达到最佳融合结果，需收集全部可能发生的事件数据。

综上所述，面对复杂的自动驾驶环境，融合方法的应用使自动驾驶汽车充分利用各传感器获取更多、更丰富的环境信息，提高了目标检测的准确率和可靠性，减少了获取信息的时间和费用[49]。加权平均融合法和KF融合法直接处理原始数据，属于低层次的数据级融合方法，原始数据丢失少，需集中处理大量信息，影响目标检测的实时性；贝叶斯估计融合法、D-S证据推理融合法相比前2种方法，计算量小，属于高层次的融合方法，但先验信息不易获得、适用范围较小；神经网络融合法以神经元的形式输入，无需大量的先验信息，有较强的自适应性。

基于随机模型的目标检测融合方法是多传感器融合方法的发展基础，基于人工智能的目标检测融合方法是多传感器融合方法的发展趋势，但传感器融合方法均存在计算量大、规则难建立等缺点。只有充分利用各传感器的特点，综合多种融合方法，才能为自动驾驶汽车提供安全保障。

2.3 目标检测方法存在的问题和解决方法

自动驾驶的目的是降低交通事故的发生概率，保证行车安全。基于单传感器的目标检测方法无法满足复杂的自动驾驶行车环境，基于多传感器融合的目标检测方法需要结合多种学科、多个领域的技术。现有的目标检测方法只能实现在特定环境下的自动驾驶，目标较小或天气环境恶劣时对自动驾驶系统的稳定性提出了较大挑战。为满足自动驾驶高可靠性的要求，可通过增加目标检测传感器的数量增加获取的目标信息量，或通过增强自动驾驶目标检测方法的鲁棒性，提高系统稳定性。针对自动驾驶目标检测方法的问题与难点，文献[68]提出将YOLO与Faster R-CNN结合，利用YOLO将整张图像输入神经网络的特点，解决两阶段Fast-RCNN算法背景检测错误率高的问题，增强目标检测的效果；文献[69]将视觉、毫米波雷达和激光雷达3种传感器融合，实时获取环境的点云信息、方位角、速度和距离等深度信息，极大地提高了目标检测的准确率和实时性；文献[70]通过融合深度相机和激光雷达传感器提高了小目标检测的准确率；文献[71]将毫米波雷达与相机融合用于恶劣天气环境下的目标检测；文献[72]研究了自动驾驶汽车在坑洼路段及湿地运行时的目标检测，采用YOLO作为检测算法并在数据集上增加对坑洼、湿地等环境运行时的训练，使自动驾驶汽车更安全可靠。

3 展望

自动驾驶汽车目标检测方法研究与应用已取得较大进步，但与实现真正的自动驾驶仍存在差距。目标检测方法未来研究与发展的重点和趋势如下：1)基于视觉的目标检测方法多依赖高性能计算机及强大的显卡算力，而汽车上的内存和计算资源有限，无法满足要求，因此基于视觉目标检测方法的发展趋势是发展计算量小、识别速度快、便于在移动设备上安装的轻量级车载应用；2)目前基于多传感器融合的目标检测方法较多对2种传感器的融合技术进行研究，未来发展趋势是应用3种及以上传感器进行数据融合，采用的传感器种类越多，获取目标信息越丰富，更能反映目标的特性，检测结果更准确可靠；3)对远距离目标、小目标和集群等特殊目标检测的研究较少，获取目标特征较少的小目标检测是最具挑战的目标检测任务之一，所以采用提高采集和输入图像信息分辨率和融合多种传感器获取多尺度特征的目标检测方法是未来发展趋势；4)目前研究的汽车自动驾驶技术多在路况良好的城市道路进行，对路况差及某种传感器在复杂环境下被遮挡或失效等问题的研究较少[73]，未来发展趋势是在复杂环境中应用多传感器融合技术。