面向地下停车场的原始数据与场景数据采集与并行计算

郑彤，樊昌国，岳承翰，杨岩

（中国汽车技术研究中心有限公司，天津300300）

0 引言

随着国内外自动驾驶技术的蓬勃发展，在真实道路下的自动驾驶系统开发测试显得愈加困难乃至不可行，批量化、标准化的仿真测试势在必行，而真实驾驶过程中采集到的场景数据一方面可以作为仿真场景批量化生成的数据基础，另一方面可用于场景数据分析和算法开发测试。自动泊车功能是当今无人自动驾驶领域重要的商业落地目标项目，因此针对该功能的数据采集与提取工作必不可少。

对于停车场自动泊车[1]而言，我们采集的数据主要包括了三种大类的典型的停车场场景，包括：写字楼地下停车场场景、工业园区地上停车场场景、公共场所地上停车场场景，采集的原始数据既囊括了无人、低速、车流少的简单工况，又涵盖了人多、高速、车流大的复杂交通环境[2]。

从数据采集硬件平台系统搭建，到数据处理融合匹配算法编写，以及数据采集过程，至最后场景提取的数据分析过程[3]，本文都给出了详细的处理过程和技术细节描述。这种从硬件平台搭建到软件算法开发，再到大数据处理分析过程，整个技术流程工具链的设计和研发，无论是对于采集何种数据类型（自动驾驶类数据、高级辅助类驾驶数据），应对何种工况场景（地下停车场、高速公路），为何种自动驾驶功能（自动泊车、智能物流[4]）累积场景数据，都有很强的借鉴意义，科研价值和商业落地前景。

1 采集硬件平台搭建

我们所使用的传感器硬件平台采集方案，主要依托于视觉摄像头传感器系统和毫米波雷达探测系统。

1.1 硬件系统配置和架构

根据需求：1个40线激光雷达、1套高精度组合惯性导航系统、1个彩色双目相机、1个黑白双目相机组成、1个前视4线激光雷达和1个后视毫米波雷达。

传感器总体布置如图1所示。

感器覆盖范围如图2所示。

图1 传感器布置示意图

图2 一期感知覆盖范围示意图

1.2 车辆改装及技术开发

设备主要包括：传感器、运算设备、惯导、电源、网络和通信设计等的安装以及全车布线等内容。采用图3所示的支架将40线激光雷达固定在车顶的行李架支架上。效果如图3右侧照片所示。

图3 40线激光雷达支架及安装

4线激光雷达则采用图4方式将4线激光雷达安装在车的前方中间部位。雷达支架与车架或其他固定处相连，效果如图4所示。

图4 4线激光雷达安装

毫米波雷达安装则采用图5方式，将毫米波雷达安装在车的后方中间部位。雷达支架与车架或其他固定处相连，效果如照片所示。如果后部材料是塑料，毫米波雷达可隐藏在车体内部，不用挖孔。

图5 毫米波雷达安装

将相机安装在挡风玻璃下方。相机支架需定制加工，效果如照片所示。

图6 相机安装

天线安装在车顶中心靠后方的位置，效果如图7所示。

图7 GPS天线安装

其他设备都可以安装在后备箱内，示意图和实物效果如图8所示。

图8 其他设备安装示意图

最后，可以根据传感器的布置、电源线的需要等，将所有信号和电源线缆以隐藏的方式埋设到车内。布线完成后不会影响车辆的正常外观。

2 传感器平台空间标定与时间标定

相机主要标定包括安装位置校准和坐标位置修正等。在安装完成后，制作专用的标定板，对相机的参数进行标定，对安装位置进行校准[5]。

图9 相机标定示意图

4线激光雷达安装位置包括校准、水平航向角标定、垂直俯仰角标定和横滚角标定等。在安装位置校准完成后，在专用场地，用专用的标定软件[6]，对雷达的水平航向角标定、垂直俯仰角标定和横滚角标定等。

图10 四线激光雷达标定示意图

对于40线激光雷达，安装需要位置校准、水平航向角标定、垂直俯仰角标定和横滚角标定等。在安装位置校准完成后，在专用场地，用专用的标定软件，对雷达的水平航向角标定、垂直俯仰角标定和横滚角标定等。

图11 40线激光雷达标定示意图

对于毫米波雷达的标定，需要进行安装位置校准、水平航向角标定、垂直俯仰角标定和横滚角标定等。同样地，在安装位置校准完成后，在专用场地，用专用的标定软件，对雷达的水平航向角标定、垂直俯仰角标定和横滚角标定等。

图12 毫米波雷达标定示意图

惯导方面，需要涉及GPS天线位置校准、惯导与车体位置校准等，如图13所示。

图13 惯导标定示意图

3 前向4线IBEO与双目摄像头融合

当前，单一传感器无法独立完成L3级别自动驾驶，IBEO 4线激光雷达与双目摄像头，传感器性能和效果的差异互补，完成多传感器融合[7]，为自动驾驶提供传感器感知保障。

经过IBEO4线激光雷达和双目摄像头单传感器识别之后，需要对识别算法结果进行匹配[8]。通过GNN算法（Global Nearest Neighbors），GNN通过识别结果输出的轨迹，对潜在输出物体的区域输出“门”（Gate），并对门进行追踪。其中，信号的模型具备协方残差（Re⁃sidual Covariance Matrix）:

其中，残差可为高斯分布，此时具备分布：

其中|Si|为Si的行列式。

此外，需要对门的限定函数进行限定，使其满足条件：

从而限定追踪的可能区域。最后需要设定选择代价函数，通过欧氏距离或者马氏距离，使代价矩阵：

满足条件，选择最优解。在这里，每一行代表了图像传感器的目标输出信息，每一列则代表了雷达传感器的目标输出信息，例如，c23，可以被理解为图像传感器目标2和雷达传感器目标3是同一物体的概率。通过这样的代价矩阵，可以将目标级物体进行融合[9]。

为了使此匹配关系完成最优，这样的问题可以被理解为，存在置换矩阵Mij，满足公式：

根据以上内容，完成前向IBEO+双目摄像头的识别精度。

表1

图14 基于前向4线IBEO+前向双目摄像头的传感器融合识别结果可视化

基于目标级硬件输出具有一些优势，例如较为稳定的硬件量产产品，当部分硬件失灵时，可以保证算法的独立运作性，有足够好的冗余机制。此外，针对这样的产品，中央融合硬件要求较低[10]，具备较强的量产化基础，较低的研发周期，可以有效地提高测试和调优的效率。同时可以减少仿真评测软件的运算量，进一步减少相应的仿真测试支出。

但是，目标级融合产品也具备一些劣势，例如各个仪器间的匹配调试较为复杂，无法完成精确的要求较高的条件，当环境条件较为苛刻时[11-12]，需要着重依赖其中几个特殊原件，难度较大，误差较多，容易产生一定的危险。

4 原始数据与场景数据标注

基于前向4线IBEO和双目摄像头融合的采集平台方案，将采集的地下停车场的原始数据分为两类，包括车辆、目标物数据两方面，如下所示。

4.1 本车原始数据

其中，本车的原始数据共包含39个字段信息，主要数据提取后如表2所示。

表2 本车原始数据（节选部分）

图15 基于双目摄像头的地下停车原始场景数据

4.2 目标障碍物原始数据

目标障碍物的原始数据一共包括15个字段的数据信息，主要字段总结后如表3所示。

表3 目标障碍物原始数据

图16 地下停车场目标障碍物数据信息

5 数据预处理与大数据处理

数据处理一共分为：数据清洗、数据筛选、数据挖掘、数据批量化处理四个步骤：

对于自动化生成的原始数据表，以及人工标注的标注数据表，首先要通过测试程序校验数据格式的规范性[13]，数据取值的合理性（数据是否溢出、是否为空值），对于检测到不符合规范和取值范围的数据条目，进行人工插值修改，或者丢弃删除；

以停车场原始数据，和经过场景标记处理的场景数据两种数据为输入，提取并计算包括本车的CAN线信息、重要障碍物ID信息、TTC、THW等29个字段。人工手动提取速度慢，利用Python编程实现对原始与标注数据的处理：

通过读取场景标注数据表格，筛选出场景类型、场景子类、起始结束帧号、目标物ID等信息，并存储到停车场场景库中；

通过场景标记表的起始帧、结束帧、目标物ID信息、本车ID信息，挖掘原始数据表中的本车的初始速度、平均速度和最大速度、横纵向加速度等信息，以及目标车的初始速度、平均速度和最大速度、TTC等信息、并存储到停车场场景库中；

通过场景标记表的起始帧、结束帧、挖掘对应的原始数据表中本车、目标车的中间数据片段，将这些中间数据片段进行存储，与相应的停车场场景库中的场景片段一一对应

通过Python代码可以对数以万计的原始数据表格实现了自动化批量处理，自动化生成功能，通过并行的向服务器提交job作业，可以对已采集的100个停车场的全部数据，TB级的原始数据表格进行批量程序处理，预计所有数据可以在几个小时内全部完成。

用于数据清洗的输入原始和标注数据表格如图17所示，代码的部分结构如图18所示，挖掘的中间数据结果的存储如图19所示。

图17 代码输入的原始数据和标注数据

图18 Python源代码的片段示例

图19 挖掘原始数据表中与场景片段对应的本车和目标车数据

图20 地下停车场采集标注场景数据分布

6 结语

本文主要面向地下停车场的原始数据与场景数据进行数据采集、场景标注、和并行计算。对于前向场景，采用激光雷达和双目摄像头融合的硬件配置，IBEO4线激光雷达具有高精度的识别效果，同时双目摄像头可以得到相应目标障碍物的距离信息，将二者的识别信息、距离信息、速度信息通过全局matching和卡尔曼filter进行匹配融合，得到精度更高的前向融合目标级别结果；对于后向场景，直接取德尔福毫米波雷达的目标结果作为场景采集的依据；对于360°范围场景，取40线激光雷达的原始数据进行场景数据的存储。通过人工手动标注地下停车场场景的自主行驶、驶入停车场、场内行驶（寻找车位）、场内行驶（寻找出口）、泊车入位、驶离车位、驶出停车场等7个阶段。

以采集的原始数据、目标级别数据、标注的场景数据作为输入，通过Python代码完成100个地下停车场的场景数据提取与存储。从传感器选型、传感器搭建、传感器标定、数据采集、数据标注、数据处理、数据存储，整个流程处理工具链具有推演和参考的价值，在采集城区道路、高速公路等典型场景具有复用和借鉴的意义。并对后续自动泊车的算法研发提供了4000条次的基于有监督的深度学习泊车真值训练数据。