基于移动边缘计算的智慧公路多源感知技术研究

宋晓鹏，梁睿琳，郭 迎

（1.长安大学，陕西 西安 710064；2.浙江数智交院科技股份有限公司，浙江 杭州 310031）

0 引 言

近两年，智慧公路的信息化、智能化建设受到了前所未有的关注，多源信息感知是智慧公路发展中尤为重要的一环，是实现其智慧化的基础。“智慧”是指通过光传感器、声传感器、波传感器和电传感器对多样化动态信息进行实时采集。智慧公路的交通信息感知系统是基于全息交通理论，利用多种传感器技术，结合先进的数据分析方法与物联网技术，通过移动边缘计算（Molile Edge Computing,MEC）等实现交通信息汇聚和处理，从而实现公路管理的信息化、自动化、智能化。

1 背景技术

依靠车载或路侧传感器实现实时、精确交通场景目标检测，是实现智慧公路多源信息感知的基础。围绕智慧公路环境感知的需求，将全天候摄像机和雷达相结合，并对摄像机和激光雷达进行联合标定，建立空间同步和时间同步方案。基于边缘计算服务器，能够将路侧端传感器和车载端传感器数据进行汇聚、融合与分析，在路侧设施和智能车辆之间共享计算结果，提高智能车的感知能力，以及公路管理的信息化、自动化、智能化，进而提高道路的通行效率和安全性能。

摄像机可以输出高分辨率的图像，包含丰富的颜色、纹理信息，特别适合精确的目标分类。传统的目标检测算法如SIFT、HOG、SURF，利用不同大小的滑动窗口描绘图像上需要检测的区域并提取特征点，然后使用机器学习方法对这些特征进行分类。近年来，在图像识别领域的研究已经拓展到使用深度学习领域的方法，常用方法可分为两步法和一步法。两步法如R-CNN，Fast R-CNN和Faster R-CNN等，以及递归卷积神经网络（RCNN）算法系列，均获得了良好的识别效果。一步法，如YOLO系列算法，能够获得良好的目标检测结果。

在智慧公路环境中，雷达的基本任务是发射电磁波，对目标进行照射并接收其回波，由此获得目标至电磁波发射点的距离、方向、速度等状态参数，能够全天候、全天时准确测量物体距离和运动速度。摄像机可识别物体类别、车辆高度，在物体高度与宽度测量精度、车道线识别、行人识别准确度等方面具有较大优势，是实现车道偏离预警、交通标志识别等功能不可缺少的传感器，但作用距离和测距精度不如毫米波雷达，并且容易受光照、天气等因素的影响。摄像机和毫米波雷达在目标识别与跟踪技术领域各有优劣，充分利用雷达和相机数据的互补性，实现多源交通信息融合，为交通信息感知提供了一种可行的方案。

路侧传感器作为智慧高速的重要组成部分，能够感知各类道路交通环境，获取重要的交通信息。具体做法：在道路一侧安置固定的传感器，如视觉传感器、毫米波传感器等，将传感器收集的信息送至边缘服务器处理，提取车辆位置、车辆轨迹等信息；根据路侧传感器获取的多源信息，进行实时数据处理以分析交通状况，并可以在路侧设施和车辆之间共享计算结果。移动边缘计算能够提供强大的计算和存储功能，基于边缘服务器将路侧端摄像机和毫米波雷达进行融合，通过数据预处理、空间同步、时间同步和跟踪算法等，实现两者的相互配合，共同构建道路环境感知系统，使其更稳定、更可靠。基于边缘计算的智慧公路多源感知图示如图1所示，系统结构如图2所示。

图1 基于边缘计算的智慧公路多源感知

图2 系统结构

2 数据预处理

YOLOv3是一种快速、准确的深度学习方法，用于处理摄像机图像数据。相较YOLOv2和YOLOv1，YOLOv3调整了网络结构，具有53个卷积层，称为DarkNet53，利用多尺度特征进行目标检测，在保持速度的前提下，提升了预测精度，尤其是小目标物体的检测效果得到了较大改善。在智慧公路场景中，对远处较小的车辆目标进行检测较为困难，而YOLOv3却能够很好地检测到道路远处的小目标。此外，YOLOv3是一种实时对象检测系统，它以30 FPS的速度处理图像，对检测到的对象执行多标签分类，在使用Pascal Titan X的COCO测试开发中mAP值为57.9%。YOLOv3网络结构如图3所示，YOLOv3多尺度检测方法如图4所示。

图3 YOLOv3网络结构

图4 YOLOv3多尺度检测方法

雷达通过一些内置算法来处理原始反射点以检测目标。反射的检测点并不总准确，并且有时在同一车辆上会有多个检测点，因此需要采用聚类方法来进一步处理反射结果。通常，我们使用DBSCAN聚类方法处理雷达检测数据。DBSCAN为密度聚类的无监督方法，该方法无需知道经过处理的簇的最终数量和形状就可以发现任意形状的簇类，并且可以同时识别噪声点。

3 传感器空间同步

毫米波雷达和摄像机在不同位置获得多元信息，传感器融合需包含时间同步和空间同步。空间同步通过联合校准标定完成，摄像机标定包括坐标变换和畸变校正。坐标变换主要涉及4个坐标系，包括世界坐标系、摄像机坐标系、图像坐标系和像素坐标系，如图5所示。相关参数介绍见表1所列。

图5 坐标系变换

表1 相关参数

通过上述4个坐标系的转换得到世界坐标系到像素坐标系的转换公式：

雷达校准主要通过预期的位置和角度进行精确安装。摄像机和雷达联合校准的目的是将来自这2个传感器的测量值转换为相同的坐标系。通过公式（2），我们将雷达坐标系的测量值转换为摄像机坐标系。将雷达与地面平行放置，使雷达的检测范围与摄像机保持在同一水平。摄像机和雷达的联合校准示意图如图6所示。

图6 摄像机和雷达联合校准

4 传感器时间同步

雷达和摄像机具有不同的采样频率，在空间同步之后需要进行时间同步，以提高每帧目标定位的准确性以及不同传感器数据的综合利用率。通过多线程时间同步方法，能够实现不同采样频率的摄像机和雷达的时间同步。多线程时间同步方法包含3个线程：雷达线程、摄像机线程和融合线程。雷达线程和摄像机线程分别用于以不同采样率从雷达和摄像机收集数据。实时获取的数据将被发送到预处理模块，预处理模块分别采用YOLOv3深度学习算法和DBSCAN聚类算法对相机和雷达数据进行处理。

将获得的预处理结果存储在缓冲区中，并使用直接更新方法进行实时更新。缓冲区中仅存储一帧有效的雷达检测数据。如果摄像机和雷达已检测到新目标并对其进行聚类，则立即替换缓冲区中的数据。

融合线程由3部分组成，包括判断模块、检测分配和测量融合。判断模块由时间控制，且融合间隔必须长于摄像机和雷达的采样间隔。当系统时间达到融合时间时，将从雷达和摄像机缓冲区中提取数据以进行后续处理。检测分配是一种将摄像机和雷达检测配对的对象关联技术，以确保在多个目标的情况下两者可以相互匹配，通常选用分配算法或聚类算法。摄相机与雷达时间融合流程如图7所示。

图7 相机与雷达时间融合流程

目标速度为毫米波雷达检测到的速度，由摄像机识别目标类型、大小，摄像机检测和雷达检测的平均位置为目标位置。

5 多目标关联与跟踪

采用雷达和摄像机进行多目标跟踪需要着重于以下几点：

（1）对象关联：雷达检测应与摄像机检测相关联，而当前融合检测必须与现有轨迹相关联；

（2）跟踪环节：应选用合适的滤波器进行跟踪，系统采用卡尔曼滤波；

（3）跟踪管理：需维护跟踪对象数据库，并且定义跟踪过程，包括初始化、更新和删除。

多目标跟踪过程如图8所示。

图8 多目标跟踪

5.1 目标关联

系统采用Munkres算法进行目标关联、对象关联，以解决目标分配问题。该算法中的分配数量和任务数量必须一一对应。假设有M个目标需要与N个目标进行匹配，可使用Munkres算法构造方阵，并使用传统的匈牙利算法获得匹配结果。目标关联结果可以分为3类：已分配的检测，未分配的雷达检测和未分配的摄像机检测。未分配的摄像机检测用作有效检测，毫米波雷达误检率较高，直接删除未分配的雷达检测数据。

对于多目标跟踪，将检测结果分为3类：未分配的检测，未分配的轨迹和已分配的轨迹。目标关联算法执行完毕，在随后的处理中将未分配的检测用于目标库中生成新轨迹，已分配的轨迹用于轨迹更新，未分配的轨迹用于判断是否需要删除现有轨迹。

5.2 目标跟踪

卡尔曼滤波广泛用于位置估计和目标跟踪。它包括2个过程：预测过程和更新过程。

预测过程：

式中：X为k时刻的状态预测值；F为状态转移矩阵；X为k-1时刻的最优估计；BU为外部输入；ω为过程激励噪声；P为预测误差；P表示为k次先验估计协方差矩阵；P为k-1次后验估计协方差矩阵；Q为过程激励噪声协方差矩阵。

更新过程：

式中：K为卡尔曼增益矩阵；H为观测矩阵；R为测量噪声协方差矩阵；Z为k时刻的测量值。

5.3 目标管理

目标管理遵循统一的规则，如果某一轨迹在过去5次更新中至少收到4次检测信号，即收到至少4次该轨迹的已分配轨迹数据，将予以确认并更新轨迹；如果某一轨迹最近5次更新中未收到已分配的轨迹，则该轨迹将被删除。

6 结 语

围绕智慧高速公路环境感知的需求，本文将路侧全天候摄像机和毫米波雷达相结合，作为边缘计算的应用。系统对摄像机和毫米波雷达进行联合标定，建立多传感器间坐标系转换关系，实现智慧公路检测区域内的空间同步；通过多线程时间同步方法，实现不同采样频率摄像机和雷达的时间同步；最后采用适当的融合算法将同一目标的所有传感器数据进行融合与目标关联，得出一致性检测结果，进行目标跟踪与目标管理。在以后的工作中，将继续围绕路侧设施和移动边缘计算服务器开展相关融合算法研究，并做进一步改进。