黄李波 徐嘉
(同济大学 上海市 201804)
近年来自动驾驶成为汽车安全研究领域的热点。毫米波雷达传感器是自动驾驶的核心部件之一,相比于其他感知传感器,其在恶劣光线和雨雾天气条件下,仍有较强的鲁棒性,基于毫米波雷达的人车识别技术可以提高自动驾驶系统[1]的性能。传统汽车毫米波雷达无法测量高度信息而且点云稀疏,因此难以对行人、自行车等静止物体进行分类,而成像毫米波雷达增加了高度的信息,并且可以输出高密度的3 维立体点云,从而更加容易的实现目标分类。
本文使用的基于成像毫米波雷达的分类算法概述如图1 所示。本节介绍该算法的两个主要模块:特征提取和目标分类器。
从成像毫米波雷达输出的点云原始数据信息中提取出与目标特征相关的信息,包括目标点的纵向距离x、横向距离y、高度z、径向距离r、速度v 和信噪比SNR。由这些目标点组成雷达点云,根据点云的空间分布、速度和电磁散射特征[2],提取出16 个点云特征。这16 个特征的名称及描述如表1 所示。本节将详细分析和解释每个特征。
1.1.1 目标点云的空间分布特征
将成像毫米波雷达输出的3 维立体目标点云,投影到x-y 平面,使用一个最小矩形边框将其包起来。最小矩形边框的长宽如图2 所示。将矩形的宽W 定义为第一个特征a1,将矩形的长L 定义为第二个特征a2,矩形的面积S 定义为第三个特征a3,矩形面积S 计算公式如下:
将矩形框沿着z 轴拉伸,形成一个立方体,将目标点云包住。该立方体以雷达3 维点云在z 轴坐标上的最小值为下底,最大值为上底。立方体的体积V 被定义为第四个特征a4,立方体的体积V计算公式如下:
不同的目标由于表面材质、体积、形状的不同,同一个目标距离雷达远近,同一个目标在静态和动态下,雷达探测到的目标点云数量都不同。将雷达点云数量N 定义为第五个特征a5。目标距离雷达近一些,采集到的目标点云数量会相对多一些。将目标距离雷达的径向距离r 定义为第六个特征a6。由于不同目标的高度以及形状不同,将目标点云的平均高度作为第七个特征a7。与行人相比,汽车表面材质不同,雷达点云分布稀疏。将雷达目标点云密度D 定义为第八个特征a8,雷达目标点云密度D 计算公式如下:
目标点云x 轴坐标值的标准差XSD被定义为第九个特征a9。类似地YSD被定义为第十个特征a10、ZSD被定义为第十一个特征a11。XSD、YSD和ZSD计算公式如下:
1.1.2 目标点云的速度特征
由手臂和腿的摆动产生的速度分量使行人的点云速度分布在一个很宽的范围内[3]。相比之下,车辆点云的速度分布相对较窄,因为车辆的运动可以看作刚体的平移。将点云的速度范围vL定义为第十三个特征a13。点云的速度范围vL计算公式如下:
目标点云速度的标准差vSD被定义为第十四个特征a14。vSD的计算公式如下:
图1:分类算法概述
图2:外接矩形框示意图
图3:随机森林的集成模型示意图
表1:16 个点云特征
表2:常用核函数
表3:成像毫米波雷达系统配置参数
表4:不同分类器的识别率
表5:没有高度信息的识别率
图4:实验用的成像毫米波雷达
图5:采集静态目标的场景
图6:采集动态目标的场景
1.1.3 目标点云的电磁散射特征
雷达目标的反射强度和目标的形状、尺寸、结构及材料有关。随着雷达目标的RCS 随着目标尺寸的增大而增大,自行车、行人和有人自行车的RCS 波动小于汽车[4]。 因此把目标点云的平均信噪比SNRmean定义为第十五个特征a15。同时,将目标点云信噪比的方差SNRSD定义为第十六个特征a16。SNRmean和SNRSD的计算公式如下:
根据雷达目标点云的形状、速度以及目标反射强度特征,提取出了16 维特征向量。基于这16 维特征向量,对以下几种分类算法进行了研究。
1.2.1 决策树分类算法
图7:五类目标识别率的混淆矩阵
图8:特征重要性排序
决策树是一种用于分类任务的模型。一棵决策树由根结点、内部结点以及叶结点组成。根结点和内部结点代表问题,每个问题对应一个二分类器。所做的雷达人车分类包括5 类目标,是多分类问题。决策树的每个结点是个二分类学习器,解决多分类问题就需要对问题进行拆分,将多分类问题拆分成多个二分类问题[4]。
1.2.2 随机森林分类算法
集成学习是通过合并多个学习器,从而得到更加强大模型的方法。集成学习得到的模型,在泛化性能上优于单一学习器。随机森林是一种经典的集成模型。随机森林是包含多棵决策树的模型,其中的每棵决策树相互独立。随机森林的分类结果由单个决策树的输出结果投票决定,将个别数输出的类别的众数作为最终分类结果[5]。随机森林的集成模型示意图如图3 所示。
1.2.3 核SVM 分类算法
SVM 的基本模型是一个二分类模型,通过一个最大化间隔的划分超平面,实现两类目标的分类。划分超平面的数学描述:
分类样本通常不是线性可分的,我们使用核技巧进行非线性分类。对于SVM,常用的核函数如表2 所示。
利用网格搜索和交叉验证的方法,自动化的选择分类器模型的优化参数。
考虑到数据集样本量有限,采用K 折交叉验证的方法,对3 种分类器模型的性能进行评价,确定出最优参数。收集的数据集被随机均匀地分成K 个不同的分区。K-1 个分区用于训练,剩下1 个分区依次用于测试。通过这种方式,将操作K 个分类循环。以K 种分类结果的平均准确率作为分类精度的估计。
使用网格搜索的方法,不同参数可以取若干个间隔,在计算时可以穷举参数空间的网格交叉点。因此可以确定网格的全局最优参数,从而防止手动调参的重大误差[6]。
本文采用的是德州仪器公司生产的成像毫米波雷达开发套件,该开发套件采用四片级联的AWR2243 芯片,如图4(a)所示。单个AWR2243 芯片配置了3 个发射天线和4 个接收天线,四级联的成像毫米波雷达系统配置了12 个发射天线和16 个接收天线。相比于单芯片系统,四级联的雷达系统可实现较高的信噪比和角分辨率。四级联成像毫米波雷达系统配置参数如表3 所示。雷达安装在小车上,距离地面高度90 厘米,如图4(b)所示。分别在静态和动态下采集了5 类目标的数据,5 类目标包括行人、自行车、摩托车、小轿车以及大巴车。根据采集的数据,制作了3 个数据集:静态、动态以及混合数据集。
使用成像毫米波雷达开发套件在空旷的场地,分别采集了5 类目标在静止状态下的数据,场景如图5 所示。采集静止的人、静止的自行车以及静止的摩托车的数据时,雷达距离目标在1 米到20米的范围内,以1 米为间隔,分别采用正面、45 度倾斜、侧面以及背面朝向雷达。采集静止的小轿车、静止的大巴的数据时,雷达距离目标在1 米到40 米的范围内,以5 米为间隔,分别采用正面、45 度倾斜、侧面以及背面朝向雷达。5 类目标,在静态下,分别采集了2000 帧的数据。
如图6 所示,在空旷的场地上,采集运动的行人、自行车、摩托车、小轿车和大巴。其中行人、自行车和摩托车在距离雷达0 到20 米的范围内,以5 米为间隔采集数据;而小轿车和大巴在距离雷达0 到40 米的范围内,以5 米为间隔采集数据。采集数据时,目标的运动状态分为横穿、接近、远离、和以固定径向距离环绕的方式,以及较快和较慢的速度。5 类目标,在运动状态下,分别采集了2000 帧的数据。
将静态数据集合动态数据集混合,形成混合数据集。5 类目标,分别有4000 帧的数据。
本文使用平均识别率来评价分类结果。分别使用机器学习的决策树模型、随机森林模型以及SVM 模型,完成对行人、自行车、摩托车、小轿车和大巴车,这5 类目标的分类。
基于提出的16 维特征向量,比较了不同机器学习分类器模型的分类效果。在确定三种机器学习的分类模型的最优参数时,使用了网格搜索的方法,其中SVM 模型使用了核技巧,效果最好的是高斯核。将5 类人车目标的识别率的平均值作为分类结果,不同分类器的识别率如表4 所示。随机森林和SVM 分类器模型,对静态、动态以及混合数据集的分类识别率都在95%以上,其中随机森林模型对静态数据集识别率较高,超过97%,SVM 模型对动态和混合数据集的分类识别率较高。三类分类器中,决策树的综合识别率最低。
由于传统汽车毫米波雷达没有高度信息,将成像毫米波雷达点云数据集中的高度信息去掉,形成二维雷达数据点。使用SVM 模型,分别使用二维数据点和三维数据点云进行人和车的多分类。本文提出的16 维特征中的a4、a7、a8和a11和点云的高度信息有关,去掉这4 个特征。基于剩下的12 维特征,我们分别使用三种机器学习的分类模型进行分类。没有高度信息的分类识别率如表5 所示,分类的结果普遍低于表4 中的结果。
对行人、自行车、摩托车、小轿车和大巴车进行了分类。为了比较这5 类目标的分类难易程度,使用混淆矩阵的方法输出决策树模型的分类结果,如图7 所示。其中大巴车的识别率最高,自行车和摩托车的识别率相对低一些,这两类目标相似度较高,容易相互误识别,因此识别率相对低一些。
使用随机森林模型,比较了提出的16 个特征的重要性。对于静态、动态和混合的目标,最重要的特征是a3,即点云在XY 平面投影得到的矩形框的面积。重要性排名前三的特征还有a4和a10,其中a4表示点云外接立方体的体积,a10表示目标点云Y 轴坐标值的标准差。重要性排名前三的特征都属于目标点云的形状特征。如图8 所示。
本文使用了成像毫米波雷达传感器,从成像毫米波雷达三维点云的形状、速度以及信号强度中提取了16 维特征向量,采用机器学习的决策树、随机森林以及核SVM 模型,实现了人车的多类分类。三种分类器模型中,随机森林以及SVM 模型,对三种数据集的分类识别率都达到了95%以上,其中随机森林模型对静态目标分类效果最好,高斯核SVM 模型对动态目标和混合目标分类效果较好。相比于传统汽车雷达的二维数据点,成像毫米波雷达三维立体点云的人车分类识别率更高。五类人车目标中,大型车辆最容易识别,自行车和摩托车的识别率最低。由随机森林模型可知,提出的16维特征中,对于静态、动态和混合的目标,最重要的特征是a3,即点云在XY 平面投影得到的矩形框的面积。重要性排名前三的特征还有a4和a10,其中a4表示点云外接立方体的体积,a10表示目标点云Y 轴坐标值的标准差。重要性排名前三的特征都属于目标点云的形状特征。