基于车辆视角数据的行人轨迹预测与风险等级评定*

张哲雨，吕 超，李景行，熊光明，吴绍斌，龚建伟

（北京理工大学机械与车辆学院，北京 100081）

前言

在智能车领域，行人保护和风险估计近年来受到了极大的关注。在拥挤的城区环境中，汽车往往会在各种路口、转弯处碰见横穿马路的行人。此时，采取合适的驾驶策略既能节省汽车通过路口的时间，也能规避潜在的碰撞风险。在辅助驾驶领域，为了增强驾驶员对关键场景的感知和理解，并提供有预见性的驾驶风险警告，许多主动安全系统被开发和提出，其中，行人轨迹预测和风险等级评价是重要一环。

在行人轨迹预测领域，许多学者进行了不同方向的研究。早期的方法通过建立复杂的运动学模型来预测行人轨迹，包括使用卡尔曼滤波器、随场景切换的线性动态系统等。这类模型通常假设行人具有固定的行为模式，但在城区场景下，行人和车辆均处于高动态场景中，其行动随时都有可能发生变化。运动学模型计算量大、灵活性低的缺点使其难以充分捕捉人车间的交互。为了克服这种缺陷，近年来，基于数据驱动的行人轨迹预测研究得到了大量关注，包括使用基于长短期神经网络的方法预测拥挤的街道中行人的行走轨迹、根据行人骨架信息预测行人意图等。这类方法能够从大量已知的行人轨迹中隐式地学习行人的行动模式和人群间的交互模式，省去繁琐的运动学建模步骤。然而，这些工作大多聚焦于路基视角的行人轨迹进行研究。这种路基视角轨迹通常由架设在道路上的传感器获取，位于静止大地坐标系下，具有直观易于分析的特点，但在实际应用中，这类数据并不能直接由行驶在道路上的车辆直接获取，实用范围受到限制。

在行人风险等级评价方面，通常基于碰撞模型的方法来估计车辆和行人之间的碰撞风险。早期的方法中，首先使用卡尔曼滤波或动态贝叶斯网络等方法预测人与车辆的轨迹，然后计算轨迹之间的重叠概率或风险指标来估计车辆和行人之间的碰 撞 风 险，比 如 碰 撞 时 间（TTC）、车 头 时 距（THW）、后侵入时间（PET）。在上述研究中，风险估计是通过预测行人的轨迹和对行人和车辆进行复杂动态建模来实现的。然而，这样的方法仍存在两个局限性：

（1）使用人工定义的函数定义人车相撞的模型，计算人车轨迹的交叉点或位置概率重合点。然而，这种计算方式难以模拟行人和车辆在真实世界中高度动态的行为交互过程；基于操作的风险估计算法通过引入车辆的行为模式进行碰撞计算，但由于这些方法大多使用路基视角的轨迹，建模运算中须对多个主体同时进行运算，将面临较高的计算成本。

（2）通过人工设置TTC 阈值或人工划分不同区域的危险系数来对行人的风险程度进行划分。这种分类方式高度依赖于人工判断，并且很可能会受不同研究者主观认知的影响；另外，也会随着不同路况、不同交通场景变化而变化，在模型的泛化上将会面临很大挑战。

为了克服上述限制，本文中提出了基于车辆视角数据的行人轨迹和风险等级评价模型。

首先，采集、研究了车辆视角行人数据。过去的研究多数使用路基视角行人数据来分别估计行人和车辆的运动，并用于估计驾驶风险。但如前面所述，这类数据通常来源于架设在道路上的静止摄像头，并不能直接被行驶中的车辆及时获取和利用，即使能够获取，使用这类数据来计算碰撞风险，也无法避免大量的建模计算。相反，车辆视角数据是基于车载传感器的数据，所检测到的行人运动不仅包含行人自身的运动，还包含车辆的运动。通过在相对运动坐标系下简化行人与车辆之间危险指标的计算，可以避免由于使用路基视角数据导致的复杂运算。

其次，通过数据驱动的方法对车辆视角行人轨迹进行学习和预测。车辆视角数据天然地模拟了人类驾驶员直接接收到的行人信息，使用车辆视角行人轨迹能够同时对行人和车辆的行为模式进行学习和预测。近年来，递归神经网络（RNN）已被证明在轨迹预测、时间序列模式学习的应用上是简单而有效的。因此，本文中应用RNN 的变体长短期记忆神经网络（LSTM），从车辆视角数据中挖掘的行人和车辆的行为与交互模式，实现车辆视角行人轨迹的预测。

最后，对于行人风险等级评价，利用车辆视角行人数据包含丰富行人和车辆动态信息的特点，对行人特征状态进行了聚类分析。聚类算法作为一种典型的数据挖掘方法，能够有效地寻找潜在的数据模式。因此，使用聚类算法从车辆视角行人数据中挖掘不同行人的风险特性，并以此为依据训练了行人危险等级识别器，避免了人工选择TTC 阈值方法的弊端。此外，基于聚类分析得出的数据类别，使用支持向量机（SVM）训练风险等级识别器，可以对新观测的车载视角行人数据进行分类，提供风险标签，实现行人危险等级评价。

1 问题定义与模型框架

图1 展示了本文中提出的总体框架。首先，基于车载传感器，采集车辆视角行人轨迹数据并进行预处理。其次，使用采集的车辆视角行人轨迹训练LSTM 神经网络，进行行人轨迹预测。最后，应用该主成分分析-K Means 聚类法（KPCA-KMC）分析观察到的行人特征，将其分为具有不同风险标签的类群。利用KPCA-KMC 的标签，训练一个风险等级分类器。该分类器将对LSTM 预测的行人轨迹进行风险等级识别，从而实现基于车载视角行人数据的轨迹和风险等级评价。

图1 行人轨迹预测和风险等级评价总体框架

2 数据采集与模型方法

2.1 数据采集与预处理

为了获得车辆视角下的行人数据，本文中采用车载传感系统进行数据收集。该系统包含一个安装在汽车顶部的Velodyne 激光雷达HDL-32E，一个OxTs惯性+GNSS/INS套件，一个安装在车辆前窗玻璃上的Mako相机和一个车载工控机，如图2所示。

图2 车载传感系统

工控机装有行人检测和定位程序，通过融合摄像机图像的检测结果和激光雷达点云的距离信息，提供行人相对车辆的坐标位置。所使用相对坐标系的原点对应于车辆后轴的中点，轴的正方向对应于车辆的前进方向。最终的视频和轨迹数据帧率为6.5 Hz。

在城区道路的选择上，考虑到城区交叉口作为城区路网中最繁忙的部分之一，容纳了大量的人车交互场景，因此，选取北京理工大学校园内和北京西三环的4 个信号灯路口作为数据采集地点。行驶路线如图3 所示。为了保证采集和识别效果，数据采集在白天13：00-15：00 进行，主要包含右转和直行两种行车场景，其中右转场景居多。数据采集由两名经验丰富的驾驶员轮流驾驶完成。

图3 数据采集路线

2.2 行人轨迹预测

2.3 行人数据聚类

式中T代表行人的轨迹长度（帧数）。

式中μ为第个集群的中心点向量。KMC通过不断优化聚类中心点，最小化类群内部点到中心点距离的平方和，从而将具有相似特征的点划分为同种类群。在将行人特征数据聚类为不同的类群后，观察不同类群在各类特征上的分布，便可确定不同类群的行人相对车辆的风险程度。

2.4 风险等级分类器

通过聚类方式，可以获得不同行人数据对应的风险程度，因而可以此为依据，训练一个行人风险等级识别器：首先预测行人轨迹，通过预测得到的轨迹提取相应的行人特征，并输入到训练好的风险等级识别器中，即可确定行人未来的风险等级。本文中，SVM 作为一种典型的分类器，通过迭代寻找能够最好地区分不同种类数据的最佳超平面，以对新的数据点进行分类。与KPCA 类似，SVM 中同样可以运用核技巧使非线性数据转化为可分离的线性数据。

为了实现行人风险等级识别，本文中训练核SVM 分类器，它将观测值=[，，...s]及其风险标签=[，，...l]作为输入，最终训练得到风险等级分类器，可用于识别新观测值的风险等级类别。

3 实验与分析

3.1 实验1：行人轨迹预测

为了验证车辆视角数据中的行人相对位置能够有效使用LSTM 模型进行预测，同时，探索车辆视角数据中非轨迹信息对位置预测的准确性，本节根据采集的数据设计了4种模型，如表1所示。

表1 模型符号与输入输出信息

本文中轨迹预测的观察窗口设置为从1 帧到帧，预测窗口从+ 1 帧设置到+ 5 帧。采用5 倍交叉验证（CV）来评估行人轨迹预测模型的性能，这有助于减少变异性并确保对小数据集的模型性能的准确估计。平均位移误差（ADE）被用来评估模型的性能。经过10 次5 倍CV 的重复，各模型在测试集中的预测误差平均值，如表2所示。

表2 测试集预测误差

通过横向对比，在模型平均误差上可看出预测精度＞＞＞。其中模型的平均偏移误差为0.263 7 m，精度最高，次之，ADE 为0.448 7 m。目前，主流的非驾驶场景的行人轨迹预测方法中，典型的Social-LSTM 平均偏移误差在0.27～0.53 m，引入社会注意力模型Social Attention 的平均偏移误差在0.20～0.30 m。对比之下，本实验结果显示在LSTM模型建模下，使用车辆视角行人相对位置信息直接进行位置预测的模型能达到较高精度的预测效果，证明LSTM 模型能够有效对车辆视角下的相对行人轨迹进行学习和预测，直接使用相对位置信息能够获得最佳的预测结果。其次是结合距离和标注框信息进行位置预测的模型，虽然误差大于，但表明标注框和距离信息在LSTM 网络中能够很好地捕捉行人的空间位置变化，可以直接预测行人未来的相对位置，起到了数据融合的作用。而对于仅使用标注框进行预测的模型或仅使用距离进行预测的模型，误差明显偏大，表明单纯的距离或标注框信息很难推测出行人的位置。因此，在后面风险预测部分，主要采用相对位置信息对行人轨迹进行预测，以保证更佳的轨迹预测效果和危险预测结果。

3.2 实验2：行人数据聚类

本实验分别采用KMC 和KPCA-KMC 对两种数据集的行人数据进行聚类。聚类结果通过残差平方和（RSS）和赤池信息准则（AIC）度量进行评价。RSS的计算公式为

式中μ是类别的中心点。AIC 指标是一个最大似然度量，AIC 曲线的最小值保证了可靠的聚类结果和相对较低的聚类复杂性。AIC的计算公式为

式中：是集群的总数量；是维度数量。

聚类结果如图4 所示，可见对于城区和校园路口数据集，使用KPCA-KMC 的RSS 和AIC 误差明显低于KMC，表明KPCA+KMC 能获得更佳的聚类效果。同时，采用KPCA+KMC 方法，魏公村和校园两组数据的RSS和AIC 误差分别在= 4和= 2附近取得最低。不过当= 2 时，虽然聚类复杂性降低，但会造成聚类结果过度依赖某单一特征（如TTC）的情况，无法辨识其他特征维度对聚类结果潜在的影响，使分类过于简单化。因此对于魏公村和校园两组数据均采用最佳类群数= 4。

图4 KPCA-KMC与KMC的聚类结果在RSS和AIC上的对比

在校园和城区路口数据集应用KPCA+KMC 方法的聚类结果分别如图5 和图6 所示。为了更好地展示聚类结果，本文中将5 个维度的数据放置于两种特征坐标系中：Pos- Pos-坐标系和Vel-Vel-坐标系中，Pos、Pos代表、方向上行人的相对位置，Vel、Vel表示相对速度。在相对坐标系中，车辆始终静止在原点，在图5 和图6 中使用红色三角形来表示。

图5 校园路口数据的特征聚类结果

图6 城区路口数据的特征聚类结果

校园路口数据的聚类结果如图5 所示，将数据分为如下4类。

类别1：TTC 较大，与车辆的纵向距离相对较长，纵向速度较低；横向位置多分布在车辆左侧，整体上有继续向左移动并与车辆渐行渐远的趋势，说明这类行人与车辆之间目前没有明显的冲突。因此，将此状态定义为未接触的安全状态。

类别2：TTC 较大，纵向位置接近车辆，而横向位置从左到右分布广泛，纵向速度较低。此时，虽然行人离车辆较近，但行人和车辆都没有对对方构成危险。这说明在路权分配达成了一致的情况下，行人在车辆前方安全通过。在这种情况下，车辆只需保持当前的操作即可，例如停车等待。因此，将此状态定义为握手安全状态。

类别3：TTC 较小，纵向距离在所有类别中距车辆最近，横向位置分布偏左，且接近速度较高，说明有行人（多来自左侧）正在向车辆接近，发生冲突可能性较高，要求车辆保持高度警惕，随时准备向右侧避让或直接制动，以避免可能的左侧碰撞。因此，将此状态定义为危险状态。

类别4：与类别3相似，TTC较小，与车辆纵向距离同样较近，接近速度较高，但大部分行人位于右侧，需要车辆对从右前方驶来的行人保持警惕。因此，将此状态定义为警戒状态。

对于城区路口的聚类结果，与校园路口数据类似，同样将数据划分为未接触安全、握手安全、危险和警戒4类状态，如图6所示。

3.3 实验3：行人风险等级预测

通过KPCA-KMC 获得行人的风险等级标签后，本实验的目的是使用行人特征数据S 及其对应标签L训练风险等级识别器，即SVM 模型，并使用该模型进行行人风险等级评价。本文中训练、对比了线性核、二次核、立方核和高斯核的SVM，使用5 倍交叉验证法对其性能进行评估，如表3 所示。其中，分类速度单位s表示每秒能够完成的观测数或分类次数。由表可见，对于校园数据集，二次核分类器的SVM 在准确度和预测速度上都最好；而对于城区数据集，则是高斯核分类器SVM 的准确度和预测速度最好。因此，校园和城区数据集分别选择二次核和高斯核的SVM模型。

表3 不同核类型的分类准确率和分类速度的对比

为了测试该分类器对行人风险等级的预测准确度，首先将所有行人轨迹进行风险等级识别，作为真实值；同时，使用LSTM 模型对行人轨迹进行预测，对预测轨迹进行风险等级识别，作为预测值；最后，对比真实值和预测值，通过对比预测值和真实值，统计预测正确和错误的样本数，得出分类器的识别准确率。预测结果用4行4列的混淆矩阵来表示，如图7 所示。矩阵的每一行的数字表示被预测为该类别的数目（上）和占比（下），而每一列数字表示真实为该类别的数目和占比。比如第2 行第3 列的数字表示被预测为第2 类，但实际是第3 类的数目和占比。表格第5 列和第5 行分别展示了不同预测类别的准确度和不同真实类别被预测的准确度。因此，矩阵对角线前4 格的数就表示被准确预测的数目和占比，而对角线的最后一个格，即右下角的数便是各类被准确预测的总占比（上），即该数据集风险等级预测的整体准确率和相应的错误率（下）。

由图7 可见，校园数据集的整体准确率达到82.0%，城区数据集的准确率达到86.8%，表明在行人风险等级的准确识别方面表现良好。

图7 行人风险等级预测模型的混淆矩阵

图8 显示了一个校园数据集中风险等级预测的例子。在以车辆为原点的相对坐标系中，预测轨迹（紫色线），其风险等级用不同颜色的圆点表示，每一种不同的颜色对应不同的风险等级。如图第3 帧到第16 帧展示了车辆右转时，观察行人、接近和让行的过程。预测的轨迹显示LSTM 模型能够良好估计车辆视角行人相对位置，表明该模型能够较好地在估计车辆和行人的移动趋势。在第6 帧时，该模型预测行人在接下来的几帧中可能会从安全状态转为警戒状态。这表明在目前的情况下，车辆应该减速并优先考虑行人，否则风险等级会转为更高。在第13 和第16 帧，由于车辆仍在向前行驶，风险等级从警戒状态转换为危险状态。可以看出，本文中提出模型的结果符合车辆与行人相互作用下的实际情况，表明其具有良好的风险等级评价能力。

图8 行人风险等级预测实例

4 结论

本文中为实现车辆视角下的行人轨迹及风险等级预测，提出了一个基于车载传感系统采集数据的行人轨迹预测和风险等级评价模型，主要包含3 项工作：首先，进行了车辆视角下的行人数据实车采集与处理，获得了城区和校园两种交叉路口的车辆视角行人数据；其次，使用LSTM 网络训练了行人轨迹预测模型。实验结果显示，LSTM能够有效对车辆视角行人数据进行学习并预测未来轨迹，其中，直接使用相对位置数据能够获得最好的预测效果，而距离信息和标注框信息次之；最后，使用KPCA+KMC 对车辆视角下的行人数据进行聚类分析，识别出不同行人的风险等级，并以此为根据，基于SVM 训练得到了行人风险等级识别器。将该识别器应用于LSTM预测的车辆视角行人轨迹，可以获得预测轨迹的风险等级。实验结果显示，该风险等级识别器在两种不同场景下均能够有效估计车辆和行人的移动趋势和交互特征，显示了良好的风险等级评价能力，对自动驾驶系统和高级辅助驾驶系统开发具有实用价值。在未来的工作中，将会考虑在提出的模型中引入更多的行人特征数据和环境信息，并将该模型扩展到更多的车辆-行人交互场景中。