基于观测数据潜在特征与双向长短期记忆网络的车辆轨迹预测*

郭应时 张瑞宾, 陈元华 李天明 蒋春燕

（1.长安大学，西安 710064；2.桂林航天工业学院，桂林 541004）

主题词：观测数据 卷积神经网络 双向长短期记忆 时空关系 轨迹预测

1 前言

近年来，激光雷达、摄像头等传感器被广泛应用在无人驾驶车辆上，用于获取交通环境下目标车辆的行驶轨迹、速度、加速度、车间距等观测数据。利用观测数据开展状态估计、轨迹预测、意图识别、行为分析、风险评估等领域的研究，可有效降低交通事故发生率。刘创等人提出将由长短期记忆（Long Short-Term Memory，LSTM）网络处理的具有同权重的车辆历史轨迹信息作为全局特征，融合卷积池化提取轨迹信息作为局部特征用于轨迹预测；温惠英等人提出采用LSTM的编码器-解码器结构生成预测时段换道轨迹，联合训练生成模型和判别模型实现对车辆换道轨迹的预测；赵文杰等人提出一种改进交互式多模型（Interacting Multiple Model，IMM）算法，采用概率邻接矩阵表示路网模型中的路网节点，建立运动目标动力学模型，结合马尔可夫转移矩阵提高轨迹预测精度；游兰等人提出一种改进序列到序列（Sequence-to-Sequence，Seg2Seg）模型，使用门控循环单元网络将历史时空序列编码为上下文向量，并将门控循环单元网络作为解码器来预测船舶轨迹的时空序列；谭紫阳等人提出一种基于改进极限学习机和深度神经网络的融合方法，使用修正线性单元函数替换激活函数，并使用均方根反向传播算法来优化深度神经网络实现对车辆轨迹的长期预测；张宏鹏提出一种卷积神经网络（Convolutional Neural Network，CNN）方法，通过训练和测试具有不同层数和卷积核数的网络找出预测误差最小的网络对目标轨迹进行实时预测；段晓磊等人提出一种粒子滤波与LSTM网络，通过帧差法对运动目标进行检测，建立追踪目标的运动模型来学习目标的运动特征，实现对丢失目标位置的预测。

综上所述，相关研究多集中在根据目标物体自身数据进行状态预测，较少考虑目标车辆与复杂交通环境的时空交互关系。因此，本文通过一维卷积神经网络提取由车载激光雷达等传感器所采集的车辆运动状态观测数据的潜在时空关系特征，将其输入双向长短期记忆网络进行训练，构建1DCNN-BiLSTM 模型用于预测目标车辆运动趋势，为无人驾驶车辆行驶提供合理的路径规划，从而提高行驶安全性。

2 问题分析

复杂交通场景下目标车辆轨迹预测是根据其自身运行状态并结合周边环境时空交互关系估计未来状态。为使模型挖掘真实交通数据中的潜在特征，输入数据应包括待预测目标车辆类型参数、运行状态参数、与周围车辆的时空关系参数等。复杂交通场景下目标车辆运行状态模型如图1所示，模型应包含与周围车辆的时空交互信息，其输入特征向量)可以表示为：

图1 复杂交通场景目标车辆运行状态模型

式中，、分别为预测目标车辆的长度和宽度；、分别为预测目标轨迹的横、纵坐标；、分别为预测目标的瞬时速度和瞬时加速度；为周围车辆相对预测目标的瞬时距离；为预测目标与前车的时距。

3 相关理论

3.1 卷积神经网络

CNN 输入层的数据通过所建立的多个滤波器逐层进行卷积和池化，对数据间潜在拓扑结构特征进行提取，网络越深，所提取特征越抽象，进而所获得特征的鲁棒性越好。卷积层内的卷积核对上层输出的数据特征进行卷积操作，利用激活函数构建特征矢量输出，其数学模型为：

1DCNN的卷积核相应采用1维结构，每个卷积层和池化层的输出也相应地为1维特征矢量，1DCNN工作原理如图2所示。

图2 1DCNN工作原理

3.2 长短期记忆网络

LSTM 是在传统循环神经网络（Recurrent Neural Network，RNN）基础上进化而来的，其内部的存储器单元可指示网络对历史信息的遗忘时间及新信息的更新时间，可有效改善网络学习过程中由反向传播误差所引起的梯度爆炸及梯度消失的问题，通过捕获长距离依赖关系实现对序列信息的有效学习，LSTM 结构如图3所示。

图3 LSTM结构

LSTM结构单元的数学模型为：

4 模型构建

4.1 模型框架

针对复杂交通场景下目标车辆轨迹预测问题，本文向所建立的目标车辆轨迹预测模型输入复杂交通场景下目标车辆在(-2)、(-1)、时刻状态观测数据的特征向量、、，预测模型可输出目标车辆在(+1)时刻的运动轨迹数据：

所提出的基于1DCNN-BiLSTM 的目标车辆轨迹预测模型如图4 所示，将由传感器采集的目标车辆具有时序关系的运动状态观测历史数据输入1DCNN进行潜在特征提取，处理后的数据通过BiLSTM 网络获得目标车辆在未来时刻的运动轨迹。

图4 基于1DCNN-BiLSTM的目标车辆轨迹预测模型

4.2 模型实现

实现基于1DCNN-BiLSTM 的目标车辆轨迹预测模型的流程如下：

b.将归一化处理后无量纲的数据送入1维卷积神经网络的卷积层，提取数据间的潜在关系：

c.卷积操作后的非线性变换数据通过修正线性单元（Rectified Linear Unit，ReLU）激活函数实现潜在时空关系特征提取，送入如图5所示的BiLSTM网络结构，通过前向LSTM层、后向LSTM层捕获序列间长期依赖关系：

图5 BiLSTM网络结构

d.将有效拟合后的数据y依次通过2 个全连接层，输出轨迹预测值。

5 试验结果与分析

本文通过如图6 所示的搭载有多种传感器的智能车辆试验平台采集数据，平台集成了激光雷达、毫米波雷达、GPS定位模块、惯导系统、工控机（包含CAN 通讯卡）等硬件设备，通过上、下位机控制系统可以开展智能汽车相关试验任务。

图6 智能车辆试验平台

为了方便分析复杂交通场景下目标车辆自身运行状态及与周围车辆的时空交互关系，选择数据采集试验车为目标车辆。目标车辆的长度、宽度为数据采集试验车的车长和车宽；目标车辆轨迹横、纵坐标、采用时刻试验车车载GPS 定位模块实时获取的车辆横、纵坐标值；目标车辆瞬时速度由试验车车载CAN 通讯卡获取，目标车辆瞬时加速度由瞬时速度求导获取；周围车辆相对预测目标的瞬时位置是通过分析车载激光雷达采集的周围车点云数据获取，利用激光雷达采集点云的距离阈值范围，筛选出的相邻车道对预测目标运动影响最大的周围车辆相对位置信息；目标车辆与前车时距通过车载毫米波雷达获取的与前车的距离计算出目标车辆与前车的碰撞时间获得。

图7 所示为试验数据采集瞬态场景，表示某时刻试验数据采集车与同一车道行驶的前车以及相邻车道的周围车辆所处的位置情况。试验过程中，32 线激光雷达采集数据周期为0.5 s，数据采集地点为某城市的绕城高速公路，是基于同一试验数据采集车所获取的道路环境数据，试验数据采集车的部分数据如表1所示。

图7 试验数据采集瞬态场景

表1 试验数据采集车的部分数据

为了测试1DCNN-BiLSTM算法性能，选取智能车辆试验平台所获取的激光雷达原始数据中连续800帧的观测数据作为样本，构建1DCNN-BiLSTM 模型，进行轨迹预测。算法测试平台所采用的编程语言为Python 3.6，配备NVIDIA GeForce GTX 1650独立显卡、主频为2.4 GHz的IntelCorei5-9300处理器，内存16 GB。将该800组观测数据进行划分，其中前560 组数据作为训练集，后240组数据作为测试集，利用ADAM函数进行算法优化，学习率设置为0.01，窗口长度为4，每批处理样本的数量为8 个。采用均方误差（Mean Squared Error，MSE）和平均绝对误差（Mean Absolute Error，MAE）进行评价：

式中，为MSE值；为MAE值；P为时刻预测值；R为时刻真实值；为样本数量。

如图8、图9 所示为利用1DCNN-BiLSTM 模型在训练集和测试集上分别对目标车辆轨迹横、纵坐标、进行预测的均方误差、平均绝对误差损失。图8 中的1DCNN-BiLSTM 模型在训练集和测试集上分别对、预测的均方误差损失曲线的变化趋势一致；图9中的1DCNN-BiLSTM模型在训练集和测试集上分别对、预测的平均绝对误差损失曲线的变化趋势一致。结果表明，模型对目标车辆轨迹具有良好的预测效果。

图8 1DCNN-BiLSTM模型预测的均方误差损失

图9 1DCNN-BiLSTM模型预测的平均绝对误差损失

为了进一步对比不同算法的预测性能，分别选取全链接（Fully Connected，FC）、LSTM、BiLSTM 等传统网络模型与本文所提出的1DCNN-BiLSTM 网络模型进行对比，其层结构、输出形状、参数数量如表2所示。

表2 对比试验网络模型

如图10、图11 所示为利用LC、LSTM、BiLSTM、1DCNN-BiLSTM 模型在训练集和测试集分别对目标车辆轨迹横、纵坐标、预测的均方误差、平均绝对误差损失对比，如表3 所示，车辆运动受到道路边界及车道线的制约，其横向轨迹数值变化范围小，纵向轨迹数值变化范围大，因此导致纵坐标的均方误差和平均绝对误差损失值均较横坐标高。由于本文所选取的ADAM 函数优化器具有较高的收敛速度，设置学习率为0.01 时，横、纵坐标的均方误差和平均绝对误差均可快速降低，且图10、图11 中采用1DCNN-BiLSTM模型在测试集中进行300 次迭代最终获得的横、纵坐标的均方误差和平均绝对误差的损失值均低于其他3种预测模型。由模型预测实时性对比试验结果可知，迭代次数与实时性有关，1DCNN-BiLSTM 模型在精度提升的同时，仍然满足实际应用的要求，故1DCNNBiLSTM 模型对目标车辆轨迹预测效果明显优于其他模型。

图10 各模型预测的均方误差损失对比

图11 各模型预测的平均绝对误差损失对比

表3 各模型预测效果统计

6 结束语

为了有效预测复杂交通场景中目标车辆的运动轨迹，本文提出一种基于观测数据潜在特征与双向长短期记忆网络的方法，通过1维卷积神经网络提取由车载传感器所采集的车辆运动状态观测数据的潜在时空关系特征，将其输入双向长短期记忆网络进行训练，对比试验结果表明，所构建的1DCNN-BiLSTM 模型对目标车辆轨迹预测效果明显优于其他模型。