基于Attention-BiLSTM网络的车辆换道意图识别

黄开启,罗 涛

(江西理工大学 机电工程学院,江西 赣州 341000)

换道意图识别系统能准确感知周围车辆的驾驶行为,让驾驶员预先察觉到可能发生的危险,有效降低汽车高速行驶过程中换道操作所造成的交通事故,增强智能车辆的决策规划能力,提高行驶的安全性和舒适性[1]。目前,换道意图识别是新一代高级辅助驾驶系统(Advanced driver assistance system,ADAS)的关键技术和研究热点[2]。近年来,国内外学者采用机器学习的方法对识别车辆换道意图进行了广泛研究[3]。Mandalia等[4]采用支持向量机(Support vector machine,SVM)预测驾驶员的换道意图,然而该方法难以反映出车辆换道过程的连续性特征。Li等[5]利用道路几何特征和目标车辆的历史状态信息,设计了一种基于动态贝叶斯网络(Dynamic bayesian network,DBN)的车辆换道预测模型,然而DBN模型没有综合考虑车辆之间的交互影响,识别精度难以满足要求。Kumar等[6]提出了一种支持向量机和贝叶斯网络相结合的换道意图识别方法,由于忽视了车辆跟随传感器精度的影响,导致系统误报率较高。Liu等[7]采用隐马尔科夫模型(Hidden markov model,HMM)对驾驶员驾驶意图进行预测,虽然HMM可以对任意长度的时间序列进行建模,但是无法体现出上下文时间特征序列之间的关联性特征。

目前,深度学习在棋类对弈、图像识别和自然语言处理等领域展示出强劲的智能模拟功效,非常适合于换道意图的时空大数据特征识别和决策推理[8]。季学武等[9]设计了一种基于长短期记忆(Long short-term memory,LSTM)网络的驾驶意图识别和车辆轨迹预测模型,然而未考虑车辆间交互信息来识别车辆的驾驶意图。蔡英凤等[10]利用卷积神经网络提取目标车辆社交特征,建立了一种基于LSTM网络的周围车辆行为识别模型,虽然其识别准确率高于SVM模型和HMM模型,但是没有研究未来时刻车辆行驶状态对当前车辆行驶状态的影响,导致模型无法获得完成的车辆行为特征参数信息。郭景华等[11]基于车辆的轨迹信息,构建了一种Residual BiLSTM车辆切入意图识别模型,能够较早地预测出车辆切入意图,提高了车辆的感知能力和行驶安全性。BiLSTM通常以各时步隐含层状态的平均值作为车辆换道行为分类的依据,然而难以区分车辆行驶的每个时刻不同特征对识别结果的贡献度。为充分有效利用车辆行驶状态的历史时刻和未来时刻特征信息,笔者提出了一种基于Attention-BiLSTM网络的换道意图识别方法。在研究主车行驶状态特征及其与周围车辆之间交互行为的基础上,采用具有双向(Bidirectional)传播机制的BiLSTM来模拟驾驶员对周围车辆换道情况的推理过程,通过引入模拟人脑推理行为的注意力(Attention)机制对网络权重进行自适应分配,以充分利用换道特征向量编码信息,增强各时步特征的有效性和避免网络特征信息损失,从而实现换道意图的实时准确识别。

1 换道意图识别分析

1.1 换道过程分析

车辆换道过程如图1所示。图1中:T0为驾驶员产生换道意图时刻;T1为驾驶员完成周围交通环境安全检查并开始进行换道操作时刻;T2为驾驶员控制车辆开始跨越车道线时刻;T3为驾驶员完成换道操作时刻。驾驶员控制车辆进行换道时,车辆的侧向速度、横向加速度以及横向位移等特征参数会明显变大,换道结束后,这些特征参数又回到车辆保持车道行驶变化范围。因此,根据这些特征参数的数据变化情况,从而判断出换道开始时刻和换道结束时刻。在T1到T2阶段,驾驶员进行换道操作,其驾驶行为容易被其他车辆传感器感知,故笔者针对该阶段研究目标车辆的换道意图。

图1 车辆换道过程

1.2 换道场景分析

驾驶员在开始进行换道操作之前,需要判断车辆周围行车环境是否可以安全进行换道。建立x-0-y坐标系,车辆换道场景示意图如图2所示。图2中:S1为目标车辆;S为主车;L1,L2,S1,S2,R1,R2为主车的周围车辆。假设周围车辆数量为n,实际车辆行驶中存在某辆车缺失的情况,因此n≤6。

图2 车辆换道场景示意图

主车装备各类传感器和驾驶意图识别系统,用于获取主车的行驶状态以及周围车辆的行驶信息,对原始数据进行处理,提取以下特征参数作为换道意图识别模型的输入:

1)目标车辆相对于周围车辆的行车间距(Distance headway,DHW)。

2)目标车辆相对于周围车辆的车头时距(Time headway,THW)。

3)目标车辆相对于周围车辆的碰撞时间(Time to collision,TTC)。

4)目标车辆的纵向速度Vx、侧向速度Vy、纵向加速度ax和侧向加速度ay。

5)目标车辆与周围车辆之间的前视距离df和后视距离db。

2 换道意图识别模型

在实际交通环境中,车辆之间存在频繁的交互作用,因此仅考虑与目标车辆物理状态相关的特征,难以获得准确的换道意图。车辆换道过程具有动态性、连续性以及时序性等特点,车辆当前时刻的输出不仅与历史状态相关,而且受未来状态影响。与传统的车辆行驶环境相比,在智能网联的交通环境中,由传感器获得的车辆特征参数序列的尺寸会显著增大,无关信息也可能更多。因此,为了缩短序列信息传递的距离,提高模型训练速度和识别精度,将注意力机制引入BiLSTM中,构建Attention-BiLSTM换道意图识别模型,有助于进一步开发有效和准确的ADAS和智能交通系统。

Attention-BiLSTM换道意图识别模型由特征向量输入层、隐含层和输出层组成,其中,隐含层包括BiLSTM层、Attention层和Dense层。笔者所提出的Attention-BiLSTM模型结构如图3所示。

图3 Attention-BiLSTM结构示意

2.1 双向长短期记忆网络

LSTM以门结构特征来模拟人脑的遗忘机制和记忆机制,从而克服长序列训练过程中的梯度消失或者梯度爆炸问题[12],实现对任意时间序列建模。

在LSTM体系结构中,记忆单元用于信息的输入和输出,Γf为遗忘门;Γu为更新门;Γo为输出门;ct-1为t-1时刻的细胞状态输入;ht-1为t-1时刻的输出;xt为当前时刻的输入;ht为输出;ct为细胞状态。LSTM的推理过程[13]为

Γf=σ(wf[ht-1,xt]+bf)

(1)

Γu=σ(wu[ht-1,xt]+bu)

(2)

Γo=σ(wo[ht-1,xt]+bo)

(3)

(4)

(5)

ht=Γo·tanhct

(6)

(7)

(8)

(9)

式中:w1为输入层到前向LSTM的权重系数;w2为前向LSTM单元层之间的权重系数;w3为输入层到后向LSTM的权重系数;w5为后向LSTM单元层之间的权重系数;w4为前向LSTM到输出层的权重系数;w6为后向LSTM到输出层的权重系数;bft,bbt,bot分别为各相应部分的偏置矩阵。

2.2 注意力机制

Attention机制与人类视觉所特有的大脑信号处理机制相似,通过计算每个特征序列的权重以模拟人类思维,从大量特征序列信息中提取出最重要信息,在机器翻译、语音识别、图像和文本分类等领域具有优异的性能表现[15]。在双向传播BiLSTM网络的基础上引入Attention机制,以缩短序列信息传递的距离,从而捕捉最重要的状态信息。Attention-BiLSTM通过计算不同时刻BiLSTM中输出特征向量的权重,增强特征向量对识别结果贡献度差异性影响,有效防止换道意图部分序列信息在数据传递中丢失。针对序列分析问题,Attention以概率分布的方式,使模型在训练过程中能够根据特征序列信息的重要程度来赋予权重值,不仅可以提高模型识别的准确率,而且不会增加模型计算和存储成本。

将BiLSTM模型的输出矩阵H=[h1,h2,…,ht]输入到注意力机制的隐藏层中,获得Attention层的初始状态矩阵S=[s1,s2,…,st]。根据S中每个特征重要程度分配相应的权重,并将不同权重系数at与其对应的初始状态向量相乘并累加,最终得到Attention层的输出向量Y,计算式为

et=tanh(vtSt+bt)

(10)

(11)

(12)

式中:vt为权重矩阵;bt为偏置量;et为状态向量St所确定的能量值。

2.3 输出层

输出层的输入为Attention层的输出,利用Softmax函数进行计算,从而得到车辆换道意图识别概率。取概率最大值作为车辆换道意图识别结果,计算式为

yt=Softmax(wkY+bk)

(13)

(14)

式中:wk为连接权重;bk为偏置量。

3 试验与分析

3.1 试验数据集

模型验证和测试采用开源的车辆轨迹数据集HighD,该数据集是通过使用无人机来采集车辆特征信息,数据采集示意图如图4所示[16]。HighD数据集包括6个不同地点、16.5 h测量时长、110 000辆车辆轨迹数据以及5 600条完整的车辆换道记录信息,总行驶距离为45 000 km。每条车辆轨迹包含车辆ID、横纵向坐标、速度、加速度、前视距离、后视距离、TTC、DHW、THW和所在车道等信息。

图4 HighD数据采集路段的鸟瞰视角

目标车辆在换道过程中,横向位置和纵向位置会明显发生变化。采用滑动时窗法[17]从HighD数据集中提取车辆横向运动和纵向运动的轨迹序列,总样本为17 595个序列,按8∶2的比例原则,随机划分训练集和测试集,即训练集为14 076个序列,测试集为3 519个序列。

3.2 试验设置

试验基于Pytorch深度学习框架构建Attention-BiLSTM模型,所使用的硬件配置为Inter Core i5-10300H 2.50 GHZ CPU,GTX1650显卡,4 G显存,16 G内存,操作系统为Windows10系统。

试验以均方误差作为损失函数,以Adam作为优化器,经过多次训练迭代后保存模型,根据准确率值和综合F1分数,最终优选出的模型试验超参数设置如表1所示。

表1 模型试验参数

3.3 评价指标

试验在训练集中训练模型,训练结束后保存模型,在测试集中测试模型并进行评估,使用准确率和F1分数作为试验的评价指标,定义如下:

1)准确率Acc:指预测正确的结果占总样本的比例。

(15)

式中:TP表示预测为正样本,真实为正样本;FP表示预测为负样本,真实为正样本;FN表示预测为负样本,真实为正样本;TN表示预测为负样本,真实为负样本。对于三分类问题,首先计算出向左换道、向右换道和车道保持这3类意图的准确率;然后对这3类准确率进行综合;最后得出模型评价的准确率。

2)F1分数:指精确率P和召回率R的调和平均值,表达式为

(16)

(17)

(18)

对于试验有3种换道意图,取微观平均F1micro为综合分数,其方法是通过计算所有类别总的P和R,得到的F1值即为F1micro。

3.4 对比试验结果分析

为了验证提出的Attention-BiLSTM模型的有效性,在同一数据集上,分别与Xia等[18]构建关于目标车辆的HMM换道意图识别模型、Kim等[19]提出基于SVM的车辆换道意图识别模型、Fu等[20]建立识别车辆换道意图的LSTM网络模型以及宋晓琳等[21]提出使用条件随机场(Conditional Random Field,CRF)和Attention优化的LSTM网络换道意图识别模型进行对比试验,分别计算模型的准确率和F1分数,试验结果如表2所示。

表2 不同模型意图识别结果

由表2可看出:提出的Attention-BiLSTM模型与其他4种模型相比较,在准确率值和分数值两方面表现更加优异,比HMM,SVM,LSTM,LSTM-Attention-CRF准确率分别提高0.237,0.190,0.132,0.043,从而验证笔者模型对车辆换道意图识别的有效性。进一步分析,具有时序特征的LSTM网络模型比传统机器学习SVM,HMM模型更加适用于车辆换道意图识别,相较于LSTM模型和LSTM-Attention-CRF模型,笔者提出的Attention-BiLSTM模型对时序特征信息提取更加全面,能有效防止时序特征信息在传递过程中损失,使得换道意图识别性能更佳。

3.5 消融试验结果分析

虽然对比试验结果说明Attention-BiLSTM模型整体上优于其他4种模型,能够准确识别出车辆的换道意图,但是其毕竟不属于同种类型混合试验模型的对比,缺乏一定的试验说服力,因此,利用同一数据集进行消融试验,试验结果如表3所示。Attention-BiLSTM模型的准确率为0.844,综合分数为0.800,与LSTM,BiLSTM,LSTM-Attention模型相比较,准确率分别提升了0.132,0.120,0.022,综合分数分别提升了0.105,0.085,0.026。在LSTM模型中,单独引入注意力机制或者双向传播机制,性能都可以得到一定提升,同时引入这两种机制,换道识别性能最佳。

表3 消融试验结果

通过混淆矩阵图来分析模型预测结果,具体情况如图5所示。Attention-BiLSTM意图识别模型对车道保持、左换道和右换道3种意图的识别结果分别为78.40%,80.30%,87.20%,均优于LSTM,BiLSTM,LSTM-Attention模型。

图5 混淆矩阵

采用受试者工作特征曲线(Receiver operating characteristic curve,ROC)和ROC曲线下面积(Area under ROC curve,AUC)进一步对4种模型的整体预测性能进行评价,具体情况如图6所示。ROC曲线越靠近左上角,假正例率越小,真正例率越大,即AUC值越大,说明模型的平均预测性能越好。LSTM,BiLSTM,LSTM-Attention和Attention-BiLSTM的AUC值分别为0.836,0.853,0.919,0.925,说明Attention-BiLSTM模型具有较高的意图识别性能。

图6 各模型ROC曲线

4 结 论

实时准确识别复杂道路环境中车辆的换道意图是ADAS的核心技术,提出了一种基于Attention-BiLSTM的车辆换道意图识别模型,综合考虑主车与周围车辆之间的交互行为,充分利用车辆行驶状态的历史时刻和未来时刻特征信息,引入双向传播机制对BiLSTM层序列特征分配权重,从而提高换道意图模型的识别性能。采用真实道路数据对模型进行训练和测试,试验结果表明:该模型有效提高了网络的识别能力,识别准确率为0.844,能够准确识别出车辆换道意图,提高车辆的感知能力和安全性能,为人机共驾车辆提供良好的决策依据。

本文得到了江西理工大学研究生创新专项资金项目(ZS2020-S059)的资助。