基于长短期记忆网络的驾驶意图识别方法

席婵婵 杨昌波 李骏 郑伟光

摘要：为了使高级驾驶员辅助系统能够更好的工作，进而提高其安全性和舒适性，提出一种基于长短期记忆（Long Short-term Memory，LSTM）网络的驾驶意图识别方法，能够较为准确地识别目标车辆的驾驶意图。该方法将踏板开度和踏板开度变化率输入意图识别网络，并在意图识别网络中引入灰狼优化算法（Grey Wolf Optimizer，GWO）对网络参数进行优化，提高驾驶意图识别性能。为了验证该方法的准确性，基于数据集训练并评估模型，结果表明：所提方法对加速和制动意图识别的准确率、召回率和[Flmacro]分数分别为0.981、0.983和0.982，均优于支持向量机（SVM）和普通的LSTM模型。

关键词：驾驶意图识别；长短期记忆网络；灰狼优化算法

中图分类号：U471  收稿日期：2023-03-08

DOI：10.19999/j.cnki.1004-0226.2023.07.005

1 前言

随着汽车行业的不断发展，各种汽车电子装置、定位装置、手机以及其他远程信息处理装置的日益普及，司机的注意力也在被这些装置不断分散，继而使汽车在行驶过程中的风险大大增加，因此，人们正在致力于自动化驾驶辅助系统的研究，如使用驾驶员辅助系统（ADAS）的车道保持系统（LKS）和自适应巡航系统（ACC）。但是，在不知道司机驾驶意图的情况下，这些辅助系统和设备极容易误导司机的驾驶决策，所以系统在接收到司机驾驶行为信息的同时，对于司机驾驶意图的正确辨识是ADAS至关重要的一点。

目前，国内外学者在驾驶意图的识别方面已经积累了一定经验，以Pentland，Mizushima，Meyer-Delius等[1]为典型代表，使用隐马尔科夫理论（Hidden Markov Method，HMM）对驾驶意图展开研究并得出了一些有益的研究成果，主要内容是利用HMM模型从感观数据中识别驾驶人行为，之后该模型可以通过汽车驾驶人最初的准备动作中预测他们的后续动作；马晶晶[2]以实际交通环境参数和汽车运行参数作为输入，提出了一种伪二维隐马尔科夫（P2D-CHMM）驾驶意图辨识模型;王畅[3]则以实时在线辨识复合工况下的驾驶意图为目标，建立了用于驾驶员驾驶意图辨识的双层HMM模型。而根据模式识别理论，研究者可以将意图识别问题转变为特定的意图类型问题，这一类型的方法又有神经网络、支持向量机、贝叶斯网络等，例如曲代丽[4]以制动踏板开度及其变化率、制动减速度作为参数，给出一种基于模糊神经网络的驾驶意图识别方法；王庆年等[5]将驾驶意图分为动力模式和经济模式，提出了基于模糊神经网络的驾驶意图识别模型；李慧等[6]通过采集分析自车加速踏板及其变化率，提出一种采用粒子群优化支持向量机参数的驾驶意图模型；麻婷婷等[7]提出一种以方向盘转角、车辆速度、车辆与道路边界的距离和驾驶人眼部信息为特征参数的基于支持向量机驾驶员超车辨识模型；Song 等[8]利用驱动模型对贝叶斯网络进行校准和执行，提出一种新型驾驶员模型与贝叶斯网络结合的机动变道算法对驾驶意图进行识别。随着长短期记忆网络在语音识别、翻译等领域取得一系列重大突破，有研究者开始将其用在驾驶意图识别方向，以季学武（LSTM）等团队[9-11]为代表，使用长短期记忆（LSTM）网络对驾驶员的换道意图进行识别，并且发现将意图识别考虑在内的轨迹预测模型能显著提高轨迹预测精度。

本文提出一种基于长短期记忆网络（LSTM）的驾驶意图辨识方法，并且通过灰狼算法（Grey Wolf Optimizer ，GWO）來优化模型的网络超参数，达到长短期记忆网络参数寻优范围的自整定。对比分析不同模型的分类效果，最终证实本文所提出的GWO-LSTM模型可获得最优辨识结果。

2 驾驶员驾驶意图分析

在日常驾驶过程中，司机的驾驶意图会受到由自车情况、路面条件和司机自身组成的人-车-路系统内信息的影响。比如自车速度、加速度、加速踏板开度、方向盘转角等自车数据；路面摩擦阻力因数、自车至路面边界的距离等路面环境信息；以及司机自身的一些信息，这些都可以作为判断驾驶员驾驶意图的特征参数，不过，如果采用太多的特征参数会增加模型训练难度、影响模型的预测准确性。在正常情况下，踏板开度大小可以反映司机驾驶意图，但不能表示司机加速意图和制动意图的紧急迫切程度，因此，我们不能够单纯地仅仅通过踏板开度这一数据来实现精确的加速和制动需求。

为了能够得到更精确的驾驶意图模型，本文选取加速踏板开度a、制动踏板开度b和其踏板对应的开度变化率[da/dt]、[db/dt]这4个参数作为意图识别模型的输入量，利用智能算法对踏板数据进行解析，并据加速、制动意图的快慢程度将其分为缓慢加速、一般加速、急加速[6]、缓慢制动、一般制动、紧急制动6种驾驶意图。

3 模型结构

3.1 长短期记忆网络

LSTM模型利用细胞内的自循环来实现固定参数下尺度上的动态变化。汽车驾驶行为数据隐藏着与车辆驾驶行为有关的具备时间延续性的内容，为了能达到良好的仿真结果，因此使用LSTM模型对意图识别建模。LSTM网络核心结构如图1所示。

LSTM网络核心结构图是由若干个上图中的细胞结构组成，每个细胞结构中有3个控制门：遗忘门、输入门、输出门。

遗忘门（forget gate）控制是否遗忘，公式为：

[ft=σwf?t?1，xt+bf]                         （1）

式中，[σ]为sigmoid函数；[wf]为遗忘门权重；[?t?1]为t-1时刻的隐藏状态；[xt]为输入数据；[bf]为遗忘门的偏差。

输入门（input gate）决定何种信息被更新到细胞状态中，主要由两部分组成，一部分输出是it，另一部分输出是at。公式为：

[it=σwi.?t?1，xt+bi]                        （2）

[at=tanhwc.?t?1，xt+bc]                     （3）

式中，tanh为tanh函数；[wi]为输入门权重；[wc]为即将更新到细胞状态中的备选细胞状态的信息；[?t?1]为t-1时刻的隐藏状态；[xt]为输入数据；[bi]为遗忘门的偏差；[bc]为备选细胞状态偏差。则LSTM细胞状态的更新过程为：

[ct=ft×ct?1+it×at]                           （4）

输出门（output gate）对信息进行选择性输出，并且在细胞状态参与下进行输出，数学表达式为：

[ot=σw0?t?1，xt+b0]                           （5）

[?t=ot×tan?ct]                            （6）

式中，[ot]为输出门的输出；[w0]为输出门的权重；[?t?1]为t-1时刻的隐藏状态；[?t]为t时刻的隐藏状态；[xt]为输入数据；[b0]为备选细胞状态的偏差。

3.2 灰狼优化算法

灰狼优化算法（Grey Wolf Optimizer）是一项模拟灰狼的社会等级制度和捕食行为而提出的全新集群智能优化算法[12]。在灰狼族群中一共存在[α]、[β]、[δ]和w共4个社会等级，并由GWO算法建立了一个模型，该算法通过比较得到各个灰狼的社会等级来控制检索方向，相比于其他群体智能算法，该优化算法通过引入可变的收敛因子以及及时的信息反馈机制，可实现自我调节，进而可以更好地提高算法的优化效率。使用GWO在LSTM模型的參数寻优中，当寻优范围设置得当时，会使模型具有更快的寻优速度和较高的分类准确率。

假设搜索空间是P维的，每只狼的位置是1个矢量[Xi=（Xi，1，Xi，2，…Xi，P）]，那么狼群X由N只灰狼组成[X={X1，X2，…XN}]。灰狼[Xi]在更新位置时，首先要计算自己与最好的3只狼的距离，计算公式如下：

[Pα=C1Xα?Xit]                           （7）

[Pβ=C2Xβ?Xit]                            （8）

[Pδ=C3Xδ?Xit]                             （9）

[Ck=2r1，k=1，2，3]                        （10）

式中，[Pα]、[Pβ]、[Pδ]分别代表灰狼[Xi]距离灰狼[α]、[β]、[δ]的位置；[Xit]为当前灰狼位置；[C1]、[C2]、[C3]是随机向量；[r1]∈[0，1]的随机数。

求出[Xi]距[α]、[β]、[δ] 3只灰狼的距离后，[Xi]要向这3只灰狼靠拢，位置迭代公式如下：

[X'1=Xα?A1PαX'2=Xβ?A2PβX'3=Xδ?A3Pδ]                           （11）

[Ak=2ar2?a，k=1，2，3]                     （12）

[Xiter+1=X'1+X'2+X'33]                    （13）

式中，[X'1]、[X'2]、[X'3]分别是灰狼[Xi]要向[α]、[β]、[δ]方向移动的矢量；[X（iter+1）]是最终位置；[r2]∈[0，1]；a为收敛因子，计算公式为[a=2?（l/lmax）]，[l]为迭代次数，[lmax]为最大迭代次数。我们可以发现，当迭代次数增加时，a的值会呈现出一种线性下降的趋势，最终降至0。

4 构建基于GWO-LSTM驾驶意图识别模型

4.1 LSTM驾驶意图识别网络结构

如图2所示，本文采用LSTM网络结构来构建驾驶意图识别模型。被预测车辆自身特征的嵌入维度为4，分别为加速踏板开度a和其开度变化率[da/dt]以及制动踏板开度b和其开度变化率[db/dt]，LSTM网络的隐藏维度为6，它们分别为：缓慢加速、一般加速、急加速、缓慢制动、一般制动、紧急制动6个驾驶意图。在此基础上，采用灰狼优化算法对网络参数进行优化。

4.2 基于灰狼优化算法的LSTM驾驶意图识别模型

一般的LSTM参数的确定和优化是利用时序反向传播（Back Propagation Through Time，BPTT）算法实现的，但是该算法存在统计复杂性较大、可能收敛于局部解的不足，而灰狼优化算法则拥有全局收敛且收敛速度较高的特性。本文主要将GWO应用于LSTM的参数优化，同時将采用基于GWO的LSTM时间序列数据分类预测模型应用于驾驶意图辨识方向。该模型吸取了长短期记忆网络特有的擅于分析时序数据的特性，并通过GWO优化方法确定网络最优参数，确保该模型能够收敛于全局最优。图3为GWO算法优化LSTM网络的流程图。

4.3 模型评价指标

4.3.1 混淆矩阵

混淆矩阵又被称之为误差矩阵，是用来评价模型准确度的一个基准规格，用n行n列的矩阵形式表示。混淆矩阵如表1所示。

我们从混淆矩阵中可以得出分析指标：

a.精确率Precision：被正确预测的Positive样本/被预测为Positive的样本总数：

[Precision=TPTP+FP]                          （14）

b.召回率Recall：被正确预测的Positive样本/真实值是Positive的样本总数

[Recall=TPTP+FN]                        （15）

c.[F1]分数：Precision和Recall的调和平均值，[F1]值越大，模型越优秀

[F1=2Precision·RecallPrecision+Recall]                         （16）

d.对于多分类问题，取宏平均[F1]分数（[Flmacro]）作为综合[F1]分数，其表达式如下：

[Flmacro=1Kk=1KF1k]                            （17）

式中，K为意图总数（本文有6种意图，因此K=6），[F1k]为第k类意图对应的[F1]分数。

4.3.2 ROC曲线

ROC的全称是Receiver Operating Characteristic Curve，该曲线主要的分析方法是画一条以假正类率（False Positive Rate，FPR）为横坐标，真正类率（True Positive Rate，TPR）为纵坐标的工作特性曲线。通过混淆矩阵求解TPR和FPR的公式如下：

TPR：在实际为正类的总样本中，被正确判断为正类的比率。公式为：

[TPR=TPTP+FN]                           （18）

FPR：在实际为反类的总样本中，被错误判断为正类的比率。公式为：

[FPR=FPFP+TN]                       （19）

4.3.3 AUC面积

AUC面积指在ROC曲线下沿着横轴做积分的得到的值即为AUC面积。ROC曲线一般在y=x的上方，因此AUC的取值一般在[0.5，1]。AUC值越大，模型的性能就会越好。

4.3.4 交叉熵损失

交叉熵损失指真实概率分布与预测概率分布的差异。一个分类模型交叉熵的值越小，该模型的分类预测效果就会越好。公式为：

[Loss=?ylogy'+1?ylog1?y']            （20）

5 模型训练

5.1 基于GWO优化的LSTM模型训练

本文通过Matlab软件进行算法的训练及仿真检验，具体实现过程如下：

a.载入数据及驾驶意图的分类类别。

b.选定数据的训练集和测试集。

c.数据的归一化处理；采用[0，1]区间归一化方式，归一化映射如下：

[f：x→y=x?xminxmax?xmin]                      （21）

d.对GWO优化算法参数进行设置与初始化。

e.记录最佳参数值。

f.根据最优参数值建立LSTM驾驶意图模型，最终得到驾驶意图分类准确率。

5.2 参数对比

本文是以支持向量机（SVM）作为基准，将单一的LSTM模型以及经过GWO优化过的LSTM模型的训练结果进行如下对比。如图4所示，SVM模型的训练集预测意图结果为79.89%，未优化的LSTM模型的训练集预测意图结果为80.08%，而经过优化的LSTM模型的准确率达到99%，并且通过其混淆矩阵可以看出：标签1、3、4、5即缓慢加速、急加速、缓慢制动、一般制动4个驾驶意图的训练结果都为100%，说明该模型训练的较为精准。

6 试验与结果分析

为了验证本文提出模型的准确性，采用同一数据集，对比分析以下多个模型的相关性能指标。

a.SVM模型，将目标车辆在时刻t的状态信息作为SVM的输入，输出该时刻的驾驶意图。

b.LSTM模型，将目标汽车过去[ti]时长的特征序列输入到LSTM网络，特征包括a、b、[da/dt]、[db/dt]，利用Softmax函数计算出各个驾驶意图概率。

c.GWO-LSTM模型，在LSTM模型的基础上引入灰狼优化算法（GWO）对LSTM的参数进行优化，得到GWO-LSTM模型。

对以上三个模型进行训练，其性能指标分析结果如表2所示。由表2可以看出，本文提出的GWO-LSTM驾驶意图识别模型总体上优于SVM模型和普通的LSTM模型。其中该模型驾驶意图辨识结果的综合准确率、召回率以及综合[F1]分数分别为0.981、0.983和0.982，均有较大提升，并且该模型的交叉熵损失远低于对比基线模型，说明所提模型能够更好地辨识出汽车的驾驶意图。

图5是GWO-LSTM模型的混淆矩阵，从图中可以得知，本文提出的驾驶意图辨识模型对缓慢加速、一般加速、急加速、缓慢制动、一般制动和紧急制动6种意图的识别准确率都在97%左右，具有较优的性能。

图6为SVM、LSTM、GWO-LSTM三个驾驶意图辨识模型的宏观ROC曲线，从该图可得出：基于SVM的意图识别模型与LSTM模型中的AUC值分别为0.83、0.90，而本文给出的GWO-LSTM模型的AUC值为0.98，相比于前两者而言，该模型具有更高的意图辨识能力。

7 结语

a.选取加速踏板开度a和其开度变化率[da/dt]，以及制动踏板开度b和其开度变化率[db/dt]用于加速意图和制动意图识别的参数，并将加速意图和制动意图按照紧急程度划分为6种类别。

b.构建了基于GWO-LSTM的驾驶意图辨识模型，从测试结果可以看出，该模型在准确率、宏观[F1]值以及测试集误差等指标上明显优于基线模型SVM和普通的LSTM模型，辨识结果准确可靠。

c.该分类模型有助于后续更好的研究和开发汽车驱动控制策略，为改善汽车的操纵性和安全性打下基础。

参考文献：

[1]A.Pentland，A.Liu，Modeling and prediction of human behavior. Neural Computation，1999（11）：229–242.

[2]马晶晶.基于隐马尔可夫理论的驾驶意图辨识研究[D].长沙：长沙理工大学，2012.

[3]王畅.基于隐形马尔科夫模型的驾驶员意图辨识方法研究[D].长春：吉林大学，2011.

[4]曲代丽.基于模糊神经网络的驾驶员制动意图辨识技术研究[D].长春：长春工业大学，2016.

[5]王庆年，唐先智，王鹏宇，等.基于驾驶意图识别的混合动力汽车控制策略[J].吉林大学学报（工学版），2012，42（4）：789-795.

[6]李慧，李曉东，宿晓曦.一种优化参数的支持向量机驾驶意图识别[J].实验室研究与探索，2018，37（2）：35-39.

[7]麻婷婷，涂孝军，朱伟达.基于支持向量机的驾驶员超车意图识别[J].上海工程技术大学学报，2016，30（3）：203-208.

[8]Song Ruitao.Driver intention prediction using model-added Bayesian network[J].Proceedings of the Institution of Mechanical Engineers，2021，235（5）：1236-1244.

[9]季学武，费聪，何祥坤，等.基于LSTM网络的驾驶意图识别及车辆轨迹预测[J].中国公路学报，2019，32（6）：34-42.

[10]梁凡.基于LSTM网络的自动驾驶意图识别研究[D].乌鲁木齐：新疆大学，2020.

[11]宋晓琳，曾艳兵，曹昊天，等.基于长短期记忆网络的换道意图识别方法[J].中国公路学报，2021，34（11）：236-245.

[12]王书芹，华钢，郝国生，等.基于灰狼优化算法的长短期记忆网络在时间序列预测中的应用[J].中国科技，2017，12（20）：2309-2314.

作者简介：

席婵婵，女，1997年生，硕士，研究方向为汽车能量管理。

杨昌波（通讯作者），男，1972年生，高级工程师，研究方向为汽车设计制造。