自动驾驶车辆换道博弈策略分析及建模

张可琨 曲大义 宋慧 戴守晨

摘要：

为了促进自动驾驶技术的发展，本文聚焦于自动驾駛车辆换道决策行为。首先对换道意图进行客观性量化，然后引入换道碰撞概率与换道动态风险系数，并基于博弈论思想建立自动驾驶车辆换道博弈决策行为模型，选取速度收益作为博弈收益的考量目标，使得自动驾驶车辆进行协作、安全、合理的换道。最后，使用SUMO软件将传统LC2013换道模型与换道博弈决策行为模型进行仿真实验和对比分析，结果表明换道博弈决策行为模型具有更高的稳定性、可靠性、安全性以及车道利用率。

关键词：

自动驾驶；换道行为；决策方法；博弈策略

中图分类号： U463；TP18文献标识码：A

收稿日期：2021-12-18；修回日期：2022-01-04

基金项目：

国家自然科学基金（51678320）；山东省重点研发计划（2019GGX101038）

第一作者：

张可琨（1997-），男，江苏徐州人，硕士研究生，主要研究方向为车路协同与自动驾驶。

通信作者：

曲大义（1973-），男，山东青岛人，博士，教授，主要研究方向为车路协同与安全控制。

Analysis and Modeling for Lane-changing Game Strategy of Autonomous Vehicles

ZHANG Kekun，QU Dayi，SONG Hui，DAI Shouchen

（School of Mechanical and Antomotive Engineering，Qingdao University of Technology，Qingdao 266520，China）

Abstract：

In order to promote the development of autonomous driving technology， this paper focuses on the lane-changing decision-making behavior of autonomous vehicles. First， the lane-changing intention is quantified objectively， and then the lane-changing collision probability and the lane-changing dynamic risky coefficient are introduced. Based on the game theory， the decision-making behavior model of the lane-changing game for autonomous vehicles is established. Besides， speed gains are considered as the objective of game gains. Therefore， autonomous vehicles can change lanes in a coordinated， safe and reasonable manner. Finally， with SUMO software， the traditional LC2013 lane-changing model and the decision-making behavior model of the lane-changing game are used for simulation experiments and comparative analysis. The results show that the decision-making behavior model of the lane-changing game has higher stability， reliability， safety and lane utilization.

Key words：

autonomous driving; lane-changing behavior; decision-making method; game strategy

0 引言

在智能网联技术的支撑下，自动驾驶技术可以在一定程度上减轻驾驶员的驾驶任务，从而提升出行效率与安全性。自动驾驶车辆通常被分成6个等级，且自动驾驶的等级越高，智能化与自动化的程度就越高［1］。

自动驾驶技术分为环境感知、决策规划以及执行控制3个部分。其中，决策部分体现了智能性，对车辆的安全性起着至关重要的作用。一般期望实现的功能越丰富，自动驾驶决策就越重要且难度越大。换道决策是自动驾驶决策中极其重要的一部分，同时也是交通领域的研究热点之一，故本文对自动驾驶车辆的换道决策进行研究。

1 换道行为分析

换道行为是自动驾驶车辆基本的一项决策行为，其完成一般依靠车辆间的协作，即换道的完成需要较好的行驶环境。在智能网联环境下，自动驾驶车辆可以对周围车辆及环境进行精确感知，使得换道决策安全且高效，最终提升换道过程的可靠性及成功率［2］。

随着自动驾驶技术的应用与发展，国内外相关研究人员对车辆的换道模型进行了一系列的研究。Gipps［3］通过分层决策建立车辆换道决策模型，为后续车辆换道决策的研究和发展提供了思路。Kanaris等［4］通过评估车辆周围的换道环境建立车辆换道模型，最终以安全距离来确定车辆是否可以换道。Jula等［5］通过建立最小纵向安全间距模型来评估车辆的换道行为是否安全。Peter［6］从车辆换道过程中的相互性角度出发，对换道进行了类别上的划分。Langar等［7］通过博弈论建立车辆的换道决策模型，通过分析收益矩阵来选择策略，从而确保车辆安全换道。宋威龙［8］从横向和纵向两个角度，分别建立了有限状态机决策模型和马尔可夫决策模型，使得车辆间的协作行驶更加有效。聂建强［9］基于深度学习建立车辆换道决策模型，增强了换道的准确度。李传友［10］基于模糊逻辑理论建立车辆换道决策模型，提升了车辆换道的安全性。曲大义等［11］基于博弈论思想建立了自动驾驶车辆换道模型，以车辆的事故数等指标来分析模型的性能，验证了所提的博弈换道模型具有较好的安全性与稳定性。

一般而言，国内外学者对换道决策的研究主要考虑车辆的速度和位置等参數，并结合道路交通环境，建立基于规则或安全车距的车辆换道模型。缺乏对车辆在换道过程中的安全性和公平性的考虑。智能网联环境下，自动驾驶车辆在满足换道安全性的同时，更应保证出现冲突的自动驾驶车辆双方具有一定的公平性。本文将根据自动驾驶车辆在换道过程中的博弈行为建立车辆换道博弈决策行为模型，从而使自动驾驶车辆更加安全高效地行驶。

车辆的换道行为大体上分成自由换道与强制换道［12］。强制换道是指因交通规则等情况而必须进行换道的行为。而自由换道具有一定的非必要性。如图1所示，自动驾驶车辆LV在当前车道行驶的过程中速度受到前方自动驾驶车辆PV的约束，没有达到行驶的期望速度，随即产生了换道的意图。而在换道过程中又可能与目标车道自动驾驶后车RV存在冲突引发碰撞，故最终放弃换道。所以此次自动驾驶车辆换道过程为自由换道，具有非必要性。本文也将对自动驾驶车辆的自由换道行为进行研究。

2 换道行为的博弈策略分析

博弈论的思路具有明显权衡的特点，一般用其研究含有竞争性的问题。近年来，国内外一些研究者基于博弈论建立了车辆换道决策模型。Kita［13］从博弈的视角探究车辆的换道决策行为过程。Bell［14］在高速公路场景下的车辆换道过程中耦合了博弈论思想，并研究其对交通流所产生的影响。黑凯先等［12］研究了网联混合车流环境下的车辆换道博弈过程，并探究博弈换道模型的稳定性及安全性。

2.1 完全信息静态博弈

根据研究问题的不同性质与意义，可以建立不同的博弈模型。一般博弈模型在形式上可能会有所不同，但都包括博弈过程的参与对象、各个参与对象选择的策略以及各个参与对象进行相应的策略选择后所获得的收益函数等3个构成要素。根据博弈参与者之间是否存在具有合作关系的特定约束力协议，可以将博弈区分为合作博弈类型和非合作博弈类型两种。此外，依据参与者动作方面的顺序性及信息方面的完整性又可将非合作博弈细分为4类，与之分别对应4种均衡，它们的具体关系如表1所示。

由于本文研究的博弈对象为自动驾驶车辆，博弈双方对于策略及收益均有清晰的了解，所以博弈首先是一个完全信息博弈。此外，在博弈的过程中，博弈双方同时进行自动驾驶车辆操作时仅有一次博弈，所以博弈又是一个静态博弈。基于此，本文建立一个完全信息静态博弈模型。

3 换道博弈决策行为模型建立

自动驾驶车辆的换道过程一般是协作换道，故基于博弈论思想对自动驾驶车辆换道行为过程进行建模。为了更好地对自动驾驶车辆换道进行建模，先做以下假设：1）自动驾驶车辆的自动化级别较高，车辆能自行完成驾驶操作；2）自动驾驶车辆能够获取自身与周围车辆的位置、速度及加速度等信息；3）自动驾驶车辆为统一标准小汽车，且能实现互相通信。

3.1 换道意图的产生

目标车道前车的速度与当前车道前车的速度对于换道意图的产生起到了极其重要的作用［15］。基于自动驾驶车辆对周围车辆速度信息的获取，来对换道意图进行客观性量化表示：

k=vfvp （6）

其中，k为当前车道自动驾驶换道车辆的换道意图；vf为目标车道自动驾驶前车的速度；vp为当前车道自动驾驶前车的速度。

通过目标车道前车的速度与当前车道前车的速度的比值来对自动驾驶车辆的换道意图加以确定，换道意图的产生与否透过k值来体现。k>1时，产生换道意图，自动驾驶车辆可以通过换道来收获速度收益；k<1时，无换道意图，车辆保持跟驰。

3.2 换道博弈模型

换道意图产生后，还需要进行换道条件的判断来确保换道的安全性，若不满足换道条件，则车辆只能放弃换道，并继续在当前车道跟驰。将车辆换道视为二维平面上的动态变化行为，将运动时的车辆视为质点，从安全性角度考虑换道合理与否，而车辆间的距离影响着车辆的安全性，故而引入换道碰撞概率模型：

p（x，y）=exp［－12σ2g（x2+μy2sin2θ）］σg=emv2+a2+ε  （7）

其中，θ为车辆最大转向角；μ为横向稳定系数；σg为车辆运行时速度方向的分布因子；e和ε为非零常数；v与a分别为车辆的速度与加速度；m为车辆自身的质量。具体的换道碰撞概率如图2所示。

在注重换道安全性的同时，也将换道的舒适性考虑在内，而车辆的冲击度影响着换道的舒适性。因此，在换道碰撞概率模型的基础上结合车辆运行时的冲击度，进一步引入换道动态风险系数，以此作为判断换道与否的条件：

ξ=αp（x，y）G1+j2j=d2v（t）d2t=da（t）dt （8）

其中，α为常数；G为车辆尺寸系数；j为车辆运行时的冲击度。当ξ≤1时，车辆可以进行换道。换道动态风险系数如图3所示，设车辆做匀速直线运动，所以加速度a与冲击度j均为0，速度则沿着x的正方向。由图3可得，在（0，0）位置处的动态风险系数ξ最大，且其值随着距离的增加而减小，以致接近于零。

自动驾驶车辆在产生换道意图后，获取周围车辆的相关信息。在明确博弈对象后形成博弈系统，并将速度收益作为收益函数，进而得到属于该博弈的混合策略下的纳什均衡。自动驾驶车辆博弈换道的具体决策流程如图4所示。

在换道博弈决策行为模型下，当前车道自动驾驶换道车辆VL的策略集合表示为｛换道，不换道｝，选取“换道”策略的概率为p；目标车道自动驾驶后车VR的策略集合表示为｛避让，不避让｝，选取“避让”策略的概率为q。此外，将速度收益作为博弈获得的收益函数。具体的博弈收益矩阵如表4所示。

自动驾驶换道车辆在选择不同的策略时会获得不同的收益，从模型博弈收益矩阵中可以看出，自动驾驶换道车辆VL共有uL（c1，d1）、uL（c1，d2）、uL（c2，d1）以及uL（c2，d2）4种不同的收益，且收益函数会随着概率的变化而变化。图5为一博弈中自动驾驶换道车辆的收益函数随着概率p以及概率q的变化而变化的示意图。在4种情形下自动驾驶换道车辆的速度收益依次为5，-20，-6，-6。

当自动驾驶换道车辆在t0时刻产生换道意图并选择“换道”策略，且自动驾驶后车选择“避让”策略时，博弈双方可进行协作式换道。当前车道自动驾驶换道车辆做匀加速直线运动，而目标车道自动驾驶后车做减速运动来进行避让，进而为自动驾驶换道车辆提供合适的换道空间。在博弈换道时首先考虑安全性，但不仅仅考虑安全性。对于安全性而言，换道动态风险系数ξ=1为临界值，在ξ≤1时均可换道。又考虑到博弈收益以及车道利用率等因素，故在换道动态风险系数ξ=1时可考虑换道。在当前车道自动驾驶换道车辆VL与当前车道自动驾驶前车VP在距离上满足换道动态风险系数ξ=1时，可以根据自动驾驶车辆的功能以及上述公式求得时间Δt。基于换道博弈收益最大化的理念，应使速度上的损失尽可能地减少，因此在经过时间Δt后，当前车道自动驾驶换道车辆VL与目标车道自动驾驶后车VR在距离上应该满足换道动态风险系数ξ=1。最终在换道博弈决策结束后可得到自动驾驶车辆的加速度、在t1时刻的速度以及速度收益。

在博弈换道的过程中，自动驾驶车辆动态风险系数的分布范围存在着相应的变化，具体变化情况如图6所示。当前车道自动驾驶换道车辆VL因车速增大而使得风险系数的分布范围相应地变大，目标车道自动驾驶后车VR因车速的减小而使得风险系数的分布范围又相应地变小。

同时，在经过时间Δt，且当前车道自动驾驶换道车辆VL与当前车道自动驾驶前车VP在距离上满足换道动态风险系数ξ=1后，若当前车道自动驾驶换道车辆VL与目标车道自动驾驶后车VR在距离上不满足换道动态风险系数ξ≤1，则当前车道自动驾驶换道车辆VL为避免碰撞事故的发生应放弃换道。此外，时间Δt的值也不宜过大，当Δt超过一定阈值时，考虑到时间、道路空间利用率以及安全性等方面的因素，当前车道自动驾驶换道车辆VL也应放弃换道，可寻找合适的机会重新进行换道。

4 实验结果与分析

4.1 仿真平台与环境

本文使用SUMO软件对上述换道博弈决策行为模型的性能进行实验验证。SUMO是一款开源微观连续交通流仿真软件，其丰富的功能吸引着一些交通研究者的使用。随着智能网联环境的推进式发展，SUMO开始逐渐对自动驾驶进行仿真，也为自动驾驶的模型以及算法提供了多样化的动态环境。

4.2 仿真结果分析

本实验设定一条长度为3 000 m、限速为120 km/h的单向三车道路段。将实验分为A组与B组，其中A组采用的换道模型为SUMO软件中默认的LC2013换道模型，LC2013换道模型的换道过程为瞬时换道，在道路网络中通过对有效路径的计算来完成换道的选择；B组采用的换道模型为上述提出的换道博弈决策行为模型。此外，划定密度范围10 ～100 veh/km，以10 veh/km为间隔度，对两组模型分别进行10次仿真实验，每次仿真时间为360 s。两组实验换道模型的相关特征参数如表5所示。

首先，对换道博弈决策行为模型实验组的自动驾驶车辆的动态风险系数ξ及碰撞概率p（x，y）进行提取，具体结果如图7所示。通过分析可知，动态风险系数稳定在0.5～1.5的范围内波动，碰撞概率稳定在0.5附近波动，表明换道博弈决策行为模型具有较好的稳定性。

此外，在两组模型实验中，分别采用两种不同颜色的车流来进行区别仿真。与此同时，两组模型在不同交通流密度下依次采用车辆的平均速度、360 s内的车辆通过数以及车辆的事故数等指标来对比分析模型的性能。

如图8所示，从不同交通流密度下车辆平均速度的角度来分析，在交通流密度小于70 veh/km的情况下，换道博弈决策行为模型实验组的车辆平均速度要明显高于传统LC2013换道模型，随着车流密度的不断增加，换道机会逐渐减少，两种模型下的车辆平均速度差距呈现出减小的趋势，但换道博弈决策行为模型实验组的车辆平均速度仍高于传统LC2013换道模型。故总体上而言，在本文所提出的换道博弈决策行为模型下的交通流有着更好的运行效率。

如图9所示，从不同交通流密度下360 s内的车辆通过数指标来分析，换道博弈决策行为模型实验组的车辆通过数始终多于传统LC2013换道模型，特别是在交通流密度大于50 veh/km时，换道博弈决策行为模型在车辆通过数上有着明显优势，同时也表明了换道博弈决策行为模型具有较好的道路利用率，可以使得车辆高效运行。

如表6所示，从车辆事故数来分析，在车流较少的情况下，LC2013换道模型与换道博弈决策行为模型均未有事故发生。但随着交通流密度不断增加，特别是在40 veh·km-1的车流密度之后，LC2013换道模型的车辆事故数呈现出增加的趋势，而换道博弈决策行为模型将车辆事故数控制在极低的数量，几乎没有事故发生，从而使得交通流平稳运行。在交通流不断增加的情况下，换道博弈决策行为模型以极小的概率出现了一次（换道，不避让）的状况，表明了换道博弈决策行为模型还存在一定的改进空间。但总的来说，换道博弈决策行为模型具有较好的可靠性与安全性。

5 结论

相比于之前的研究工作，本文對换道意图进行客观性量化，引入了换道碰撞概率和换道动态风险系数，并基于博弈论思想建立自动驾驶车辆换道博弈决策行为模型。通过相关理论分析与仿真实验，得到以下结论和展望。1）自动驾驶车辆的换道具有协作式的特点，运用博弈论思想可以合理地展现其交互性行为。在对换道意图客观性量化的基础上，引入换道碰撞概率与换道动态风险系数来保证换道决策的安全性，并建立换道博弈决策行为模型。仿真实验表明，换道博弈决策行为模型与传统换道模型相比具有更好的安全性与稳定性。同时，本研究在一定程度上可以为自动驾驶车辆的换道研究提供理论依据。2）未来将对自动驾驶车辆换道博弈决策行为进一步研究，考虑综合多种收益函数，使得博弈换道行为更加合理化，同时改善换道博弈决策行为模型，使其更加适用于实际的复杂化交通场景，以期促进自动驾驶技术的发展。

参考文献：

［1］黎宇科，刘宇.国内智能网联汽车发展现状及建议［J］.汽车与配件，2016（41）：56-59.

LI Y K， LIU Y. Development status and suggestions of domestic intelligent connected vehicles［J］. Automobile and Parts， 2016（41）：56-59.

［2］徐泽洲，曲大义，洪家乐，等.智能网联汽车自动驾驶行为决策方法研究［J］.复杂系统与复杂性科学，2021，18（3）：88-94.

XU Z Z， QU D Y， HONG J L， et al. Research on decision-making method for autonomous driving behavior of connected and automated vehicle［J］. Complex Systems and Complexity Science， 2021， 18（3）：88-94.

［3］GIPPS P G. A model for the structure of lane changing decisions［J］. Transportation Research Part B： Methodological， 1986， 20（5）：403-414.

［4］Kanaris A， Kosmatopoulos E B， Loannou P A. Strategies and spacing requirements for lane changing and merging in automated highway systems［J］. IEEE Transactions on Vehicular Technology， 2001， 50（6）：1568-1581.

［5］Jula H， Kosmatopoulos E B， Ioannou P A. Collision avoidance analysis for lane changing and merging［J］. IEEE Transactions on Vehicular Technology， 2000， 49（6）：2295-2308.

［6］PETER H. Modelling lane changing and merging in microscopic traffic simulation［J］. Transportation Research Part C： Emerging Technologies， 2002， 10（5）：351-371.

［7］Langar R， Kim C. Game theory based autonomous vehicles operation［J］. International Journal of Vehicle Design， 2014， 65（4）：360-383．

［8］宋威龙.城区动态环境下智能车辆行为决策研究［D］.北京：北京理工大学，2016.

SONG W L. Research on behavioral decision making for intelligent vehicles in dynamic urban environments［D］. Beijing： Beijing Institute of Technology，2016.

［9］聂建强.高速公路车辆自主性换道行为建模研究［D］.南京：东南大学，2017.

NIE J Q. Research on modeling of discretionary lane-changing behavior of vehicles in freeway ［D］. Nanjing： Southeast University，2017.

［10］ 李传友.高速公路环境下智能车辆自动换道研究［D］.西安：长安大学，2019.

LI C Y. Research on intelligent vehicle automatic Lane change in expressway environment［D］. Xian： Changan University，2019.

［11］ 曲大义，黑凯先，郭海兵，等.车联网环境下车辆换道博弈行为及模型［J］.吉林大学学报（工学版），2022，52（1）：101-109.

QU D Y， HEI K X， GUO H B， et al. Game behavior and model of lane-changing on the internet of vehicles environment［J］. Journal of Jilin University（Engineering and Technology Edition）， 2022， 52（1）：101-109.

［12］ 黑凯先，曲大义，郭海兵，等.网联混合车流车辆换道博弈行为及模型［J］.科学技术与工程，2021，21（6）：2495-2501.

HEI K X， QU D Y， GUO H B， et al. Modeling lane-changing behavior in mixed traffic flow connected environment based on game behavior［J］. Science Technology and Engineering， 2021， 21（6）：2495-2501.

［13］ KITA H. A merging-give way interaction model of cars in a merging section： a game theoretic analysis［J］. Transportation Research Part A：Policy and Practice， 1999， 33（3）：1-312.

［14］ BELL M H. A game theory approach to measuring the performance reliability of transport networks［J］. Transportation Research Part B： Methodological， 2000， 34（6）：533-545.

［15］ 孟鑫.混合車流环境下城市快速路交织区仿真研究［D］.长春：吉林大学，2019.

MENG X. Research on the simulation of the weaving area on the urban expressway under the mixed traffic environment［D］. Changchun： Jilin University， 2019.

（责任编辑 耿金花）