基于生成式人工智能的网联自动驾驶：通感融合决策技术*

尹骋宇，刘怡良，彭海霞

（西安交通大学，陕西 西安 710049）

0 引言

汽车是人类生产生活中不可缺少的重要运输工具，随着汽车领域技术的发展和理念的更新，过去的几十年里行业发生了巨大的变革，涵盖了可持续发展、技术创新和全球竞争等多个方面。全球车辆保有量在2017 年时就首次超过10 亿辆，并且正在继续增长，被国家视为经济增长的重要驱动力。进入二十一世纪后，环保和节能问题的重要性日益攀升，汽车行业也正在经历一场能源革命，汽车制造商正在加速推出更多环保型汽车，包括电动汽车（EV,Electric Vehicle）、混合动力驱动车、可变排量发动机汽车等。

在汽车行业发展如火如荼的同时，驾驶安全问题也不容忽视。根据世界卫生组织的一份有关道路安全的报告，道路交通死亡人数已经增长至超过每年135 万人，由驾驶员导致的事故占总数的60% 到70% 之间。在这种大背景下，自动驾驶（Autonomous Driving）技术正在快速发展，代表了汽车行业又一大技术革命，同时也是对于交通观念的范式转变。这项变革除了需要车辆工程等传统制造业外，还融合了传感器技术、人工智能技术与最新的无线通信技术，使车辆能够在无人工干预的情况下正常行驶。目前正处于自动驾驶的快速发展时期，大多数自动驾驶车辆还处于需要人工辅助的阶段，无需人工辅助的车辆仍然在研发和测试过程中。

实现自动驾驶的关键问题之一是使车辆具有高度的自主性和决策能力，这正是生成式人工智能（Generative Artificial Intelligence）擅长的领域。生成式人工智能具有如下优势：第一，生成式人工智能使用将传感器数据、高清地图和车联网数据等作为多模态输入，单车智能的预测和决策效果更为精准。第二，生成式人工智能可以应用于模型训练，通过模拟不同交通情景以训练车辆应对不同路况。第三，生成式人工智能可以为高动态、大规模异构车联网提供灵活的网络部署和优化方案，进而促进多车智能的发展。当前的自动驾驶和车联网综述侧重于传统的感知决策算法、专用短程通信（DSRC,Dedicated Short Range Communications）和LTE-V2X 等技术[1-2]，鲜有文献讨论生成式人工智能对网联自动驾驶的重要意义，本文从单车智能和网联协同两个方面，讨论生成式人工智能技术对自动驾驶的决策、感知、导航、网络等模块的促进作用，在此基础上提出基于人工智能代理的网联自动驾驶模型。

1 自动驾驶体系架构

自动驾驶也被称为无人驾驶技术（Driverless Technology），能够使汽车在没有司机干预的情况下自主完成驾驶、导航和避障等操作，自动驾驶技术的核心是在实时数据和环境提示指导下的独立导航和决策的能力。在美国汽车工程师学会给出的标准中[3]，自动驾驶的等级可以分为六个等级，我国于2021 年也提出了类似的汽车自动化分级[4]，同样分为六个等级：L0 应急辅助、L1 部分驾驶辅助、L2 组合辅助驾驶、L3 有条件自动驾驶、L4高度自动驾驶、L5 完全自动驾驶。现在成熟的自动驾驶技术还处于L2 和L3 级别，但是高度甚至完全自动驾驶的前景是可观的。

自动驾驶从系统架构的角度大致可以分为两种，即单车智能[5-6]以及网联协同[7-8]。目前产业界研究方向主要集中单车智能上，即车辆仅通过自身搭载的人工智能、计算机视觉、传感器和全球定位系统之间的协作完成规划和决策[9]，目前已经存在的自动驾驶方案绝大多数为单车智能方案。

而随着车联网和无线通信技术的发展，自动驾驶开始逐渐向网联化发展，我国政府推进的基于C-V2X 技术的网联自动驾驶[10]，美国政府也后续跟进，基于C-V2X的自动驾驶技术受到了各国的重视。网联自动驾驶一种可利用车联网技术，实现车与车、车与路、车与云等的信息交互，从而提高自动驾驶的安全性、可靠性和智能化水平。多国也对车联网技术给出了一些前瞻性文件，如欧盟《网联自动驾驶路线图》[11]。

2 基于生成式人工智能的自动驾驶技术

生成式人工智能利用深度学习技术，自动或半自动的生成各种类型的内容，如文本、图片、音频和视频等，具有创造力和多样性，可以在自动驾驶技术的多个方面发挥重要作用。

生成式人工智能经过长时间的发展，已经存在许多种模型，如长短期记忆网络、变分自编码器（VAEs）、生成对抗网络、Transformers 等经典架构，和在Transformers 基础上发展而来的大预言模型GPT4 等大语言模型、在图片生成上大放异彩的扩散模型（Diffusion Models）。生成式人工智能拥有其他人工智能技术无可比拟的自主性和创造力，能够成为自动驾驶应对未来复杂路况的有效解决方案。

2.1 单车智能方案

单车智能一般采用自我系统方案，自我系统方案让汽车可以仅凭自身传感器收集到的数据完成自动驾驶的预测、规划和决策任务，使汽车能够全程“自给自足”地自动驾驶。如图1 所示，传统的单车智能自动驾驶自我系统方案采取模块化系统方案，模块化系统是一个连接输入和运动输出的离散组件的管道，每个功能都单独开发并集成到汽车中，如感知、预测和规划功能，所以负责产生转向和加速指令的规划和控制模块在驾驶中扮演重要角色[12]。模块化管道首先将原始环境数据输入感知模块，通过定位模块进行障碍物检测和定位，然后规划和预测车辆的最佳和安全轨迹，最后电机控制器输出控制信号[13]。但是这种方法在面对复杂、多样化和不确定的驾驶情况时不够灵活有效，且容易出现错误传播（Error Propagation），即某个模块产生的错误会沿着管道向下传播，最终导致严重错误，第一例自动驾驶相关死亡事故就是因为此问题产生的悲剧[14]。

图1 单车智能的模块化系统方案和端到端方案

端到端驱动方案旨在将驾驶任务作为一个端到端的过程进行处理，而不是将其分解为多个子任务，模型直接从传感器输入产生自我运动。端到端系统的优点非常明显。第一，结构简单，感知、预测和规划组成一个可以联合训练的模型。第二，优化目标一致，不会出现不同模块优化目标不一致的情况。端到端系统也有弊端。首先，模型必须足够复杂以处理不同的情况和任务。其次，模型是黑盒模型，不具备解释性，没有严格的可靠性。第三，后续维护困难，无法对单个模块进行优化升级。目前生成式人工智能有望部分解决上述问题，生成式人工智正在朝着多模态的方向发展，本文认为可以将多模态特性应用于自动驾驶，把车载传感器采集的多模态数据输入自动驾驶大模型进行训练。在文献[15] 中提出了一种可以输入图片和文字的多模态大语言模型，可以借鉴该模型的设计思路，针对不同的传感器输入分别设计模块进行编码和抽象化并同时训练，这样可以避免因冻结部分模型导致训练不充分的问题。文献[16] 使用模块化的组件，同时优化所有组件，以实现卓越的性能。文献[17] 将生成式世界模型应用于自动驾驶，用于对生成驾驶场景车辆行为控制。文献[18] 提出的BEVGPT 是将鸟瞰图作为输入，能够预测多帧鸟瞰图，并据此给出决策和运动规划。

2.2 自动驾驶训练

以生成式人工智能的方式为自动驾驶训练贡献出了一种新的方法。文献[19] 将生成式人工智能应用于生成自动驾驶仿真环境，可以针对特定场景产生大量事件进行训练。文献[17]将生成式世界模型应用于训练自动驾驶，该模型能够输出高质量的驾驶场景视频，实现车辆的精细控制训练。图2 中展示了经典的驾驶场景仿真、定位导航和环境感知场景，在自动驾驶训练场景中，生成式人工智能会在仿真环境中随机生成高度拟真的随机事件。

图2 自动驾驶技术

以上两种方案介绍了目前生成式人工智能在单车智能上的运用，但是皆未涉及到网联自动驾驶，一方面是网联自动驾驶起步较晚，另一方面是网联自动驾驶对于人工智能的依赖程度要远低于单车智能。网联自动驾驶训练成为生成式人工智能的进一步研究工作。

2.3 定位导航

由于高级别的网联自动驾驶需要非常精确的定位，传统的三种方案有全球卫星导航系统（GNSS,Global Navigation Satellite System）与惯性测量单元（IMU,Inertial Measurement Unit）融合方案GNSS-IMU，同时完成定位与地图构建的SLAM（Simultaneous Localization and Mapping）以及基于先验地图的定位[7]。但上述方案依然难以满足要求。图2 中定位导航部分展示了一个经典的定位导航场景，汽车通过GNSS 和基站，配合IMU 进行精确定位。

生成式人工智能在定位导航方面具有以下三个方面的优势。首先，可以分析大量地理数据，对地图数据进行增强，以便导航应用和驾驶员更好地理解道路和地标。其次，基于生成式人工智能的导航算法可以分析驾驶员的历史驾驶数据、偏好和形式习惯，为驾驶员提供个性化建议。最后，可以接收车联网的数据，对实时交通状况进行分析，预测拥堵程度和路况，这有助于选择最优驾驶路线，在做到出行便利的同时，实现节能减排的目标。

2.4 环境感知

传感器技术是自动驾驶技术的核心技术之一[9]，传感器收集到的数据将直接影响自动驾驶效果。为了自动驾驶的可靠性，大多数自动驾驶汽车都需要高冗余的传感器部署。本文将传感器分为对外传感器和对内传感器。其中对外传感器主要用于感知环境，包括动态和静态物体，如动态的车辆、人，以及静态的道路、障碍物、建筑物等。对外传感器包括单目摄像头、全景相机、摄像头阵列、事件摄像头、雷达、激光雷达、超声波传感器等。对内传感器主要负责是测量车辆状态，例如惯性测量单元能够测量车辆的速度和位置变化，车轮编码器负责里程计，转速表用于测量速度，高低表用于测量高度。图2 中环境感知部分展示了一个驾驶过程中的环境感知场景，车辆通过搭载的雷达传感器感知到了侧面经过的动态车辆和路边的静态树木。

生成式人工智能在感知模块上具有重要应用。首先，可以对传感信息，例如摄像头图像进行语义分割，将图像中的不同区域标记为不同的实物，如道路、行人、建筑物等，帮助车辆更好地理解道路环境，并做出正确的预测和运动规划。其次，生成式人工智能可以对环境进行精确建模，包括道路、障碍物等，从而辅助SLAM 系统的运行。最后，生成式人工智能可以通过图像增强来改善低照度或恶劣天气条件下的感知效果。

3 基于生成式人工智能的下一代车联网

车联网按照通信传输距离可以划分为短距离通信和长距离通信技术。短距离通信技术主要有蓝牙、UWB、ZigBee 等，主要应用场景是遥控、互联、识别以及信息传输等，通信距离一般不超过一公里。长距离通信技术，包括DSRC、Wi-Fi、C-V2X（Cellular Vehicle-to-Everything）和NR-V2X 技术等，其中DSRC 和C-V2X 是学术界和产业界的两种主流技术标准，DSRC 是基于IEEE 802.11 标准基础上改进而来，C-V2X 是基于蜂窝移动通信的车联网技术，目前C-V2X 在国际技术和产业竞争中已经形成明显的超越态势[20]，5G 时代，C-V2X 进一步发展为NR-V2X。

NR-V2X 使用了多种新技术以应对车联网更高的通信需求。其中毫米波（mmWave）技术用于开发高频段，极大地提高传输速率，以应对不断提高的传输速率需求。网络切片技术可以把运营商的物理网络切分成多个虚拟专用网，根据不同需求划分不同的网络，NR-V2X 可面向自动驾驶业务形成定制化的虚拟专网，为不同的应用提供不同质量的网络服务，提高网络的利用效率。移动边缘计算可以与车联网相结合，由移动边缘计算服务器完成决策和数据压缩，能够降低核心网的传输时延和传输数据量。除此之外，如图3 所示，语义通信、通感一体化和新型空口技术将会成为6G 时代车联网的新范式，生成式人工智能与下一代车联网之间存在着深刻的关系，可以在多个方面进行协同工作以提高网联自动驾驶的性能。

图3 下一代车联网技术

3.1 车载语义通信

在下一代车联网中，语义通信（Semantic Communication）是一种产生范式改变的通信技术，与传统通信的编码压缩不同，语义通信主要目的是利用AI 技术对通信数据进行语义理解、压缩、编码和解码，提取关键信息进行传输，从而节省带宽，提高信息传输效率，在接收端通过AI 对接受到信息进行解码并恢复原本的信息，从而实现高效、可靠、安全的信息传输[21]。

使用语义通信技术可以极大地减少车联网的带宽占用，大型模型的训练样本量级通常是数百万至数十亿级别的数据，具有更强大的表示能力和泛化能力，有助于车载通信终端理解收到的语义信息。在应对未来爆发增长的车流量时，车联网能够拥有更高的网络承载量，避免网络拥塞问题。

3.2 通感算一体化

在传统的通信过程中，无线感知一直是独立发展的技术，与无线通信系统的发展没有具体交集，定位是5G通信系统中唯一提供的感知服务，但是在6G 移动通信系统发展规划中，定位之外的感知功能将集成到通信过程中，成为通信的新功能[22]。

生成式人工智能与通感一体化技术相结合，可以利用生成式人工智能整合车辆的多种感知信息，包括视觉、雷达、激光雷达等，以提供全方位的环境感知，在下一代车联网中完成更高精度的定位与追踪，地图构建和环境重构以及人类感官增强和手势动作识别等任务。

3.3 新型空口通信技术

下一代车联网将使用车联网的专用数据链，集成多输入多输出（MIMO,Multi-Input Multi-Output）技术、智能反射面技术、毫米波/THz 通信技术和非地面网络技术，这些专用数据链技术有助于改善车联网的通信性能，支持更多的数据传输和更广泛的覆盖范围，从而提高车辆之间的互联性和自动驾驶系统的整体性能[19]。

新型空口技术的智能资源部署基于对现有数据的训练，然而车联网的广覆盖域特点导致现有的模型难以覆盖大部分的场景。例如车联网资源管理除了时频空等传统资源以外，还包括波束资源、设备资源、卫星资源、移动边缘计算和云资源。面向车联网的模型压缩、模型剪枝、硬件优化以及隐私保护等技术的进一步研究，有助于建立高效稳定安全的车辆专用数据链。

3.4 基于人工智能代理的网联自动驾驶模型

生成式大语言模型的浪潮推动了人工智能代理（AI Agent）相关研究快速发展，大模型与人类之间的交互通过提示词（Prompt）实现，而人工智能代理的工作只需要给定一个目标，其就能够独立思考，调用合适的工具链来逐步完成给定的目标，他不仅具备按照人类指令完成任务的能力，还具备独立发起任务和执行行动的能力。其在网联自动驾驶领域也有非常广阔的应用场景，通过将人工智能代理整合入自动驾驶系统，统筹管理所有功能组件，用户只需给出目的地，其他任务将由人工智能代理自动生成，并自主决定路线，完成整个自动驾驶过程，人工智能代理的引入将补全自动驾驶缺乏自主性的最后一块短板。

图4 是基于人工智能代理的网联自动驾驶模型，该模型将原始数据通过编码器抽象化后放入生成式模型，决策与规划交予人工智能代理执行，人工智能代理根据生成式模型的预测结果进行规划，可以参考过往驾驶数据与驾驶员的习惯，让自动驾驶更加具有创造性和自主性。

4 发展趋势

从自动驾驶、车联网和生成式人工智能的发展趋势上看，端到端驱动方案开始逐渐取代模块化系统方案，国家在大力发展车联网，目前已有多个车联网自动驾驶试验区，生成式人工智能正在AI 领域高歌猛进。

在技术方面，可以预见未来汽车将更加注重智能化和网联化协同发展，随着我国车联网基础设施建设逐渐完善，新的无线通信技术开始在车联网应用，自动驾驶的发展重心将由单车智能向网联自动驾驶转移，生成式人工智能的作用将继续加强。在产业方面，未来的汽车产业将形成一个多元化和协同化的平台，汽车制造的上下游，包括汽车制造商、零件供应商、平台运营商等。生成式人工智能将实现跨行业、跨领域的合作创新，且更加注重用户体验和用户需求，提供更加个性化和差异化的服务。在应用方面，随着自动驾驶等级的不断提高，在2030 年之间预计将实现L5 自动驾驶，届时出行方式将发生翻天覆地的变化，从城市道路到高速公路，从特定范围到全国，从个人到物流企业，从交通到社会生态。

5 结束语

本文总结了目前自动驾驶领域的关键技术，并针对自动驾驶领域的需要分析了生成式人工智能应用于单车自动驾驶技术和网联自动驾驶技术的可行性，突显了其在推动自动驾驶领域不断进步的潜力。随着生成式人工智能的不断发展，其在自动驾驶及相关领域的应用逐渐扩大，这种趋势将引领新一波技术创新浪潮，为实现车辆高级别自动驾驶打下坚实基础。本文还提出了一种基于人工智能代理的网联自动驾驶模型的设想，该设想尝试将人工智能代理技术应用于端到端自动驾驶，用人工智能代理的自主性为自动驾驶赋能。

自动驾驶技术的核心在于对感知、决策和执行的智能集成。在感知方面，各种传感器技术如激光雷达、摄像头和雷达等不断演进，以提供更精准、全面的环境感知。生成式人工智能在图像处理、目标识别和场景理解等方面展现出卓越的表现，为车辆提供更准确的感知能力，从而提高驾驶的安全性和可靠性。决策层面的智能化是实现自动驾驶的关键，生成式人工智能在决策方面的应用，使车辆能够更加智能地分析复杂的交通情境，做出实时的决策，这种能力对于应对城市交通的复杂性以及各种意外情况至关重要。在执行层面，生成式人工智能对于车辆的精准控制和路径规划也发挥着重要作用，通过高度仿真训练与路径优化，车辆能够更加灵活地适应不同的驾驶场景，并更好地与周围车辆和基础设施进行协同操作，这种精准的执行能力是实现高级别自动驾驶的必备条件，也是生成式人工智能在自动驾驶技术中的关键优势之一。