基于YOLOv7网络的CARLA驾驶模拟器目标检测系统实现

[摘 要]随着自动驾驶技术的迅速发展，精确识别模拟环境中的动态与静态对象成为了实现高度自动化驾驶的关键挑战之一，而仿真数据集具有获取成本低、易获取极端场景、有较强的连续性等特征。文章中采用CARLA驾驶模拟器作为实验平台，结合最新的YOLOv7目标检测网络，通过改进网络结构和优化训练策略，提升目标检测的精度和速度。文章介绍了CARLA模拟器的基础架构与YOLOv7算法的核心原理，详细描述了实验的设计与实施过程，包括数据集的准备、网络训练及测试评估。实验结果表明，基于YOLOv7的目标检测方法在自动驾驶模拟环境中具有出色的性能，能够根据输入图片准确识别出车辆、行人等多种目标。文章探讨了实验结果的意义，指出该研究在提高自动驾驶模拟器的现实感和安全性方面的潜在应用，并对未来研究方向提出建议。

[关键词]YOLOv7；CARLA驾驶模拟器；自动驾驶；目标检测

[中图分类号]TP391.9；U463.6 [文献标志码]A [文章编号]2095–6487（2024）06–0165–03

Implementation of Target Detection System for CARLA Driving Simulator Based on YOLOv7 Network

LIANG Yanhui，XU Shenhao，HUANG Yanpei，LEI Xiangyu，YU Weiting

[Abstract]With the rapid development of autonomous driving technology， accurate identification of dynamic and static objects in simulated environment has become one of the key challenges to achieve highly automated driving. Simulation data sets have the characteristics of low acquisition cost， easy acquisition of extreme scenes， and strong continuity. Therefore， this paper adopts CARLA driving simulator as the experimental platform， combines the latest YOLOv7 target detection network， and improves the accuracy and speed of target detection by improving the network structure and optimizing the training strategy. This paper first introduces the basic architecture of CARLA simulator and the core principle of YOLOv7 algorithm， and then describes the design and implementation process of the experiment in detail， including data set preparation， network training and test evaluation. The experimental results show that the target detection method based on YOLOv7 has excellent performance in the automatic driving simulation environment， and can accurately identify various targets such as vehicles and pedestrians according to the input images. Finally， the paper discusses the significance of the experimental results， points out the potential application of the study in improving the sense of reality and safety of the autonomous driving simulator， and suggests the direction of future research.

[Keywords]YOLOv7； CARLA driving simulator； autonomous driving； object detection

1 概述

随着自动驾驶技术的不断进步，对数据集的要求也日益提高，包括更高精度的激光雷达数据和包含多模态信息的数据集等[1]。然而，传统的多模态数据集存在时效性差、标注成本高、校准困难等问题，在这种背景下，仿真数据集在自动驾驶模型训练中的优势显著，已成为相关模型训练迭代的首选方案。基于这种需求，越来越多的目标检测算法被引入到智能交通领域，以提高自动驾驶系统的感知能力。这些算法主要分为单阶段（One-stage）和两阶段（Two-stage）两种类型，分别有其特点和应用场景。

本文旨在研究基于YOLOv7网络的CARLA驾驶模拟器目标检测技术。选择YOLOv7作为研究对象，是因为其作为One-stage目标检测算法的最新代表，具有检测速度快、准确率高等特点，非常适合用于实时目标检测任务[2]。通过CARLA模拟器这一平台，可以在多样化的驾驶场景下，对YOLOv7的性能进行全面评估和优化。研究不仅着眼于提高目标检测的准确率和效率，也旨在通过仿真环境对算法进行快速迭代和验证，为实际应用中的自动驾驶系统提供技术支持和理论基础。

2 采用技术及理论知识

2.1 YOLO系列算法

YOLO算法是一种典型的单阶段目标检测算法，自从其首次提出以来，就因其出色的实时性和高效性受到广泛关注[2]。从YOLOv1到YOLOv7，每一代的升级都在不断提高算法的准确率、速度和泛化能力。YOLOv7作为该系列的新版本，通过优化网络结构、损失函数和训练策略，进一步提高了目标检测的性能。

2.2 Carla驾驶模拟器

CARLA驾驶模拟器是一个基于虚幻4开发的开源平台，专为自动驾驶系统的研发、训练及验证需求而设计。它以其卓越的灵活性和高度的可配置性著称，提供了丰富的传感器模拟支持，包括相机、激光雷达和深度相机等，能够模拟包括雨、雪、雾和夜间等在内的多样化天气和光照条件[3]。此外，CARLA提供了多种环境场景，如城市、乡村道路、高速公路和居民区等，同时支持多个动态和静态交通参与者的控制。

3 技术实现及模型分析

本项目旨在通过深度学习模型实现在CARLA驾驶模拟器中对车辆及行人的自动识别，整个实施流程主要包括数据集的获取、数据预处理、YOLOv7模型的构建及训练，以及模型性能的评估。

3.1 数据集的获取

本项目使用的数据集是专为CARLA驾驶模拟器中的目标检测任务而设计的，包含了1028张分辨率为640×380像素的图像。这些图像被细心分为两部分：249张用作测试集，而779张则构成了训练集。每张图像都配有相应的标签文件，支持多种格式，包括Pascal VOC、YOLO格式以及MS COCO格式，如图1所示。

3.2 数据预处理

从CARLA驾驶模拟器获取的图像数据，在直接应用于模型训练之前需要经过仔细的预处理。由于本项目选用了YOLOv7作为目标检测模型，这些预处理步骤尤为关键，旨在保证数据的标准化、优化训练流程的效率，并确保标签与模型的兼容性。因此，将对图像执行一系列专门设计的处理操作，以最大程度发挥YOLOv7模型的性能。

设计的图像预处理流程为：标签转换→图像规范化→数据增强→尺寸调整。

3.3 YOLOv7模型搭建以及训练

YOLOv7模型的构造通过yolov7.yaml文件进行详细配置，该文件定义了模型的主干网络和首层模型结构，以及使用的先验框。

（1）先验框配置：模型使用了三种尺度的先验框（P3/8， P4/16， P5/32）。这些先验框是基于数据集中目标尺寸的统计分析预先设定的，有助于提高模型对不同大小目标的检测能力。

（2）主干网络结构：YOLOv7的主干网络采用了多层卷积网络，通过逐步降采样（使用MaxPooling和步长为2像素的卷积）来提取不同尺度的特征。此外，主干网络中还使用了增加通道数操作来融合不同层次的特征，增强了模型对复杂场景的表征能力。

训练过程中，将训练组数设置为300组，训练集与测试集的比例设置为7∶3。

4 识别结果展示及分析

本项目采用了YOLOv7模型进行目标检测任务，针对不同的对象类别（如车辆、自行车、摩托车、交通灯和交通标志）进行了细致的性能评估。通过大量的实验和数据分析，得到了以下的目标检测评价指标分析及检测结果（示例），分别如表1、图2所示。

这些数据显示了模型在各个类别上的高识别率，特别是在车辆类别上，模型展现出了极高的精确度和召回率，反映了优秀的目标检测能力。平均精度（AP）的高数值表现进一步证明了模型在整个操作点上的稳定性和可靠性。

5 总结与未来展望

5.1 总结

本研究基于CARLA驾驶模拟器和YOLOv7目标检测网络，探索了自动驾驶技术中的目标检测问题。通过详细的数据准备、预处理、模型训练及性能评估，我们成功实现了在模拟环境中对车辆、行人等动态和静态对象的高精度识别。此项研究不仅展示了深度学习在自动驾驶领域的应用潜力，也为未来的自动驾驶技术研究和开发提供了宝贵的经验和启示。

5.2 未来展望

本研究在CARLA驾驶模拟器和YOLOv7目标检测网络的应用上取得了显著成果，不仅提升了模型在模拟环境中的表现，同时也为自动驾驶技术的进一步研究和开发奠定了坚实的基础。未来的研究可以从以下几个方面受益于本研究的成果和经验：

（1）基于仿真数据集的深入研究：Carla驾驶模拟器为自动驾驶算法提供了一个无风险的测试平台。未来的研究可以继续利用这一平台进行更多的实验，探索在更复杂多变环境中的算法性能，以及如何将仿真数据与实际数据更有效地结合。

（2）算法迭代与优化：本研究通过详细的数据准备和预处理流程，有效提升了模型的识别精度。未来研究可在此基础上，探索更多优化方法和新的网络架构，以进一步提升性能。

（3）跨模态学习的潜力：尽管本研究主要依赖视觉信息，未来的工作可以扩展到多模态学习，结合来自不同传感器的数据，例如雷达和激光雷达，以提供更全面的环境感知能力。

（4）系统集成和应用扩展：本研究提供的经验和启示有助于未来自动驾驶系统的集成和实际应用。研究者可以探讨如何将这些技术集成到真实车辆中，并评估它们在真实道路环境下的表现。

（5）面向实际应用的难题解决：未来的研究可以利用本研究的成果，特别是在处理复杂交通场景和动态对象时的经验，解决自动驾驶中的实际问题，如急刹车、行人突然穿越等情况。

参考文献

[1] 张文烁，陈宇琳，姜洋.自动驾驶汽车对城市空间形态的影响综述[J].城市交通，2022（5）：1-10.

[2] 水卯瑞.基于改进的YOLOv7与暗通道算法的图像检测[J].信息与电脑，2023，35（10）：76-78.

[3] 秦琴，谷文军.ball tree优化的自动驾驶仿真测试场景生成方法[J].计算机应用研究，2023，40（9）：2781-2784.

[4] 戴立伟，黄山.交通场景目标检测指标优化研究[J].激光与光电子学进展，2020，57（14）：9.