遥感图像在自动驾驶领域的应用研究

张晟剑 莫泽文

1. 广州汽车集团股份有限公司汽车工程研究院，广东广州 511434；2. 中山大学，广东深圳 518107

0 引言

近年来，自动驾驶技术作为具有潜力的前沿科技，受到广泛关注和研究。为实现更高安全性、效率和可靠性，自动驾驶汽车需准确获取、处理和理解环境信息。遥感图像可以为其提供丰富的环境信息，具有广泛应用价值。

本文综述了遥感图像技术在自动驾驶应用中的道路检测、障碍物检测、环境感知、地图创建和车辆定位与导航等方面的作用，分析了其面临的挑战与限制，并提出了未来研究方向。

1 遥感图像技术

1.1 遥感图像的类型

遥感图像主要包括光学遥感（可见光、红外、多光谱等）和雷达遥感（如合成孔径雷达[Synthetic Aperture Radar，SAR]、激光雷达[Light Detection and Ranging，LiDAR]）2 类。光学遥感图像具有高分辨率和信息丰富的优点，但易受光照和天气影响。雷达遥感图像在恶劣天气和低光照下表现稳定，具有较好的穿透力和鲁棒性，但分辨率相对较低。

1.2 遥感图像数据源和获取方法

遥感图像数据源主要有卫星、航空和地面平台。卫星遥感具备全球覆盖和周期更新优势，但分辨率和实时性受限；航空遥感分辨率较高，实时性更好，但受飞行条件和成本制约；地面遥感分辨率最高，实时性最佳，但覆盖范围有限。遥感技术分为主动（如雷达遥感）和被动（如光学遥感），前者通过发射和接收信号获取信息，后者通过接收目标自然散射或反射光线来获取图像。

1.3 遥感图像的预处理和校正

遥感图像预处理与校正对图像质量和准确性具有重要影响。预处理主要包括去噪、辐射校正、大气校正和几何校正等[1]。辐射校正旨在将图像数字数值转换为地面反射率，消除传感器和光照条件影响，包括绝对辐射校正和相对辐射归一化2 种方法。绝对辐射校正利用卫星同步观测数据，将像元值转换为地物辐射亮度或反射率，实际应用受限；相对辐射校正通过调整目标影像像元值实现影像与参考影像近似匹配，计算简便，应用广泛。大气校正消除大气散射和吸收影响，提高图像准确性。几何校正消除影像几何畸变，使图像与地面坐标系一致。

遥感图像预处理与校正对自动驾驶领域的有效应用具有重要意义。经过预处理和校正，图像质量和准确性得以提高，为自动驾驶汽车提供可靠的环境感知和车辆定位信息。

2 遥感图像在自动驾驶中的应用

2.1 道路检测

道路检测是自动驾驶的关键任务之一，而遥感图像则提供了实现此目标所需的丰富地表信息。遥感影像道路检测方法可以分为基于像素和基于对象2 类。

基于像素的方法直接对每个像素进行分类，通过光谱、纹理和形状等特征来判断它是否为道路，然后通过后处理技术提高道路的连通性和完整性。赵文智等人[2]提出了一种基于道路边缘特征检测的方法来解决光谱特征混淆的问题。

基于对象的方法则先将图像分割为具有一致性特征的区域，然后对每个区域进行分类，通过几何、拓扑和语义等特征来判断它是否为道路，最后将属于道路的区域组合成道路网络。蔡红玥等人[3]提出了一种改进的分水岭图像分割算法，解决了过度分割的问题，但未充分利用路网上下文信息。谭红春等人[4]结合条件随机场和目标级图像分析方法，建立相邻像素间的目标关系，但该方法无法排除多余的目标，而且相邻道路之间存在断连情况。

近年来，随着深度学习技术的发展，基于深度神经网络的遥感影像道路检测方法得到了广泛的研究和应用。深度神经网络可以自动学习图像中复杂和抽象的特征，提高道路检测的精度和鲁棒性。深度神经网络可以分为基于编码器-解码器结构和基于图结构2 类。前者利用卷积神经网络（Convolutional Neural Network，CNN）作为编码器，将输入图像编码成低维度的特征向量，然后利用反卷积神经网络（Deconvolution Neural Network，DNN）或上采样神经网络（Up-sampling Neural Network，UNN）作为解码器，将特征向量解码成与输入图像相同大小的输出图像，输出像素表示其属于道路的概率。U-Net 模型由OLAF RONNEBERGER 等人[5]提出，因模型结构呈“U”形状而得名，如图1 所示。在此基础上，胡宏宇等人[6]提出了一种基于VGGU-Net 框架的VGGUNet++遥感影像路网检测方法。基于图结构的网络则利用图神经网络（Graph Neural Network，GNN）或变换器（Transformer）来建模图像中的道路拓扑结构，将输入图像转换成由节点和边组成的图，节点表示道路上的关键点，边表示道路上的连接关系，然后利用GNN 或变换器来学习节点和边的特征和关系，最后输出一个与输入图像对应的道路网络图。

随着深度学习技术的发展，基于深度神经网络的方法逐渐成为主流，它们能够自动学习图像中的复杂和抽象特征，从而提高道路检测的精度和鲁棒性。在自动驾驶领域，遥感图像的道路检测技术将继续发挥重要作用，为自动驾驶汽车提供更可靠的道路信息。

2.2 障碍物检测

障碍物检测对于自动驾驶汽车的安全行驶至关重要。在遥感图像中，道路障碍物检测旨在提取道路区域和障碍物区域，从而获取障碍物的位置、形状、大小等信息。道路障碍物检测方法主要可分为两类：基于图像的方法和基于激光雷达的方法。

基于图像的方法利用遥感图像中道路和障碍物的颜色、纹理、边缘等特征进行分类、分割或检测，常用技术包括机器学习、深度学习和图像处理等；基于激光雷达的方法则使用激光雷达获取的距离信息进行障碍物检测，常用技术包括点云处理、聚类和分割等[7]。

这2 类方法各有优缺点，因此，一些研究提出了将图像和激光雷达数据进行融合的方法，以提高检测的准确性和鲁棒性。唐祥燕[8]提出了一种图像和激光雷达数据融合的方法，实现对道路和障碍物的有效检测，如图2 所示。首先，利用支持向量机对图像进行道路区域分类，结合激光雷达数据提取路面直线，实现自主学习和分类；接下来，分别使用图像和激光雷达数据进行障碍物检测，并将2 种结果相互验证，降低漏检率。

总之，通过结合图像和激光雷达数据，可以更有效地检测遥感图像中的道路障碍物，为自动驾驶汽车提供更准确和鲁棒的环境感知信息。

2.3 环境感知和地图创建

环境感知对于自动驾驶汽车来说是理解周围环境的关键要素。遥感图像提供了丰富的地表信息，对于环境感知和地图创建具有重要意义。环境感知是指利用遥感图像来识别和分析地表要素（如道路、建筑物、植被、水体等）和环境属性（如温度、湿度、污染程度等），以及其变化情况。环境感知可以采用传统的机器学习方法（如支持向量机、随机森林、神经网络等）或深度学习方法（如卷积神经网络、对抗神经网络、循环神经网络等），结合多源多时相的遥感图像，实现对环境的精细化和动态化的感知。

地图创建则是指利用遥感图像生成二维或三维地图产品，包括数字高程模型（Digital Elevation Model，DEM）、数字表面模型（Digital Surface Model，DSM）、文档对象模型（Document Object Model，DOM）、数字线划图（Digital Line Graph，DLG）等。例如，图3 展示了高德地图提供的中山大学南校园的二维地图。地图创建可以采用传统的摄影测量方法（如空三法、空间后方交会法等）或新兴的倾斜摄影测量方法（如结构光法、双目视觉法等），结合多视角多分辨率的遥感图像，实现地形地貌和地物特征的真实和立体表达[9]。

综上所述，遥感图像是一种重要的环境感知和地图创建数据源，具有广阔的应用前景。随着遥感技术和人工智能技术的发展，未来将出现更高效、更智能、更精准的环境感知和地图创建方法。

2.4 车辆定位与导航

遥感图像在车辆定位与导航领域的应用是一个热门研究方向，主要利用地物信息和道路纹理信息辅助车辆确定位置和航向。定位与导航方法可分为基于特征点匹配和基于语义信息的方法。

基于特征点匹配的方法通过特征点（如角点、边缘点等）寻找模板图像与源图像的对应关系，计算模板图像在源图像中的位置和方向[10]，其优点是简单直观且能实现精确配准，但计算量大，误匹配多且对遥感图像质量要求高。基于语义信息的方法利用地物类别和道路网络等信息辅助定位与导航[11]，其优点是克服特征点匹配方法的局限性，如异源、异时相图像定位以及复杂环境下的鲁棒性，但需解决语义分割、相似度衡量和精确配准等难题。目前，基于语义信息的方法已取得一定进展。例如，一种基于语义信息的两步式遥感图像定位算法[12]，先利用深度学习进行语义分割，再根据道路纹理图进行预定位，最后通过特征点匹配进行精确配准。该算法有效提高了定位与导航的效率和精度。

遥感图像在车辆定位与导航中的应用仍有巨大的发展空间和潜力，需进一步对语义理解、相似度计算和融合策略等方面进行研究，以提高性能和可靠性。

3 遥感图像在自动驾驶中的挑战和限制

3.1 数据量和实时性要求

在自动驾驶中，遥感图像面临着一些挑战和限制，其中一个主要挑战是数据量和实时性要求。遥感图像通常具有较大的数据量，这对于自动驾驶汽车的数据处理和传输提出了挑战。处理大规模的遥感图像需要高效的算法和硬件资源来保证处理速度和实时性，该实时性是自动驾驶汽车的关键要求，自动驾驶系统需要能够及时地感知和理解周围环境，从而做出准确的决策和控制动作。因此，遥感图像的处理和传输需要具备高效率和低延迟的特点，以满足自动驾驶汽车的实时性要求。此外，遥感图像获取的周期性限制了其在自动驾驶中的实时应用，传统的遥感图像获取通常是周期性进行的，这种周期性获取使得遥感图像在实时应用中的更新速度受到限制，因此需要探索更快速的遥感图像获取方法，以提高自动驾驶系统对环境变化的感知和响应能力。

3.2 遥感图像质量和分辨率的限制

在自动驾驶中，遥感图像的质量和分辨率是另一个重要的挑战和限制。遥感图像的质量和分辨率直接影响其在自动驾驶中的应用效果。光学遥感图像容易受到光照和天气条件的影响，导致图像质量下降或无法获取清晰的图像信息；而雷达遥感图像的分辨率相对较低，无法提供足够详细的环境信息，特别是对于小尺寸的障碍物或细节。解决这些问题的关键集中在提高遥感图像的质量和分辨率上。通过使用多模态传感器融合的方法，将光学图像与其他传感器的数据相结合，提高环境感知的准确性和鲁棒性。

综上所述，遥感图像的质量和分辨率限制了其在自动驾驶中的应用效果。通过研究和应用新的技术和方法，可提高遥感图像的质量和分辨率，以实现更精确的环境感知和车辆定位。

3.3 光照和天气条件的影响

在自动驾驶中，光照和天气条件对遥感图像质量和可用性具有重要影响，特别是光学遥感图像在低光照或恶劣天气条件下的性能较差。这些因素可能导致图像质量下降，细节丢失或难以提取有效信息。光照和天气条件的变化对于自动驾驶系统的环境感知和决策制定具有挑战性。在强烈的阳光照射下，图像可能出现过曝或阴影问题，使得障碍物检测和车道识别变得困难。在恶劣天气条件下，图像可能被雨滴、雪花或雾气等遮挡，导致环境信息不完整或失真。为克服这些影响，可采用多传感器融合的方法，将光学遥感图像与其他传感器数据相结合。通过融合多个传感器的信息，增强环境感知的鲁棒性和可靠性，从而提高自动驾驶汽车在复杂光照和天气条件下的性能。研究遥感图像处理方法也是解决光照和天气条件影响的关键，使用图像增强算法来改善低光照条件下的图像质量。

综上所述，光照和天气条件对遥感图像在自动驾驶汽车中的应用会产生重要影响，可通过多传感器融合和鲁棒的图像处理方法来克服光照和天气条件带来的挑战，从而提高在复杂环境中自动驾驶汽车应用的性能。

3.4 数据融合和决策融合方法的研究

在自动驾驶中，遥感图像与其他传感器数据的融合是一个重要的挑战。自动驾驶汽车通常需要多种传感器数据，如雷达、LiDAR、摄像头等来获取周围环境信息，进行环境感知和车辆定位。需要将这些不同传感器数据进行融合，提高环境感知的准确性和鲁棒性。数据融合的目标是将不同传感器的信息整合起来，形成一个更完整、更准确的环境模型。遥感图像在其中扮演着重要角色，通过将遥感图像与其他传感器数据相融合，来弥补各种传感器之间的局限性，从而提供更全面的环境感知能力。在自动驾驶中，系统需要根据环境感知结果做出决策，而通过融合遥感图像和其他传感器数据，可提供更准确可靠的决策依据，从而增强自动驾驶系统的安全性和性能。

4 结束语

本文综述了遥感图像在自动驾驶应用中的道路检测、障碍物检测、环境感知、地图创建和车辆定位与导航等方面的应用，分析了其技术原理、方法及应用潜力，并讨论了其面对的挑战和限制，如数据量、实时性、图像质量、光照、天气条件影响及数据融合与决策融合方法研究等。

本文旨在为自动驾驶领域的研究者和工程师提供遥感图像在自动驾驶应用的全面概述，期望推动技术发展及遥感图像在该领域的广泛应用。对于遥感图像在自动驾驶领域的未来研究方向为：

（1）高效处理数据量，提高实时性：随着自动驾驶技术的发展，遥感图像的数据量将会不断增加，同时对实时性的要求也越来越高。未来的研究将集中在如何有效地处理大规模遥感图像数据量，并且实现实时的分析和决策；

（2）增强遥感图像质量，提高分辨率：遥感图像的质量和分辨率对于自动驾驶系统的准确性和可靠性至关重要。未来的研究将致力于增强遥感图像的质量，提高分辨率，通过使用更先进的传感器技术来改善图像质量；

（3）利用先进的技术来应对光照和天气条件的变化：光照和天气条件对遥感图像的获取和解析都会产生影响，尤其是在复杂的道路环境下。未来的研究将探索如何利用先进的技术来应对光照和天气条件的变化，以提高自动驾驶系统的鲁棒性和适应性；

（4）增强数据融合效果，开发有效的决策融合方法：自动驾驶需要综合多种传感器数据进行决策。未来的研究将着重于增强数据融合效果，开发更有效的决策融合方法，以提高自动驾驶系统的感知能力和决策准确性。