基于视觉的道路场景建模

种玉祥　梁耀中

摘要：步入21世纪，随着人工智能的发展，智能车的研究成为一大热点，而智能汽车研究的基础就是定位问题。目前有2种定位方法，一种是实时定位与建图（SLAM），另一种则是基于道路场景表征建模的定位方法，两者各有所长。本文针对基于视觉的道路场景表征建模定位方法进行了优化与改进。首先，本文提出了一种对点云处理的方法，对当前Z坐标一定距离内的点云取不同权值，进行加权投影，以此来构建道路的二维场景。采用ORB特征提取算子提取二维特征，并采用视觉里程计算法获取车辆运动轨迹信息。构建了轻量级神经网络，用来检测道路标志特征，例如车道线、斑马线、道路标志牌等。对二维场景精度差的问题进行补充。

关键词：视觉SLAM;GPS;融合定位;智能车定位;轻量级神经网络

【Abstract】Inthe21stcentury，withthedevelopmentofartificialintelligence，theresearchofsmartcarshasbecomeahottopic，andthebasisofsmartcarresearchisthepositioningproblem.Therearecurrentlytwopositioningmethods，oneissimultaneouslocalizationandmapping（SLAM），theotherisapositioningmethodbasedonroadscenerepresentationmodeling.Eachmethodhascorrespondingadvantage.Thispaperoptimizesandimprovesthevision-basedroadscenerepresentationmodelingandpositioningmethod.Firstofall，thispaperproposesamethodforpointcloudprocessing，whichtakesdifferentweightsforthepointcloudwithinacertaindistanceofthecurrentZcoordinateandperformsweightedprojectiontoconstructatwo-dimensionalroadscene.TheORBfeatureextractionoperatorisusedtoextracttwo-dimensionalfeatures，andthevisualmileagecalculationmethodisusedtoobtainvehicletrajectoryinformation.Alightweightneuralnetworkisconstructedtodetectroadsignfeatures，suchaslanelines，zebracrossings，roadsigns，etc.Andtheproblemofpooraccuracyintwo-dimensionalscenesissupplemented.

【Keywords】visualSLAM;GPS;fusionpositioning;intelligentvehiclepositioning;lightweightnetwork

作者簡介：种玉祥（1995-），男，硕士研究生，主要研究方向：视觉SLAM。

1基于道路场景建模的自动驾驶车辆定位

自从SLAM方法问世以后，自动驾驶车辆的定位方法就分成了两大类。一类是以激光和视觉相机进行的实时定位与建图，即SLAM。另一类则是根据已经建立好的地图来进行定位的道路场景建模定位。

实时定位与建图是根据建图时所使用的传感器不同，可再分为视觉SLAM[1]和激光SLAM[2]。其中，视觉SLAM方法主要流程可表述为：前端、视觉里程计、后端、回环检测等。在小型家用扫地机器人等应用场景中已取得较好应用成效，但是在户外无人驾驶领域的应用却仍亟待继续深入研究。

而基于道路场景建模的定位方法，是先要建立道路的多维地图，再与行驶过程中的地图进行匹配，这种定位方法和平常在看地图寻找目的地时具有相同的逻辑过程。所以，当车辆使用这种方法进行定位时，对道路的建模和表征，每个节点所包含的信息的准确性，以及相应的信息维度，就是其获得定位精确性的根本和基础。

一般来说，为了进行更加精确的定位，在进行道路场景建模时，就会使用精度较高的传感器。例如GPS和高精度惯性导航传感器、激光雷达、高清摄像头等等。在进行道路多维地图构建时，建图车辆以某一固定的速度在地图标识路段行驶，将采集多种数据信息，例如GPS信号、惯性导航传感器信号、视觉图像等等。而在采集了多重传感器的数据后，通过传感器标定，数据融合，将采集到的信息进行关联[3-5]。

在道路场景建模完成后，先通过普通的GPS进行定位，并在所建立的模型中得到一定范围内的采集点，接着对采集车采集到的各种信息，诸如视觉图像、点云信息、惯导数据等与事先建立好的多维地图进行匹配。根据采集车选用传感器的不同，道路多维地图通常可分为2类，即：基于视觉摄像头的多维地图构建;基于高精度激光雷达的多维地图构建。

和采用激光雷达相比，运用相机进行地图的构建和定位可以大大降低制图与定位的成本，所以，近年来，多种视觉地图构建方法陆续涌现出来。本文也提出了一种视觉地图构建方式，该方法包含诸如节点位姿、二维场景特征、道路标志特征等节点要素，如图1所示。

其中，道路二维投影特征由文中提出的区域点云加权投影方法，由优化后的点云图中运算获取。节点位姿则可以通过传统的视觉里程计算法等获取。道路标识特征由轻量级神经网络识别得到。

本文提出的节点要素获取方法将在下文进行阐释与分析。

2道路投影特征

不管是基于视觉、还是激光所构建的多维地图，都是由大量的数据采集节点组成，在每个节点，都要采集视觉数据、GPS信息、以及与RTK组合系统采集的高精度位置信息。为了使文中构建的视觉多维地图能够更加准确，本文在每个节点选择存储的信息分别为：节点位姿、道路投影特征、道路标志特征、GPS信号等。

2.1点云预处理

本方法要对三维点云进行处理，用来形成二维特征。车载系统对计算性能存储容量有较高的要求。不论是出于降低所占用的存储资源，还是去除噪声，降低运算负荷等目的，都要对点云进行预先处理。在预处理时，为保证点云的质量，需要对所选定的点云的区域范围进行选择。首先考虑的目标是要选择的区域，点云要尽可能地稠密，同时，还要满足成像清晰，误差小等要求。考虑到是用作建图来使用，所以只需要保留道路信息，对于采集时得到的车辆和行人等动态目标要采用滤波器进行剔除，防止这些因素影响构建好的地图使用时的配准率。BAL数据集在使用CeresBA优化后的可视化点云图，如图2所示。

2.2区域点云加权投影方法

传统的经典配准算法，主要有ICP。虽然定位精度高，但是运行速度慢，消耗的时间过长。当用于车辆自动驾驶时，研究发现最终准确度达到了较好效果，其运行速度却过慢，因而不能满足智能车辆行驶时对即时性的要求。基于此，本文提出了一种视觉点云区域加权投影方法，通过这种方法，能够将研究中事先进行过预处理的点云转换成二维场景特征，继而采用目前一些运行速度较快，稳定性较高的视觉特征提取算法进行特征匹配与特征提取，经仿真验证可知，这对提升点云的配准效率有较大的帮助。

此外，在将点云投影到地表平面上时，难免会丢失垂直方向上的信息。因此，在对点云进行投影时，计算研究过程中划分的小区域内点云的平均高度，以此来保留Z轴上的高度信息。

在校区教学楼附近运行时生成的部分二维场景图像如图4所示。

2.3ORB特征提取算子

在获取了由视觉信息转换后的二维场景地图后，如何运用一种图像特征提取方法，才能在不损失准确度的前提下尽可能地提高运算速度则是本次研究中在构建视觉多维地图时需要考虑的重点问题。目前，SIFT[6]与SURF[7]是热门流行的特征提取算子，具有良好的性能，识别准确，但是这两种算法在运行速度上都有些不足，特别是在行驶的车辆上使用时这一不足就体现得更加明显，车辆在行驶时对定位和匹配的实时性就提出了很高的要求，因此，运行速度慢就成了很大的缺点。综上，为了解决前述问题，Rublee等人[8]提出了ORB特征检测算法，和SIFT、SURF相比，该算法具有更加优良的性能。ORB算法的特征提取方法是检测相邻域中像素的灰度以及角点，因此该方法在保证检测效率前提下，对速度有较大的提升。

ORB算子特征匹配示意图如图5所示。ORB算子在图片发生拉伸等情形时，仍能对所获取的图像进行较准确的识别与匹配，能够更好地满足智能驾驶中二维场景的匹配与定位需求。

3车道标志信息获取

本小节提出了一种轻量级的神经网络，对道路特征标志，如车道线、斑马线、路牌等信息进行识别和记录，和前文获取的视觉点云，二维结构等信息相结合，使建模时采集的每一个节点都具有不可替代性，用以增加使用地图定位匹配时的准确度。

由于内存和计算资源有限，现实中在车辆上部署深度神经网络较为困难。基于此，本文设计了一种全新的神经网络基本单元Shadow模块，并搭建出轻量级神经网络架构ShadowNet。在一个训练好的深度神经网络中，通常会包含丰富甚至冗余的特征图，以保证对输入数据有全面的理解。但是，并非所有特征图的获取都要用到卷积操作，也可通过线性运算与恒等映射的操作来生成。

鉴于主流神经网络计算出的中间特征图中存在大量的冗余，为了减少所需的资源，Shadow的主要作用是生成其中的卷积核。首先，输入数据X∈Rc×h×w，这里c是输入通道数，w和h是输入数据的宽度与高度，所以，生成特征图的卷积层可用如下运算来表示：

通过上述Shadow的模块，构建出专门为移动设备中神经网络设计的Shadowbottleneck。Shadowbottleneck主要由2个堆叠的Shadow模块组成。第一个Shadow模块用作扩展层，增加了通道数。第二个Shadow模块减少通道数，以与shortcut路径匹配。通过使用shortcut连接与这两个Shadow模块的输入、输出相连接，能够很好地减少计算资源的消耗，降低模型的过拟合，有效缓解梯度消失或梯度爆炸。

在道路实际模拟时采集的道路特征信息如图7所示。

4基于视觉的多维地图构建方法综述

本文提出的基于视觉的多维地图构建方法总体可以归纳为如下步骤：

（1）运用车载单目摄像机、车载GPS等结合惯性导航传感器，对需要建立视觉多维地图的路段进行数据采集，并做三维重建，在获取其他信息的同时，也得到了点云信息。

（2）对生成点云进行加权二维投影，对處理后的二维场景采用ORB算子进行特征提取，用以进行节点匹配。

（3）由于点云转二维后场景清晰度不足，本文在这里采用的是构建轻量级神经网络的方法，对道路标志特征如车道线、斑马线、道路交通标志牌等进行识别与记录，与GPS定位，以及（2）中提及的道路二维特征进行同步匹配，使每个节点更加具有独特性，增加匹配准确率。

（4）本文的建图方法中，每个节点都存储了点云信息、二维信息、道路标志特征信息。在定位时可先利用GPS等进行粗定位，再借由二维场景特征和道路特征信息进行精确定位，最后运用点云和轨迹信息进行空间位姿的精确定位。

5实验结果分析

本文试验采用上海工程技术大学参与改进的无人驾驶试验采集车进行数据的获取。实验的测试路段选择在上海工程技术大学内的教学楼附近，试验路段的俯瞰图及试验路段道路场景如图8所示。由图8可知，试验路段完全满足机动车行驶要求，且道路行车路线和路面都具有一般性，故认为实验结果可作为最终结论。本次实验的实验线路总长度约为900m。

根據本文提出方法进行地图构建时，先使用车载相机对道路信息进行采集，运用视觉SLAM技术生成点云，同时对点云进行处理，获得二维投影信息;在获取了点云、位姿和二维投影信息后，运用轻量级神经网络对道路标志特征如：车道线、路灯、告示牌等进行道路标志特征提取。在构建的众多信息采集点中，随机选择1～2个作为多维地图的起点，并进行特征匹配。通过视觉SLAM方法获得视觉轨迹，最后结合视觉轨迹和地理轨迹的相对位置关系，生成视觉地图。

验证环节主要对视觉轨迹产生的累积误差进行分析。针对多维信息构建出的视觉多维地图，在分析误差时同样要进行多维分析。本文以每10m为一个单元，选取了长度为100m的实验路段，用以进行累积误差的分析。测试结果如图9所示。由图9可知，当测试路段长度在10～90m之间时，累积误差较低，仅在0.5m以下;当测量长度为100m时，累积误差也能控制在0.5m左右。

6结束语

本文提出了一种基于视觉的多维地图构建方法。首先利用视觉SLAM原理获取点云信息，再使用视觉点云的区域加权三维投影方法，生成二维场景表征图像，使用ORB特征提取算子对生成的二维表征图像进行特征提取。对于生成的二维场景表征图像准确率低的问题，构建了新的轻量级神经网络，识别道路标志特征，作为补充，增强每个节点的独特性，提高视觉配准的准确率。同时，也记录GPS等信息，在定位时先通过GPS信号进行粗定位，提高了定位的速度。经试验验证，地图制图误差在合理范围内。

参考文献

[1]MAHONI，WILLIAMSSB，PIZARROO，etal.Efficientview-basedSLAMusingvisualloopclosures[J].IEEETransactionsonRobotics，2008，24（5）：1002-1014.

[2]TANGJian，CHENYuwei，NIUXiaoji，etal.LiDARscanmatchingaidedinertialnavigationsysteminGNSS-deniedenvironments[J].Sensors，2015，15（7）：16710-16728.

[3]ZHANGZ.Aflexiblenewtechniqueforcameracalibration[J].IEEETransactionsonPatternAnalysisandMachineIntelligence，2000，22（11）：1330-1334.

[4]HWANGBOM，KIMJS，KANADET.IMUself-calibrationusingfactorization[J].IEEETransactionsonRobotics，2013，29（2）：493-507.

[5]BouguetJY.CameracalibrationtoolboxforMatlab[EB/OL].[2019-05-05].http：//www.vision.caltech.edu/bouguetj/calib_doc/.

[6]LOWEDG.Distinctiveimagefeaturesfromscale-invariantkeypoints[J].InternationalJournalofComputerVision，2004，60（2）：91-110.

[7]BAYH，ESSA，TUYTELAARST，etal.Speeded-UpRobustFeatures（SURF）[J].ComputerVision&ImageUnderstanding，2008，110（3）：346-359.

[8]RUBLEEE，RABAUDV，KONOLIGEK，etal.ORB：AnefficientalternativetoSIFTorSURF[C]//InternationalConferenceonComputerVision.Barcelona，Spain：IEEE，2012：2564-2571.