适用于右转辅助的非机动车道检测

刘翔鹏 彭雨琳 童德中 陆玮 王丹宁

摘要：为避免传统车辆或无人驾驶车辆在右转时与快速行驶的自行车发生碰撞的风险，需要在转弯前稳定地检测出非机动车道，并实时定位骑车者.为实现该目标，通过调整初始代价及代价聚合，完成更为精确的非机动车道图像立体匹配；基于改进的Hough变换算法，对路面上的非机动车道线进行识别和提取；之后结合立体视觉来获取非机动车道的精确三维坐标.实验结果表明：所提方法可以在大部分场景下检测出不同类型的非机动车道，且具有较高的精确度，适用于广义非机动车道检测，对于先进驾驶辅助系统或无人驾驶车辆实现全道路场景识别起到了积极的辅助作用.

关键词：非机动车道检测；驾驶辅助；立体匹配；Hough变换；车道线拟合

中图分类号：TP399文献标志码：A文章编号：1000-5137（2024）02-0147-09

Bicyclelanedetectionsuitedforrightturnassistance

LIU Xiangpeng¹，PENG Yulin¹，TONG Dezhong²，LU Wei¹，WANG Danning¹

（1.CollegeofInformation，MechanicalandElectricalEngineering，ShanghaiNormalUniversity，Shanghai201418，China；2.DepartmentofMechanical&AerospaceEngineering，UniversityofCalifornia-LosAngeles，LosAngeles90095，UnitedStates）

Abstract：Inordertoavoidtheriskofcollisionsbetweentraditionalvehiclesorunmannedvehiclesandfast-movingbicycleswhenturningright，itwasnecessarytodetectthebicyclelanestablyandlocatethecyclistinrealtime.Byadjustingtheinitialcostandcostaggregation，moreaccuratethree-dimensionalmatchingofbicyclelaneimageswascompleted.BasedontheimprovedHoughtransformalgorithm，thebicyclelanelinesontheroadwereidentifiedandextracted；then3Dvisiontechniquewascombinedtoobtaintheaccurate3Dcoordinatesofthebicyclelane.Experimentalresultsshowedthattheproposedmethodwasabletodetectdifferenttypesofbicyclelanesinmostscenarioswithhighaccuracy，accordinglyitwassuitableforgeneralizedbicyclelanedetection.Theproposedalgorithmwouldplayapositiveauxiliaryroleinrealizingsceneunderstandingofall-roadscenariosforadvanceddrivingassistancesystemsorunmannedvehicles.

Keywords：bicyclelanedetection；drivingassistance；stereomatching；Houghtransform；lanelinefitting

0引言

在現代交通系统中，不同的交通参与者之间会互相产生影响，自行车对机动车造成的干扰与妨碍就是其中的一种.对于传统车辆，尤其是大型车辆而言，驾驶员容易忽视右后视镜盲区里快速前进的自行车，导致相撞事故的发生.而右转预警类先进驾驶辅助系统（ADAS）可以减少该类事故的发生.不论是对于ADAS，还是无人驾驶车辆而言，如何识别道路场景和周围的环境，都是保证其安全稳定工作的重要前提，精细、准确地识别道路场景中的非机动车道元素则是机动车右转场景中防止与骑车者相撞的关键.另外，如果无法区分非机动和机动车道，无人车也可能行驶到非机动车道上，从而妨碍非机动车道上骑行者.

目前对于车道检测的研究集中在机动车道层面，而非机动车道识别作为道路场景中的重要组成部分，在各种道路场景元素识别的研究中却鲜有涉及.常用的车道线检测方法可以分为基于模型和基于特征的识别^［1］.

基于特征的算法包括对颜色^［2-3］、边缘^［4］、梯度变化^［5］等特征的识别，能在光照变化、纹理不清晰、道路破损等情况下检测车道线.王怀涛^［6］针对黄线识别效果不理想的问题，同时使用H-S颜色二维查表法和边缘特征，根据黄色像素区别于其他像素的特点来区分车道标线.吴骅跃等^［7］提出了一种基于逆投影映射和边缘图像过滤的车道线识别方法，很大程度上减少了自动驾驶环境感知过程中路面阴影、雨水、污渍和反光对车道线识别以及车辆导航造成的干扰.ZHANG^［8］等将改进版Canny边缘检测用于识别车道线的外沿.YOO等^［9］基于图像线段交点的概率进行投票来估算消隐点，并利用车道线的几何约束来确定候选线段.消隐点也可以与密集视差图进行结合，获得较为精确的机动车道线检测结果^［10］.Hough变换也是检测车道线的一个重要方法，标准Hough变换可以捕捉道路场景中的直线结构^［11］，通过对Hough变换的改进，可进一步增强车道线检测的效果^［12］.此外，宽度、纹理^［13］等其他特征也被广泛应用于车道线检测研究中.

基于模型的算法先对道路进行建模，再分析图像，获得模型参数，进而重建道路^［14］.该类算法主要用于解决常用数学模型，如直线、抛物线^［15］、双曲线^［16］、样条曲线^［17］等对车道线进行有效拟合的问题.在基于数学模型检测车道线方面，双曲线模型正逐渐成为一个重要的车道线拟合模型^［1］，最小二乘法被广泛采用于数值拟合^［18］.此外，如何解决道路中的遮挡、阴影等问题也是车道线检测的一个研究方向^［19］.

本研究针对非机动车道检测问题，基于立体匹配和Hough变换算法，提出非机动车可通行域的判定算法，进一步实现适用于右转辅助的非机动车道的识别功能.

1立体匹配算法

RGBD相机所采集的图像如图1所示，其中，图1（a）和图1（b）分别由水平安装在右后视镜上的左摄像机和右摄像机摄取，其受光照影响不同，需結合梯度差代价进行Census代价匹配.

1.1 初始代价

为获取视差图，首先需在左、右视图上寻找匹配点，并计算相应的视差.计算左、右视图匹配代价，

， （1）

其中，C_OST为初始匹配代价；c_l（·）和c_r（·）分别为左视图和右视图的色度特征；d为视差；x，y分别表示待匹配点的横纵坐标值.C_OST越小，两个点是匹配点的概率越高.

Census变换使用像素邻域内的局部灰度差异，将像素灰度转换为比特串，通过将邻域窗口内的像素灰度值与窗口中心的像素灰度值进行比较，把比较所得的布尔值映射到一个比特串中，最后用比特串的值作为中心像素的Census变换值.

1.2 代价聚合

在初始代价的计算过程中，不同像素点的代价没有交互，因此初始代价相对较为独立，这可能会对匹配过程造成干扰，需要对代价进行聚合操作.代价聚合是将代价图中相对较为独立的各个像素点所对应的代价进行匹配，使得不同像素点的代价互为影响.代价聚合的目的是使各点的代价和周围像素点形成联系，从而能更加精确地求取视差.

采用导引图滤波方法进行代价聚合.导引图滤波方法可以很好地保持图像中的边缘清晰.在处理图像时，对边缘的像素进行交互，这一点完全符合代价聚合的要求.导引图滤波器核函数

， （2）

其中，u_k和分别为图像在窗口w_k内的均值和方差；w是窗口内像素的个数；ε为控制参数.

2提取可通行域

2.1 提取基于改进霍夫变换的消失线提取

由透视原理可知，两条平行线在视角中会汇聚于无限远处的一点，即路面会在无限远处消失于图片的某条水平线上，该条水平线即为消失线.在此基础上，引入Hough变换，将直线方程转换到不同的参数空间中提取参数，检测图像中的直线，从而推断出消失线的位置.

在极坐标系中，一条倾斜直线的方程为

. （3）

根据上述原理，将V视图中的直线变换到Hough空间（ρ，θ）中，提取对应的交点.定义一个像素累加函数

， （4）

其中，为极坐标初始值；

（5）

其中，B_inaty（x，y）表示V视图二值化后对应像素位置的像素值.

采用加权Hough变换提取更精确的道路直线.加权Hough变换对V视图中的直线进行灰度加权，突出感兴趣区域（ROI）.图像像素的灰度值由该像素的视差值大小来决定.在道路场景中，道路平面可以视作最大范围的平面，因此在V视图中所对应的直线像素灰度值普遍较大.利用V视图中的像素对Hough变换进行加权，可以有效地在Hough空间中突出道路平面.将函数修改为：

（6）

其中，是V视图中像素值的大小，将得到的结果进行归一化.

通过对像素的截取得到该交点的坐标为（ρ_c，θ_c），道路直线所对应的方程为

， （7）

其中，c_ols为图像的总列数；v为像素对应的列号.当d=0时，所对应的即为消失线.

2.2 基于U视差图的道路平面提取

删除消失线以上的部分后，很多与道路无关的场景信息会被清理，但图像中依然存在大量干扰信息，如道路两旁的障碍物等，可以利用U视差图排除这些干扰.在U视差图中，离双目系统等距的物体具有相同的视差，垂直于道路平面且离双目系统等距的平面也具有相同的视差.对删除消失线后的图像进行U视差图的提取，像素的明亮程度代表在图像对应列上具备相同视差值像素的数目.U视差图中像素值最大点对应的视差即为每一列障碍物的视差值.

3非机动车车道划分

3.1 非机动车道检测预处理

首先使用最大类间方差算法对ROI进行二值化.该算法的主要思想是将图像中的灰度信息按照阈值划分为两个部分，并使这两个部分的灰度差异最大，可较好地凸显图中的重要特征.

令维度为的数字图像中L个不同等级的灰度级为｛0，1，，L-1｝，圖像中像素总数为：

， （8）

其中，n_i，i=0，1，…，L-1，表示灰度级为i的像素.

对于归一化的直方图，灰度级为k的像素的概率

（9）

若给定一个阈值，把输入图像分为C₁和C₂两类，C₁由灰度值在数值区间内的所有像素组成，C₂由灰度值在数值区间内的所有像素组成.分到C₁类的像素概率

. （10）

根据贝叶斯公式，C₁类像素平均值

， （11）

其中，w表示像素的灰度值大小.同理，分配到C₂类的像素平均值为

. （12）

将累加均值定义为m（k），

. （13）

全局灰度值

. （14）

使用归一化的无量纲矩阵对级别处的阈值进行判别，

（15）

其中，为全局方差；为类间方差；

（16）

其中，m₁和m₂相差越大，则越大.

寻找最佳阈值，对的所有整数值进行遍历，选取能使最大化的值.得到后，将通过透视变换得到的ROI鸟瞰图进行二值化转换，

（17）

此时，车道线周围尚有一些噪点，可能是由路面过于明显的纹理、破损及光照等原因造成的，会对后续车道线提取工作产生不良的影响，因此阈值组合中需要加入滤波函数对处理结果进行滤波，以尽可能多地去除噪点.

3.2 非机动车道提取

首先確定道路的基点.道路基点即位于图像最底部且可能为道路的点，车道线可以从基点衍生出来.基点部分是通过在图片的底部区域沿着水平方向遍历x轴上的像素分布而获得的.在x轴方向上累加公式如下：

（18）

（19）

（20）

其中，I_R為ROI鸟瞰图预处理结果图中对应点的像素大小.

由于图像中还存在少量的噪点，会对基点的判断产生影响，而且每个峰值区域跨越的部分也较大，需要通过以下两个条件加以判定：

1）在连续存在的峰值区域，如果相邻的两个峰值间距小于阈值，则这两个峰值可能代表一个基点；

2）如果基点可能的存在范围小于阈值，则认为此处的峰值由噪点造成.

获得基点之后，通过曲线拟合的方法来确定车道线的方程.首先在底部以基点作为窗口中心，设置一个的窗口，在该窗口中统计像素在方向上的分布，然后选取峰值对应的x₀以及该窗口中心点对应的y₀作为车道线上第一个点的位置，

（21）

以上一个包含车道线的窗口顶部的点为基点，再次构造相同维度的窗口，按照同样的方式继续寻找车道线点集.第i个窗口的基点为：

（22）

其中，x_i和y_i表示窗口基点的坐标；X_i-1和Y_i-1表示所储存的上一个疑似属于车道线的点.由于在窗口滑动的过程中可能会遇到虚线车道断线的部分，此时窗口中不包含任何白色像素，则

（23）

通过上述的车道线遍历模式，可以在窗口中获得一列自下而上的疑似车道点，对这些点进行拟合分析，即可获得车道线所在的直线或曲线.滑动窗口检测出非机动车道点集之后，需进一步判定车道线是否为非机动车道线.

如果车道线为实线，那么滑动窗口在遍历的过程中应该连续地在每个窗口处都能捕捉到疑似属于车道线的点.当所获取点的个数和滑动窗口遍历次数的差值在一定范围内，则可以判定这些点属于车道线，

（24）

其中，为判定结果，1表示该点属于车道线，0表示不属于；N_slide为滑动窗口从图像底部的疑似车道线基点遍历至图像顶部所用的次数.在确认所有的车道线之后，采用不同的系数ε来判定该条车道线是否为实线.若在图像边缘有连续两条实线，则认定为标定区域的非机动车道线.对所获取点进行，拟合即可以获得最终结果.

由于图像中的非机动车道线存在转弯弧度，用二次函数来表征车道线方程：

（25）

考虑各个点距离拟合曲线的距离并进行求和，可以得到方程：

. （26）

对式（26）求偏导数，得到方程组：

（27）

对式（27）进行整合，用矩阵表示，可得到：

. （28）

对该矩阵进行求解，获得非机动车道线二次拟合曲线的各项系数之后，利用透视变换投射至原图像空间中，再将图片和原图叠加，即可得到最终的检测结果（如图2所示）.

4仿真实验

为全面验证所提算法的有效性，采集三种类型的非机动车道进行检测，分别是仅由颜色标识的非机动车道、仅由分隔线标识的非机动车道以及既由颜色又由分隔线标识的非机动车道.

分别在老城区、新城区、乡镇及校园四种场景下各摄取1000张图片.老城区场景拍摄地为上海市闵行区江川路街道，新城区场景拍摄地为上海市奉贤区新城，乡镇场景拍摄地在上海市松江区叶榭镇，校园场景拍摄地为上海交通大学闵行校区与上海师范大学奉贤校区.

所有测试图片中都含有非机动车道.检测过程中偶尔会出现将图片中的机动车道部分识别成非机动车道的情况（假阳性），因此测试结果分为未检出、单纯假阳性、正确检测（假阳性）及正确检测.

4.1 仅由颜色标识的非机动车道检测

由于在乡镇场景未找到喷涂颜色的非机动车道，本实验的三个实验场景为老城区、新城区及校园.新城区的非机动车道使用年限较短，校园中的非机动车道受到机动车的破坏较小，因此这两个场景下检测正确率约为90%.老城区非机动车道历史较久，磨损掉色相对严重，因而正确检测率稍低；磨损后非机动车道与机动车道界限变得模糊，因此假阳性率也较高.

4.2 仅由分隔线标识的非机动车道检测

该类型的非机动车道的检测精度比上一场景稍低一些.新城区的车道线清晰且规范，因此在新城区的检测精度最高.老城区与乡镇场景下的正确检测率相当，但因为老城区的路况复杂且人流和车流密度大，所采集的图片中干扰较多，造成了假阳性率较之乡镇场景稍高.而校园中非机动车道线的不规范性造成了其较低的检测精度和最高的假阳性率.

4.3 既由颜色又由分隔线所标识的非机动车道检测

同时基于颜色与车道线两种特征进行检测，精度显著提升，假阳性率也相应降低.

5结论

本研究所提出的非机动车道检测算法能准确地识别非机动车道，所检测到的车道平面可以作为骑车者检测与跟踪的参考变量，可以显著减少机动车右转时与快速行驶的非机动车的碰撞概率，因此能较好地保障骑车者以及机动车驾乘人员的安全.

参考文献：

［1］ 吴一全，刘莉.基于视觉的车道线检测方法研究进展［J］.仪器仪表学报，2019，40（12）：92-109.

WUYQ，LIUL.Researchanddevelopmentofthevision-basedlanedetectionmethods［J］.ChineseJournalofScientificInstrument，2019，40（12）：92-109.

［2］ LEEC，MOONJH.Robustlanedetectionandtrackingforreal-timeapplications［J］.IEEETransactionsonIntelligentTransportationSystems，2018，19（12）：4043-4048.

［3］ LIUDF，WANGYQ，CHENT，etal.Applicationofcolorfilteradjustmentandk-meansclusteringmethodinlanedetectionforself-drivingcars［C］//2019ThirdIEEEInternationalConferenceonRoboticComputing（IRC）.Naples：IEEE，2019：153-158.

［4］ OZGUNALPU.Robustlane-detectionalgorithmbasedonimprovedsymmetricallocalthresholdforfeatureextractionandinverseperspectivemapping［J］.IETImageProcessing，2019，13（6）：975-982.

［5］ ANDRADED，ADAMSHUKR，OMOTOW，etal.Lanedetectionusingorientationofgradientandvehiclenetworksignals［J/OL］.SAEWorldCongressExperience，2017［2023-10-10］.https：//doi.org/10.4271/2017-01-0042.

［6］ 王懷涛.基于相机的车道线识别与车道偏离预警技术研究［D］.合肥：合肥工业大学，2017.

WANGHT.Thetechniqueresearchoncamera-basedlanelinerecognitionandlanedeparturewarning［D］.Hefei：HefeiUniversityofTechnology，2017.

［7］ 吴骅跃，赵祥模.基于IPM和边缘图像过滤的多干扰车道线检测［J］.中国公路学报，2020，33（5）：153-164.

WUHY，ZHAOXM.Multi-interferencelanerecognitionbasedonIPMandedgeimagefiltering［J］.ChinaJournalofHighwayandTransport，2020，33（5）：153-164.

［8］ ZHANGX，CHENF.LanelineedgedetectionbasedonimprovedadaptiveCannyalgorithm［J］.JournalofPhysics：ConferenceSeries，2020，1549（2）：022131.

［9］ YOOJH，LEESW，PARKSK，etal.Arobustlanedetectionmethodbasedonvanishingpointestimationusingtherelevanceoflinesegments［J］.IEEETransactionsonIntelligentTransportationSystems，2017，18（12）：3254-3266.

［10］ MAH，MAY，JIAOJ，etal.Multiplelanedetectionalgorithmbasedonoptimiseddensedisparitymapestimation［C］//2018IEEEInternationalConferenceonImagingSystemsandTechniques（IST）.Krakow：IEEE，2018：1-5.

［11］ 朱鸿宇，杨帆，高晓倩，等.基于级联霍夫变换的车道线快速检测算法［J］.计算机技术与发展，2021，31（1）：88-93.

ZHUHY，YANGF，GAOXQ，etal.AfastlanedetectionalgorithmbasedoncascadeHoughtransform［J］.ComputerTechnologyandDevelopment.2021，31（1）：88-93.

［12］ 吕侃徽，张大兴.基于改进Hough变换耦合密度空间聚类的车道线检测算法［J］.电子测量与仪器学报，2020，34（12）：172-180.

LYUKH，ZHANGDX.LanedetectionalgorithmbasedonimprovedHoughtransformcoupleddensityspaceclustering［J］.JournalofElectronicMeasurementandInstrumentation，2020，34（12）：172-180.

［13］ 王先杰，汪选要.基于类Haar纹理的非结构化道路消失点检测［J］.科学技术与工程，2019，19（16）：221-226.

WANGXJ，WANGXY.UnstructuredroadvanishingpointdetectionbasedonHaar-liketexture［J］.ScienceTechnologyandEngineering，2019，19（16）：221-226.

［14］ YOOJH，KIMDH.Graphmodel-basedlane-markingfeatureextractionforlanedetection［J］.Sensors，2021，21（13）：4428.

［15］ KUOCY，LUYR，YANGSM.Ontheimagesensorprocessingforlanedetectionandcontrolinvehiclelanekeepingsystems［J］.Sensors，2019，19（7）：1665.

［16］ 王其东，魏振亚，王乃汉，等.基于投影统计与双曲线拟合的车道识别算法［J］.中国机械工程，2019，30（4）：393-399.

WANGQD，WEIZY，WANGNH，etal.Lanedetectionalgorithmbasedonprojectionstatisticsandhyperbolicfitting［J］.ChinaMechanicalEngineering，2019，30（4）：393-399.

［17］ LIY，LUX，TANGT.Lanedetectionusingsplinemodelforfreewayaerialvideos［C］//10thInternationalConferenceonDigitalImageProcessing.Shanghai：ICDIP，2018：10806X.

［18］ 贾会群，魏仲慧，何昕，等.基于神经网络与最小二乘法的车道线检测算法研究［J］.汽车工程，2018，40（3）：363-368.

JIAHQ，WEIZH，HEX，etal.Aresearchonlanemarkingdetectionalgorithmbasedonneuralnetworkandleastsquaresmethod［J］.AutomotiveEngineering，2018，40（3）：363-368.

［19］ KIMH，PARKJ，MINK，etal.Anomalymonitoringframeworkinlanedetectionwithagenerativeadversarialnetwork［J］.IEEETransactionsonIntelligentTransportationSystems，2020，22（3）：1603-1615.

（責任编辑：包震宇，郁慧）

DOI：10.3969/J.ISSN.1000-5137.2024.02.001

收稿日期：2023-12-25

基金项目：上海师范大学一般科研项目（SK202123）

作者简介：刘翔鹏（1987—），男，讲师，主要从事智能网联汽车方面的研究.E-mail：xliu@shnu.edu.cn

引用格式：刘翔鹏，彭雨琳，童德中，等.适用于右转辅助的非机动车道检测［J］.上海师范大学学报（自然科学版中英文），2024，53（2）：147?155.

Citationformat：LIUXP，PENGYL，TONGDZ，etal.Bicyclelanedetectionsuitedforrightturnassistance［J］.JournalofShanghaiNormalUniversity（NaturalSciences），2024，53（2）：147?155.