基于双目结构光技术的路面坑槽多指标提取方法

王 葱,潘 均,孙尚宇,宋伟东

(1. 辽宁工程技术大学测绘与地理科学学院,辽宁 阜新 123000; 2. 辽宁工程技术大学地理空间信息服务协同创新学院,辽宁 阜新 123000; 3. 航空遥感技术自然资源部重点实验室,北京 100039)

路面坑槽是一种典型的路面病害,对居民出行舒适性、公路使用寿命、车辆通行安全均有较大影响[1-2]。坑槽面积、深度、体积等信息决定了其严重程度划分结果,将直接影响路面损坏状况指数计算,间接影响公路养护计划的制定和实施[3]。传统人工检测方式效率和安全性低,依赖技术人员经验和病害手册;基于二维图像自动化检测方式精度高,速度快,但无法获取深度信息[4-5];激光技术适用于弱光环境,简单直观,但扫描仪成本高,扫描速度慢,无法获取高质量纹理数据[6]。

文献[7]采用代价路径搜索算法,改善了单目视觉获取路面影像噪声多、连续性差、裂缝对比度低等问题,但利用该方法检测裂缝,易受光线影响;文献[8—9]均基于立体视觉获取深度,三维重构后计算坑槽面积和体积,该方法效率较高,可获取坑槽多维指标,但是同样不适用于弱光弱纹理环境;文献[10]提出一种基于三维激光技术的沥青路面坑槽量化的方法;文献[11]提出利用超声波传感器识别坑槽和波浪拥包,并测量其深度和高度,用于辅助驾驶和避免事故。基于三维激光雷达技术和超声波雷达技术可直接获取高精度的路面点云,提取路面破损信息,技术成熟,但成本很高。

为解决弱光、弱纹理环境路面坑槽多维指标计算问题,本文提出的方法如下:①基于双目结构光三维成像系统的坑槽多维指标提取方法;②针对坑槽不规则形状,设计坑槽深度、面积、体积多维指标计算方法;③设计对比试验,对正常光线和弱光、弱纹理两种环境计算的坑槽多维指标,与人工测量结果对比,并统计误差指标,验证该方法是否满足坑槽检测精度需求,以及对弱光、弱纹理环境的适用性;④基于两种环境下多维指标计算结果和规范,对坑槽轻重程度进行评价,并与人工测量相比,验证评价结果一致性。

1 双目结构光三维成像系统

1.1 双目结构光三维成像原理

双目结构光三维成像系统结构如图1所示。散斑结构光发射器和双目相机平行,发射器射出红外激光散斑,双目红外相机获取目标F的影像,得到带有散斑的立体像对。系统采用红外双目相机和红外散斑结构光,不易受周围光线变化的影响,且结构光可增加被测物体表面的纹理特征,因此,双目结构光三维成像系统和弱光、弱纹理环境更加适配,可在弱光、弱纹理环境下对路面进行有效三维成像,且有更好的测量精度和重建效果。

图1 双目结构光三维成像系统结构

研究采用的双目结构光三维成像系统如图2所示,由双目红外相机、红外散斑结构光、单目可见光相机、铝合金支架、车载平台4部分组成。其中,IR摄像头精度为0.2%@1 m,深度、红外、RGB相机均采用640*480@30 FPS;铝合金支架横向方向可旋转,纵向方向可伸缩。将系统架设在车载移动平台上,纵向高度为300 mm,保证检测精度。

图2 双目结构光三维成像系统

1.2 弱光、弱纹理环境路面图像获取

在弱纹理环境下,传统双目立体视觉采用相机无人眼的“无特征聚焦”能力,图3(a)弱光环境会使路面纹理特征减弱,对于局部弱纹理如左部分F处,将无法判别其位于右部分的同名点。双目结构光三维成像系统的结构光散斑,可对获取的图像中的所有点编码,增加大量同名点,如图3(b)所示。即使处于弱纹理环境,也可高精度立体匹配,利用视差原理和三角测量原理,得到深度信息,实现对路面的有效三维成像。

图3 系统适用于弱纹理环境

系统采用红外双目相机结合红外散斑结构光获取三维信息,结构光可增加路面纹理,双目红外相机可在弱光环境下获取带有散斑的立体像对,使系统适用于弱光、弱纹理环境。相较于传统RGB相机易受环境光照影响,系统光照稳健性更强,可在弱光环境对路面进行有效三维成像,如图4所示。

图4 系统光照稳健性

基于双目立体视觉的视差原理和三角测量原理,利用双目相机内外参数,双目图像经过图像校正和立体匹配获取视差图并转换为具有深度信息的深度图,进一步可映射为路面点云,实现弱光、弱纹理环境下路面图像的有效三维成像。双目结构光三维成像系统数据获取流程如图5所示。

图5 系统数据获取流程

2 路面坑槽多维指标提取方法

坑槽的深度、面积、体积等信息将直接影响路面破损状况指数的计算,因此,路面坑槽多维指标提取对于坑槽评价、路面破损程度评定、修补材料估算等具有重要的意义。本文通过双目三维结构光系统实现对路面有效三维成像,对获取的点云数据进行预处理、处理、多维指标提取和病害点云曲面重建。路面坑槽多指标提取流程如图6所示。

图6 路面坑槽多指标提取流程

2.1 数据预处理

数据预处理主要包括点云姿态标准化和去噪。①姿态标准化:由于路面凹凸不平和系统安装误差,难以保证采集坐标系XOY平面完全与路面平行,因此获取的点云数据需要姿态标准化,将倾斜点云转换为平行姿态。②去噪:受仪器、周围环境、被测量目标本身特性的影响,点云噪声无法避免。本文的采集系统和应用场景决定了去噪[12-15]的主要目标是离群点。采用基于空间分布的去噪算法(statistical outlier removal,SOR)[16]滤除离群点。

2.2 病害点云提取

采集的点云数据包含路面和病害点云,为保证坑槽多维指标计算的精度,剔除路面上如石子等一些微小的凹凸点的影响,需拟合道路平面,设定合适的阈值提取病害点云。

2.2.1 基于RANSAC算法的道路平面拟合

道路平面是分割点云和点云上顶面轮廓识别的重要依据,合理拟合道路平面对于坑槽多维指标计算具有重要的意义。基于RANSAC算法[17]对道路平面进行拟合,使得拟合平面与坑槽上顶面重合,拟合的本质是迭代过程:①选取部分数据点,对拟合平面初始化;②计算所有数据点到拟合平面的距离,若距离小于阈值,则认为当前点是有效数据,加入下一次拟合平面的数据集;③重复步骤①—步骤②,不断迭代,直到有效数据点少于上一次,当前平面即为路面的最佳拟合平面。拟合平面的过程决定了其用于分割点云是有效的。拟合平面的原理如图7所示。

图7 拟合平面原理

2.2.2 路面坑槽顶面轮廓识别与点云分割

路面坑槽上顶面是面积计算的重要依据。如图8所示。通过2.2.1节拟合的道路平面对点云进行分割:以拟合的平面一定阈值内的点作为内部点,阈值外的点则为平面外部点,内部点集合即为去除坑槽后的路面点云;外部点集合即为坑槽点云。病害点云与拟合平面的交点即为坑槽顶面的轮廓点[18]。通过双向最近点搜索法,对所有轮廓点遍历排序,排序后按逆时针方向相连构成多边形,该多边形即为坑槽上顶面。

图8 平面轮廓识别

2.3 路面坑槽多维指标提取

根据《公路技术状况评定标准》规范[19],可知坑槽深度、面积是评价坑槽的重要依据,体积是计算坑槽修补材料的重要指标。针对坑槽形状不规则导致多维指标提取困难,设计了坑槽多维指标计算方法。基于深度提取计算坑槽深度,基于双向最近点搜索对坑槽顶面轮廓点进行排序,逆时针连接成多边形后,利用轮廓点法计算面积指标,基于微元逼近法对坑槽进行等距切片,计算坑槽体积。

2.3.1 路面坑槽深度

坑槽深度是评价坑槽级别的重要依据,采集的点云数据中的每个数据点同时具有深度和二维信息,每个深度均对应一个像素点,对点云数据预处理和分割后,以坑槽上顶面为基准,以数据中深度最大的点作为坑槽的最低点,提取深度即可获得两者的深度,深度之差即为坑槽深度,原理如图9所示。路面坑槽深度计算公式为

H=Hmax-Hmin

(1)

式中,Hmax为坑槽上顶面的深度;Hmax为坑槽最低点的深度;H为坑槽的深度。

2.3.2 路面坑槽面积

病害点云与拟合平面的交点即为坑槽顶面的轮廓点,去掉深度,映射为二维后,采用2.2.2节的双向最近点搜索法对上顶面外轮廓的边界点进行排序,按逆时针方向相连构成多边形,采用以“矢量外积”为原理的轮廓点法计算上顶面面积。原理如图10所示。路面坑槽面积计算公式为

图10 路面坑槽面积计算

(2)

式中,xi、yi为轮廓多边形第i个顶点的坐标;i为排序后的轮廓多边形的顶点编号;n为轮廓多边形的顶点个数;S为坑槽面积。

2.3.3 路面坑槽体积

以计算的坑槽深度为基础,在点云纵向上以等间距对点云进行切片,形成多个等间距的梯形墩台微元,计算各个微元的上下底面积,得到微元体积,求和即为坑槽体积。为了保证亚毫米级的精度、计算效率与适用性,本文中的梯形墩台微元采用正轴0.5 mm切距等距切片,原理如图11所示。坑槽体积计算公式为

图11 路面坑槽体积计算

(3)

式中,n为分割个数;h为分割间距。

(4)

式中,K为切片编号,取值范围为[0,n-1];Vk为梯台微元的体积;Sk、Sk+1分别为第K个梯台微元的上、下底面积;V为坑槽体积。

2.4 基于BPA算法的路面坑槽曲面重建

为更好地恢复路面坑槽形貌,可对处理后的病害点云进行曲面重建,给予道路养护更直观的数据视角。本文采用滚球法(ball pivoting algorithm,BPA)[20-21]进行曲面重建,其算法原理如图12所示。

图12 曲面重建原理

3 试验结果与分析

在采集数据的同时对坑槽多维指标做人工测量,并根据上文中设计的多维指标计算方法,对获取的正常光线和弱光、弱纹理环境下的坑槽数据,分别进行预处理、处理和多维指标计算。与人工测量结果相比,验证设备与检测方法的坑槽检测精度和评价是否满足规范需求,是否适用弱光、弱纹理环境。

3.1 路面坑槽数据集与指标人工测量

将硬件系统搭载在车载平台上,采集坑槽数据,同时对坑槽多维指标进行人工测量:①采用分辨率为0.01 mm的高精度数显游标卡尺测量坑槽深度;②通过拓印坑槽顶面测量坑槽面积;③采用铺沙法测量坑槽体积。

人工测量主要误差来源:①坑槽深度易受所处的路面的平整度影响;②面积易受拓印面积误差影响;③体积易受铺沙的密度和高度影响。因此采用多次测量求取平均值作为指标的真值,用于验证本文方法的准确性和适用程度。指标人工测量如图13所示。

图13 多维指标人工测量

样本集共计14个坑槽,根据指标人工测量结果,以及坑槽评定标准,坑槽深度<25 mm或面积<0.1 m2为轻度;深度≥25 mm或面积≥0.1 m2为重度;可知样本集中的坑槽有轻度10个、重度4个。坑槽样本原始数据如图14所示。

图14 坑槽样本原始数据

3.2 试验结果与误差分析

3.2.1 路面坑槽多维指标提取

根据对比试验思路,以及上文确定的坑槽多维指标计算方法,对获取的正常光线和弱光、弱纹理环境下的坑槽数据,分别进行预处理、处理和多维指标计算。将计算结果与人工测量结果对比,部分结果见表1—表2。

表1 两种环境下部分计算结果

表2 两种环境下部分计算结果的相对误差 (%)

由表1—表2可知,双目结构光三维成像系统对于弱光、弱纹理环境具有较强的适用性,对于坑槽多维指标检测精度较高。

多维指标检测结果可为坑槽评价、坑槽修补材料估算、坑槽养护优先级等提供数据依据。指标计算主要误差来源:①点云预处理和分割对坑槽深度、面积、体积均有一定的影响;②划分梯台微元的单位大小对体积计算有一定的影响。

3.2.2 指标提取误差统计

对比两种环境下计算结果与人工测量的指标真值,计算并统计误差指标,验证设备和检测方法对弱光、弱纹理环境的适用性。误差统计结果见表3。

表3 误差统计结果

由表3可知,弱光、弱纹理环境和正常光线下对坑槽的检测和评价精度,均满足坑槽自动化检测规范中的精度需求。①弱光、弱纹理环境与正常光线各误差指标无明显差异,表明系统和检测方法适用于弱光弱纹理环境。②根据表3中平均相对误差指标可知,弱光、弱纹理环境和正常光线检测深度、面积、体积准确度分别达98.15%、95.03%、92.31%和98.28%、94.85%、91.55%,均满足路面破损自动化检测多维指标计算精度需求。③根据误差指标结果,可以看出,计算的误差累积:体积>面积>深度,验证了面积拓印和体积铺沙方式存在较大的误差,计算时划分梯台微元的单位大小对体积计算也有影响。

3.2.3 路面坑槽评价与人工测量一致性

根据两种环境多维指标计算结果及评价规范,对坑槽严重程度进行评价,与人工测量评价结果对比,结果见表4。

表4 坑槽评价结果

由表4可知,弱光、弱纹理环境和人工测量、正常光线评价一致性较高,满足坑槽自动化检测与评价规范精度需求。但不排除样本中没有处于严重程度划分指标的界线处的坑槽的因素。

3.2.4 路面坑槽曲面重建

为给予相关应用场景更直观的数据视角,采用不同的曲面重建算法,分别对两种环境下的坑槽点云进行曲面重建,重建结果如图15所示。

图15 曲面重建结果

由图15可以看出:①对比弱光、弱纹理与正常光线环境曲面重建结果可知,弱光、弱纹理环境重建效果良好。②对比多个经典算法曲面重建结果可知,BPA算法相对纹理信息更全,重建更细致;Possion算法重建相对更光滑,在边缘处的锐度更好;Alpha-shape算法对于后续的平滑等处理较差[22]。基于本文的应用场景,选择BPA算法重建病害点云曲面,为后续的病害修补、路面养护提供更直观的数据视角。

4 结 论

(1)针对传统单目图像识别方法无法获取深度信息,传统双目测量在弱光、弱纹理环境下立体匹配精度无法满足坑槽多维指标计算需求,激光扫描仪成本太高等问题,提出了一种基于双目结构光三维成像系统的坑槽多维指标计算的方法。

(2)针对坑槽形状不规则导致多维指标提取困难,设计了坑槽深度、面积、体积多维指标计算方法。

(3)设计了对比试验1,利用提出的方法检测坑槽,计算坑槽的多维指标,与人工测量值相比,在弱光、弱纹理环境下最大相对误差分别3.40%、9.64%、9.46%;在正常光线下最大相对误差分别为3.24%、6.50%、9.19%。表明双目结构光三维成像系统对坑槽多维指标检测具有较高的精度,对弱光、弱纹理环境具有较好的适用性。

(4)设计了对比试验2,通过对两种环境与人工测量对比的误差指标进行统计,两种环境下各误差指标无明显差异,检测深度、面积、体积准确度分别达98.15%、95.03%、92.31%和98.28%、94.85%、91.55%,表明系统和检测方法适用于弱光、弱纹理环境,且均满足路面破损自动化检测多维指标计算精度需求。

(5)设计了对比试验3,利用提出的方法计算坑槽多维指标,按照标准对坑槽评价,与人工测量值相比,在弱光、弱纹理环境和正常光线下,均符合坑槽自动化检测精度标准,表明其满足道路养护评价需求。