测量路面三维纹理的激光约束双目鲁棒算法

王元元,李仁杰,刘燕燕,张亨通,刘德政

(1.湖北文理学院 纯电动汽车动力系统设计与测试湖北省重点实验室,湖北 襄阳441053;2.湖北文理学院 机械工程学院,湖北 襄阳441053;3.重庆交通大学 材料科学与工程学院,重庆400074)

0 引 言

路面抗滑性能是影响道路交通安全的重要因素,且与路面纹理关系紧密,路面摩擦力的形成直接取决于其表面三维纹理粗糙特性[1-2]。路面三维纹理的精确测量是全面分析路面抗滑性能、减少交通事故率、服务交通安全的基础。

随着现代测量技术与信息化技术的发展,产生了大量的路面三维纹理测量方法。光度立体重构与双目重构方法因分辨率高、构造简单,在路面三维纹理测量领域应用广泛。SUN Lu等[3]基于光度立体技术,采用六光源并引入多光源修正和低秩分解算法对传统方法加以改进,用以测量沥青路面构造深度,取得了较好的沥青路面三维纹理测量效果。但光度立体技术其抗光干扰能力差,对测量场景内的光照条件有严格要求,相比于光度立体重构,双目重构的抗光干扰能力更强,P.N.HONG等[4]将传统双目重构技术应用于路面三维纹理测量,但由于图像噪声、同名像素点间匹配精度较低等影响因素,测量结果并不理想;为解决此问题,王元元等[5]、LIU Yanyan等[6]利用多条激光约束将待测区域分割成多个子区域,通过激光约束间的强制匹配,提出区域分割匹配算法,提升了立体匹配精度,且在6条激光约束下算法测量偏差最小,但该算法仅在5～350 lux光照范围表现稳定,在更大光照强度下特征不明显,导致激光约束目标难以完整提取,影响算法精度。

近年来卷积神经网络(convolutional neural network,CNN)的发展使得深度学习算法在道路工程领域应用广泛。CNN在目标检测中主要完成特征提取,输出含有特征信息的特征图,为后续的分类与回归提供基础[7]。学者在路面裂缝、沟槽等病害目标识别提取中引入CNN,因其基于大量的样本数据对神经网络模型进行训练,使得深度学习算法在不同的测量环境中依然保持较好的稳定性[8-10],验证了深度学习算法对于待测路面进行激光约束目标识别提取的可行性。

为解决待测路面激光约束目标在变化光照下的鲁棒提取问题,笔者引入卷积神经网络算法对激光约束双目重构算法进行改进,扩大原激光约束双目重构算法光照适用范围,以期实现5～1 050 lux光照范围内的路面三维纹理测量,进一步提升算法的抗光干扰能力。

1 激光约束识别模型的构建

1.1 训练数据的采集

选择沥青路面面层常用的3种路面类型：连续密级配沥青混凝土(AC)、沥青玛蹄脂碎石 (SMA)和排水式开级配磨耗层 (OGFC)。在实验室成型AC-13、AC-16、SMA-13、OGFC-13共4种级配类型的马歇尔试件,用于激光约束识别模型训练图像的采集。试件级配见表1。

表1 各类型试件沥青混合料级配构成Table 1 Composition of gradation of asphalt mixtures for various types of specimens

在照度测量仪的控制下调节补强光源,通过双目摄像机分别拍摄在6条激光约束下4种级配试件在5、50、150、250、350、450、550、650、750、900、1 050 lux共11种光照强度下的左右图像对,如图1,共1 056张。对于神经网络模型,过大的图像尺寸会加大训练量,延缓训练速度,所以预先将所拍摄图像尺寸等比例缩小为320 pixel×240 pixel,并对图像中试件表面的激光约束进行标记。

图1 训练图像的采集Fig.1 Collection of training images

1.2 激光约束识别模型

相比于传统的神经网络算法,Faster-RCNN由于检测准确率较高,是目前主流的目标检测算法之一[11]。在Faster-RCNN中引入区域生成网络(RPN),代替传统生成候选区域的方法,很大程度上提升了区域生成速度,降低了网络模型训练时间[12]。笔者基于Faster-RCNN构建激光约束识别模型,其具体结构参数如下：

输入层：输入样本图片大小为32 pixel×32 pixel×3,与模型训练数据集中的最小样本大小相似;

中层间：由两层卷积核大小为3 pixel×3 pixel,步长为1 pixel,填充为1 pixel的卷积层,输出分别经过Relu函数,再经过一层内核大小为3 pixel×3 pixel、步长为2 pixel的最大池化层;

最终层：由输出维度为64的全连接层经Relu函数输入到输出维度为2的全连接层,最后经由Softmax函数输入分类层;

将输入层、中间层、最终层相互连接,构建激光约束识别模型,模型结构及参数如表2。

表2 激光约束识别模型结构参数Table 2 Structural parameters of laser constraint identification model

1.3 模型训练与识别效果

试验硬件采用Intel Core i5-8300H 2.30 GHz处理器,配置8 GB内存及NVIDIA GeForce GTX 1050 Ti显卡。操作系统为windows 10专业版(64位),模型训练编程环境为MATLAB 2020a。

激光约束识别模型训练分为4个步骤进行。前2个步骤训练该区的RPN和检测网络,训练参数设置为：初始学习率(Inital learnrate)为0.000 1,学习率保持不变。当epoch运行到17次时,Minibatchloss已无明显变化,故将Max epoch值设置为17;Minibatchsize值设置为1,每次迭代都会从一个训练区域处理多个区域;后2个步骤为微调步骤,仅修改初始学习率为0.000 01,其它训练参数不变。

通过对1 056张光照范围在5～1 050 lux的激光约束下马歇尔试件图像所组成的数据集进行训练,得到激光约束识别模型的识别平均精确度为0.97,精度-召回曲线如图2。

图2 精度-召回曲线Fig.2 Precision-recall curve

通过照度测量仪测量光照强度,在5～1 050 lux光照强度范围内随机选择不同光照强度下的试件,对其表面激光约束目标进行识别,如图3。

图3 不同光照强度下激光约束目标识别效果Fig.3 Laser-constrained target recognition effect under different light intensities

可以看出,激光约束识别模型在不同光照强度下都表现出准确的识别效果;尤其是在1 050 lux的光照强度下,试件表面的激光约束目标已被光照抑制,特征不明显,但激光约束识别模型的识别结果依然准确。

2 激光约束下双目重构算法改进

2.1 改进算法步骤

为解决待测路面激光约束目标在变化光照下的鲁棒提取问题,引入激光约束识别模型对原激光约束双目重构算法加以改进。激光约束目标识别与提取过程主要包括：激光约束识别模型的构建、左右幅图像激光约束区域坐标获取、左右幅图像激光约束区域剪切、激光约束目标逐条提取、激光约束目标逐条插入分割模板共5个步骤,具体流程如图4。

图4 测量路面三维纹理的激光约束双目鲁棒算法流程Fig.4 Flow chart of laser-constrained binocular robust algorithm for measuring 3D texture of pavement

2.2 三维纹理重构效果分析

在照度测量仪的控制下,使光照强度维持在1 050 lux左右,对2种算法的激光约束目标提取与三维重构效果进行对比分析。

以AC-13马歇尔试件为例,在1 050 lux左右的光照强度下,由于待测试件表面的激光约束目标被光照抑制,颜色特征不再明显,原激光约束双目重构算法针对左右幅图像进行激光约束目标提取困难,难以完整提取出试件表面的6条激光约束目标,其左幅图像提取效果如图5(a)。

笔者改进算法通过激光约束识别模型对试件表面激光约束目标区域进行识别,然后对激光约束目标区域逐条剪切后单条提取,提取完毕后将激光约束目标逐条插入分割模板中的原坐标位置,其左幅提取效果如图5(b)。笔者改进算法缩小了激光约束目标的提取的空间范围,使得激光约束目标特征在较小的空间范围内更加显著,更有利于提取出完整的激光约束目标;并且激光约束识别模型仅对左右幅图像中试件表面区域进行识别,省去了对原图像进行图像去背景的过程,降低了试件表面区域以外的背景对激光约束目标提取的影响。

图5 1 050 lux光照强度下激光约束目标提取效果Fig.5 Extraction effect of laser-constrained target under 1 050 lux illumination intensity

原激光约束双目重构算法在1 050 lux光照强度下的6条激光约束目标没有完整提取,各子区域间立体匹配精度降低,造成试件表面三维纹理重构效果较差,如图6(a)。

笔者改进算法在1 050 lux的光照强度下对6条激光约束目标提取得更加完整,试件表面三维纹理重构效果也明显优于原算法,如图6(b)。

图6 1 050 lux光照强度下三维纹理重构效果Fig.6 3D texture reconstruction effect under 1 050 lux light intensity

3 改进算法抗光干扰能力分析

为验证笔者改进算法的抗光干扰能力,选取AC-13、AC-16、SMA-13、OGFC-13共4种级配类型的试件,采用原激光线束双目重构算法与笔者改进算法分别对同一试件在5～1 050 lux光照范围内测量其平均构造深度(MTD),对比2种算法的波动误差与平均波动误差,并分别开展2种算法同铺砂法之间的相关性分析。

3.1 MTD计算方法

为避免三维重构中边缘噪声对MTD测量结果的影响,选取矩形待测区域(图7)进行MTD计算。

图7 待测区域Fig.7 Schematic diagram of the area to be tested

通过双目重构算法可以获取待测区域表面三维点云数据,得到待测区域高程矩阵,断面轮廓高程示意如图8。H为高程矩阵中高程最大值,n为高程矩阵元素总数,h1,h2,…,hi,…,hn为高程矩阵中各点高程。

图8 断面轮廓高程Fig.8 Sectional profile elevation diagram

高程最大值H与各点高程hi之间差值之和的均值即为待测区域平均构造深度IMTD值,即：

(1)

3.2 结果验证分析

根据式(1)通过计算4种级配类型的试件分别在5、50、250、550、1 050 lux共5种光照强度下的IMTD值,结果见表3。表3中波动误差为同一算法在不同光照强度下针对同一试件测量结果的最大差值,以评价算法的测量稳定性。

表3 IMTD值测量结果Table 3 IMTD value measurement results mm

根据表3中测量数据,选取4种级配试件在1 050 lux光照强度下2种算法测量的MTD值,分别绘制与铺砂法测量的MTD值之间的散点图,整体走势呈现较强的线性正相关,如图9。

由图9可知：在1 050 lux光照强度下,笔者改进算法与铺砂法MTD测量结果的拟合系数R2为0.987,优于原激光约束双目重构算法的0.887,说明笔者改进算法在更大光照强度下的测量结果可靠性更高。在5～1 050 lux光照范围内,原激光约束双目重构算法的IMTD最大波动误差与平均波动误差分别为0.475、0.371 mm;相比之下,笔者改进算法的最大波动误差与平均波动误差分别为0.141 mm和0.084 mm,较原激光约束双目重构算法分别下降了70.20%和76.83%,说明笔者改进算法在5～1 050 lux光照范围内具有更稳定的测量效果和更好的抗光干扰能力。

图9 铺砂法与两种算法MTD测量值线性关系Fig.9 The linear relationship between the sand paving method and the MTD measurement values of the two algorithms

4 结 论

为提高原激光约束双目重构算法的抗光干扰能力,解决变化光照下激光约束目标的鲁棒提取问题,基于Faster-RCNN构建激光约束识别模型对原激光约束双目重构算法加以改进,得到如下结论：

1)在1 050 lux光照强度下,激光约束被光照抑制,表现出颜色特征不明显,但笔者的激光约束识别模型却表现出较好激光约束目标的识别效果。

2)笔者改进算法能够在5～1 050 lux光照范围内对待测试件表面的6条激光约束目标实现完整提取,激光约束目标提取效果与三维纹理重构效果均优于原激光约束双目重构算法。

3)笔者改进算法测量的MTD与铺砂法的拟合系数R2为0.987,优于原激光约束双目重构算法的0.887。同时,在5～1 050 lux光照范围内,改进算法的最大波动误差与平均波动误差分别为0.141 mm和0.084 mm,较原激光约束双目重构算法分别降低了70.20%和76.83%,表明所提改进算法具有更稳定的测量效果和更好的抗光干扰能力。