张亨通,王元元,秦 涛,李仁杰,3
(1.湖北文理学院 机械工程学院,湖北 襄阳 441053;2.湖北文理学院 土木工程与建筑学院,湖北 襄阳 441053;3.襄阳路桥建设集团有限公司 技术中心,湖北 襄阳 441023)
智慧交通和自动驾驶等现代交通离不开高精度数字化道路模型,路面三维形貌作为数字化道路模型的重要组成部分,同自动驾驶、智能治理、路面抗滑和轮胎-路面噪声等功能息息相关,直接影响着公众的身心健康和生命财产安全。
自动驾驶技术与智能治理融入车联网、机器视觉、智能控制等前沿技术,以实现自主感知路面环境,缓解交通拥堵,提升驾驶体验的目的,为公众提供更安全舒适的驾驶环境。路面抗滑性能直接影响着道路行车安全,抗滑力的形成直接取决于路面纹理形貌特性。Larson等[1]通过高速公路平均构造深度(MTD)、摆值(BPN)和滑移指数(SN)等指标的对比研究,发现路面抗滑性能与其宏观纹理形貌、微观纹理形貌紧密相关,并且在不同天气条件下表现出不同的相关性。良好的抗滑性能可以为车辆驾驶提供良好的附着性。轮胎-路面噪声是道路交通噪声污染的主要污染源之一,长期的噪声污染,会给公众身心健康带来严重影响,造成听力损伤,情绪焦躁,神经系统功能紊乱等一系列严重后果。
汽车行驶过程中,路面纹理形貌特性、轮胎本体因素、界面介质、车辆行驶速度、路面干湿状态以及温度和季节变化等因素共同构成一个作用系统[2-4]。各个因素之间相互作用,共同决定着路面驾驶环境和驾驶性能。各因素根据性质的不同可以分为:路面形貌、路面材料、轮胎特性、界面介质、作用环境等[5],其中路面形貌尤为关键。Fujikawa等[6]通过开展路面形貌对轮胎-路面噪声影响的研究,发现路面形貌的构造高度、构造间距、构造半径会产生不同程度的影响。Kokkalis等[7]采用分形法来研究路面形貌特征,以分形维数表征其不规则性,通过分析几种不同纹理构造的路面,得出路面纹理构造分形维数与其抗滑性能存在相关性,分形维数越大,路面抗滑能力越强。因此,路面形貌是影响路面抗滑性能和轮胎-路面噪声的重要因素。
国际道路协会(PIARC)根据路面的起伏程度将路面形貌分为四类:不平整度、粗大形貌、宏观纹理形貌和微观纹理形貌[8]。不平整度指的是波长跨度为0.5~51m,深度大于50mm的特大构造,主要是由道路设计和施工质量造成的,也与缺乏路面养护维护有关。这种形貌容易形成路面积水,降低路面抗滑性能。车辆在上面行驶,会造成车体震荡,致使轮胎-路面噪声增大,影响汽车行驶舒适性和安全性。粗大形貌是波长50~500mm范围内,深度为20~50mm的构造[9],主要与路面铺设质量不合格,以及年久失修有关。在这种路面上行驶,不仅会导致轮胎加速磨损,更易因高频抖动而造成车辆减震器损坏,降低行车的安全性和舒适性。宏观纹理形貌构造的波长跨度为0.5~50mm,深度为0.5~20mm,与路面排水、轮胎-路面噪声和路面抗滑等方面紧密相关[10-11]。在高速情况下,宏观纹理可为路面提供排水通道,增加轮胎与路面的真实接触面积,抑制轮胎水雾的形成,增大宏观纹理形貌构造的平均高度可增加轮胎的摩擦阻滞力,从而改善抗滑性能,提高行车安全性[12-13]。微观纹理形貌指波长小于0.5mm,深度介于1μm~0.5mm的细微构造,是对路面胶结料和骨料表面微观构造等特性的直接反映。微观纹理构造与轮胎紧密咬合,与胎面之间形成粘附力和切削力,这两种力是轮胎与路面摩擦力的主要组成部分,基本决定路面的抗滑性能。此外,微观纹理形貌构造可以轻松刺破潮湿路表水膜,避免滑水现象的发生[14-16]。
四类形貌中,不平整度和粗大纹理的构造尺寸较大,对测量精度和分辨率的要求相对较低,使用钢尺、激光轮廓仪、超声检测仪、水准仪、全站仪等常见测量仪器即可满足。宏观和微观纹理形貌则要求高,对路面功能影响显著。文献[17]指出路面宏观和微观纹理形貌是影响路面功能的重要因素,对路面抗滑性能起着决定性作用。曹平[18]等结合摩擦系数和构造深度来分析路面抗滑性能,结果表明路面宏观与微观纹理形貌的构造对路面抗滑性能具有明显的影响。文献[19]通过对平均断面深度(MPD)、轮廓的单峰平均间距(S)、轮廓均方根斜率(Δq)、偏斜度(RSK))等路面纹理形貌表征参数与轮胎-路面低频噪声及高频噪声做相关性分析,建立路面纹理形貌与轮胎-路面噪声的关系模型,结果表明路面纹理形貌同轮胎-路面噪声之间紧密相关。路面纹理形貌特征对行车舒适度和交通安全具有重要影响,良好抗滑能力的路面可以提供安全的交通环境,低噪声路面环境可以带来更为舒适的出行体验。因此,获取高精度的宏观和微观路面纹理形貌指标对路面抗滑性能进行评价,对于提升路面的安全性能和舒适性具有重要意义。
路面形貌测量方法可分为当代路面形貌测量方法和传统路面形貌测量方法。其中通过特定的技术手段或方法得到路面纹理信息从而获取路面形貌特性的方法称作当代路面形貌测量方法;而传统路面形貌测量方法则多是使用常规的物理方法测试路面非形貌类参数(摆值、体积参数等)来间接反映路面纹理形貌特性。后者包括摆式摩擦仪、铺砂法、溢流时间法等,而常见的当代路面形貌测量方法有接触式表面轮廓仪、三坐标测量仪、光度立体法、激光扫描法、结构光测量法、飞行时间法、阴影恢复法、体式显微法、近景摄影测量法、双目重构技术等[16,20]。虽然,当代和传统路面形貌测量方法都可以实现对路面功能的评价,但评价指标存在差异。其中,传统路面形貌测量方法多是以非形貌类指标评价路面的粗糙程度,当代路面形貌测量方法则通过对路面纹理形貌进行测定,提取路面形貌的构造特征为评价指标,不同评价指标给路面功能评价的技术交流带来障碍。此外,无论哪一种测量方法,都存在技术难题,如三维形貌数字化测量难以实现,测量精度偏低,设备价格昂贵或自动化程度低等。本文拟对现有路面形貌测量技术进行总结,结合典型应用对其优缺点和应用场景展开对比讨论,并在此基础上分析与展望未来路面三维形貌数字化测量技术的发展方向及面临的挑战。
传统路面形貌测量设备与待测路面直接接触,通过测试体积、时间或摩擦系数等非形貌类指标间接估计路面纹理形貌的构造和粗糙度,常用方法有铺砂法、溢流时间法、摆式摩擦系数法等。
铺砂法在实际工程领域应用较多,可分为手动铺砂法和电动铺砂法。手动铺砂法是将已知体积的标准砂平铺在待测路面上,用摊铺板将标准砂推平,使之均匀嵌入路面空隙形成圆形面,用游标卡尺测量圆形面两个垂直方向的直径,取平均值,最终求取标准砂的体积与圆形面积的比值,即路面的平均构造深度(MTD)。电动铺砂法原理与手动铺砂法相似,只是减少了人为因素的干扰[21]。铺砂法原理易懂,操作方便,设备构造简单。但是在实际操作过程中,标准砂摊铺在纹理稀疏的路面上会出现露砂的情况,导致测得平均构造深度偏低。同时,含水率也会影响砂的蓬松度,导致摊铺面积测量不精确,进而影响路面平均构造深度的计算结果。因此,该方法并不适于稀松纹理路面和湿润路面的形貌测量。
溢流时间法测试前需要用橡胶套筒将量筒接触面密封,测量时采用固定体积的量筒,将水注满后放置于待测路面,水流通过路面空隙排出,测定出水流溢出时间,以水流溢出时间作为评价指标来客观评价路面宏观形貌的构造状况。排水时间越短,则表明路面宏观纹理形貌的平均构造深度越深[22-23]。溢流时间法最大的优势在于原理简单,适用于多种场景。但是,在实际应用中只能粗略判断路面宏观形貌的平均构造深度,对于长距离路段,只能通过分段抽样检测,不仅效率低下,而且抽样误差较大。
摆式摩擦系数法在上世纪50年代由英国道路运输研究所(TRRL)研发出来,是一种基于摩擦系数指标的抗滑性能评价方法,并于1980年在我国推广使用,逐步作为国内测试路面抗滑性的标准方法之一。该方法是将摆锤从固定位置自由摆下,摆锤的橡胶垫片与路面摩擦后连带指针回升到一定高度,根据能量守恒定律,两者之间的摩擦作用会消耗部分能量,通过计算摆锤前后摆动的高度差来表征能量损失,单位为摆值(BPN)。多用于测试低速路面的抗滑性能,操作简便,可用于实验室测试和现场检测。但是摆锤释放位置对测量结果影响大,实验重复性差,准确性不高,不适用长距离连续路面测量[24-26]。可见,传统形式的路面形貌测量技术普遍原理易懂,操作简单,设备成本低,但测量精度差,受环境变化因素影响较大,且多为单点检测,测量速率低下,代表性不强,测得结果不能直观形象地反映路表纹理形貌构造,难以满足数字化、高精度、高自动化的现代路面形貌测量要求。
根据测量原理不同,当代路面形貌测量技术可以分为接触式测量和非接触式测量,如图1所示。接触式测量是通过探测仪器前端接触物体表面,内置传感器根据表面纹理起伏获取高程数据,计算机终端处理以获取路面纹理形貌轮廓。具体以前端微型探针遍历待测物体表面,以探针内置的位移传感器测得物体表面轮廓信息。常用测量设备包括接触式表面轮廓仪、三坐标测量仪。虽然测量精度可以满足路面宏观和微观纹理形貌的测量要求,但难以在室外场景推广应用,原因主要有:该技术多用于二维线性测量,测量效率不高;在路表划过时,容易破坏接触面,改变原有的路面纹理形貌;无法探测到小于探头直径的微观纹理,难以获得稠密的表面三维形貌;对测试平台要求高,多用于实验室环境有限点位测量[27]。三坐标测量仪使用微探头进行接触式测量,微探头接触物体表面时发出采点信号,控制系统采集三坐标数据,计算机系统进行数据处理,生成表面形貌轮廓。该设备单行处理测量精度达到0.01μm,有较好的通用性,但受人为操作水平影响大且造价昂贵。此外,难以测量小于探头直径的凹陷面;接触表面硬度较小物体时,易使物体发生结构性形变,进而影响表面形貌三维重构的精准度[28]。
与接触式测量法相比,非接触测量法不与待测物体表面发生直接接触,克服了许多限制,最大程度保护物体表面原始形貌,并应用图像数字化处理技术、光学和微电子技术等前沿科技手段,最大化实现路面宏观和微观纹理形貌同步稠密精确测量[29-30]。根据测量原理,通常可以分为主动测量法和被动测量法,其中主动测量领域具有代表性的方法有光度立体重构法、激光扫描法、结构光法、飞行时间法等,被动测量领域常用的有阴影恢复法、体式显微法、近景摄影测量法、双目重构技术等。
主动式路面形貌测量技术通过光学或电子信号发射器主动向待测物体表面投射光信号或电信号,根据反射信号的差异获取表面深度信息,以特定的算法重建物体表面三维形貌。
2.1.1 光度立体重构法基于双向反射分布函数,使用不同角度的光源照射待测物体,获取不同光照角度下的图像,然后根据图像像素亮度差异解出表面法向量,最终完成三维重构[31]。技术原理如图2所示。
图2 光度立体模型示意图
光度立体重构技术由Woodham等[32]在1979年首次提出,采用一个相机和几个照度相同的光源,测量过程中保持相机和待测物体相对位置不变,通过改变光源的方向,获取物体在不同光源照射条件下的图像,以计算物体的表面法向量,求解物体表面的三维形貌。但在测量纹理形貌复杂的物体时,容易产生光照死角和阴影区,致使测量结果的鲁棒性不佳。针对这一问题,1997年Kim等[33]在此基础上融合阴影迭代形状(SFS)算法,利用SFS配合多角度光源,实现多组图像的高反差合成处理。这种改进成功将物体表面微小的凹陷、裂缝和刮痕从背景中分离,具有更高的三维重构精度和更优的收敛特性。2007年Gendy等[34]在传统三光源光度立体测量系统的基础上,提出了一种改进四光源光度立体测量系统,引入不同光照天顶角对五种级配的沥青路面进行对照研究,结果表明同等测量条件下获取纹理深度信息的精度更高,鲁棒性更佳。2017年Sun等[35]采用六光源光度立体重构方法,并提出亮度矩阵低秩恢复修正算法,与传统三光源光度立体算法作比较,低秩恢复修正算法可以显著降低噪声干扰,很好地解决了阴影区域求解和高光点的问题,使整个重建表面具有更好的视觉效果。光度立体重构技术一直是国内外研究团队的研究热点,虽然经过不断的迭代和技术改进,仍存在诸多亟待解决的问题:图像需在相机和目标相对静止时获得,动态环境中难以实现;结果只有形状相对准确,没有比例精度,高度信息不准确;依赖外界光照条件,只适用于室内光线较弱的环境,无法在复杂光照下开展作业,使用范围受限[36]。
2.1.2 激光扫描法测量系统主要分为两类:一类是基于三角测距原理的三维形貌测量方法;另一类基于激光聚焦跟踪原理的三维形貌测量方法。激光三角法测量原理是:以线性激光束扫描待测物体,利用激光传感器感应光线反射位置,以获取各测量点的高程数据,并通过计算机终端将不同测量点测得的高程数据转换为路面纹理形貌信息,基础数学表达式为:
(1)
其中PS为相对高程,SF为放大系数,DP为激光装置的位置系数[37]。
激光聚焦跟踪原理则是将激光经透镜聚焦到一点,镜头在机械控制下始终保持与聚焦点的相对静止,通过镜头的位移获取表面纹理高程信息。
自上世纪60年代以来,激光扫描技术经过多年的改进与发展,逐步趋于成熟。2005年Chang等[38]基于激光三角测距原理研发出一种通用的便携激光扫描仪,对于路面局部宏观纹理形貌重构效果较好。但由于成本限制,这种扫描仪分辨率不高,扫描范围有限,只适用于小面积的路面宏观纹理形貌测量。基于此,Walters等[39]尝试应用于人行道铺设工程,研发出一种基于激光扫描技术的新型路面纹理形貌测量系统,即在铺路机的前后分别设置两台激光扫描仪,通过特定算法拟合获取的路面宏观纹理形貌数据,实时反馈路面形貌特征以构建移动成像平台,实现沥青路面高质量、低误差的铺设目的。随着激光测量技术在道路形貌测量领域的推广,以及数字化成像技术的快速发展,2007年Chang等[40]研发出一套车载高分辨率3D激光扫描系统,在50 km/h的匀速状态下测量路面纹理深度,并结合国际粗糙度指数(IRI)做统计学分析,计算出路面纹理深度与粗糙度的相关性系数,实现亚毫米级路面粗糙度评价。进一步,Tsai研究团队[41]开发出一种基于激光三角测量技术的车载移动测量系统,通过CCD相机获取激光线图像,采用亚像素峰值检测算法进行分析,找出激光线的亚像素位置,将激光线畸变转化为路面断面构造曲线,最后聚合成一段连续的三维形貌图像,其水平和垂直分辨率可达到2 mm,速度可达到百万分之一秒。该系统随车搭建可实现快速实时的非接触测量。激光扫描法的优势在于技术成熟、数字化程度高、测试效率高、采集信息密度高。但缺陷也十分明显,具体体现在:光束投射面形成的光亮分布图容易受到环境光线分布、物体形状以及物体表面反光状态的影响,造成测量误差;随着扫描速度的提高,测量数据的稠密程度降低,点云数据配准错误率增加,易使恢复的三维图像产生像素点跳跃;激光扫描设备的造价偏高,尤其是高精度激光扫描仪器,内部结构复杂,对硬件设备要求高,价格昂贵不利于大规模推广使用。
2.1.3 结构光法由投影设备向待测物体表面投射预设编码结构光,光束经过物体表面调制产生不同程度的畸变,然后通过视觉传感器采集畸变图像,计算机终端对调制后的结构光图像进行解码,利用三角测量原理对数据进行处理求解相位差,最终得到物体表面的深度信息,实现三维形貌的重构。结构光三角测量原理示意图如图3所示。根据三角测量原理,被测物体高度为DB,则实际高度ΔZ可表示为:
图3 结构光三角测量原理
(2)
目前常见的结构光技术可以分为三种类型:单点结构光、线扫描结构光、面结构光。点结构光只能对物体表面进行单次单点深度测量,扫描测量效率低。线扫描结构光在测量纹理形貌尖锐的物体时,易丢失光条信息,导致三维形貌信息不完整[42]。相比之下,面结构光投射光源是编码处理过的结构光图案,获取物体表面形貌信息的效率更高,三维重构的精准度更高,适用范围也更广。
近年来,编码结构光三维测量技术成为各个研究团队关注的重点。2005年Dipanda等[43]使用结构光测量系统(SLS)进行物体表面三维形貌重建,具体地将线结构光矩阵投射到待测物体表面,通过图像自动获取系统高效捕捉表面形貌信息,最终采用分裂单元算法成功重构出物体表面三维形貌。但不足之处在于重构出的三维形貌表面存在低频水波纹,一定程度影响微观纹理形貌的检测。2008年Yang等[44]提出一种基于双目结构光原理的三维曲面测量方法,结构光通过圆锥体投射到物体表面,然后采用曲线检测器检测光条纹的特征点的位置。结果表明,该方法能够有效提高立体匹配精度,重构的三维曲面图像表面平滑,无明显噪声和波纹,鲁棒性好。2016年Cai等[45]提出基于结构光的光场成像方法,将调制后的结构光图案投影到一个场景中,建立结构化光场模型,用光场记录仪器检测场景中的相位编码调制信息。这种方法从多个方向获取待测物体表面轮廓,通过拟合多向测量数据,实时重构物体的表面形貌特征。2020年Liang等[46]为提高沥青路面粗糙度检测的效率和准确性,提出基于二维图像提取单条纹中心亚像素坐标的方法,以坐标转换获取实际高程坐标,然后运用三角剖分算法实现路面三维形貌重构。值得注意的是,这种方法在提高测量精度的同时,极大降低了测量设备制造成本。2021年Wang等[47]提出了一种基于表面结构光投影(SSLP)的新技术,将正弦编码的条纹结构光通过光纤干涉投影到物体表面,采用CCD相机捕获经过路面调制后的变形图案,而后对条纹图像进行形态学预处理,再采用连续小波变换的方法求解包裹相位,最终得到稠密的三维形貌点云数据。相较于传统的结构光测量法,该方法三维重构效果较好,鲁棒性佳,抗干扰能力更强。从国内外的研究成果来看,结构光法测量优势主要在于:仅利用两个位姿的光学元件实现三维重建,设备成本较为低廉;主动投射结构光图案至物体表面,使得各像素点特征性加强;技术成熟,深度图像可以做到较高的分辨率。不足之处:外界强光对投射出的结构光会产生较大干扰,在室外强光环境中基本不能使用;测量距离一般限制在10m范围内,测量距离越远,投射编码结构光的边界越模糊,相应测量精度也会降低;测量反光物体时,表面高反射率处往往会产生噪声。
2.1.4 飞行时间法(TOF)通过光电信号发射仪器向待测物体表面连续发射调制光脉冲信号,采用测距传感器测算光脉冲信号在接收器和被测物体之间的飞行时间,根据时间差计算物体表面纹理形貌的深度(技术原理如图4所示)。计算TOF相机到物体表面测点的距离表达式:
图4 TOF技术原理
(3)
其中D为从TOF摄像机到目标测点的距离,c为光脉冲信号传播速度,f为信号的调制频率,Δφ为相位差。
TOF技术最早于1970年代由斯坦福研究所(SRI)[48]发明。但当时信号探测技术的落后,其效果和适用范围均受到一定限制。1997年德国西根大学的T.Spirig研究团队[49]提出一种固定CCD相机的TOF成像技术,将单目测量技术与TOF测量技术融合,可以同时测量光的振幅、相位和背景光强,实现对于脉冲信号的快速采样,极大减少了测量耗时。2014年Lee等[50]基于TOF技术提出一种动态深度模糊检测和去模糊图像的处理方法,利用TOF深度传感器,对比不同时间差之间的相位偏移量,成功检测到运动物体图像的模糊区域,并采用改进的去模糊图像算法有效消除部分模糊区域。该方法对于TOF技术在动态测量领域的应用,起到了一定推动作用。一年后,Mutto等[51]创新性地将TOF技术与双目立体视觉结合,提出一种新的TOF相机测量误差模型,在融合两种测量系统的基础上,建立双通道误差补偿系统,处理混合像素效应造成深度不连续伪影效果较好,获取的表面深度图鲁棒性较好。2017年,He等[52]研究不同环境因素对ToF相机的深度误差的影响,提出一种基于粒子滤波支持向量机(PF-SVM)的误差修正方法,有效地将(0.5~5m)范围内的TOF相机测量深度误差降低到4.6mm,进一步提高了测量精度。TOF法能够广泛应用于手机、机器人、智能汽车、AR等各个方面,优势在于:可测量距离较远;可以根据测量场景选择光电信号种类,以适应外部复杂的周围环境;受湿度、气压和温度的干扰小。尽管TOF技术经过多年的迭代更新,但依然存在诸多不足:近距离测量物体表面时,容易将多余的光信号散射到图像传感器,造成不连续的伪影和模糊;对于传感器性能要求高,设备造价昂贵;光电信号测量物体表面凹槽时,会出现多重反射的情况,导致测量结果失真。
被动测量是一种基于被动立体视觉的技术,主要是通过图像传感器获取二维图像信息,然后通过计算机终端处理逆向重构出物体三维形貌。该类方法的特点在于可用低维信号还原高维信号,与主动测量技术形成互补。
2.2.1 阴影恢复法通过获取轮廓边缘亮度信息识别物体表面纹理,是一种基于弱结构光技术的三维形貌重构方法。通过移动光源使物体表面纹理产生阴影区域,照相机拍摄阴影轮廓的位置移动和形状变化,然后根据阴影重建算法进行差异化分析,重构出物体表面三维形貌(原理示意如图5所示)。
图5 阴影恢复法原理示意图
20世纪80年代,Shafer和Kanade[53]通过对物体表面阴面的观察,根据阴影变化规律初步建立起阴影约束条件。Hambrick等[54]1987年开发出一种阴影边缘标记法,通过对阴影轮廓边缘标记,实现对规则物体几何形状的估计。国内外研究团队提出的多种用于重构物体形貌轮廓的改进阴影恢复法,主要分为两类:光源已知重建法和光源未知重建法。光源已知重建法 光源的位置固定,测量对象的位置动态变化。2005年Yu和Chang[55]在光源已知条件下提出一种集成阴影和阴影约束的方法,首先根据阴影约束构建阴影图,然后通过约束优化算法获取每个像素值高度上限。该方法获取的阴影形状与阴影约束的高度界限一致,并从一组稀疏阴影图像中成功恢复出物体表面的三维形貌。光源未知重建法 测量对象静态固定,光源的方向或位置动态变化。卡内基梅隆大学的Yamazaki 研究团队[56]在光源未知的条件下提出一种共面阴影成像法,通过形状剪影技术将目标物体的阴影投射到单个平面上,进而获取多角度阴影图像,然后通过分析阴影图的共面特性准确获取待测物体的几何特性。该方法中光源位置没有预先校准,而是通过目标物在球体上投出的阴影来估计每幅图像的光源位置,从而降低对光源的依赖性。相较于光源已知的阴影重构法,普适性更好。这种方法的优势主要在于:受物体表面反光度影响小,可消除表面反射率差异带来的影响;技术原理简单,测量效率高,设备造价低;不会受到物体表面颜色差异的影响。而缺陷在于:在光源复杂的实际场景中,容易出现阴影区域重叠模糊的情况,致使阴影边缘识别不准确;不适合测量平面物体的表面纹理形貌;外界复杂光照易使阴影失真,致使鲁棒性降低。
2.2.2 体视显微法通过模仿人眼的双目成像系统,以两个相互独立的显微镜从不同视角获取物体表面图像,根据光学成像原理获取待测物体表面的微观纹理形貌信息。测量流程如图6所示,首先选择待测物体表面的微观特征点,获取二维高倍图像,然后标定相机各项参数,进而通过计算机终端对图像进行形态学处理和立体匹配,最终实现表面微观纹理形貌的重构。
图6 体式显微法三维重构流程图
近些年,国内外研究团队针对体式显微法开展了深入研究。2003年河北工业大学李立宏教授带领的研究团队[57]提出一种双CCD相机替代单目镜的显微立体视觉系统,相较于单目镜测量系统,有较大的视野范围和测量精度,获取二维图像清晰度更高。2009年Mehdi等[58]结合光学显微镜和CCD相机成像系统,开发出一种基于单一平面特性的相机标定算法,可以直接计算出双摄像头的内外参数,且精度高于自适应标定法。2016年Rodriguez等[59]提出一种双通道结构光显微成像系统,使用数字微镜装置(DMD)进行图案照明,将二进制编码结构光按顺序投影到待测物体表面,同时使用两个单像素光电传感器进行反射光检测,而后通过光条几何变换消除伪影,最终获取到高精度微观构造深度信息,极大避免了物体表面三维成像不均匀的情况。体式显微法在微观测量领域优势明显,尤其在医疗、生物、考古等以微观物体为操作对象的技术领域。但目前难以避免的几个问题是:对环境光照、噪声和曝光等比较敏感,目前仅适用于实验室环境内测量;随着测量物体表面积的增加,数据处理量陡增且耗时较长;左右两个通道图像的颜色存在差异,需要对立体图像对进行颜色校正,才能进行后续测量工作。
2.2.3 近景摄影测量法一种从摄影图象中恢复物体几何特性的三维重构技术。使用相机对待测物体进行环绕拍照,获取多个角度二维数字图像,经过特征点提取、立体匹配、点云数据处理等多个步骤,最终重构出待测物表面的三维形貌[60-61]。该方法基于三角剖分原理(如图7所示),通过空间直线的数学相交关系,以确定特征点的准确位置。如目标点P的位置信息分别由在两个不同成像平面的投影点P1和P2来定义。
随着图像数字化处理技术的快速发展,2008年Fraser等[62]提出一种基于近景摄影测量技术的混合测量方法,利用多特征融合网络对目标进行智能化识别,经过特征点自动化提取以及像素级图像匹配,重构出表面三维形貌。该方法大大提高了图像处理的自动化程度和测量的灵活性。2014年Chen等[63]利用近景测量技术获取移动焊接焊缝的轮廓数据,采用改进的傅里叶函数对轮廓数据进行拟合,成功重构出焊缝的三维形貌轮廓。三年后,Kenarsari等[64]结合近景摄影测量技术建立路面车辙轮廓三维重构系统,通过摄影机采集车辙图像,使用Adobe软件分析轮胎印迹的图像信息,最后采用光截面摄影测量算法成功测定出车辙的体积、表面积和深度信息。2020年Mohammad等[65]将近景摄影测量技术获取的形貌信息融入Persson摩擦模型,极大简化了模型的计算流程,建立了一套新型非接触式的路面粗糙度评价系统。随着近景摄影测量技术研究的逐步深入,其技术优势逐渐凸显出来,主要体现在:可在短时间内获取稠密的形貌信息;适用于动态物体外形和运动状态的测定;结合数字化影像处理技术,自动化程度高。存在的不足:技术实现需要昂贵的测量设备和高素质技术人员;为获取高质量的影像,需要粘贴大量的标记点,测量工作量较大。
2.2.4 双目重构技术模拟人双眼成像系统,采用左右两个相机从不同视角获取待测物体的数字图像,然后计算同名像素对的左右视差,分析左右图像的差异,最后根据严格的几何关系完成三维形态学的求解(成像原理如图8)。
当两个摄像机平行放置时,光轴之间的距离是双目视觉的一个重要参数,即基线距离。两个相机同时观察特征点P在不同位置的空间坐标,通过坐标转换得到在左右两个成像面的图像坐标,即PL(XL,YL)和PR(XR,YR)。两个相机拍摄的图像处于同一平面,可得YR=YL=Y,根据三角测量原理得视差X=XL-XR,再根据相似三角形原理计算出特征点P在图像坐标系下的三维坐标。
双目重构技术主要利用对极几何将坐标转换到欧氏几何条件下,然后根据三角测量原理估计深度信息,流程包括相机标定[66]、图像校正、立体匹配[67]和三维重建[68]。即首先采用双目摄像机采集左右两个不同视角的图像,通过张氏标定法标定出相机内外部参数,而后提取图像特征点并对左右同名像素点进行立体匹配,得到匹配后的视差图,最后根据视差图完成三维点云重构,具体流程如图9所示。
图9 传统双目重构法流程图
最大的技术难点在于左右图像同名像素点对之间的精确匹配,匹配精度直接影响三维重构的精度,因此如何提高立体匹配精度一直是国内外双目视觉科研团队研究的热点。20世纪80年代,Marry等[69]提出通过二维图像恢复物体三维形貌的方法,并初步建立起一套较为完整的双目重构流程,极大推动了双目重构技术的发展。2005年Bleyer等[70]提出一种基于图像分割和全局性约束的分层立体匹配算法,立体匹配精度得到提高,获取的视差图精度较高,并且在深度不连续和遮挡区域取得较好的三维重构效果。2015年Cui等[71]提出一种基于多线激光约束的双目重构技术,采用八邻域标记算法和重力法提取4激光条纹的中心线,实现多线激光强约束的图像匹配,成功测算出沥青路面的平均断面深度值(MPD),并根据轮廓法以平均断面深度值(MPD)估算平均构造深度(MTD)。该技术虽然引入激光线强约束目标使特征点匹配精度得到提高,但其他位置的像素点匹配误差难以精确控制,并且通过估算确定路面平均构造深度(MTD)的技术手段,不适合三维形貌的稠密精确测量。2020年Wang等[72]为进一步提高沥青路面特征点的匹配精度,创新性地引入6条激光线约束,同时改进双目重构算法,提出默认颜色、增强目标线和区域分割三种不同的匹配算法,并对比分析三种立体匹配算法重构精度。结果表明,在区域分割匹配模式下具有良好的重构效果,在实验条件下平均和最大绝对偏差仅有0.02 mm和0.14 mm,可以满足路面纹理测量小于0.5 mm的测试要求。双目重构技术作为一种数字化的非接触测量技术,优势在于:对相机设备要求不高,成本低;测量速度快,具有较好的实时性。存在的局限性主要是对环境光照非常敏感,外界光照角度、光照强度等环境因素的变化都会不同程度降低图片的拍摄质量,进而影响到整个立体匹配的精度。
随着路面形貌测量技术的不断发展,大量研究人员尝试通过各种途径直接或间接测量路面纹理形貌,以准确表征路面纹理的粗糙特性,但这些测量方法都存在各自的技术特点和缺陷(如表1所示)。
表1 路面三维形貌测量方法对比与分析
在接触式测量领域,接触式轮廓仪能够提取待测物的表面形貌特征,稳定性较好,但是测量效率低,多用于二维直线式测量,且容易破坏接触面。三坐标测量仪通过微探头测量物体表面时会对表面纹理造成不可逆损伤,大大影响了测量精度。这两种方法的技术局限性,限制了在实际工程场景中的推广应用。
传统光度立体重构具有快速、效率高等优点,但依赖于光源照明方向的变化,且容易产生背光阴影区域,影响路面纹理形貌测量精度。激光扫描技术应用范围广,可很好地获取粗糙物体表面的宏观纹理形貌信息,但不适用于弱纹理物体表面的三维形貌重构。体式显微法通过高倍目镜识别获取微观形貌信息,识别精度较高,但获取的图像信息量巨大,造成信息处理耗时较长。近景测量技术适用于动态测量物体表面轮廓,但难以满足测量路面微观纹理形貌的精度要求。阴影恢复法对于光源的要求较高,测量过程易出现阴影重叠的情况,难以应用于实际工程场景。飞行时间法适用于远距离测量领域,但测量设备造价昂贵,实际应用易受外界光电信号影响产生噪声。结构光法具有流程简单,操作方便等优点,但是传统测量法对复杂光照适应性较差,此外编码图像信息量较大,计算过程耗时较长,难以适应外界的复杂光照场景。相比之下,双目重构技术通过计算机对图像进行数字化处理获取物体表面三维形貌信息,以更少的图片信息,达到良好的三维重构效果,具有精度高、操作简单、成本低廉、非接触测量、适用范围广等优点,但难点在于如何通过算法优化实现高精度立体匹配和稠密精确测量。
将传统双目重构技术用于沥青路面纹理形貌测量,对于局部单点和微观形貌的测量结果都不理想,原因在于:沥青路面表面颜色单一且特征点不明显,使其立体匹配精度受限。传统立体匹配算法包括BM(局部匹配算法)、SAD(灰度差匹配算法)、SGBM(半全局立体匹配算法)等,技术原理各有不同,技术指标如表2所示。算法的优点是运算速度快,适用于纹理形貌特征较为明显的区域。缺点也非常明显,主要集中在:在遮挡点、纹理不丰富或存在重复纹理的区域,匹配效果不理想,鲁棒性不佳;难以获得稠密的视差图,需要在后期通过插值算法来进行修正;受图像的仿射畸变和辐射畸变影响较大;局部算法不适应于深度变化剧烈的场景;对复杂环境光照和表面颜色差异比较敏感[73]。
表2 传统双目匹配算法比较
实现高精度立体匹配是改进双目重构技术的关键。2018年Wang[74]等提出基于高斯加权AD-Census变换和改进交叉自适应区域的立体匹配算法,极大提高了同名像素点立体匹配的精度。与几种经典的立体匹配算法相比,该算法在边缘和不连续区域表现更好,应对光线变化和噪声影响的鲁棒性更佳。传统立体匹配算法在弱纹理区域匹配效果往往很差。针对这一问题,Lu等[75]提出一种基于Census变换的改进Graph Cut立体匹配算法,极大程度减少了对像素值的依赖性,在弱纹理或重复纹理区域的立体匹配鲁棒性好。2020年Wang等[76]采用多条固定激光线强化约束模式,提出默认颜色、强化目标线、区域分割三种算法对双目重构算法加以改进,取得了良好的三维重构效果。2021年Liu等[77]提出一种融合拉普拉斯图像处理算法的双目重构技术,也获得较好的鲁棒性和重构精度。
虽然双目重构技术的改进研究取得了显著成果,但是应用于实际道路工程检测时依然存在不小的挑战,最大的挑战在于如何实现复杂光照条件下同名像素点对之间的精确匹配。无论是基于图像亮度的匹配算法还是基于特殊特征算子的匹配算法,都依赖于图像的高分辨率,所以相机成像质量直接决定了匹配的精确度。同时,沥青路面本身属于弱纹理构造,其磨光面易产生高光点和噪点,给图像的采集和处理带来了困难。此外,抗复杂光照能力弱也一直是双目重构技术难以摆脱的一个现实难题,在复杂光照环境下拍摄图像,极易造成图像失真,进而导致局部匹配错误。
围绕路面形貌数字化测量技术,从传统测量和当代测量两个层面分别阐述了接触式测量与非接触式测量的关键技术内涵,着重介绍了各类方法的系统组成、优缺点和适用场景,通过对比分析其原理和适用性,得到以下结论:
稠密精确测量是路面三维形貌数字化测量的基本要求,对实现高精度驾驶车道数字化建模,推动自动驾驶技术发展意义重大。但高质量图像的采集和特征点的精准识别是目前实现稠密精确测量的主要技术难点。其中,近景摄影测量法通过分析视频影像获取物体的几何信息和运动状态,严重依赖于摄影设备的质量;体式显微法测量精度高,为获取高质量图像实现特征点精准识别,需要特种拍照器材,且通过聚焦识别特征点所需内存空间大,计算复杂且耗时;双目重构技术依据视觉特征进行图像匹配,对弱纹理特征不突出的路面对象极易出现错误匹配。因此,需要在传统视觉理论基础上,探索改善畸变校正、特征识别及匹配的方法,研究测量过程中误差源和误差传递模型,以此提高路面图像的采集质量和特征点的识别精度。
实时快速测量则是路面三维形貌测量另一技术难点。其中,阴影恢复技术需要准确的光源参数和大量的阴影图像,流程复杂、耗时较长;结构光技术依赖于投影仪和相机设备性能,当两者帧率不匹配时,影响图像采集速度,特别是多频外差法需要多次投射多次拍照,难以实现实时快速测量。此外,路面三维形貌数字化测量包含的信息越丰富,分辨率越高,所需要内存就越大,处理时间也就延长。因此,可采用人为构造特征标记等方法,降低目标识别匹配难度,以及通过优化算法提高数据采集、传输和处理效率,以此实现实时快速测量。
复杂光照下路面数字化三维形貌测量极具挑战性,尤其针对沥青路面,表面磨光、形貌构造复杂。传统的双目重构技术难以实现复杂光照条件下沥青路面的稠密精确测量。虽然引入约束目标或特征检测算子可以在一定程度上弱化复杂光照干扰,但是仅仅在局部形成强制匹配,其他区域的匹配精度依旧是稀疏匹配。结构光法和激光扫描法通过投射主动光源获取形貌信息,但是在高强环境光下物体表面反射的光信号受到干扰较大,极大影响到形貌信息的采集。虽然增加投射光源的功率可以一定程度上缓解,但效果不佳。
综合以上研究成果,关于路面三维形貌数字化测量技术未来发展给出以下展望:
针对现行路面三维形貌测量存在抗复杂光照能力弱的问题,可以考虑在双目测量设备以外加装遮光板,在摄像头边缘加装补强光源,通过物理手段减少外界自然光的干扰;也可以采用移动激光线扫描物体表面,激光线在物体表面形成强制约束,将待测区域分割成若干个子区域,通过区域分割实现不同照度下的三维形貌测量;还可以考虑采用近红外光和可见光双通道投射编码图案,利用近红外光具有良好的抗复杂光照能力,将近红外光和可见光组成双光谱编码结构光,以实现复杂光照下的稠密精确测量。
传统双目重构算法处理高分辨率图像往往计算耗时较长,对图像处理器性能要求高,难以达到路面三维形貌实时化测量的要求。因此,可以结合深度学习算法、运动恢复结构算法、卷积神经网络算法对算法进行优化,在保证测量鲁棒性的同时减少计算耗时。此外,还可以借助5G通信、AI智能、云计算等前沿科技,以实现高效、快速、智能化的路面三维形貌测量。
激光扫描类设备对激光发射器的频率和能量参数要求较高,其硬件光电系统实现较为复杂且造价高昂,可以考虑结合光子计数、双目测距、面激光编解码等非扫描类技术获取图像深度信息,以此来降低对硬件光电系统的依赖度,实现三维测量设备的轻量化和低成本。