基于高密度公路三维灰度点云的图像增强方法

邓新征 孟江锋

（1.湖南高速工程咨询有限公司，湖南 长沙 410000；2.华北水利水电大学土木与交通学院，河南 郑州 450045）

0 引言

图像融合的关键是最大限度从源图像中提取显著特征，从而实现信息互补，最终融合成一张高质量图像，提高信息的利用率和目标检测模型的精准率。

目前，图像融合主要在像素级、特征级、决策级这三个不同层级进行操作［1］。像素级图像融合方法是最基础的融合方法，可直接与源图像的原始信息相结合，被广泛应用于医学成像［2］、遥感应用［3］、计算机视觉等领域。特征级图像融合是将图像的特征信息从源图像中提取出来，如人物、树木、建筑物等，并对这些特征信息进行分析、处理和整合，从而得到最终的融合图像，如基于联合稀疏表示的特征级融合方法［4］、基于线性特征依赖模型的特征融合算法［5］、基于深度学习理论的特征融合算法等［6］。决策级特征融合是最高层次的特征融合方法，主要对特征级图像得到的特征信息加以利用，根据一定的准则及每个决策的可信度来求出最优解，与像素级和特征级的融合方式相比，决策级图像融合的计算量小，但信息损失最多。

随着深度学习的发展，许多基于深度学习的图像融合方法被提出来。大部分基于深度学习的图像融合方法直接将源图像作为输入对象。卷积神经网络（CNN）通过学习输入图像的特征，从而得到每个层次的不同特征图，但该方法并不能区分图像中的噪声和目标特征，会将噪声特征作为特征进行提取。在实际数据采集过程中，图像质量会受多种因素影响，如设备功率不稳定、环境光影响、阴影遮挡等，这些因素会在图像中产生噪声，从而导致图像细节的清晰度降低，并导致基于深度学习的网络模型效果降低。

在采集路面病害图像过程中，因受到光照不均匀、阴影等因素影响，导致图像对比度和质量下降，严重影响后续裂缝识别精度。为提高识别精度，本研究提出一种基于多模型融合的图像增强方法。该方法通过多模型特征融合，使网络学习输入图像不同层次的特征，增加特征的互补性，提高特征提取能力。首先，将高密度灰度点云分别生成灰度图和深度图，其次，将灰度图和深度图分解为高频图像和低频图像，最后，分别对这两类图像采取不同的融合策略进行融合。通过增强图像细节和降低图像噪声，从而起到有针对性地提高图像特征的效果。

1 研究背景

近年来，随着深度学习技术的快速发展，深度学习在图像融合领域中得到广泛应用。Liu 等［7］将CNN 网络模型与多焦点图像融合，融合效果显著，该方法采用深度学习来解决传统方法需要手动设计活动水平度量和融合规则的问题，旨在通过学习源图像和焦点图间的直接映射，来融合使用不同焦距设置拍摄的同一场景的多幅图像，从而获得全聚焦图像。Guo 等［8］提出一种全卷积网络（FCN）的新型多焦点图像融合方法，通过学习FCN 检测像素的聚焦区域，并利用整个图像（不仅仅是图像补丁）来训练FCN。Prabhakar 等［9］提出一种无监督的MEF 深度学习框架，以无参考质量度量（no-reference quality metric）为损失函数，该模型通过融合不同图像中提取到的低级特征来生成没有伪影的图像。尽管这些方法在图像融合中实现了很好的性能，但仍存在以下不足：仅限于高质量图像，没考虑到含有大量噪声的图像；仅考虑对图像细节的融合，未考虑到提高图像的整体质量。为克服这些缺点，同时受Li 等［10］提出的将源图像分解为基本部分和细节部分的启发，本研究提出一种多模型融合的深度学习网络模型。首先，对高密度灰度点云生成的灰度图和深度图进行相关预处理，从而提高高频图像和低频图像的质量，并将灰度图和深度图生成的低频信息图像进行像素级图像融合。其次，将融合后的低频信息图像和未融合的高频信息图像作为网络模型的输入，分别对体现图像综合特征的低频信息图像和体现图像细节信息的高频信息图像进行处理。最后，采用DCE-Net［11］对低频图像进行处理，以此来提高图像的综合质量。

2 研究方法

本研究对灰度图和深度图的生成、预处理、高频信息图像和低频信息图像的提取及融合进行研究。假设有N个已经配准的灰度图和深度图，由于本研究输入的对象为灰度图和深度图，因此将N设定为2。本研究提出的图像增强和融合框架如图1所示。

图1 提出的模型结构

2.1 图像预处理

由于路面病害与背景的相似性大、路面病害面积占比小、路面病害形状不规律等特点及路面背景颜色较深，所以要对图像进行预处理，增加其对比度。伽马变换（幂律变换）是常用的灰度变换，是一种图像增强算法。在图像处理过程中，可对漂白（相机过曝）或过暗（曝光不足）图片加以修正，见式（1）。

式中：r为输入的灰度值，取值范围为［0，1］；s为伽马变换后的输出值；c为灰度缩放系数，用于整体拉伸图像灰度，通常设为1。当图像整体灰度偏暗时，γ<1，可提高图像亮度。当图像整体灰度偏亮时，γ>1，可降低图像亮度，提高图像对比度，凸显细节。

由于采集到的高精度激光点云数据所生成的路面影像整体颜色较暗，因此，在对灰度图、深度图进行预处理时，γ可设为0.8、0.4。路面图像预处理后的结果如图2所示。

图2 路面图像预处理

2.2 高频信息图像和低频信息图像的获取及处理

2.2.1 高频信息图像和低频信息图像获取。图像中有高频信息和低频信息，不同频率的信息在图像结构中发挥着不同作用。低频分量代表着图像中亮度或灰度值变化缓慢的区域，是对整幅图像强度的综合度量。高频分量是指图像变化剧烈的部分，即图像的边缘（轮廓）、噪声及细节部分。因此，根据图像特性，采用傅里叶变换对图像进行处理，将其变成频谱图，再通过高通滤波对频谱图进行处理，从而获取该图像的高频信息图和低频信息图。对生成的高频信息图和低频信息图分别进行处理，从而实现细节信息的优化和图像质量的提高。低频图像和高频图像如图3所示。

图3 低频图像和高频图像

2.2.2 高频信息图像的预处理。高频分量是指图像变化剧烈的部分，即图像的边缘（轮廓）、噪声及细节部分。三维激光点云生成的灰度图像为二维矩阵，不包含高度信息，而深度图正好弥补不足。深度图可描绘出目标物体表面的特征信息，且光照不均匀、阴影等噪声对图像产生的影响很小。因此，对深度图中的少量噪声，可使用高频分量对图像进行细节增强。采用高频强调滤波，增强图像细节。高通滤波后的高频图像如图4所示。

图4 高通滤波后的高频图像

高频强调滤波的传递函数见式（2）。

式中：a>0，b<0；Hhp（u，v）为高通滤波器。

2.3 基于DCE-Net模型的低频信息图像增强

零参考深度曲线估计（Zero-DCE）是一个轻量级的深度学习网络模型。该网络是一个弱光增强型网络，其提出的损失函数既保持了图像增强的范围，也保留了相邻像素的对比度。与传统方法相比，该网络把微光图像作为输入，把高阶曲线作为输出，通过输入范围的变化来对像素级进行调整，从而获得增强图像。

通过该模型对预处理后的灰度图和深度图提取出来的低频图像进行加权融合，可使其融合为一张图像。该图像既体现出深度图的综合特征，也体现出灰度图的综合特征，并将其作为DCE-Net的输入。

DCE-Net 网络使用了五个损失函数，分别为空间一致性损失、曝光控制损失、色彩恒常性损失、光照平滑损失、总损失。色彩恒常性损失函数主要用于校正色彩偏差，通过建立R、G、B 三通道间的联系，使增强的颜色尽可能相关。由于采用的是单通道深度图和灰度图，因此，将该损失函数去除。该网络模型的总损失函数表达见式（3）。

式中：WtvA为权重；Lexp为曝光控制误差；LtvA为光照平滑误差；Lspa为空间一致误差。

2.4 基于MSVD 的高频信息图像和低频信息图像去噪和融合

在采集过程中，由于路面病害图像受光照不均匀、阴影等因素的影响，导致图像出现多噪声、低质量等问题，严重影响到后续裂缝识别的精度。因此，要对图像进行去噪处理。

奇异值分解（SVD）是在平方损失意义下对矩阵的最优近似，能得到代表矩阵最本质变化的元素。对任意一个矩阵，总能找到一组单位正交基，使得矩阵对其进行变换后，得到的向量组还是正交的。奇异值分解（SVD）能去掉图像中的冗余信息，把信息集中到少数奇异值中，而多分辨率则是在不同频率上实现对图像的处理。

多分辨率奇异值分解（MSVD）［12］是在一维向量多分辨率基础上，实现了对二维图像多分辨率的奇异值分解，通过各分解层的融合，最终重建出融合后的图像，与像素值加权平均法相比，MSVD 的优势在于可实现对图像的降维和去噪。

多分辨率奇异值（MSVD）的分解过程如下。

①输入一张图像X∈Rm×n，将其分解成2×2 个子块，分别对每个子块中的数据进行处理，将其转化成四个大小为的行向量，再构成新的矩阵，记为矩阵A，见式（4）。

②对矩阵A进行分解（对于任意的矩阵A，都可将其分解为一个酉矩阵U、一个对角矩阵Σ、一个酉矩阵的转置VT），见式（5）到式（8）。

式中：矩阵U为酉矩阵，则该矩阵的转置就是其逆，即UT=U-1。同理，VT=V-1。

由式（7）可求得矩阵AAT的特征值和其对应的特征向量u，矩阵AAT的特征向量就是所求的矩阵U。同理，根据式（9）可求得矩阵V。相关计算见式（9）到式（12）。

矩阵Σ的对角线上为奇异值，其他位置均为0，将奇异值记为σt。由式（9）到式（12）可求得奇异值矩阵Σ。矩阵Σ值所组成的对角矩阵见式（13）。

式中：奇异值矩阵Σ中的值是按照从大到小排列的，即σ1>σ2>σ3>σ4。

③将最大奇异值对应的行向量分为4 个子块，构成新的矩阵B，然后按照步骤②进行k次迭代，见式（14）。

多分辨率奇异值（MSVD）的重构过程如下。

②保留分解时获得的矩阵UT，计算B'=UA'。

③将B'还原成2×2 个子块，并将这些子块重新组合，得到一个m×n的重构矩阵。

2.5 融合增强方法

通过前面分析可知，基于深度学习的融合增强方法有以下四个。

①图像预处理。通过伽马变换（幂律变换）对过曝或过暗（曝光不足）图片进行修正。

②图像分解。通过傅里叶变换和高通滤波对源图像进行分解，从而获得高频信息图像和低频信息图像，然后使用高频滤波对高频信息图像细节部分进行加强。

③低频信息图像增强。通过DCE-Net 对融合后的图像进行图像增强处理，实现对图像像素级的调整，提高图像综合特征的质量。

④低频和高频信息融合。使用多分辨率奇异值分解对高频信息图像和低频信息图像进行去噪和融合处理。

3 试验结果与分析

该方法使用的系统的运行环境为ubuntu18.04，使用两块TITAN RTX 显卡。本研究使用的数据均由高分辨率路面三维测量系统采集，该系统利用卫星定位、惯性测量、组合导航、激光扫描等多传感器集成技术，对激光器、3D 相机、GPS 接收机、惯性导航系统、同步控制系统等精密传感器和控制器进行集成封装，从而实现对路面三维轮廓数据的采集功能。部分图像示例如图5所示。

为验证本研究所提出的优化算法的合理性和试验效果，分别使用主观评价和客观评价，选择最新的和经典的融合方法进行试验分析，包括基于小波变换的交叉双边滤波器融合方法（CBF）［13］、基于高斯和双边滤波器的混合多尺度分解图像融合的方法（Hybrid-MSD Fusion）［14］、Densefuse，在U-Net网络模型上进行语义分割比较。

通过以上三种方法和本研究提出的方法（proposed）获得的融合图像如图6所示。在第一组融合试验结果中，图（c1）融合后引入了测量噪声，图（d1）和图（e1）中虽然噪声较小，但融合后仍存在局部亮度过高或过低的现象，在融合本研究所提出方法后，不仅消除了多余噪声，且图像亮度均匀。在第二组融合试验结果中，图（c2）和图（e2）保留了较多因图像采集设备产生的条纹噪声，图（c2）和图（d2）中的亮度分布不均。在第三组融合试验结果中，图（c3）、图（d3）、图（e3）同样保留了较多因图像采集设备产生的波纹噪声，且融合后的图像中，裂缝末端的细节信息不够清晰。在第四组融合试验结果中，图（e4）中融合后的图像网状裂缝细节丢失严重，而图（c4）和图（b4）保留了较多的噪声信息，且图像亮度不均匀。

图6 融合图像效果对比

同样的，使用U-Net 模型分别对经过CBF、Hybrid_MSD、Densefuse 和本研究提出方法（proposed）可对路面病害识别的结果进行提取。在第一组试验结果中，图（a1-1）融合后存在干扰噪声较大，提取的裂缝区域增大；在图（a3-1）中，由于融合后的图像亮度不均匀，导致裂缝的提取存在部分缺失。Hybrid_MSD 方法融合后的提取结果与本研究所提出的融合方法的提取结果相近。在第二组试验结果中，根据提取到的结果，图（b1-2）和图（b3-2）中存在较多的裂缝缺失部分，图（b2-2）中的左侧裂缝缺失，图（b4-2）虽能相对完整地提取所有裂缝，但部分裂缝在提取完整性上仍存在不足。在第三组试验结果中，对图（c1-2）到图（c4-2）进行对比，前三组图像均存在不同程度的缺失问题，这是由融合后的图像存在干扰噪声和图像亮度分布不均所导致的。在第三组试验中，采用Densefuse 融合方法提取的结果见图（d3-2），由于图像亮度分布严重不均匀，导致最终几乎没有提取到任何裂缝信息。采用CBF融合方法提取的结果见图（d1-2），融合后的图像上半部分存在较多的波纹噪声干扰，因此在最终的提取结果中发现上半部裂缝信息缺失，这也表明如果不能有效去除干扰噪声，将会对裂缝的提取结果产生严重影响。综上所述，基于U-Net 模型的提取结果表明，影响提取结果的因素包括波纹噪声、路面自身干扰噪声和图像亮度分布不均匀。CBF、Hybrid_MSD、Densefuse 这三种方法虽能实现灰度图和深度图的融合，但融合后的结果相较于本研究所提出的融合方法，在效果上相差很大，主要表现在融合后噪声的去除程度和图像亮度分布是否均匀这两方面。

图7 基于U-Net网络的路面病害提取

4 结语

我国基础设施正从大规模建设向精细化养护方面转变。道路路面病害检查工作量大，传统检测手段以人工目视和通用仪器检测为主，存在精度差、效率低等问题，导致难以对公路路面多种类型的病害进行普查，而基于深度学习方法的路面病害自动检测和识别方法能极大提高检测效率和识别精度，能满足我国道路安全运维的迫切需求。本研究提出一种基于高密度灰度点云的图像增强方法，旨在降低融合后图像存在的噪声，同时增强待检测图像中病害的特征细节，提高后续基于深度学习图像融合方法的路面病害识别效果，对推动基于深度学习的图像融合方法在实际路面病害检测工程中的应用具有重要意义。