一种联合空谱特征的沥青路面裂缝检测方法

摘 要：文章提出了一种基于高光谱图像的沥青路面裂缝检测算法，旨在解决传统方法下裂缝检测精度低、误检较多的问题。本方法利用高光谱成像技术获取道路的空间-光谱信息，并通过裂缝与路面的光谱信息差异提取裂缝，同时利用裂缝的空间特征信息对目标进行阈值分割、形态学运算等以此来提取裂缝主干，进而联合空间-光谱特征检测结果进行数学运算以实现对沥青路面裂缝的精确检测。实验结果表明，与ACI、VIS2算法相比，本文算法的F1-score分别提升了14.11%和29.03%，证明了该方法的有效性，同时针对不同类型和尺寸的裂缝目标表现出了高检测精度、强抗干扰性和显著的鲁棒性。

关键词：高光谱图像；裂缝检测；空谱联合；光谱指数；形态学运算

中图分类号：TN29;TP79" " "文献标识码：A" " 文章编号：1007 - 9734 （2024） 04 - 0079 - 07

0 引 言

道路裂缝检测是城市道路维护中的一个关键环节，对道路寿命和交通安全有着重要的影响［1］。如何快速准确地识别道路裂缝，一直是该领域重点研究的问题。近年来，计算机视觉和图像处理技术的发展及应用，为路面裂缝信息的识别和处理提供了重要的方法。

在路面裂缝检测领域，依托裂缝空间形态特征的识别方法研究已取得一定进展［2］，其中涵盖了深度学习与传统图像处理技术的应用。例如，Oliveira H等［3］深入分析了图像预处理及特征提取在提升检测有效性中的作用；Zou Q等［4］利用图像分割和形态学运算来识别潜在的裂缝；Yun H等［5］基于形态学运算来消除裂缝间的不连续性；Fang H等［6］利用非下采样轮廓波变换来增强裂缝图像特征；Fan Z等［7］提出了基于概率融合的深度卷积神经网络用于自动化路面裂缝检测；Zhao F等［8］通过结合形态学网络和多重损失机制，可以有效地提取暗背景上的亮裂缝和亮背景上的暗裂缝；Yu G等［9］提出了一种结合U-net和Resnet的语义分割网络，用于像素级路面裂缝图像分割。然而，受限于沥青路面纹理的复杂性，这些基于空间特征的检测技术在应对复杂背景与光照变化时，仍面临精确度不高、裂缝与背景难以区分的问题。

此外，高光谱技术因其精细识别道路表面材料变化的能力，先前已被用于从卫星图像中对路况进行分类［10-12］。随着高光谱成像技术的发展，将高光谱相机安装于低空飞行的无人机上已成为可能，这使得机载高光谱能够以更高空间分辨率捕获裂缝细节。尽管如此，基于高光谱图像的路面裂缝检测研究仍相对较少，Mettas C等［13］通过分析不同使用时期的沥青路面光谱反射率变化，揭示了光谱反射率与使用时间增长的正相关性，并探讨了利用特征波长比值区分裂缝与非裂缝区域的可能性；Jengo C等［14］利用高分辨率航空摄影和高光谱成像技术提出了自动化路面状况评估的新方法，并指出纹理特征的加入能进一步提升分类效率；Abdellatif M等［15］提出的沥青裂缝指数（ACI）为高光谱图像中裂缝的检测提供了新的视角。这些研究虽然突出了光谱特征在路面裂缝检测中的应用价值，但未充分考虑裂缝的空间特征。本研究意在弥补现有研究的不足，通过综合考虑裂缝的空间形态特征与光谱特征，以期实现路面裂缝检测精度与效率的显著提升。

1 基于光谱特征的裂缝检测方法

高光谱成像技术通过集成二维空间细节与一维光谱信息，合成为一个包含丰富光谱信息的三维数据立方体，如图1所示。这极大地拓展了传统成像技术的边界［16］，使得不仅可以捕捉到目标物体的形态和空间特征，更能细致揭示材料的光谱特性和成分差异，从而为识别路面裂缝提供了新的可能性。

沥青混凝土路面主要由沥青和矿质骨料组成，在新铺设的沥青道路中，路面被一层均匀的沥青覆盖呈现出深黑色，沥青中含有的高分子量烃类和油类成分能吸收部分光能，导致路面光谱反射强度较低［17］。由于长期荷载对沥青表面造成磨损，矿质骨料最终暴露在道路表面。这些矿质骨料主要由氧化物和氢氧化物组成，具有较高的光谱反射强度，导致路面色泽从深黑色逐渐转变为灰色，显著提升了路面的亮度［18］。然而，在新形成的裂缝中骨料仍被沥青所包裹，加上裂缝的几何和光学特性，使得裂缝区域维持了深黑色。路面与裂缝的色泽变化反映了两者的光谱反射强度差异，因此可以通过分析光谱响应来区分正常路面与裂缝区域。

2020年Abdellatif M等［15］通过对比450nm∽550nm范围内路面与裂缝的光谱反射强度（如图2所示），提出了裂缝沥青指数ACI（Asphalt Crack Index），ACI定义如下：

其中，[I]是光谱，[λ]是波长，单位是纳米（nm）。除此之外，VIS2指数利用特定波长（830nm和490nm）间的光谱反射强度差异对路面状况进行分类［19］，定义如下：

[VIS2Difference=Iλ=890nm-Iλ=490nm] （2）

其中，[I]是光谱，[λ]是波长，单位是纳米（nm）。基于路面与裂缝的光谱差异，ACI和VIS2指数都被用于区分健康路面与裂缝区域，ACI和VIS2算法分类性能比较在表3中给出。相比之下VIS2的算法性能在同样的测试条件下表现不如ACI，但ACI在裂缝检测任务中综合评价指标F1仅为66.53%，表明单一依靠光谱特征进行裂缝检测其精准性和可靠性在一定程度上受到限制。通过分析得知，这是由于路面表层的骨料脱落，使得骨料下方的沥青暴露，暴露的沥青与裂缝中包裹骨料的沥青在光谱上极为相似，从而降低了光谱指数方法的区分精度。

2 基于裂缝空间形态特征的检测算法模型设计

本节旨在利用高光谱成像技术的空间图像信息，设计一个基于裂缝空间形态特征的检测模型用于联合空谱特征检测算法，以优化裂缝检测的准确性和稳定性。在探讨裂缝的空间特征检测时，面对图像中复杂的裂缝形态和背景噪声，本研究首先对图像进行预处理，包括灰度化、图像增强和滤波，目的是消除背景噪声，并显著提升裂缝与周围环境的对比度。

伽马变换作为图像增强的一种方法，通过调整像素的灰度分布，不仅可以增强图像的对比度，还可提高裂缝检测的可行性，其定义如下：

[y=（x+e）γ] （3）

其中，[y]代表处理后的像素值，[x]代表像素的归一化数值，[e]为补偿系数，[γ]为伽马系数，取值范围在［0，1］之间，用以调节图像的整体亮度和对比度。考虑到伽马变换可能同时增强背景噪声，影响裂缝与非裂缝区域的区分，本研究采用中值滤波背景对噪声进行抑制，其定义如下：

[g（x， y）=med{f（x-k， y-l），（k， l∈W）}] （4）

式（4）中，[W]表示滤波器，[f（x，y）]与[g（x，y）]分别表示处理前后的图像，[k]，[l]表示[W]的特征变量。考虑到裂缝的线性和延伸特性，特别采用5×5窗口的十字形中值滤波器，在有效平滑图像的同时保持了边缘信息，显著提升了图像中裂缝区域的对比度和特征突出度，经过预处理后的图像效果如图3（b）所示。

对图像进行预处理后，本研究采用了迭代阈值分割算法来进一步提取裂缝区域。迭代阈值分割算法的目的是通过不断调整阈值来分离裂缝主体与背景，从而实现对裂缝特征的精确提取［20］，这一算法步骤可以描述为：

（1） 设定初始阈值[T0]；

（2） 基于阈值[Ti]，将图像划分为前景（即裂缝区域）[F]与背景[B]；

（3） 分别计算前景和背景的平均灰度值[μF]和[μB]；

（5） 若[Ti+1-Tilt;ε]或迭代次数达到上限，则结束迭代；否则，返回步骤2继续执行。

通过此方法，图像中的裂缝区域被有效地从背景中分离出，如图3（c）为原始图像阈值分割的效果，图3（d）展示了经预处理后迭代阈值分割的效果，裂缝主体被有效分离并得到突出展示，该过程不仅减少了背景噪声对裂缝检测的干扰，而且提升了裂缝区域的对比度及可识别性。

在本研究中，针对分割后的图像，精细化提取裂缝主干是提高裂缝检测准确性的关键步骤。由于裂缝在图像中通常呈现为细长线状结构，形态学处理中的开运算通过结合腐蚀和膨胀两种形态学变换［21］，特别适用于维持裂缝结构的连续性与完整性，可以有效地去除与裂缝主体不连续的细小特征。

首先利用腐蚀操作可以去除图像中的孤立小点、毛刺以及小桥等非目标特征，这些元素往往作为噪声或干扰物出现，对裂缝的准确检测构成挑战。腐蚀操作的具体执行是通过结构元素[S]在图像[A]上移动，只有当[S]完全位于图像特征内部时，该特征才保留在腐蚀后的图像中，可表示为：

其中[A]表示原图像，[S]表示结构元素，[（x，y）]表示像素坐标位置，本研究选择半径为10像素的圆形结构元素作为基准，以适应裂缝形态的提取需求，腐蚀后的图像如图4（b）所示。

虽然腐蚀操作在去除图像中的孤立点和小干扰方面表现出色，但是它在处理分散的、小尺寸的以及非连续的非裂缝目标时，去除效果并不理想。为了提高裂缝检测的处理精度，本研究在开运算中进一步引入了连通域分析作为补充。连通域分析是一种基于图像区域的分析方法，通过考察图像中连通区域的特征，如面积、长宽比以及形状因子等，来实现对裂缝与非裂缝目标的精确区分。

因此，在进行腐蚀处理后，对图像应用8邻域连通域标记策略。该策略允许对图像中的各个连通域进行识别和标记，并基于其面积大小进行排序。在此基础上，依据连续性原则，本研究选择保留面积排名前1%的连通域，认为这部分连通域占据了图像总面积的大约90%，有效剔除了孤立的小区域和不相关的噪声，连通域滤波后的图像如图4（c）所示。

随后，膨胀运算被应用于连通域滤波后的图像，以恢复裂缝的总体位置和形状，但不会恢复由腐蚀运算、连通域滤波去除的非目标特征。膨胀通过扩展图像中的特征边缘来执行，具体地，膨胀运算可以表述为：

其中，[A]表示原图像，[S]表示结构元素，[（x，y）]表示像素坐标位置。考虑到腐蚀处理和连通域滤波可能会使裂缝主干不连续，因此使用半径为20像素的圆形结构元素进行膨胀处理恢复裂缝的边界信息，膨胀后的图像如图4（d）所示。

通过在开运算中引入连通域分析滤波，展示了在细化图像特征的同时保持图像主体结构完整性的能力。为了评估本文基于裂缝空间特征检测算法模型（SFD，Spatial Feature Detection）的性能，将其与分水岭算法进行了对比，比较结果表明，分水岭算法在综合性能指标上稍胜一筹，但本文算法具有更高的召回率，达到了93.67%。拥有高召回率是至关重要的，因为它能保证几乎所有的裂缝都不会被漏检，使其在空谱特征联合检测时具有更好的检测效果。

3 联合空谱特征的裂缝检测算法

在当前的研究中，仅依靠裂缝与路面的光谱特征进行检测在特定场景下显示出局限性，同样单一依赖空间纹理特征在处理具有复杂路面纹理或较小裂缝宽度的情况时，亦难以从背景中准确提取裂缝信息。因此，通过利用裂缝的空间分布特征辅以光谱数据提供了一种更为全面的检测策略。

基于光谱特征的检测方法可以得到裂缝精确的边缘，而基于空间特征的裂缝检测算法则在细化图像特征的同时保持了图像主体结构的完整性。本研究中提出了一种创新方法，通过综合光谱特征与空间特征检测的优势来提升裂缝检测的准确性。首先，为了去除单一特征检测中的误检目标，本研究定量评估了裂缝特征密度，密度指数[D]定义如下：

其中，[D]表示密度指数，[Yi]表示空间特征检测与光谱特征检测结果交集区域中第[i]个连通域的像素总数，[Xi]代表该连通域在空间特征检测结果中的像素总数。较高的密度值[D]表示了更丰富的裂缝信息，因此可以用来区分裂缝主干与误检区域。具有较高密度值的连通域被视为含有真实裂缝信息，而密度值低的连通域则更可能是误检。基于响应密度的统计分析，我们设定了一个密度阈值T，以筛选出最具代表性的裂缝区域。我们选择最大密度值的30%作为密度阈值T，这意味着所有小于最大连通域像素总数30%的连通域将被视为非目标区域并予以排除。这一密度阈值的选取基于一系列的实验测试，旨在有效识别潜在的裂缝区域，同时尽可能地减少误检。通过将密度筛选的结果与基于光谱特征的检测结果进行并集操作，我们可以提取出那些在单一特征检测中均被确定为裂缝的区域，进而精确地保留裂缝边界信息，这一流程如图5所示，算法完整步骤如表1所示。

4 实验结果与分析

4.1" 实验准备

本实验采用的分析软件为ENVI 5.5和MATLAB R2022a，数据集包含30组形态各异的路面裂缝高光谱图像，其中15组图像来自公开数据集［15］，使用的高光谱相机是Cubert（型号S185）；另外15组图像是本研究团队使用SOC 710VP高光谱成像仪，于2022年6月2日15：20在中国新郑市航空港区郑港街道的长鹰路采集得到，天气为晴，具体的高光谱相机规格如表2所示。其中，公开数据集已带有手动标注的真值图像，本团队真值图像采用MATLAB R2022a中的Image Labeler工具进行像素级标注。

4.2" 实验结果

图6中展示了不同算法的检测效果，可视化检测结果表明本文算法能有效识别断裂形态的裂缝目标，并保留了裂缝的原始形态及精确边界，具有较强的鲁棒性。具体而言，分水岭算法和SFD方法虽然在某些场景下能检出裂缝，但也造成了一定的形态扭曲，对于某些裂缝目标的识别不甚理想。SFD-VIS2算法检测效果中展现出对阴影的强抵抗力，检测结果较为理想，相比之下VIS2算法在某些情况下会出现较大面积的误检。ACI算法虽然在材质分辨能力上表现出色，显示了对阴影的较强抵抗力，但在局部区域仍有误检现象，SFD-ACI算法则有效去除了误检像素，保留了裂缝的精确边界。

4.3" 实验结果评价

为全面评估算法性能，本研究采用召回率（Recall）、精确率（Precision）以及F1值（F1-Score）三项关键指标来衡量算法的性能。这些指标的定义如下：

式（8）和式（9）中，[TP]、[FN]、[FP]分别代表真阳性、假阴性、假阳性像素的数量。

5 结 论

传统特征提取研究中，单一依赖光谱特征差异或仅基于空间纹理特征的裂缝检测方法，在特定场景下难以从背景中准确提取裂缝信息。本文针对这一问题进行研究，基于高光谱成像技术提出了一种联合空谱特征的路面裂缝检测算法。在多个真实场景的数据中进行实验，结果表明本文算法具有较好的检测性能，能够适应不同的裂缝类型，展现出良好的鲁棒性，证明了联合空间和光谱特征进行目标检测的有效性。

参考文献：

［1］王兆昌.公路沥青路面病害检测与养护［J］.交通世界，2023（21）：72-74.

［2］马建，赵祥模，贺拴海，等.路面检测技术综述［J］.交通运输工程学报，2017，17（5）：121-137.

［3］OLIVEIRA H，CORREIA P L.Automatic road crack detection and characterization［J］.IEEE Transactions on Intelligent Transportation Systems，2012，14（1）：155-168.

［4］ZOU Q，CAO Y，LI Q，et al.CrackTree： Automatic crack detection from pavement images［J］.Pattern Recognition Letters，2012，33（3）：227-238.

［5］YUN H B，MOKHTARI S，WU L.Crack recognition and segmentation using morphological image-processing techniques for flexible pavements［J］.Transportation Research Record，2015，2523（1），115-124.

［6］FANG H，HE N.Detection method of cracks in expressway asphalt pavement based on digital image processing technology［J］.Applied Sciences，2023，13（22）：12270.

［7］FAN Z，LI C，CHEN Y，et al.Ensemble of deep convolutional neural networks for automatic pavement crack detection and measurement［J］.Coatings，2020，10（2）：152.

［8］ZHAO F，CHAO Y，LI L.A crack segmentation model combining morphological network and multiple loss mechanism［J］.Sensors，2023，23（3）：1127.

［9］YU G，DONG J，WANG Y，ZHOU X，et al.RUC-Net：A residual-unet-based convolutional neural network for pixel-level pavement crack segmentation［J］.Sensors，2022，23（1）：53.

［10］RESENDE M R，BERNUCCI L L B，QUINTANILHA J A.Monitoring the condition of roads pavement surfaces：proposal of methodology using hyperspectral images[J].Journal of Transport Literature，2014，8：201-220.

［11］MOHAMMADI M.Road classification and condition determination using hyperspectral imagery[J].ISPRS - International Archives of the Photogrammetry，Remote Sensing and Spatial Information Sciences，2012，XXXIX-B7：141-146.

［12］ÖZDEMIR O B，SOYDAN H，YARDIMCI ÇETIN Y，et al.Neural network based pavement condition assessment with hyperspectral images[J].Remote Sensing，2020，12（23）：3931.

［13］METTAS C，AGAPIOU A，THEMISTOCLEOUS K，et al.Detection of asphalt pavement cracks using remote sensing techniques[J].Remote Sensing Technologies and Applications in Urban Environments，2016，10008：269-277.

［14］JENGO C M，HUGHES D，LAVEIGNE J D，et al.Pothole detection and road condition assessment using hyperspectral imagery[J].American Society for Photogrammetry amp; Remote Sensing，2005：7-11.

［15］ABDELLATIF M，PEEL H，COHN A G，et al.Pavement crack detection from hyperspectral images using a novel asphalt crack index[J].Remote Sensing，2020，12（18）：3084.

［16］杜培军，夏俊士，薛朝辉，等.高光谱遥感影像分类研究进展[J].遥感学报，2016，20（2）：236-256.

［17］佘宇晨，林辉，孙华.主要道路路面材料高光谱特征分析[J].中南林业科技大学学报，2014，34（11）：120-123，139.

［18］金续，张显峰，罗伦，等.公路路面光谱特征分析与沥青路面老化遥感监测方法初探[J].地球信息科学学报，2017，19（5）：672-681.

［19］HEROLD M，ROBERTS D.Spectral characteristics of asphalt road aging and deterioration：implications for remote-sensing applications[J].Applied Optics，2005，44（20）：4327-4334.

［20］吴一全，孟天亮，吴诗婳.图像阈值分割方法研究进展20年（1994—2014）[J].数据采集与处理，2015，30（1）：1-23.

［21］李帅，侯德华，高杰，等.基于数学形态学的路面裂缝图像处理技术[J].公路工程，2018，43（2）：270-274.

A Method for Asphalt Road Surface Crack Detection Using Joint Spatial

Spectral Features

Abstract： The article introduces a novel hyperspectral imaging-based algorithm for detecting cracks in asphalt pavements， aiming to overcome the limitations of traditional methods， such as low accuracy and high 1 detection rates， thereby improving the efficiency of road maintenance. The method harnesses hyperspectral imaging technology to gather spatial-spectral information from the road， extracting cracks by exploiting the spectral discrepancies between the cracks and the road surface. It also utilizes spatial characteristics of cracks to conduct threshold segmentation and morphological operations， extracting the main structure of the cracks. Subsequently， it combines spatial and spectral feature detection results through mathematical computation to achieve precise identification of asphalt pavement cracks. The experimental outcomes indicate that the proposed algorithm surpasses the ACI and VIS2 methods， enhancing the F1-score by 14.11% and 29.03%， respectively， thus validating its efficacy. The algorithm exhibits high detection accuracy， strong anti-interference and significant robustness for different types and sizes of crack targets.

Key words： hyperspectral images; crack detection; spatial-spectral joint; spectral indices; morphological operations