融入视觉注意机制的路面裂缝检测与识别

, ,

(南京理工大学 计算机科学与工程学院,南京 210094)

0 概述

随着高速公路的快速发展,道路管理部门需要及时检测并修复路面裂缝病害,以提升道路服务质量并延长道路使用寿命。传统的人工视觉检测存在效率低、可靠性差、影响交通等弊端,因此,如何实现自动化的路面数据采集和裂缝检测以降低道路维护成本,具有重要的实用意义[1]。近年来,路面裂缝自动检测技术受到越来越广泛的关注[2-3],为了进一步提高路面裂缝检测准确率,国内外研究学者从不同的技术角度提出了多种路面裂缝检测算法,大致可以分为2类:基于图像处理与分析的检测算法和基于机器学习的检测算法。

从裂缝全局特性出发,文献[4-5]采用直方图统计等阈值分割方法提取裂缝目标,文献[6]利用形态学梯度算子提取路面图像的裂缝边缘。以上方法易受背景噪声干扰,实际检测效果往往不佳。为克服噪声干扰,小波变换[7]、NSCT变换[8]等基于频域变换的路面裂缝检测方法相继被提出。文献[9]通过局部邻域线性扩张的显著性增强方法分割出裂缝区域,但局部增强效果受图像预处理影响较大,对块状噪声鲁棒性不强。

随着机器学习研究与应用的发展,研究者尝试将基于特征训练的分类方法应用于路面裂缝检测:文献[10]将裂缝图像分割成小块,选择灰度均值、方差特征,利用模式聚类方法实现二值分类;文献[11]通过提取图像局部纹理和形状特征输入SVM分类器训练分类模型;文献[12]采用稀疏自编码模型提取子块特征,并设计鉴别分析算法进行特征降维;文献[13]通过有监督的深度卷积神经网络来训练子块样本。基于机器学习的方法能够有效地利用先验信息,具有较高的检测精度,但由于需要进行大量的样本训练,因此计算复杂度较高,且没有利用裂缝子块的线性和延展性等空间结构信息,容易造成漏检。

近年来,基于视觉注意机制的图像显著性区域检测在目标物体的分割[14]、目标识别[15]等众多领域有广泛应用,已经成为机器视觉中的热点问题。因此,本文将图像显著性算法应用于路面裂缝自动检测,采用自底向上的视觉注意机制模型[16],利用融合全局和局部对比度的视觉显著性检测方法实现裂缝区域粗定位,再基于形状分析法进行去噪和裂缝精确提取。

1 路面裂缝图像的预处理

1.1 灰度校正

现有的路面图像采集设备通常由2个具有高功率激光器的高分辨率扫描相机组成,2个激光器之间的相互干扰导致拍摄的图像往往存在明暗相间的条纹,表现为图像竖直方向亮度分布不均。这种亮度不均的现象使得裂缝像素在整幅图像的不同位置呈现出不同的灰度均值,不利于裂缝全局特征的提取,因此,图像灰度校正是裂缝检测算法的重要步骤。传统的子块灰度校正算法[9]依据子块与全局的灰度关系对子块进行局部校正,校正效果依赖于分块大小的选择,分块过大易造成图像模糊,过小则易引起边界锯齿。为克服这一缺陷,本文基于Retinex颜色一致性理论[17]提出一种实用有效的像素级灰度校正算法。

在Retinex颜色理论中,颜色作为物体的固有属性不受光照非均匀性的影响,通过计算像素间的相对明暗关系,可以确定每个像素的颜色。假设从图像的A点到B点存在一条路径:d1(A)→d2→…→dn-1→dn(B),共有n个像素点。相关实验表明,人眼对亮度的感知是非线性指数型的,因此,可以在对数域表示起点A和终点B之间的相对明暗关系:

(1)

(2)

由式(2)可以看出,对于图像中固定的两点,选择不同的路径将获得不同的结果,即像素之间强度关系的计算结果取决于路径方向的选择。针对采集的图像在竖直方向亮度分布不均这一特点,本文选择垂直路径方向进行灰度校正,算法描述如下:

算法灰度校正算法

输入灰度图像I,宽w,高h

输出灰度校正后图像O

DO

计算图像I的灰度均值,并赋值给O的每一个像素,作为O的初始值。初始化校正步长L=h

REPEAT

按式(2)计算图像I中点(i,j)与点(i+L/2,j)的相对明暗值Δ

更新O的灰度值,O(i,j)←O(i,j)-Δ,O(i+L/2,j)←O(i,j)+Δ,更新步长L=L/2

UNTIL L=1

校正结果如图1所示,可以看出,传统的灰度校正算法容易导致裂缝与背景的对比度降低,加大裂缝提取难度,而本文提出的灰度校正算法能够有效保持裂缝细节,并在一定程度上减轻纵向行道线和不规则油渍的干扰。

图1 灰度校正结果对比

1.2 各向异性扩散滤波

公路路面具有较强的颗粒纹理特性,为减少纹理噪声干扰,需要对路面图像进行平滑滤波处理。传统的线性滤波方法容易造成图像边缘细节模糊,而基于非线性偏微分方程的各向异性扩散方法使用有选择的边缘保护机制,克服了传统滤波的主要缺点。最经典的是文献[18]提出的各向异性扩散模型:

(3)

本文采用如下扩散方程进行扩散滤波:

c(‖I‖)

(4)

其中,k为扩散阈值,当梯度算子I远大于k时,表示此处接近裂缝边缘,c(‖I‖)趋近于0,扩散被抑制;否则,扩散被加强。在图1(c)灰度校正结果的基础上进行扩散滤波的结果如图2所示。

图2 扩散滤波结果

2 融合视觉注意机制的裂缝图像检测

2.1 全局视觉显著性

从全局频域角度分析裂缝特征,其边缘处呈现为一种较高频高幅值信号,而路面背景随机纹理是一种频率比裂缝边缘更高但幅值较低的信号。频率调谐(Frequency Tuning,FT)方法[19]能够在去除高频噪声的同时,很好地保留目标区域的边缘显著性,并突出裂缝整体在全局的对比度。

首先对图像进行高斯模糊处理,以滤除具有高频信号的随机纹理噪声,得到Ig:

(5)

Ig(i,j)=I(i,j)*G(i,j,σ)

(6)

图像被平滑的程度取决于高斯核函数标准差σ,σ值越大,周围像素影响越强,过大容易导致裂缝边缘模糊,过小则会降低裂缝与噪声的区分性,大量实验表明σ取1时效果最好。距中心3σ以外的像素点可认为不起作用,同时考虑裂缝宽度,本文中邻域大小设为3×3。

然后计算图像的灰度均值为Iμ,将Ig中每个像素点的灰度值与Iμ的欧式距离作为该点全局显著值:

Sg(i,j)=(Ig(i,j)-Iμ)2

(7)

2.2 局部视觉显著性

从全局角度来看,裂缝呈现不规则延伸性,但是在局部小区域内,裂缝具有特定的方向和线状特征。另一方面,在局部裂缝方向上,裂缝像素具有较低灰度均值的特性也更为明显。根据局部区域的裂缝特征,本文采用像素点在不同方向上的灰度对比度来定义局部显著值,加强裂缝信息,进一步突出裂缝显著性。如图3所示,在以待求像素点为圆心的圆形窗口上取4个邻域方向(θ=0°,45°,90°,135°)上的点,由不同方向邻域像素点的灰度对比度计算出中心点的局部显著值。

图3 邻域窗口示意图

每个方向邻域特征值计算公式如下:

(8)

xθ=sinθ,yθ=cosθ

其中,r为邻域半径。

定义显著性特征值如下:

(9)

当r值较小时,裂缝各向异性对比度信息不能充分凸显,无法覆盖噪声斑点半径,显著性效果不佳。但若r取值过大,容易造成细裂缝处断裂。当r值接近裂缝宽度时,各向异性对比值突出,裂缝显著性得到增强,根据大量实验结果可知,r值取4时效果较好。

2.3 基于视觉注意机制的特征融合

基于全局对比度的视觉显著图中裂缝整体显著值较高,但大面积噪声的影响较大;基于局部对比度的方法有效抑制了大面积噪声的显著性,但较暗噪声点块的显著性干扰较强。综合利用全局和局部显著性的优点,本文提出一种基于视觉显著区域的面积范围和空间分布信息的裂缝显著特征融合策略。

1)面积范围。裂缝区域的面积通常占整幅图像的20%～30%,设视觉显著区域的面积占图像面积的比例为Rs,当Rs∈[0.2,0.3]时,取面积因子Warea=Rs,否则,Warea=0.05。

2)空间分布。路面图像中的裂缝区域往往是连续紧密的。因此,在显著图中,显著区域分布越紧凑,检测结果的可信度越高。定义空间分布因子为:

(10)

视觉显著性置信度Wcon与面积因子成正比,与空间分布因子成反比,定义为:

(11)

视觉显著特征融合的具体步骤如下:

1)将全局和局部视觉显著特征进行规范化,定义规范化函数:

N(S)=[S-min (S)]/[max (S)-min (S)]

(12)

2)计算面积因子、空间分布因子,求得全局、局部视觉显著性置信度wg、wl。

3)依据置信度融合全局和局部显著特征,图像的综合视觉显著特征表示为:

Sz=wgSg+wlSl+wzSgSl

wz=(wg+wl)/2

(13)

视觉显著性检测结果如图4所示,可以看出,在融合全局和局部显著特征的综合视觉显著图中,背景噪声干扰很大程度上被抑制。以图中所有显著值大于0的点的均值为阈值进行图像分割,可以有效地分割出裂缝区域。对于少量的孤立噪声点,则可以根据裂缝特性进行去噪处理。

图4 视觉显著性检测结果

2.4 基于形状特征分析的去噪

相对于散乱孤立的噪声点,裂缝具有明显的连续线状特征和一定的方向性,因此,本文提出了基于形状分析的去噪方法,根据裂缝的连通域属性和形状属性选取以下3种形状描述子[20]:

1)连通域面积:指视觉分割二值图中各个连通域的像素面积,残留的噪声连通域多为面积较小的点块,去除面积小于所有连通域面积均值的连通域。

2)连通域圆形度:指视觉分割二值图中各个连通域的面积与最小外接圆面积之比,圆形度越小,线状特征越明显。去除圆形度值大于所有连通域圆形度均值的连通域。

3)连通域长短轴比:指视觉分割二值图中各个连通域的长轴和短轴之比,反映了裂缝的线状特征。去除长短轴比值小于所有连通域长短轴比均值的连通域。

利用上述基于形状因子的裂缝区域判断条件,能够有效地滤除视觉分割二值图中的孤立噪声,最终保留的连通域即为要提取的裂缝目标。

3 裂缝类型和几何参数

3.1 裂缝类型判断

根据直观几何形状,常见裂缝可以分为横向裂缝、纵向裂缝和混合型裂缝3种类型。通过融合视觉注意机制检测提取的裂缝目标由多个连通域组成,各个连通域与完整裂缝段保持着相似的线性特征,因此,可以通过判断连通域的形状类型来估计裂缝类型:若横向连通域的个数远大于纵向连通域的个数,可以估计该裂缝为横向裂缝;反之为纵向裂缝;若两者数量相当则为混合型裂缝。

对于形状不规则的裂缝连通域,利用其最小外接矩形的尺寸来描述:长度大于宽度的标记为横向连通域,否则为纵向连通域。统计图中横向、纵向连通域的个数分别为Ln、Tn,计算横向、纵向连通域数量占连通域总数量的比例分别为Lr、Tr,求出Lr、Tr的差值并作以下判断:

1)若|Lr-Tr|≤0.2,为混合型裂缝;

2)若|Lr-Tr|>0.2&Ln>Tn,为横向裂缝;

3)若|Lr-Tr|>0.2&Tn>Ln,为纵向裂缝。

以图5为例,图中共5个连通域,利用连通域最小外接矩形尺寸标记出Ln=5,Tn=0,计算得Lr=1.0,Tr=0,|Lr-Tr|=1.0>0.2&Ln>Tn,依据判断条件,该裂缝类型为横向裂缝。

图5 连通域类型标记示意图

3.2 裂缝几何参数

从直观的视觉角度分析,裂缝越宽、越长、面积越大,路面破损越严重。为了定量分析裂缝病害严重程度,为路面病害严重等级划分提供依据[21],本文提出裂缝真实几何参数的计算方法。

由于裂缝形状的不规则性,最小外接矩形等几何辅助法可以用来描述裂缝尺寸的宏观特征,但与裂缝实际尺寸相差较大,难以准确描述裂缝信息。为了更精确地计算出裂缝的长度和宽度,可以先对裂缝进行细化操作,使得裂缝变成单像素的表现形式,减少非裂缝像素的参与,降低计算误差。计算方法如下:

1)裂缝区域的总面积:各连通域的面积之和。

2)裂缝的总长度:采用提取裂缝骨架的方法完成对裂缝图像的细化操作,经过细化后的裂缝变成了单像素宽度,统计图中裂缝目标的像素数目,即为裂缝长度。

3)裂缝的平均宽度:裂缝的平均宽度为裂缝总面积与裂缝总长度之比。

再根据图像分辨率,即可求得裂缝的实际形状参数。

4 实验与结果分析

本文在以下2组数据集上进行实验:

1)通过线扫描CCD相机结合激光辅助照明系统在沪宁高速路段上采集的路面图像(HN数据集),筛选出216幅分辨率为512×512像素的裂缝图像,包含典型的横向裂缝、纵向裂缝、网状裂缝。部分存在着较为严重的明暗条纹、行道线、油斑等干扰。

2)OLIVERIA H等人提供的CrackIT数据集,共包含57幅分辨率为2 048×1 536像素的裂缝图像,光照均匀,噪声干扰少,裂缝目标清晰。实验环境为奔腾双核7400,2.8 GHz CPU,16 GB内存工控机,采用VS2010和Matlab2015混合编程。

为了保证检测效果比较的公平性,采用本文提出的预处理方法对HN数据集进行去噪处理,计算准确率、召回率和F-measure[9]来评估检测结果。

4.1 本文算法的有效性

在HN数据集上,采用本文算法和经典的基于视觉注意机制的算法(AC[22]、LC[23]和FT[19]算法)进行检测。部分图像的显著图提取结果如图6所示,各算法中裂缝区域均呈现为高显著值目标,验证了将视觉注意机制应用于裂缝检测的可行性。但LC、AC和FT算法中存在较多高显著值噪声点,与裂缝区分度低,分割难度较大。而本文算法噪声较少,且裂缝目标显著性更突出。

图6 显著图提取效果比较

各算法的检测准确率比较如表1所示,可以看出,本文算法的准确率、召回率明显高于其他3种算法,且在80%以上,验证了本文算法对于路面裂缝检测的有效性。

表1 视觉显著性算法检测准确率与召回率比较 %

4.2 与传统裂缝检测算法的对比

在HN数据集和CrackIT数据集上,将本文算法与以下传统裂缝检测算法的检测结果进行比较:1)P-tile阈值分割;2)Canny边缘检测;3)Wavelet多尺度小波变换。

实验结果如图7所示,可以看出,本文算法的3项指标明显优于3种传统算法,且在具有复杂噪声的HN数据集上的优势更突出,这是因为本文算法综合考虑了裂缝全局和局部视觉显著特性、充分利用了裂缝的空间分布和形状特征,极大程度削弱了各类噪声干扰。

图7 各算法的准确率、召回率和F-measure值比较

各算法在HN数据集和CrackIT数据集上的裂缝检测结果分别如图8和图9所示。从这2个图中可以看出,P-tile算法的检测结果混杂了较多与裂缝灰度值相近的较暗噪声;Canny算法的检测结果残留了部分边缘信号较强的噪声;Wavelet算法的检测结果虽然噪声较少,但由于该算法难以提取细小裂缝段,因此存在较为明显的断裂。而相比较之下,本文算法能够检测出大部分的真实裂缝区域,并且由检测结果可以看出,其在轻重程度不一的裂缝处无明显断裂。

图8 各算法在HN数据集上的裂缝检测结果比较

图9 各算法在CrackIT数据集上的裂缝检测结果比较

各算法在HN数据集上的平均运行时间如表2所示,本文算法为了有效提高裂缝检测精度,采用了局部和全局视觉显著性相融合的检测方法,且局部显著值的计算是像素级的,因此,本文算法的时间复杂度略高于传统检测算法,其在实际应用中较适合线下处理模式[12]。

表2 平均运行时间比较 s

5 结束语

本文提出的算法通过对裂缝图像全局和局部视觉显著性的有效融合,增强裂缝信息的同时削弱了噪声干扰,从而准确地分割出裂缝区域。实验结果表明,该算法可以应用于复杂环境下的高速路面裂缝检测。后续工作将研究裂缝特性,基于视觉显著性模型进一步增强裂缝显著信息。

[1] CHENG H D,MIYOJIM M.Automatic pavement distress detection system[J].Journal of Information Sciences,1998,108(1):219-240.

[2] ZALAMA E,GMEZ-GARCA-BERMEJO J,MEDINA R,et al.Road crack detection using visual features extracted by gabor filters[J].Computer-Aided Civil and Infrastructure Engineering,2013,29(5):342-358.

[3] SHI Y,CUI L,QI Z,et al.Automatic road crack detection using random structured forests[J].IEEE Transactions on Intelligent Transportation Systems,2016,17(12):3434-3445.

[4] 高建贞,任明武,唐振民,等.路面裂缝的自动检测与识别[J].计算机工程,2003,29(2):149-150.

[5] LI Q,LIU X.Novel approach to pavement image segmentation based on neighboring difference histogram method[C]//Proceedings of 2008 Congress on Image and Signal Processing.Washington D.C.,USA:IEEE Press,2008:792-796.

[6] 闫茂德,伯绍波,贺昱曜.一种基于形态学的路面裂缝图像检测与分析方法[J].工程图学学报,2008,29(2):142-147.

[7] NEJAD F M,ZAKERI H.An optimum feature extraction method based on wavelet-radon transform and dynamic neural network for pavement distress classification[J].Expert Systems with Applications,2011,38(8):9442-9460.

[8] 马常霞,赵春霞,胡 勇,等.结合NSCT和图像形态学的路面裂缝检测[J].计算机辅助设计与图形学学报,2009,21(12):1761-1767.

[9] 徐 威,唐振民,吕建勇.基于图像显著性的路面裂缝检测[J].中国图象图形学报,2013,18(1):69-77.

[10] OLIVEIRA H,CORREIA P L.Automatic road crack detection and characterization[J].IEEE Transactions on Intelligent Transportation Systems,2013,14(1):155-168.

[11] HU Y,ZHAO C,WANG H.Automatic pavement crack detection using texture and shape descriptors[J].IETE Technical Review,2010,27(5):398-405.

[12] 钱 彬,唐振民,徐 威,等.子块鉴别分析的路面裂缝检测[J].中国图象图形学报,2015,20(12):1652-1663.

[13] ZHANG L,YANG F,ZHANG Y D,et al.Road crack detection using deep convolutional neural network[C]//Proceedings of IEEE International Conference on Image Processing.Washington D.C.,USA:IEEE Press,2016:3708-3712.

[14] 张巧荣,景 丽,肖会敏,等.利用视觉显著性的图像分割方法[J].中国图象图形学报,2011,16(5):767-772.

[15] LI S,LU H,LIN Z,et al.Adaptive metric learning for saliency detection[J].IEEE Transactions on Image Processing,2015,24(11):3321-3331.

[16] ITTI L,KOCH C,NIEBUR E.A model of saliency-based visual attention for rapid scene analysis[J].IEEE Transactions on Pattern Analysis and Machine Intelligence,1998,20(11):1254-1259.

[17] LAND E H.The retinex theory of color vision[J].Scientific American,1977,237(6):108.

[18] PERONA P,MALIK J.Scale-space and edge detection using anisotropic diffusion[J].IEEE Transactions on Pattern Analysis and Machine Intelligence,1990,12(7):629-639.

[19] ACHANTA R,HEMAMI S,ESTRADA F,et al.Frequency-tuned salient region detection[C]//Proceedings of IEEE Conference on Computer Vision and Pattern Recognition.Washington D.C.,USA:IEEE Press,2009:1080-1085.

[20] 徐志刚,赵祥模,宋焕生.基于直方图估计和形状分析的沥青路面裂缝识别算法[J].仪器仪表学报,2010,31(10):2260-2266.

[21] 李立寒,黄天元,王国培,等.沥青路面破损程度分级与破损换算系数取值的探讨[J].公路交通科技,2005,22(9):40-43.

[22] ACHANTA R,ESTRADA F,WILS P,et al.Salient region detection and segmentation[C]//Proceedings of International Conference on Computer Vision Systems.Berlin,Germany:Springer-Verlag,2008:66-75.

[23] ZHAI Y,SHAH M.Visual attention detection in video sequences using spatiotemporal cues[C]//Proceedings of ACM Multimedia.New York,USA:ACM Press,2006:815-824.