英 红,罗宏伟,谈至明,程 景
(1.同济大学 道路与交通工程教育部重点实验室,上海 201804;2.桂林电子科技大学 建筑与交通工程学院,广西 桂林 541004;3.广西交通投资集团有限公司,广西 南宁 530028)
近年来,随着道路图像采集装备的快速发展,利用图像技术对路网中的裂缝进行管理逐步受到人们的青睐.将水泥混凝土路面裂缝按照是否已进行维修,分为修补裂缝和新生裂缝.新生裂缝识别是日常管理养护中最有价值的部分,它的意义在于及时发现新裂缝、告诉养护人员裂缝发生在哪块板上、提示管理人员路段中还有多少新生裂缝没有及时处理,以及提供对养护人员的工作考评依据.
尽管管养单位希望通过图像处理的方法实现上述管理养护模式,但现实中,新生裂缝宽度非常小,在高分辨率图像中,也只有1~2个像素的宽度,而对其造成巨大干扰的刻槽图像一般有5个像素的宽度,噪声的强度超过了裂缝的图像强度.路面刻槽非常密集,相邻刻槽间的宽度只有20个像素,裂缝被这些强噪声分割为高度不足20个像素的小段(相当于实际路面尺寸20mm),在复杂的强噪声中提取这些小片段非常困难.当前道路图像识别技术主要集中于沥青路面[1-7],而这些方法对水泥路面并不适用,因此研究高效、准确的水泥路面新生裂缝图像识别技术十分必要,它将大大减少养护人员日常巡查的工作量,为管理者提供最新、最快、最有价值的路况信息,从而为高速公路网的管养工作带来巨大经济和社会效益.
针对刻槽对水泥路面裂缝识别的干扰,采用傅里叶变换(FFT)在频域中消除刻槽,并通过同态滤波增强裂缝对比度,在空域中,使用自适应方向的LoG算法增强裂缝,利用Otsu对全局图像进行二值化,并采用方格法提取裂缝片段,最后由曲线累加变向法实现“沥青拉丝”的剔除.
与沥青路面相比,刻槽是水泥路面新生裂缝识别中最大的干扰因素,难点在于:①抑制或消除刻槽的过程中,不可避免地降低了裂缝与背景的对比度,同时弱化了刻槽处的裂缝,破坏了裂缝的连通性,大量短小的裂缝片段与噪声混杂在一起;②水泥路面中存在大量酷似裂缝的“沥青拉丝”需要剔除,它也同样被刻槽分割为若干不连通的小段.针对这些难题,设计了如图1所示的处理流程.首先由小波变换将原图像分解为高、低分辨率图像,修补裂缝能清晰地显示在低分辨率图像中,而新生裂缝只存在于高分辨率图像,因此在低分辨率图像中对修补裂缝进行识别;新生裂缝的识别工作放在高分辨率图像中,并且需要在二值化后的高分辨率图像中屏蔽修补裂缝识别结果.新生裂缝识别大致可分为四个步骤:
步骤1:频域滤波.包括使用FFT抑制刻槽和使用同态滤波增强裂缝对比度.
步骤2:空域增强.由自适应方向的LoG算子对步骤1中的处理结果在空域中进行裂缝增强.
步骤3:方格法裂缝拼接.对步骤2的处理结果,先用Otsu法进行二值化,在高分辨率图像中屏蔽修补裂缝,然后使用方格法对裂缝片段进行拼接.
步骤4:剔除酷似新生裂缝的“沥青拉丝”.
图1 处理流程图Fig.1 Flowchart of the algorithm
水泥路面刻槽图像具有周期性,利用刻槽的周期性,在频域内消除或抑制它是非常典型的条纹去除方法.潘玉利等[8]据此提出了基于FFT的水泥混凝土路面刻槽消除方法,并申请了发明专利.针对FFT方法计算量大、运算速度慢的缺点,推荐使用FFTW (the Faster Fourier Transform in the West)库[9]对高分辨率图像做傅里叶变换处理.此外,需要注意的是,该算法对横向裂缝有弱化作用,消除刻槽的同时,裂缝的横向部分也弱化了,增加了裂缝片段的不连续性.
裂缝属于高频分量,可以使用频域的同态滤波[10]增强裂缝与背景的对比度,如图2所示.图2b为FFT抑制刻槽的效果,图2d为在图2b的基础上使用同态滤波的效果,从识别后的效果看,已消除了刻槽的影响,且使用同态滤波后增强了裂缝的连贯性.
通过频域的刻槽抑制及同态滤波增强裂缝对比度后,仍需对裂缝这种具有“线状”特征的边缘型目标进行空域增强处理.裂缝图像处于灰度“谷值”处,LoG算法非常适用这种情况.LoG算法是由Marr等[11]提出的,它是在二阶导数的零交叉算法的基础上结合高斯滤波求图像边缘的算法,又称为墨西哥草帽算法.通过对高斯滤波器进行旋转,构造各向异性的滤波器,适用于裂缝的边缘方向多变性.
二维高斯分布函数定义为
高斯-拉普拉斯算子2G定义为
式中:σ是表示平滑程度的空间常数,决定平滑模板尺寸N.试验表明,当N =2+1时,能够得到较好的检测效果.
各向异性的LoG滤波器可以简写为
式中:σx和σy分别为在x轴和y轴方向的标准差,对应着x方向和y方向的尺度.对x方向求偏导可得
式中g的下标x表示函数沿x轴方向的导数,滤波器顺时针旋转一个角度θ后得到
根据裂缝片段的局部方向,自适应地选用这一方向的LoG模板进行增强,这就需要检测当前像素点的边缘方向,然后利用导数算子(如Prewitt算子、Sobel算子)进行粗略计算,找到当前点图像灰度沿着x轴和y轴两个方向的偏导数Gx,Gy,并求出其梯度大小|G|及梯度方向α.
|G|反映了图像上当前点的边缘强度,用此值控制计算量,即对|G|值过小的点不做处理;α是图像当前点的法向矢量(正交于边缘方向).得到α后,就可求得当前点的边缘方向:θ=90°-α.
图3a为原图,图中包含两条新生裂缝,图3b为频域滤波后,使用本节所述的自适应方向LoG算子对裂缝这种“线状”目标进行了增强的效果,图3c为裂缝片段的识别效果.从图中可以看出,通过空域增强后,两条新生裂缝已能从噪声中凸显出来.
图像增强后,可使用Otsu法,对全局图像进行二值化处理,并结合低分辨率图像中修补裂缝的识别结果,对高分辨率图像中的修补裂缝进行屏蔽处理,此时可得到若干不连续的裂缝片段图像,如图4a所示.为了显示方便,图4a是从大尺寸图3c中裁剪下来的.它含有一条纵向新生裂缝,图中方框为每个片段的外接矩形框,图中含有数百个片段,除裂缝片段外,仍有大量噪声片段,且裂缝片段并不连续,需要将裂缝片段拼接起来.
裂缝片段拼接历来都是裂缝图像识别的难点,通常使用几何法、方格法、形态学法[12].方格法是一种简单易行的裂缝片段拼接、提取的方法,它的基本思路是:首先将片段图像方格化,每个方格初始化为“0”,遍历图像中所有片段像素,对该像素所属的方格进行“投票”;遍历完成后,计算每个方格所得的“票”数,超过一定阈值,就将方格标记为“1”;利用四邻域或八邻域法计算标记为“1”的所有方格的连通性,如果标记为“1”的方格连通数目超过一定阈值就判断此连通区域为裂缝.图4b为方格法裂缝片段提取结果,图中方格是标记为“1”的较大连通区,在此基础上,需删除图4b中方框处的短小分支[10],可得裂缝区域.
水泥混凝土路面在养护过程中,由于养护工人疏忽,造成养护材料滴漏在路面上,如沥青材料滴漏在路面上,拉出一条“细丝”.在图像中,它的形状、颜色与新生裂缝非常相近,而这种“沥青拉丝”的数量远远大于新生裂缝的数量,个别路段“沥青拉丝”的现象几乎出现在每块板上.因此在新生裂缝识别中,必须要剔除“沥青拉丝”.它与新生裂缝处主要区别在于线条的光滑度.
曲率是一种度量线条光滑程度的方法[13],图像中常用的曲率计算方法称为三点法,该法用图像曲线相邻的三个点的差分代替微分得到近似曲率值.虽然这种方法简单易行,但三点法在计算曲率时容易受到噪声影响,使得结果偏差过大.使用较大支撑区间的曲率计算方法[14],虽然有一定抑制噪声效果,但裂缝曲线中的小突起可能会被淹没.
曲线的累加变向是指曲线上每个点切线角度变化的累加量,为简单起见,使用定长小线段拟合,计算这些相邻线段夹角,并将其绝对值累加起来.曲线的累加变向值可近似表示为
式中:γi为第i个拟合小线段的倾角.
图5a为裂缝的曲线累加变向计算示意图,图5b为“沥青拉丝”的曲线累加变向计算示意图.两图对比发现,裂缝的片段内曲线累加变向值明显比“沥青拉丝”要大,利用该方法进行“沥青拉丝”图像剔除是可行的.裂缝片段拼接完毕后,其仍是不连通的,仅仅是将裂缝片段从所有片段中筛选出来,因此剔除“沥青拉丝”时,曲线累加变向计算要按以下三步进行:
第一步,计算每个裂缝片段的曲线累加变向值,如图5a.图中对每个片段的最高点和最低点用圆圈进行标识,为了清晰显示,没有标记最右点和最左点.每个片段都有若干个定长拟合线段.由上文可知,图4b的方格区域为裂缝区域,将该区域的片段曲线累加变向值求和,可得到这些片段内部的累加变向βcurve_in.
第二步,计算方格区域内的每个相邻片段的方向夹角,即片段间的夹角.从图5a中可看到,对于纵向裂缝,每个片段存在一个最高点和一个最低点,取当前片段的最高点和与它最邻近的上一个片段的最低点,计算这两点所在拟合线段的夹角,将所有片段间的夹角累加起来,得到片段间夹角累加和βcurve_out.
第三步,计算βcurve_in和βcurve_out之和,通过阈值Tcurve将“沥青拉丝”剔除.
“沥青拉丝”曲线光滑,累加变向较小,βcurve值偏小,裂缝曲线的累加变向较大,βcurve值偏大.因此,可通过设置阈值Tcurve加以剔除.对广西GA80高速公路的K584~K603段约18.2km共9102张图像进行识别,将“沥青拉丝”和新生裂缝数目按βcurve值进行分类汇总(见表1).为保证新生裂缝不被漏识别,建议Tcurve取300,单位为(°).从表1中可知,通过设置阈值,Tcurve仍有8.0%的“沥青拉丝”被错误识别,需要人工作进一步剔除.
表1 试验路段“沥青拉丝”与新生裂缝βcurve值的分布Tab.1 βcurvedistribution of“asphalt drawing”and the newborn crack on the testroad
(1)提出了一种基于刻槽消除的水泥混凝土路面新生裂缝识别方法,它由频域滤波、空域裂缝图像增强、裂缝片段拼接和“沥青拉丝”剔除四个主要步骤实现.
(2)频域滤波是通过FFT实现抑制刻槽,并使用同态滤波技术增强裂缝的对比度.
(3)在空域图像中,首先通过边缘方向检测算子检测当前像素方向,然后通过构造该方向的LoG增强算子实现自适应方向的裂缝增强.
(4)针对二值化后,裂缝不连续的问题,使用方格法将裂缝片段拼接起来,实现整条裂缝的提取.
(5)针对“沥青拉丝”与裂缝难于区别的问题,使用曲线累加变向法计算目标光滑程度,以此实现“沥青拉丝”的剔除.
[1]伯绍波,闫茂德,孙国军,等.沥青路面裂缝检测图像处理算法研究 [J].微计算机信息,2007,23(5x):280.BO Shaobo,YAN Maode,SUN Guojun,et al.Research on crack detection image processing algorithm for asphalt pavement surface[J].Microcomputer Information,2007,23(5x):280.
[2]李晋惠.用图像处理的方法检测公路路面裂缝类病害 [J].长安大学学报:自然科学版,2004,24(3):51.LI Jinhui.Pavement crack diseases detecting by image processing algorithm [J].Journal of Chang’an University:Natural Science Edition,2004,24(3):51.
[3]李莉,陈长,孙立军.改进的路面图像背景校正算法 [J].同济大学学报:自然科学版,2011,39(1):79.LI Li,CHEN Zhang,SUN Lijun. Modified background correction algorithms for pavement images [J].Journal of Tongji University:Natural Science,2011,39(1):79.
[4]Tsai Y C,Kaul V,Mersereau R.Critical assessment of pavement distress segmentation methods [J].Journal of Transportation Engineering,ASCE,2010,136(1):11.
[5]Kaul V,Tsai J,Mersereau R.A quantitative performance evaluation of pavements distress segmentation methods[R].Atlanta:Georgia Institue of Technology,2008.
[6]Wang K C P,Li Q,Gong W.Wavelet-based pavement distress image edge detection with “A Trous”algorithm[C]//TRB,Washington D C:Transportation Research Board,2007:73-81.
[7]Alekseychuk O.Detection of crack-like indications in digital radiography by global optimization of a probabilistic estimation function[D].Dresden:Dresden University of Technology,2006.
[8]潘玉利,赵怀志.基于二维傅里叶变换的水泥路面图像刻槽去除的方法:中国,200810186635.X[P].2009.PAN Yuli,ZHAO Huaizhi.Groove denoise method of cement concrete pavement based on Fourier tansform,200810186635.X[P].2009.
[9]Frigo M,Johnson S.FFTW[EB/OL].[2011-08-25].http://www.fftw.org/download.html.
[10]Gonzalez R C.The digital image processing[M].Beijing:Publishing House of Electronics Industry,2003.
[11]Marr D,Hildreth E.Theory of edge detection[J].Proceeding of the Royal Society of London:Biological Sciences,1980,207(1167):187.
[12]Sun Y,Salari E,Chou E.Automated pavement distress detection using advanced image processing techniques [C]//Proceedings of 2009 IEEE International Conference on Electro/Information Technology.Windsor:Windsor University,2009:373-377.
[13]Chau C P,Siu W C.New dominant point detection for image recognition[C]∥Proceedings of the 1999 IEEE International Symposium on Circuits and Systems.Orlando:IEEE,1999:102-105.
[14]王英惠,吴维勇,赵汝嘉.平面轮廓的分段与识别技术[J].计算机辅助设计与图形学学报,2002,14(12):1142.WANG Yinghui,WU Weiyong,ZHAO Rujia.Segmentation and recognition techniques for planar contour[J].Journal of Computer-aided Design &Computer Graphics,2002,14(12):1142.