雾霾天气下的桥梁裂缝检测

孙乐乐，温常磊，张亚坤，王 健，钟永元

(1.长安大学信息工程学院，西安 710064；2.长安大学汽车学院，西安 710064；3.福建省高速技术咨询有限公司，福州 350001)

0 引言

近年来，我国修建了许多公路桥梁尤其是特长桥梁及跨海大桥，桥梁后期的安全问题越来越引发人们关注.桥面、桥墩等部位的裂缝作为主要病害影响桥梁后期的运营安全.如果在定期的保养检修中及时发现病害并进行早期处置，可提升桥梁的安全性，降低事故带来的损失.人工视觉检测不仅难以实施，且耗费财力.计算机图像技术的飞速发展可以实现桥面照片裂缝的自动化检测.

国内外相关学者专家对于桥梁裂缝检测进行了大量的研究.Ikhlas Abdel-Qader等[1]利用Sobel算子和傅里叶变换对裂缝进行了研究，通过实验分析，该法对单一病害效果不错，对有噪声的裂缝图像处理结果不好.Yusuke Fujita等[2]研究了一种基于Hessian矩阵滤波法识别裂缝.Tomoyuld Yamguchi等根据顺序相似性探测原理，提出一种快速检测算法.马常霞等[3]提出一种基于非下采样的contourlet变换，该算法可以识别有噪声的裂缝图像.Xu等[4]对裂缝识别提出了几种不同的滤波方式，在以后的裂缝滤波中可通过此文选择合适的滤波方式.Prasanna等[5]研究了一种空间解调鲁棒特征分类器，识别精度得到提高.综合运用了小波和Radon变换图像分割等方法，提出了较完善的检测流程[6-7].随着深度学习的兴起，Zhang等[8]在进行裂缝检测时运用了深度卷积神经网络，该网络包括训练和验证2部分，对训练集的图像进行训练，然后对训练好的网络进行验证，通过计算图像的块中心点是裂缝像素的概率，最终得到整幅图像各像素的计算概率.李清泉等[9]也提出了最小路径搜索的检测方法.该法将检测到的裂缝的两端点形成检测框，从而不断寻找具有低灰度的像素，将低灰度像素的最小路径作为检测结果.

以上方法虽然在噪声和精度方面取得了不错的效果，但在雾霾天气或能见度较低的桥梁检测中，传统的裂缝识别算法准确率显降低.因此，提出一种在雾霾天气亦能检测桥梁裂缝的算法很有必要的.

本文针对雾霾天气或者能见度不高的情况，提出了一种改进的裂缝检测方法，解决了在不良天气下桥梁裂缝识别准确率较低这一问题，该方法分为2个模块，图像去雾模块和裂缝检测模块，其中图像去雾模块主要用于前期图像处理，去除图像中的雾霾为裂缝检测提供图像的输入，裂缝检测模块主要用于检验识别裂缝的类型(横裂、纵裂、网裂)，及时制定合适的桥梁裂缝解决方案.

1 桥梁裂缝检测算法

本文检测方法由2个算法，即暗通道先验去雾算法和数字图像处理裂缝检测.在进行裂缝检测时，如果是雾霾天气则先对图像进行去雾处理，再对去雾后的图像进行裂缝检测，如果是无雾图片直接进行裂缝检测即可.流程图如图1.

图1 裂缝识别流程图

1.1 暗通道先验去雾

在图像处理领域中，Mccartney等[10]提出了大气物理模型，后该模型被广泛用于描述雾霾图像的退化，原理式(1).

I(x)=J(x)t(x)+A(1-t(x))

(1)

式中，J为去雾后的图像；I为原有雾图像；A为大气光值；t(x)为透射率，描述的是景物光线通过媒介物质到达接收端被散射的比率.整个模型围绕2个未知参数A和t的求解展开.

He[11]提出了暗通道的定义:在大部分的非天空区域的像素里，RGB三通道中总会存在至少一个像素很低的通道值如式(2)：

(2)

式中，Ω(x)为以x为中心的窗口；c为RGB中某个通道；Jc(y)为图像中某颜色通道中的某个像素点，Jdark(x)为求取的暗通道图，求取原理如图2.

图2 暗通道示意图

对RGB三通道图像分别求取以x为中心的窗口Ω内最小值，将求取的3个值中的最小值作为与x位置相对应的暗通道图的像素点.

经过对大量的图像数据进行研究，发现大部分暗通道的值都趋近于0，见式(3)：

Jdark→0

(3)

求解无雾图像时有2个未知参数，在此假设大气光值A已知，将式(1)两边同时除以A,得到式(4)：

(4)

式中，Ic(x)为去雾后图像RGB中的某一通道值；Ac为RGB三通道中的某一通道大气光值.

对式(4)两边求取其暗通道，得到式(5)：

(5)

将式(3)(5)相联立得透射率t值，见式(6)：

(6)

在晴朗的天空中也会存在些许雾霾颗粒，当看远处物体时，会在视觉上感到雾霾依旧存在.雾的存在可以使人们感知深度，有空间感.因此为了还原景深效果，保证其真实性，引入参数ω来调节去雾效果，ω的值通常要根据实际情况而定，本文经过实验验证，将ω设为0.79，此时t的求解见式(7)：

(7)

在t的求解过程中假设A为已知，因此，在这里需要将A的值进行求解.在求解暗通道图像后，选取最亮的前0.1%个点，将与这0.1%个点相同坐标的原真彩图对应位置像素取其平均作为大气光值A.

在A和t的初始值求出以后，对透射率进行细化He又提出了导向滤波算法[12]，该法优化了运算时间和透射率t.该算法是一种边缘保留型滤波器，对输入图像进行处理，通过引导图来判断边缘和区域，进而得到效果比较好的图像见式(8)：

qi=akIi+bk,∀i∈ωk

(8)

式中，ak和bk表示当窗口中心位于k时的常数系数；I为引导图，可以是单幅图像也可以是图像自身；q为输出图像；ωk为以k为中心的方形邻域.

现有的已知条件是输入图像p、引导图I，需要求解图像q，所以需要求系数ak和bk.图像p由图像q在噪声m影响下产生，因此有式(9):

mi=qi-pi

(9)

为了使输出值和真实值的差值尽可能的小，需要对式(8)中ak和bk求最优解，求取最优解时需式(9)的平方最小，再根据正则化使式(10)最小.

(10)

式中，E(ak,bk)为正则化后结果；ε为防止ak过大的正参数；由最小二值法通过线性回归求解后，得式(11):

(11)

在对窗口的线性系数进行计算时，会发现多个交叉的窗口内可都含有同一个像素，为了更加准确地求某一点的输出值时，需要将包含该点的所有线性函数对应的函数值求和并取平均值见式(12)：

(12)

在导向滤波优化透射率时需要对像素求平均值，本文用到了boxfilter(块状滤波)也称盒子滤波，它的功能是对窗口内的所有像素快速求和.经实验显示，用盒子滤波求和后的去雾时间仅为4.79 s，与原来的7.04 s相比，速度提升了31%.原理如图3.

图3 盒子滤波原理

首先，对每列像素求和，求和结果存储在对应列的三角形里.然后，对窗口下的三角形相加求和，此时的值就是矩形窗口的像素总和.

计算下个窗口内像素和时，矩形窗口向右移1列，则整个窗口和原来相比，在右边增加了1列，左侧减少了1列.此时的矩形窗口的像素和为原窗口的和加窗口下最右边三角形(新增添)的值并减去最左边三角形的值，此时的值是新的矩形窗口内像素总和.

当整个矩形平移到图片右侧边缘时，需要重新从最左侧开始，此时矩形窗口向下移一个像素并平移到最左边，此时窗口内像素总和为原竖直方向上一个窗口像素和加上窗口内新增添的5个像素之和并减去窗口上端减少5个像素之和.

通过上述A和t的求解，结合大气物理模型，可得去雾式(13):

(13)

式中，A和t均已得出；t0为一个阈值.当t很小时，由式(8)知会导致J值偏大，从而造成图像过亮发白，因此这里设置一个阈值t0来防止透射率过大，本文将此值设为0.1，当求得的t值小于t0时，令t(x)=t0.去雾整个流程如图4所示：

图4 去雾流程图

1.2 裂缝检测

桥梁裂缝的成因错综复杂，一般情况下，宽度小于0.1 mm的裂缝属于正常裂缝，宽度大于0.2 mm的裂缝会存在安全风险，发现裂缝后如果不及时处理，裂缝的宽度和深度会扩大和加深[13]，从而影响到桥梁的安全.通常，桥梁裂缝分为3种，横向裂缝，纵向裂缝和网状裂缝[14].

1)将去雾后的图进行灰度化，在此文的灰度化用的是加权平均法见式(14)：

I(i,j)=0.3R(i,j)+0.59G(i,j)+0.11B(i,j)

(14)

式中，I(i,j)为灰度化后图像的像素值，R(i,j)为红色通道像素值，G(i,j)为绿色通道像素值,B(i,j)为蓝色通道像素值.

2)均值滤波，去除噪声.这里的模版大小是以1/9为模板值的3×3模板.

式中J为均值滤波模版.

3)裂缝的边缘特征提取和图像分割.边缘有2个特性，1个是方向另1个则是幅度，边缘与周围像素的差值较大，边缘幅度的走向沿着它的方向的比较平缓，垂直与它的方向则变化剧烈.Sobel算子计算速度快，效果好，这里采用sobel算子进行边缘特征提取，该算子实质上两组3×3的矩阵，X和Y方向，分别与图像A做卷积对其平方和取根号求梯度.

水平方向模版式(15)：

(15)

垂直方向模版见式(16)：

(16)

每个点梯度的大小见式(17)：

(17)

图像分割这里采用OTSU算法,又称最大类间方差法，此方法的优点是计算速度快，并且不受图像亮度和对比度的影响，最终得到一个最佳的阈值对图像进行分割.设图像的灰度值范围为[0,L-1],L为最大灰度值，灰度为i的像素数为ni,则总的像素数N如式(18):

(18)

各灰度值出现的概率Pi如式(19)：

(19)

对于Pi有式(20):

(20)

阈值T的求解是通过max函数寻找最大类间方差的最大值，并将最大值所对应的列号减1.在本次实验中求得阈值T为139.

图中像素用阈值T分2部分C0和C1，C0由灰度值在[0,T-1]的像素组成，C1由灰度值在[T,L-1]的像素组成，区域C0和C1的概率p0和p1如式(21)：

(21)

式中区域C0和C1的平均灰度μ0和μ1如式(22)：

(22)

式中μ为整幅图像的平均灰度见式(23)：

(23)

(24)

4)边缘连通分量提取.若Y为A的一个连通分量，u是连通分量Y中的一个点，在已知u情况下，迭代收敛一次只能得到一个连通分量，为了得到整个图的所有分量，需要迭代N次直至满足式(25):

(25)

式中，A为阈值分割后的二值图像；X0=u，k=1,2,3…；⊕为膨胀运算；B为膨胀的结构元素.若Xk=Xk-1,则停止迭代，此时Y=Xk.本文中结构元素是具有8连通域的3×3矩阵.结构元素见图5：

图5 结构元素(均为1)

5)裂缝识别.桥梁中的裂缝主要分为3类：横向裂缝、纵向裂缝和网状裂缝.首先计算图像裂缝中的像素数目，然后计算裂缝的质心坐标(xcen,ycen),并计算以(xcen,ycen)为中心，长宽分别为8r+1，2r+1(r初始化为10，表示10个像素)的长方形内裂缝像素数目的和sumr占总像素数目的百分比ρ，并与0.8作比较，若<0.8则r=r+10扩大长方形区域重新计算ρ，直至ρ>0.8.计算过程见图6：

图6 计算裂缝像素数目

图6中1表示拍摄的整个图片；2表示r=r+10扩张后的长方形；3表示以r的初始值10建立的长为8r+1，宽为2r+1的长方形；4表示裂缝.

裂缝的分布密度d如式(26)：

(26)

计算X轴和Y轴最大差分值均值X_max，Y_max，最后拿d与0.2作比较，若<0.2则是线状裂缝，至于是横向还是纵向则根据X_max，Y_max值判断，X_max

2 实验结果

实验考察了位于福建的某座大桥，并用无人机采集了200副图片，其中横向裂缝60张，纵向裂缝60张，网状裂缝80张.实验平台是windows10，编程语言采用的是MATLAB语言，经过实验论证，裂缝的正确识别率最高可达93.3%，识别流程图如图7，识别过程见图8和图9.

图7 裂缝识别流程图

将采集来的3种类型裂缝图片逐一进行检测，其中可正确识别横向裂缝58张，正别识别纵向裂缝60张，正确识别网状裂缝70张，将正确识别的图片数量与所属裂缝类型图片总数作比值，各类型的裂缝识别精度见表1.

3 结束语

本文针对不良天气下桥梁裂缝检测问题，基于暗通道先验理论和数字图像处理，提出了一种在不良天气下的裂缝检测方法：

图8 去雾效果图

图9 有雾图像的裂缝识别(横裂)

1)对采集来的图片用暗通道先验法进行去雾处理，经实验验证，去雾后的图像清晰度得到提高，雾霾显著减小.

2)对去雾后的图片进行裂缝检测，本文在裂缝识别精度上得到了提升.对横向裂缝，纵向裂缝和网状裂缝识别精度均在87%以上，其中，对横向裂缝识别精度最高，可达93.3%.

3)对采集来的图像无论是否有雾，均能正常进行检测，裂缝检测的适用性得到增强，在工程技术领域可被采用.

图10 无雾图像的裂缝识别(网裂)

表1 桥梁裂缝识别精度