基于多传感器信息融合的机场道面裂缝检测算法

李海丰　聂晶晶　吴治龙　彭博　桂仲成

摘要： 机场道面的裂缝检测只能在夜间停航期间进行，由此带来光照条件差、图像对比度低、噪声干扰强烈等问题，致使传统基于可见光图像的裂缝检测算法难以适用。为此，提出一种融合可见光图像和红外图像的裂缝检测算法。首先通过局部差分法检测不同传感器图像中的初始裂缝;然后，通过局部区域像素的灰度和温度概率分布建立决策级信息融合模型，获得候选裂缝，并对候选裂缝进行像素级融合;最后，利用多种数学形态学约束进行筛选，获得最终的裂缝检测结果。在真实机场道面数据集上进行了测试，并与多个算法完成对比，结果显示该文算法的准确率、召回率和F值均优于对比算法，可以较精确地检测出裂缝，为机场道面裂缝的检测与管理提供了技术基础。

关键词： 机场道面; 裂缝检测; 信息融合; 候选裂缝筛选; 像素融合; 测试分析

中图分类号： TN912.23?34; TP212.9               文献标识码： A                    文章编号： 1004?373X（2020）24?0017?05

Airport pavement crack detection algorithm based on multi?sensor information fusion

LI Haifeng1， NIE Jingjing1， WU Zhilong1， PENG Bo2， GUI Zhongcheng3

（1. College of Computer Science and Technology， Civil Aviation University of China， Tianjin 300300， China;

2. School of Traffic and Transportation， Chongqing Jiaotong University， Chongqing 400074， China;

3. Chengdu Guimu Robot Co.， Ltd.， Chengdu 610101， China）

Abstract： As the crack detection of airport pavement can only be carried out during the suspension of flight at night， which brings some problems such as poor illumination conditions， low image contrast and strong noise interference， which makes the traditional crack detection algorithm based on visible images difficult to be applied， a crack detection algorithm fusing visible image and infrared image is proposed. The local difference method is used to detect the initial cracks in the images obtained by different sensors. The decision?level information fusion model is established according to the gray scale and temperature probability distribution of pixels within local region to obtain the candidate cracks and then perform the pixel?level fusion of the candidate cracks. A variety of mathematical morphology constraints are used to screen them and obtain the final results of the crack detection. The testing on a dataset of real airport pavement is conducted， and the result is compared with that of other algorithms. The results show that the precision， recall rate and F value of the proposed algorithm are better than those of the compared algorithms， and the proposed algorithm can detect cracks more accurately， which provides a technical basis for the crack detection and management of airport pavement.

Keywords： airport pavement; crack detection; information fusion; candidate crack screening; pixel fusion; test analysis

0  引  言

裂缝是机场道面最常见的病害之一，同时也是大多数结构病害的早期表现，即使细小的裂缝也会对飞机起降构成安全隐患。《民用运输机场运行安全管理规定》中对机场道面裂缝检测提出了明确要求。与公路道面相比，由于飞机频繁起降、道面材质等原因，机场道面存在明显的油污和橡胶残留痕迹，加之受机场运行要求的制约，只能在夜间人造光源条件下进行道面检测，上述因素均使得机场道面裂缝检测非常困难。目前，机场依靠人工巡检的裂缝检测方式存在精度差、主观性强、效率低等诸多问题，已经不能适应民航机场快速发展的要求。因此，自动化的机场道面裂缝检测日益受到关注。

目前，公路道面裂缝自动检测主要利用可见光图像。Oliveira等利用自动阈值分割和连通分量算法实现裂缝的提取[1]。Shi等根据积分通道特征及随机决策森林来识别裂缝[2]。韦春桃等基于灰度差和连通域规则实现裂缝自动检测和筛选[3]。Song等基于分数阶微分和双阈值检测完成了裂缝脊边的检测和噪声的过滤[4]。张德津等人提出基于空间聚集特征的沥青路面裂缝检测方法[5]。然而，基于可见光图像的方法易受到环境光照、阴影、道面污染等的干扰，无法适用于机场道面。

物体表面与裂缝之间存在温度差异，因此红外热成像技术也经常被用于不同场景中的裂缝检测。严园等人利用裂缝尖端应力集中的特点对钢桥裂缝进行检测[6]。Rodríguez?Martin等人根据材料热激发后温度变化的区别检测焊接材料表面的裂缝[7]。Park等人基于红外热成像和锁相方法对焊接异种金属管道进行裂纹检测[8]。然而，由于大面积检测时红外图像分辨率较低，所以单独依靠红外热成像传感器无法完全满足机场道面细小裂缝精确定位的要求。

多传感器融合是克服上述应用场景复杂性与单一传感器局限性之间矛盾的有效方法。红外图像与可见光图像之间的融合已被用于行人检测[9]、缺陷检测[10?11]等多种场合。上述研究表明了融合紅外图像和可见光图像的重要性和有效性，启发大家可设计基于红外和可见光图像融合的机场道面裂缝检测算法。

为此，针对机场道面感知数据噪声强、对比度低等问题，本文设计一种基于可见光和红外图像融合的机场道面裂缝自动检测算法，能更加精确快速地检测出机场道面的裂缝，提高了养护部门的效率。

1  机场道面裂缝检测算法设计

本文算法流程如图1所示。首先，设计局部差分法，并分别提取红外和可见光图像的初始裂缝;其次，基于决策级数据融合模型对所有初始裂缝进行验证，获得可见光和红外候选裂缝;然后，采用“或”逻辑生成融合候选裂缝图;最后，利用形态学约束进行筛选，从而获得最终的裂缝检测结果。

1.1  基于局部差分法的裂缝预提取

首先将红外图像的像素温度值归一化到0～255，并采用双边滤波进行预处理，从而减小噪声干扰并更好地保护裂缝边缘。此外，针对光照条件和环境噪声对可见光图像质量造成的影响，使用光照补偿[12]和高斯滤波对图像进行预处理。

然后根据裂缝处的像素与路面背景的像素在温度和灰度上存在差异的特性，设计局部差分法，生成红外和可见光对比度图像。在红外图像中，令[Rij]为点[i，j]的像素值，并计算以[i，j]点为中心的周围k×k个像素的中值[MRij]，若[Rij]>[MRij]，则点[i，j]的对比度值为[PRij=Rij-MRij]，否则对比度值为0，如式（1）所示，从而获得红外对比度图像。

[PRij=Rij-MRij，    Rij>MRij0，               Rij≤MRij]     （1）

同理，使用式（2）获得可见光对比度图像。

[Pcij=0， Cij>McijMcij-Cij，  Cij≥Mcij]     （2）

式中：[Cij]表示可见光图像中像素点[i，j]的灰度值;[Mcij]为以[i，j]点为中心的周围k×k个像素的灰度中值;点[i，j]的对比度值为[Pcij]。

接着利用最大类间方差法分别对红外和可见光对比度图像进行二值分割，将分割后得到的前景像素标记为初始裂缝区域像素点。根据其连通性将其分为若干个初始裂缝，定义[Cr=crjj=1，2，…，n]为红外图像中提取的初始裂缝集合，[Cv=cvii=1，2，…，m]为可见光图像中提取的初始裂缝集合。接下来通过融合红外和可见光图像信息，实现初始裂缝的融合验证。

1.2  基于多属性决策级数据融合模型的初始裂缝验证

考虑到实际机场道面存在油污、飞机轮痕等干扰，首先通过分析初始裂缝外包区域内像素值分布来确定初始裂缝的温度或灰度属性类型。然后构建多属性决策级数据融合模型，实现初始裂缝的融合验证。

1.2.1  初始裂缝外包区域的生成

定义[G]为初始裂缝集合，即[G=Cv?Cr]。沿[G]中每个初始裂缝边缘法线方向以[d]个像素大小的距离向四周均匀扩充，如图2所示。深色区域为初始裂缝，最外围线条所围成的区域即为初始裂缝外包区域。图3a）为存在干扰的可见光图像，图3b）为图3a）的像素值分布直方图，图3c）为裂缝外包区域的像素值分布直方图。初始裂缝外包区域的大小选择会影响到后续裂缝属性类型判定，若[d]的取值过大，会导致该区域可能包含大面积轮痕或油污，干扰后续计算;而如果[d]的取值过小，该区域像素值分布的统计易受到噪声影响。因此，[d]值的选取需要综合考虑检测裂缝的实际宽度以及图像的大小。本文取[d=min（l，w）10]，其中，[l]和[w]分别表示图像中像素的行数和列数。下面将分析初始裂缝外包区域内的像素值分布特征，来确定[G]中每一条初始裂缝的单项属性类型。

1.2.2  初始裂缝单项属性类型判定

对于初始裂缝外包区域的像素点而言，其在可见光图像和红外图像中对应位置的像素值近似服从正态分布特性，因此使用该区域的像素值作为统计量，采用[3σ]准则作为判别界限，从而判断初始裂缝的单项属性类型。

根据以上分析，定义[mvi]和[mri]分别为[G]中第[i]条初始裂缝在可见光图像中的灰度均值和在红外图像中的温度均值，其对应外包区域像素的灰度分布[Nμv，σ2v]和温度分布[Nμr，σ2r]。通过式（3）和式（4）对[G]中的第[i]条初始裂缝分别进行灰度和温度两个类型判断。

[Tv=E，mvi∈-∞，μv-3σvU，       mvi∈μv-3σv，μv+3σvA， mvi∈μv+3σv，+∞]      （3）

[Tr=A， mri∈-∞，μr-3σrU，         mri∈μr-3σr，μr+3σrE，mri∈μr+3σr，+∞]      （4）

式中：[Tv]和[Tr]表示一条初始裂缝分别经过灰度和温度属性判断后的类型;[E]表示“这里存在一条裂缝”;[A]表示“这里不存在一条裂缝”;[U]表示“不确定这里是否是裂缝”。

在图3c）中，根据上述[3σ]准则判断，如果初始裂缝平均灰度值小于130，则该裂缝[Tv]的值为[E];而在图3b）中，由于受到环境噪声的干扰，[μv-3σv]的值减小至80，即只有当初始裂缝平均灰度值小于80时，该裂缝属性才会被判定为[E]。而如果裂缝平均灰度值刚好介于80～130之间，则会产生误判。由此可见，在裂缝外包区域内根据像素值分布确定裂缝属性类型有助于降低环境干扰。接下来将对两个属性建立对应的决策级融合模型，并对初始裂缝进行验证。

1.2.3  基于决策级融合模型的初始裂缝验证

根据上述初始裂缝属性进行决策验证时，有以下三种情况：

1） 当[Tv]和[Tr]属性类型相同时，表明灰度和温度方面给出裂缝是否存在的相同证据，因此可直接对此区域进行判定。

2） 若初始裂缝的一个属性类型为[U]，而另一个属性类型为[A]或[E]时，表明虽然有一个属性暂无法给出存在裂缝的证据，但另一个属性可充分证明此处是否存在裂缝，因此可根据其中证据充足的属性类型对此区域进行判定。

3） 当一条裂缝的两个属性类型直接存在冲突，即[Tv]和[Tr]一个为[A]，另一个为[E]时，表明有一个属性已充分证明此处不存在裂缝，虽然另一个属性表明此处为裂缝，但考虑到部分噪声的灰度或温度单一属性相似于裂缝，因此可认为该属性受到了噪声干扰，为无效证据，此时可判断此处不存在裂缝。

根据以上三种情况的分析，建立用以判断[G]中的每一条初始裂缝是否为候选裂缝的验证模型如表1所示。表1中，若一条初始裂缝状态为“是”，则该裂缝为候选裂缝;若该初始裂缝状态为“否”，则该裂缝为非候选裂缝。

1.3  生成候选裂缝图

根据上面结果，将候选裂缝的像素值置为1，其余位置的像素值置为0，从而获得可见光候选裂缝二值图像和红外候选裂缝二值图像。采用“或”逻辑将对应的可见光和红外候选裂缝二值图像进行像素点的融合，从而得到融合后的候选裂缝图。此时候选裂缝图中仍然存在部分误检，需通过下面的形态特征进一步筛选。

1.4  基于形态特征的候选裂缝筛选

生成的候选裂缝图中存在的误检主要是由于机场道面的混凝土材质中存在大量视觉特征干扰，以及机场道面存在的小坑洞、油污、飞机轮痕等。与上述干扰相比，裂缝具有明显的带状特征，因此在此步骤中，将利用裂缝的形态学特征进行裂缝筛选。首先提取候选裂缝图像的连通分量;然后计算每个连通分量的像素个数作为其面积，并提取连通分量的骨架像素（如图4（a）中红色曲线所示），将骨架像素个数作为该裂缝的长度;最后计算骨架上所有像素点沿其法线方向到连通分量边缘的距离，并取其最大值作为整个裂缝的宽度。对于每一个连通分量，当其面积大于阈值[Ta]且长宽比大于阈值[Tr]时，此时裂缝被标记为真实裂缝，否则标记为虚假裂缝。根据本文需要检测的机场道面裂缝的大小及图像中像素点对应的路面区域实际面积，选择[Ta=50]，[Tr=8]。

2  测试结果与分析

2.1  路面裂缝图像获取

本文采用Canon VB?H410B数码相机和Fotric245s红外热像仪，采集了成都双流机场和重庆江北机场部分机场跑道道面数据。相机与红外热像仪拍摄时，彼此位置固定，且相机与路面的距离保持不变。所有数据均于夜间机场停航期间在人造光源条件下采集，共获得85组已配准且存在典型噪声干扰的可见光和红外道面图像，图像大小为415×340像素，由于篇幅有限，选取两对典型道面数据干扰情况示例，如图5所示。

2.2  算法评价指标

为了客观评估本文算法的性能，将本文算法与经典彩色图像裂缝检测算法CrackIT[1]和CrackForest[2]进行对比。本文将这两个算法分别用于可见光图像和红外图像的裂缝检测中。为量化检测结果，采用准确率、召回率、F值来评估3种算法的效果。

2.3  测试结果

CrackIT、CrackForest和本文算法在数据集上检测的准确率、召回率和F值的平均值如表2所示。由此可知，本文算法检测裂缝完整度的性能仅略低于CrackForest算法在可见光图像的检测性能，但准确检测裂缝的性能均明顯优于其他两种算法。

图6为各算法检测结果的误差棒图，其中，柱状图代表指标均值，线段代表指标的标准差，标准差可体现算法的稳定性。综合来看，本文算法性能优于CrackForest和CrackIT算法，弥补了单一传感器带来的检测缺陷，明显地提高了机场跑道的复杂场景下进行裂缝检测的性能。

图7展示了各算法在6组典型图像上检测的实例。由图中可见光图像可知，本文数据集中道面环境复杂（如阴影、道面材质不一，道面与裂缝灰度对比度低），而在红外图像中，虽减少了一部分这些干扰，但是裂缝区域和某些道面区域的温度相似，从而导致CrackIT和CrackForest算法在单一可见光或红外图像中均难以完全排除这些干扰，因此检测结果存在大量的错检和漏检情况。而本文算法虽然在单一数据源的预检测结果也存在误检，但是通过可见光和红外图像的融合，有效去除了大部分干扰，明显地提高了检测的准确率。

3  结  语

针对在机场道面裂缝检测中，基于视觉图像的裂缝检测方法无法在光照条件差、图像对比度低、噪声干扰强的情况下获得较精确的检测结果，设计了一种基于多传感器融合的机场道面裂缝检测算法。通过建立决策级数据融合模型，对初始裂缝进行综合决策，并结合多种形态学约束对候选裂缝像素进行筛选，获得了较准确的裂缝检测结果。通过在具有各种干扰的真实机场道面数据集上进行的测试表明，该算法能有效地提高裂缝识别的准确性和鲁棒性，为后期机场道面裂缝部位的局部精准修护提供了技术保障。

参考文献

[1] OLIVEIRA H J M， CORREIA P L S L. CrackIT?an image processing toolbox for crack detection and characterization [C]// IEEE International Conference on Image Processing. Paris： IEEE， 2014： 102?106.

[2] SHI Yong， CUI Limeng， QI Zhiquan， et al. Automatic road crack detection using random structured forests [J]. IEEE transaction on intelligent transportation systems， 2016（12）： 1?12.

[3] 韦春桃，余俊辰，赵平，等.基于自适应阈值的细小裂缝与微灰度差异裂缝自动检测方法[J].中外公路，2019，39（1）：58?63.

[4] SONG Hongxun， WANG Weixing， WANG Fengping， et al. Pavement crack detection by ridge detection on fractional calculus and dual?thresholds [J]. International journal of multimedia and ubiquitous engineering， 2015， 10（4）： 19?30.

[5] 张德津，李清泉，陈颖，等.基于空间聚集特征的沥青路面裂缝检测方法[J].自动化学报，2016，42（3）：443?454.

[6] 严园，邹兰林，周兴林.钢桥疲劳裂缝的红外热成像无损检测[J].应用科学学报，2016，34（1）：106?114.

[7] RODR?GUEZ?MARTIN M， LAG?ELA S， GONZ?LEZ?AGUILERA D， et al. Cooling analysis of welded materials for crack detection using infrared thermography [J]. Infrared physics & technology， 2014， 67： 547?554.

[8] PARK H， CHOI M， PARK J， et al. A study on detection of micro?cracks in the dissimilar metal weld through ultrasound infrared thermography [J]. Infrared physics & technology， 2014， 62： 124?131.

[9] 官大衍.可见光与长波红外图像融合的行人检测方法研究[D].杭州：浙江大学，2019.

[10] 陈乾辉，吴德刚.基于可见光—红外光图像融合的苹果缺陷检测算法[J].食品与机械，2018，34（9）：135?138.

[11] TANG Chaoqing， GUI YunTian， CHEN Xiaotian， et al. Infrared and visible images registration with adaptable local?global feature integration for rail inspection [J]. Infrared physics & technology， 2017， 87： 31?39.

[12] 刘志成，王殿伟，劉颖，等.基于二维伽马函数的光照不均匀图像自适应校正算法[J].北京理工大学学报，2016，36（2）：191?196.

作者简介：李海丰（1984—），男，内蒙古人，博士，副教授，研究方向为计算机视觉、机器人环境感知、多传感器数据融合。

聂晶晶（1991—），女，河南人，硕士研究生，研究方向为图像处理、多传感器数据融合。

吴治龙（1995—），男，重庆人，硕士研究生，研究方向为图像处理、多传感器数据融合。

彭  博（1986—），男，四川人，博士，副教授，研究方向为交通工程、路面破损检测与评价分析。

桂仲成（1979—），男，安徽人，博士，高级工程师，研究方向为智能机器人技术。