SLIC超像素与Inception网络的路面裂缝识别方法

汤青洲， 张德津,2， 王墨川， 胡成雪， 陶 健

(1 湖北工业大学电气与电子工程学院，湖北 武汉 430068;2 深圳大学广东省城市空间信息工程重点实验室,深圳 518060)

裂缝是沥青路面病害最常见的表现形式之一，识别路面裂缝是路面养护的重要前提。现有的裂缝识别方法主要有阈值法、边缘检测、形态学和深度学习方法等。阈值法在裂缝灰度值区间跨度大或存在较多点状噪声的情况下，难以实现背景纹理与裂缝的有效分割[1]。边缘检测方法在噪声较为敏感且在低对比度的情况下难以获取准确的裂缝区域[2]。形态学方法如最小路径法和基于种子方法，其局限性在于算法参数较多[3-5]。深度学习也被应用于解决裂缝识别问题，这类方法利用大量数据训练网络，解决了传统算法泛化能力差和精度不够的问题[6-7]。CNN中的卷积与池化可以自动提取图像不同尺度不同维度的特征，被广泛应用，但难以处理图像中目标的旋转、缩放和缺失等变化。为此，学者们提出了限定裂缝检测的任务与场景的方法，如基于子块分类法，即将输入图像分成重叠的子块，然后对子块图像分类[8-10]。基于子块分类的裂缝检测方法通常采用均匀分割模式，优点是效率较高，缺点是由于部分裂缝子块中裂缝段位于子块边缘，导致使用CNN识别的准确率较低。

本文提出了一种基于超像素分割与Inception网络的沥青路面裂缝检测方法[11]。为解决路面图像中存在大量点状噪声的问题，引入超像素分割方法，将图像分割为匀质超像素，并以其质心为中心点划分子块，得到子块样本集；再将样本集分为裂缝子块与背景子块，并结合像素级形态学方法实现路面图像中裂缝的准确定位和主干提取；进一步，针对裂缝不连续的特点，采用超像素级形态学方法获取裂缝的完整形态。

1 技术路线

基于InceptionV3网络和超像素的路面裂缝识别方法，本文所提方法技术路线如图1所示。先利用 SLIC超像素分割方法将裂缝区域与背景分离，然后使用Inception V3提取子块图像特征并裂缝和背景子块进行二分类，再采用像素级与超像素级形态学方法得到完整裂缝形态。

图 1 技术路线

2 超像素和Inception网络图像定位

2.1 SLIC的超像素分割方法

基于子块分类的裂缝检测方法通常采用效率较高的均匀分割模式，然而裂缝呈线状且多为横向或纵向裂缝，使得裂缝段大多位于裂缝子块边缘，导致识别准确率较低。因此本文以超像素分割对象质心为中心获取子块并对其进行分类，有效避免裂缝子块中裂缝位于边缘。且超像素分割对象具有相似的大小和形状，更有利于InceptionV3网络对其进行特征提取。

超像素分割是指根据像素的颜色差异、纹理特征等将相似的相邻像素点聚集起来，用少量超像素代替原有像素点，生成一系列具有一定视觉意义的不规则像素集，有效减少处理对象数量，同时剔除一部分异常点。超像素分割方法主要分为基于图论与基于梯度下降两种，其中简单线性迭代聚类算法(SLIC)具有速度快、边缘贴合度高、且生成超像素形状规则大小均匀的优势[12]。其处理彩色图像的基本思想为基于Lab色彩空间构造的距离度量标准在局部范围内对像素点进行K-means聚类。为此，在本文中被用于对图像进行初始分割，由于本文路面图像为灰度图，根据向量Gi=[gixiyi]T构造距离度量标准，其中gi为像素灰度值设置距离度量，SLIC算法应用于路面灰度图像具体步骤如下：

1)SLIC第一步随机选取K个种子点作为初始聚类中心；

2)采用K-means算法在初始种子点的s×s邻域内为像素点分配标签；

3)将像素点灰度值结合坐标生成三维向量Gi=[gixiyi]T，并据此向量设置像素点与聚类中心的距离度量D′；距离度量公式如下：

(1)

(2)

(3)

式(1)中dg表灰度值分量，式(2)中ds表示距离分量，距离度量D'如式(3)。式(3)中，m衡量灰度相似性与空间邻近性，m较大时，空间邻近性在距离度量中占更大比重，且生成的超像素更紧凑；当m较小时，灰度相似性所占比重更大，超像素更贴合边缘。

4)迭代优化直至误差收敛。

2.2 InceptionV3网络实现图像定位

为满足InceptionV3网络格式的要求，必须将超像素转换为方形图像块，对每个超像素提取与其共享质心的子块图像。超像素的区域类别与其对应的子块图像构成了标签及训练样本集，将标签与样本集引入InceptionV3网络，用于网络训练和超像素分类。

大量标记训练数据对网络训练过程中特征提取过程至关重要，直接影响最终分类结果准确性。同时，过少训练数据会导致模型训练过拟合，并造成测试样本上泛化性能较差。然而与大量自然图像数据相比，公开路面图像数据集较少，无法充分训练网络参数。本文采用预训练网络改善模型的泛化性能。

图 2 InceptionV3网络结构

InceptionV3预训练网络的基本结构如图2所示，在ImageNet数据集上进行预训练后具有良好的目标分类能力，InceptionV3采用不同大小卷积核，获取局部感受野，实现不同尺度特征融合。首先通过卷积和池化提取特征， 3个连续Inception模块分别采用卷积池化并行，其中底层卷积块提取各类不同目标的通用底层特征，顶层卷积块包含具有针对性高层次特征。由于真实路面裂缝图像与公开数据集相比自有特征更加明显，且本文分类为针对裂缝子块和背景子块二分类任务，冻结底层卷积层保持其在公开数据集中学到通用特征，同时解冻顶层卷积块，利用裂缝与背景样本训练解冻部分的权重以适应本文分类任务。分类器对应损失函数如下：

(4)

图 3 InceptionV3网络训练过程

3 像素与超像素融合的裂缝提取

基于上述超像素与InceptionV3网络组合方法，裂缝大致区域已经能够准确定位，但裂缝区域仍会存在部分断裂，本文引入像素级与超像素级形态学方法还原裂缝主要形态，提取完整的裂缝。

3.1 像素级裂缝提取

1)裂缝骨架提取 裂缝主体区域存在少量断裂，破坏了裂缝区域完整性。因此本文利用不同结构元素分别对粗分割区域进行膨胀和腐蚀操作，采用最小外接矩形的长宽比表示区域线性度，并进行线性筛选(图4a)。根据裂缝的灰度特征和线性特征，分别基于列或行最小原则对每个连通域提取裂缝骨架(图4b)。

2)裂缝主干提取 骨架采取膨胀操作，扩展宽度到包含裂缝所有部分，进行面积和线性度筛选，获得精细化裂缝局部(图4c)。并采用最大类间方差法求取阈值对目标进行分割，此方法在全局范围内取阈值，避免了点状噪声的干扰，最大程度分离了背景与裂缝[13]；再对其进行线性度筛选和面积滤波，裂缝主干见图4d。

图 4 裂缝主干

3.2 超像素级生长还原提取完整裂缝

采用模板匹配法对裂缝的微小断裂处进行连接，匹配模板如图5a所示。对于符合图5a所示模板的像素，计算其与裂缝主干平均灰度之间差值，若小于设定阈值，则将其加入。图中×表示已有的裂缝像素，○为需要加入的像素。图5b为图像处理后的效果，图中白色区域为已有的裂缝，红色点为根据此模板匹配法增加的区域。以超像素为基本处理单元，确定裂缝的生长方向并连接，如图5c所示。首先，对以超像素为基本单元的裂缝主干区域，提取每个裂缝段的端点超像素。其次，以裂缝段的主要方向中心分别向两边扩展90°得到角度为180°的范围，在此范围内搜索末端超像素。然后以超像素对的相对方向作为生长方向，以较小灰度值为生长准则。当搜索不到时则停止生长。生长方向如图5d所示，黑色箭头夹角即为生长的角度范围。

图 5 裂缝生长还原

4 实验分析

4.1 实验参数设置

此次实验中InceptionV3网络训练过程在Tensorflow框架下实现，形态学处理基于Matlab平台实现。为验证超像素数量K与子块尺度S对InceptionV3网络分类结果的重要性，以及实现路面图像中裂缝的准确定位，本文设置以下实验对参数K和S进行对比分析并根据裂缝定位需求选择最优值。

SLIC超像素分割效果主要受两个参数的影响：紧凑度N和分割数量K。本文使用典型值N=1.0作为SLIC算法的紧凑度参数。分别选择K值为1000、2000和3000，通过实验比较分析知：K=2000时，分割边界贴合裂缝边缘且裂缝与背景大小均匀，因此选择K值为2000。

不同的子块尺度S会影响识别的准确率，对于裂缝超像素，S过大时则会引入过多纹理噪声；S越小则裂缝与背景间的对比特征越少，导致分类准确率降低。本文选取最具代表性的尺度的子块，分别为30，40和50，对其在实际路面图像上对裂缝的定位效果进行对比分析，采用FPR和Recall两个指标对其进行评价。FPR表示分类结果中被错分为正样本的真实负样本在所有真实负样本中所占的比例，主要展示了去除背景噪声的效果。Recall为在分类结果的正样本中正确分类的真实正样本在所有真实正样本中所占的比例。对比实验结果如表1所示。

表1 不同尺度子块分类结果

由表1可知，当S=40时，真实裂缝中被误分类的结果比S=30时少，召回率也相对较高。因此本文选取S=40时的分类结果。总裂缝样本数为4500，背景样本数为10 500，将所有样本分为训练集与验证集，比例设为8∶2。训练集用于训练网络中的权重，验证集用于自动调整网络超参数。所有训练集数据迭代50次(Epoches)，最终识别率达到96%。

4.2 识别结果分析

在模式识别与计算机视觉领域中，常以完成度指数(精确率)Precision和正确度指数(召回率)Recall作为实验结果的评价标准。为了对裂缝提取实验结果进行量化分析和评价，本文也采用Precision和Recall作为评价标准。Precision表示在判定为Positive的样本中，判断正确的数目所占的比例，即检测结果中正确检测到的裂缝数目占所有检测结果数目的比例；Recall表示在真实的Positive样本中，判断正确的数目所占的比例，即检测结果中判断正确的裂缝数目占路面上实际存在的裂缝数目。一般来说，当Precision与Recall都比较大时，检测结果较好，因此本文引入了综合评价指标F-measure。

(5)

其中，F-measure值越大，识别效果越好。实验采用100幅路面影像对本文提出的方法进行评价，图像尺寸统一为500×500，图像中许多裂缝存在不连续，对比度低，被大量噪声干扰的情况。手工标注的裂缝精确到像素级，但仍然存在一定的主观因素，造成裂缝存在宽度误差等。因此，本文将识别的裂缝图像与标注图像划分成互不重叠的单元格，每个含有裂缝的单元格都代表一个裂缝区域，统计含有裂缝的单元格数目。观察大量裂缝样本后取单元格大小为3×3。最终得到Precision、Recall和F-measure分别为90.2%，91.6%，91.8%。图6为本文方法展示了识别效果与其方法识别的效果。图中第一列为路面原图像，第二列为手工标注的原图像，第三列为本文方法识别结果，第四列为采用均匀划分网格的方式获取样本得到的结果，第五列为将局部自适应阈值法应用于全局的效果[14]。本文方法效果相对较好，而其他方法难以准确识别出完整裂缝，同时也验证了采用超像素方法获取子图像样本对于准确定位裂缝的优势。与其它方法相比，本文方法有效降低了提取裂缝区域误差，完成裂缝快速且准确的定位，且无需手动提取裂缝块与背景块的特征。

图 6 识别效果对比

5 结论

通过结合超像素分割与InceptionV3网络去除了路面图像中大量点状噪声，实现对路面图像中裂缝的快速定位，并融合像素级与超像素级形态学方法提取裂缝主干并连接不连续裂缝，得到裂缝的完整形态，给裂缝识别方法提供了新思路，为路面病害自动检测提供参考。本文数据集与传统方法对比实验表明，本文方法可以自动提取裂缝块与背景块的特征，实现裂缝区域的准确定位及裂缝形态的提取。