基于样本自动标注的隧道裂缝病害智能识别

王耀东 ，朱力强 ，余祖俊 ，史红梅 ，折昌美

（1.北京交通大学智慧高铁系统前沿科学中心， 北京 100044；2.北京交通大学载运工具先进制造与测控技术教育部重点实验室， 北京 100044；3.中国科学院微电子研究所，北京 100029）

我国铁路隧道和地铁隧道总里程世界第一，老旧线路存在多种病害，需要高效率的快速智能检测技术.隧道裂缝是重要病害，在复杂恶劣的环境下，人工巡检效率低下，难以满足需求.随着机器视觉和图像处理技术的发展，围绕隧道裂缝智能检测的研究不断拓展[1].当前隧道病害自动检测的研究，主要利用视觉检测技术，对隧道病害图像实现采集和智能处理[2].

国内外在裂缝图像采集和处理方面有一系列的研究，大都采用传统检测算法和深度学习理论[3].地铁隧道表面图像背景特征具有复杂性、随机性和无特定规则的特点，除了管线、配电箱、逃生平台等设施外，包含大量的背景噪声干扰.王睿等[4]设计了铁路隧道裂缝检测系统，研究了图像识别算法，可对普通裂纹图像进行检测识别，并没有用到深度学习算法.朱力强等[5]研究了隧道图像采集系统，设计了隧道病害图像检测算法，提出了裂缝发展变化趋势智能分析检测理论.日本研制了隧道裂缝病害检测车，探究传统图像处理算法以自动识别裂缝图像.Medina等[6]研究了裂缝边缘检测算法，并进行精确的像素计算.传统算法主要围绕像素级处理，对简单裂缝图像的识别效果较好，但直接用于复杂裂缝图像的检测时效果不佳.

目前，随着深度卷积网络研究的发展，隧道图像智能识别技术又上升一个台阶.Huang 等[7]研制了隧道图像采集装置，设计了隧道裂缝图像的深度学习算法，可以对裂缝、水渍、管线等目标进行识别.深度学习算法通常利用样本标注和网络设计，进行裂缝图像的智能检测，对于特征清晰的目标，准确率达到85%左右，但对于复杂图像的识别精度不高，特别需要人工进行精细化图像标注工作，标注的精度直接影响识别精度[8-10].深度学习算法比传统方法和特征提取算法效果好、智能化程度高，但是标注样本所需时间长、工作量大.特别地，对于裂缝图像的细小病害特征，高精度的边缘标注需要花费大量人工时间，急需研究高效率的自动标注和检测方法[11-12].

为了解决人工标注和裂缝图像自动识别的难题，本文提出了一种结合图像特征提取和深度学习的隧道裂缝样本自动标注与识别算法.利用图像浅层处理，降低人工肉眼标注工作量，建立局部裂缝样本图像.研究适用于裂缝局部图像的深度学习网络架构，实现隧道裂缝病害区域的自动检测.为了实现隧道图像的自动采集，设计了一套基于轨道运行的隧道衬砌图像采集系统，利用多目视觉采集隧道裂缝图像，再结合算法研究，以实现智能识别.

1 隧道图像采集与智能识别方法

本研究为了解决这个难题，提出了基于区域特征分析的裂缝样本数据标注方法，基于已有的裂缝图像，设计传统像素级处理算法，初步提取并自动选出裂缝区域，建立初步样本库，代替人工标注图像，实现自动图像标注.针对裂缝图像样本病害特征，训练改进的深度卷积网络结构，实现裂缝图像的自动识别.

裂缝图像采集与识别原理如图1 所示，研制轨道移动式图像采集平台，用于隧道表面图像的采集.结合隧道现场手动拍摄的图像和原有的隧道图像，建立隧道表面图像数据集，配置多种尺度裂缝特征样本库.

图1 隧道裂缝图像采集与识别算法Fig.1 Tunnel crack image acquisition and recognition algorithm

选取裂缝图像数据，设计图像预处理方法，对隧道图像数据集进行前处理操作.针对裂缝图像进行连通域滤波和病害特征分析，实现隧道图像的批量处理，得到候选裂缝特征子图像集合，代替人工完成裂缝局部图像的自动标注.针对隧道裂缝特征，建立裂缝图像的3 种特征样本，改进深度卷积网络，进行图像智能识别算法的对比实验，验证算法理论的可行性.

2 隧道图像病害特征分析与识别

2.1 隧道裂缝图像预处理

由于隧道环境恶劣、光照不均，所采集的图像存在多种噪声和干扰物，裂缝区域像素占比较少，属于小目标特征.从复杂的背景图像中直接进行裂缝病害特征的高精度识别难度较大.本算法利用图像前处理操作增强图像对比度，便于后续的裂缝图像识别.

步骤1像素级灰度腐蚀可以消除类似于点块噪声，将图像的微观病害特征扩充，同时对裂缝边缘噪点平滑.定义原始图像为A(x,y) ；S(x′,y′) 为图像腐蚀计算的模板；DS为S(x′,y′) 的局部处理区域.f(x,y)为像素灰度腐蚀后的图像，如式（1）.

本算法在增强裂缝边缘数据的同时提高图像对比度，保护隧道图像的重要病害特征.

步骤2进行图像局部对比度拉伸计算，分析图像局部像素区域的灰度相似度，执行非线性变换处理，提高裂缝特征的对比度及灰度值低的目标灰度，如式（2）.

式中：g(x,y)为图像局部对比度处理后点 (x,y) 处的灰度值；m为原始灰度平均值；E为拉伸指数；p为相对精度调整参数，本研究中取0.9.

步骤3将前一步得到的图像执行二值化处理，见式（3）.

式中：I(x,y)为二值化图像中像素点 (x,y) 处的灰度值；T为图像二值化的设置阈值，可根据对应批次的图像，抽选样本进行经验值调节得到.

通过式（1）～（3）的处理，图像对比度和裂缝病害特征被加强，但同时也增加了图像虚假裂缝区域.为保证图像中真实目标不被平滑掉，此过程算法可适当放大噪声，并极大程度保留目标病害特征.

2.2 裂缝图像病害特征区域分析算法

按照病害特征将隧道裂缝图像划分为真实裂缝区域、点状噪声区域、斑状噪声区域、块状噪声区域.通过图像处理算法分析，逐步去除非裂缝病害特征噪声干扰，保留真实裂缝区域，作为选定的裂缝目标样本集.

2.2.1 点状噪声区域滤波处理

隧道图像病害特征区域中，点状特征是裂缝衬砌表面的主要噪声，由像素点较少的小块区域组成，可利用图像矩计算的方法进行阈值滤除.

针对二值化图像中I(x,y) 中的点状干扰Ck(x,y) ，通过式（4）分析图像特征子区域Ck(x,y) 的零阶矩nk.

式中：Pk(x,y)为子区域Ck(x,y) 中点 (x,y) 的灰度值；Nn为待测图像中点状噪声区域的个数.

通过式（5）分析区域内点状噪声特征，完成针对性滤除.子区域中像素点数量小于阈值的判断为噪声，并将像素灰度值转换为1，完成此滤波处理.

式中：is(x,y) 为点状噪声特征区域；为图像零阶矩判断阈值.

2.2.2 斑状噪声区域滤波处理

隧道表面图像中，点状噪声区域表现为散点像素的聚集，而斑状噪声区域的像素数量更多，且聚集性更加明显.斑状噪声特征子区域占比大，而裂缝为随机细长曲线形状，因此，可利用外接矩形构成连通区域的矩形度来分析.斑状噪声区域矩形度Rl为

式中：SM为外接矩形所包围的区域.

经过斑状噪声滤波处理后的图像为Is(x,y).NR为Is(x,y) 中斑状噪声子区域Dl(x,y) 的数量，设TR为判断值，iM(x,y)为确定的斑状特征区域，则斑状噪声的计算为

2.2.3 随机块状噪声区域滤波处理

经过处理，图像大部分散点噪声成分已被滤除，但仍存在一些块状噪声.结合连通域的最大宽度wmax、最大高度hmax和矩形度Rk，设计子区域块状特性的滤波算法.滤波后的图像为IM(x,y) ，对其实现连通区域的提取.设提取的候选区域为Ej(x,y) ，其个数为Nw.随机块状噪声区域滤波如式（8），噪声成分提取完成后，对其进行相同的滤除操作.

2.3 裂缝特征外接矩形区域标记

经过2.2 节计算后，虚假裂缝特征区域仍然存在.利用传统图像处理和特征提取算法对相同的裂缝图像数据集，识别率不超过90%，继续提高精度的难度较大.若直接利用深度学习算法对原始图像进行样本制作与训练，对于细小裂缝的识别存在较多的漏检现象；如果直接利用人工标记样本的方法，一张图像的精细标注平均要30～40 min，工作量巨大.针对以上问题，本文设计了基于像素级特征提取的算法，利用传统识别方法自动提取并标记裂缝子区域，建立样本数据，设计深度网络结构，实现裂缝病害的高精度识别.

本算法获取目标特征连通区域Ek(x,y) 的最小矩形区域坐标 (xmin,ymin) 、(xmin,ymax)、(xmax,ymin)、(xmax,ymax)，提取图像对应区域，此时得到的裂缝子区域图像集中存在裂缝特征与伪裂缝特征用于后续的深度识别，连通区域最小外接矩形长（C）宽（R）比为

2.4 隧道图像深度卷积网络架构

2.4.1 裂缝图像特征分析

经过2.2 节算法处理后，可以得到裂缝区域子图像以及对应的二值化图像.建立裂缝样本库进行对比分析：

1）裂缝区域外接矩形样本.具有裂缝区域最小化、裂缝信息最大化的优点；缺点为样本图像易出现“长宽比例”较大的情况，与原始图像比例不同，导致深度卷积网络中样本图像过度拉伸或压缩，影响识别精度.

2）按比例扩充的外接矩形样本.具有图像长宽比例合理、裂缝特征全面，网络训练比例不失真的优点；缺点为样本数据扩大、存在其他噪声干扰，但噪声不会影响裂缝特征的主体信息，精度可控.

3）裂缝二值化图像样本.二值化的图像，特点为数据量最少，特征明显；缺点为只有“0、1”二值数据，缺少丰富的灰度信息，存在网络训练中特征信息不足的情况.

2.4.2 图像样本子集的建立

隧道裂缝特征具有无规则、小目标的缺点，建立3 种方式的裂缝图像样本集（裂缝特征外接矩形样本、裂缝图像二值化样本、按比例扩充的裂缝图像样本）对处理获取的裂缝特征子区域进行对比实验.

隧道裂缝外接矩形区域，可根据式（9）确定样本图像区域.对于比例扩充的裂缝图像样本集，隧道原始图像为500 × 375 像素，外接矩形扩充比例设置为µ=4∶3，如图2 所示C.E为比例扩充后裂缝样本矩形区域的短边，裂缝区域扩充原理如式（10）～（11）所示，其中：CΔ为图像中裂缝区域外接矩形2 个方向的扩充参数，(xLT,yLT)为扩充后矩形区域的左上角点坐标，(xRB,yRB)为扩充后矩形区域的右下角点坐标.二值化图像样本为按比例扩充的裂缝区域二处理结果.

图2 外接矩形与比例扩充矩形原理图Fig.2 External rectangle and proportional expanded rectangle

2.4.3 卷积网络结构

隧道表面图像中裂缝特征不显著，一般是小目标弱信息特征，具有无规则的特点.由于裂缝宽度较窄，所占像素点一般不超过10 个，所以图像局部信息量少，在设计深度卷积神经网络时，不易使用10 层以上卷积网络，否则会导致裂缝边缘信息丢失.本文设计改进了AlexNet 网络结构，针对裂缝形态特征，建立3 种样本集，形成卷积层数为5 和全连接层数量为3 的深度卷积网络，对候选裂缝图像集合进行训练和测试集的识别，结构如图3 所示，图中λ为步长.

图3 改进的AlexNet 深度卷积网络结构Fig.3 Improved AlexNet deep convolution network

1） 深度卷积结构中，第1 级卷积核尺寸11 ×11，个数为96，步长值为4，由卷积、ReLu 函数、局部响应归一化（LRN）和降采样组成.归一化度量为5 × 5，在降采样中，卷积核元素3 × 3，步长值2.

2） 卷积网络第2 级，卷积核元素5 × 5，个数为256，步长值为2.

3） 卷积网络第3 级，卷积核元素3 × 3，个数为384，步长值为2，不设置降采样和归一化操作.

4） 卷积网络第4 级，卷积核元素寸3 × 3，个数为384，步长值为2，结构与上一层相似.

5） 卷积网络第5 级，卷积核元素3 × 3，个数为256，步长值为2，此步骤无归一化处理.

6） 卷积网络第6 级，全连接神经元数4096，同时设置ReLu 函数操作和降采样操作.

7） 卷积网络第7 级与卷积网络第6 级算法相同.

8） 卷积网络第8 级，定义为全连接层，可以完成识别，输出图像识别结果.

本算法仅针对存在裂缝图像和不存在裂缝图像的区分，因此，卷积网络第8 层的输出为2，其中存在裂缝特征定义为1，反之为0.

3 移动式图像采集系统设计与研制

本文设计的车载式隧道图像采集装置可以在轨道上运动采集衬砌图像，如图4 所示.巡检小车自带动力和安装平台，相机激光同步采集装置固定于中间的圆形支架上，可实时采集隧道表面图像.整体系统可以实现相机灵活调节，准确对准隧道目标区域，测速定位系统安装于车轮用于里程定位，供电系统对整体检测装置提供稳定电源.

图4 隧道图像采集系统原理Fig.4 Diagram of tunnel image acquisition system

本系统由6 个高速线阵相机、3 个特制光源进行同步触发的图像采集.由于隧道裂缝特征为灰度表现，所以保存单通道灰度图即可.成像装置支架为圆形布局，相机与光源布置在圆形架子的外部支架处，如图5 所示.工业相机与光源间隔安装，每个光源提供给2 个相机补光使用.工业相机支架上预留扩展接口，可用于后续安装其他相机或传感器进行功能拓展.相机光源支架安装于车体中部，设计为圆形支架，对于不同尺寸和距离的隧道，可以调节整体采集装置.相机和光源的安装方式，横向和纵向位置可调整，成像装置参数如表1 所示.

图5 轨道移动式多目相机图像采集装置Fig.5 Image acquisition device of track-sliding multi-view camera

隧道图像采集分辨率为6 144 像素，检测车最大运行速度为20 km/h.图像采集中，间隔1 200 行像素输出一帧，即图像尺寸6 144 × 1 200 像素，按照6 000 × 1 125 像素保存图像，后期处理划分为若干个500 × 375 图像.本系统设计线状光源实现高强度的照明用于线阵相机的高清成像.为保证通光量和成像质量，选择工业镜头焦距为50 mm，光圈范围F4～F8，可保证线阵相机的成像景深要求，对于其他结构尺寸的隧道，可通过手动对焦确定镜头参数.

地铁隧道环境相对简单，光线变化不大，所设计的系统主要用于盾构圆形截面、直径5.2～5.4 m 隧道正线，所采集图像背景一致性较好.对于变截面，隧道尺寸变化的情况，需要重新调节焦距或者改变成像距离，从而达到较好的图像采集.

4 实验与结果

4.1 实验1：利用二值图像构建样本库

针对尺寸为500 × 375 的地铁隧道图像，选取腐蚀结构元素为2 × 2 的正方形，分块大小为10 × 10，零阶矩阈值Tn为每幅图像的像素均值，矩形度阈值TR为0.23，形状极值阈值T、w分T别h为40、30.对原始地铁衬砌图像完成对应算法的计算和处理，如图6所示.对于细小裂缝图像，为了保存特征细节，会导致周边存在斑点噪声，由于该区域像素占比很小，在样本制作时自动滤除.

图6 图像处理结果Fig.6 Results of image processing

裂缝图像经过灰度级腐蚀操作后，图像中部分噪点被滤除，裂缝边缘清晰.对其进行图像前处理操作及二值化分割后，进行图像子区域零阶矩计算，可滤除掉图像中大部分点状噪声，之后进行子区域矩形度和特征分析计算，将图像中斑状噪声和块状噪声滤除，最终得到的裂缝二值图像样本库，如图7.

图7 隧道裂缝的二值图像样本数据Fig.7 Binary image sample data of tunnel cracks

对多张隧道图像进行批量处理，不同的采集环境与光照环境导致裂缝图像中存在噪声成分，出现裂缝特征局部断开，但裂缝基本骨架完整，对后续裂缝图像识别精度，影响较小.

4.2 实验2：图像连通区域最小矩形构建样本库

隧道图像存在多种状态的裂缝：横向、纵向、斜向、交叉、网状裂纹.本文所提出的特征子区域分析滤波算法可确定裂缝特征连通域外接矩形，并从原始图像提取对应的区域，得到裂缝子区域样本图像，此时裂缝特征明显，数据量小，有利后续分类识别.前处理提取裂缝特征的二值标记图，然后利用连通区域提取其对应的原始图像子区域，构造裂缝图像样本库，如图8 所示.

图8 提取的连通区域图像样本数据Fig.8 Extracted connected region image sample data

由于横向与纵向裂缝多为长条状，矩形长与宽的比例较大，与原图像比例4∶3 存在较大差异，会有压缩或拉伸调整后的图形变化，这不利于真假裂缝图像的识别.

4.3 实验3：裂缝区域扩充的样本库构建

在深度卷积网络中，与测试图像相同或比例相似的图像样本具有更好的特征识别一致性.前处理得到的隧道图像中裂缝连通区域存在长宽比过大或过小的区域，导致样本训练中的比例失真.为了提高深度学习中裂缝区域的识别精度，按原始图像比例对裂缝矩形进行扩充.长宽比与原始图像相差较大，呈纵向细长型，按比例4∶3 对其连通区域最小外接矩形进行自动扩充，保证创建的样本区域图像与原始图像比例相同，如图9 所示.考虑到图像边界等因素，若外接矩形坐标扩充无法双向扩充区域，则可以单向扩充形成与原始图像比例相同的子区域样本集.

图9 裂缝区域比例扩充图像样本数据Fig.9 Sample data of crack region scale expansion images

4.4 实验对比分析与讨论

本次实验中共选择6000 张地铁隧道表面图像进行批量预处理、前处理、3 种样本图像的裂缝子区域自动提取和裂缝样本图像制作.最终构造了4500 张裂缝图像样本库，其中，3 种样本图像的数量均为1500 张，测试集图像数量1500 张.利用2080 Ti 的GPU 平台进行深度卷积网络的裂缝识别实验，在Caffe深度卷积网络框架下进行了裂缝识别对比实验.

为保证样本集的质量以及裂缝特征识别效果，在图像标注集制作前需进行裂缝图像初步筛选，保证裂缝特征的清晰度、特征对比度，但对于背景特别复杂的裂缝图像，不纳入标注样本集中.表2 的识别准确率是对应裂缝图像集合中算法识别出裂缝的数量与实际裂缝数量的比值.

表2 裂缝图像样本数据分类识别准确率Tab.2 Recognition accuracy of crack image sample data%

1） 隧道原始图像样本库直接进行分类识别实验时，训练准确率为88.0%，测试准确率为89.1%.

2） 二值图像样本库分类准确率相较原始图像样本库有一定的下降，主要原因是经过前处理操作后，隧道图像由三通道图像转换为一通道的灰度图.通过二值图样本进行识别，其特征灰度信息下降，图像数据计算时可提取的特征下降，对裂缝与伪裂缝、细小裂缝、噪声等特征辨识度不够.对于裂缝图像背景简单的情况，二值化识别率会提高，但适用性不够广泛.

3） 采用处理后裂缝外接矩形样本并对应提取其原始图像样本库，其裂缝信息完整，特征占比大，可提取的特征较多，分类识别训练准确率高达95.4%，测试准确率达94.0%，相较原始图像直接进行分类，准确率有明显提高.

4） 按照原始图像比例对裂缝外接矩形进行4∶3扩充后，提取的图像与裂缝外接矩形图像相比，图像尺寸长宽比例一致，效果最好，使图像尺寸比例对网络训练测试的影响降到最低，进一步提高了裂缝识别率，训练准确率达98.6%，测试集准确率达97.8%.

5） 引入传统的SVM (support vector machine)裂缝图像分类算法后，其训练准确率最高达89.0%，测试准确率最高达87.8%.隧道裂缝图像识别中，结合图像子区域自动提取标记和深度卷积网络的算法优于SVM 分类识别算法.

综上分析，结合传统图像特征识别算法，通过前处理进行裂缝图像子区域的自动提取实现样本数据的自动标注，不需要进行大量的人工标注，节省了样本制作时间，提高了检测效率和隧道裂缝图像的识别率.

本文提出的裂缝识别算法存在需要持续改进的问题：1） 在前处理过程中，对细小裂缝出现了一定的边缘断裂情况；2） 自动提取的裂缝子区域图像分辨率比原始图像小，出现裂缝识别中的分块识别现象；3） 原始图像中较长的裂缝，会被识别为几个裂缝特征片段识别出来.如图10 所示，原始隧道图像裂缝病害测试集识别结果，尽管有管线、接缝、螺栓孔等虚假裂缝噪声干扰，但本算法对裂缝特征都进行了准确地提取和识别.

图10 隧道图像裂缝病害测试集识别结果Fig.10 Recognition results of tunnel image crack test set

在复杂图像中，为了消除管线、接缝、疑似裂纹的噪声干扰，达到精准识别，故所标记的样本尺度较小，这在保证裂缝病害不被漏报和误报的条件下，产生了裂缝特征区域分块识别的现象.通过与隧道技术人员的交流，目前这种方式满足裂缝识别的需求，可保证较高识别率、较低的漏报和误报的情况下使用，代替人工实现裂缝的辅助识别.后续，在裂缝区域识别的完整性方面，将进行边缘链接和裂缝参数自动测量的算法研究，实现裂缝的智能化、完整信息检测.

5 结 论

本文完成了隧道裂缝图像采集与检测技术研究，提出了结合图像前处理、区域特征提取、裂缝样本自动标注和深度学习的隧道图像分类识别算法以及基于区域提取代替人工标注样本的方法.根据裂缝区域外接矩形建立样本图像，构造了3 种隧道图像样本库进行对比实验.综合分析隧道裂缝图像的弱信息量特点，在Caffe 中配置了改进的AlexNet 深度卷积网络，完成了裂缝图像样本对比实验、识别率分析与问题讨论.本文设计研制了轨道移动式隧道图像采集系统以及巡检车，通过实验采集并整理了真实隧道裂缝图像，建立了4500 张裂缝图像样本和1500 张测试图像，隧道裂缝图像测试集的识别率达到97.8%，证明了算法研究和采集系统的有效性.针对背景特征通常的隧道图像，使用本文算法进行分类识别验证.对于复杂特征干扰的隧道图像，特别是混合渗漏水、严重污渍覆盖的恶劣环境图像（本领域的一个难点），后续需要进行更深入的研究，建立更加丰富和数据充足的样本库来提高复杂恶劣图像中裂缝的识别率.