基于生成对抗网络的盾构隧道渗漏水检测

程小龙,胡煦航,张 斌

(江西理工大学土木与测绘工程学院,江西 赣州 341000)

1 引 言

渗漏水是盾构隧道安全危害最大的病害之一,盾构隧道渗漏水的位置通常是管片的接缝、管片自身小裂缝、注浆孔和手孔。盾构隧道渗漏水容易导致地下水侵入隧道,损坏其内部结构与其附属的管线,减少盾构隧道和附属管线的使用寿命[1],也容易引起水土流失、不均匀沉降等,从而影响民众出行安全。因此,对盾构隧道渗漏水快速精准的检测,是有效控制及整治盾构隧道渗漏水的基础[2]。近年来,深度学习[3]发展迅速,为盾构隧道渗漏水病害识别提供了研究思路。高新闻等人[4]提出了一种将FCN与视场柱面投影相结合的隧道渗漏水检测方法,提高了计算渗漏水面积的准确度。薛亚东等人[5]基于Faster R-CNN的深度学习框架,结合特征优化网络模型,对隧道渗漏水进行检测,能够提高单一病害识别的准确度。Xiong等人[6]将漏水图像分为六类,每类都提取深度特征用于图像识别,通过改进FCN并对隧道图像分类进行漏水识别。Huang等人[7]运用FCN网络模型,对裂缝、漏水两种危害采用两种不同的算法进行识别,提高了检测准确度和效率。同时为克服传统数字影像光照条件要求高等问题,Cheng等人[8]利用移动激光雷达的强度图像进行盾构隧道渗漏自动检测,同时获取盾构隧道的点云和强度信息,对原始强度数据进行距离效应校正,生成强度图像,基于全卷积网络(FCN)的深度学习网络结构VGG-19,实现强度图像的隧道泄漏准确检测。上述基于深度学习的方法都集中在监督学习领域,相较于传统的方法在一定程度上提升了检测、识别的准确性、精确度以及速度,但监督学习的方法想要获得良好的识别效果,就必须要有大量的标注训练数据。生成对抗网络(Generative Adversarial Network,GAN)[9-10]可标注少量样本数据实现图像的检测。V-GAN[11]是一种使用生成对抗训练生成精确的视网膜血管图的方法,在主流数据上达到了先进的性能,V-GAN原有任务是对视网膜血管进行语义分割,分割方法与分割形式和渗水检测任务相似。因此,为了在标记少量样本的情况下,实现盾构隧道渗漏水的检测,本文以LiDAR强度图像作为数据源,提出了一种基于改进V-GAN生成对抗网络的盾构隧道LiDAR强度图像渗漏水半监督语义分割网络模型,实现盾构隧道强度图像渗漏水的自动检测。

2 研究方法

针对原有V-GAN模型中生成器和判别器所运用的模型复杂度较低,难以适应盾构隧道渗漏水提取任务中复杂的环境,为提高模型的抗遮挡能力、分割完整性,本文在原有的V-GAN模型中,建立了一种Dense块作为编码器,残差块作为解码器的Unet[12]模型作为生成器网络,在Dense块之间加了转置层与空间通道压缩与激活模块[13],强调重要特征抑制无意义特征,并运用空洞空间卷积池化金字塔模块作为编码器与解码器之间的桥接,扩大感知范围。运用一种改进的深度残差Unet(Improved-ResUnet)作为判别器网络。

2.1 生成器网络结构

本文构建的生成器网络是由密集块与残差块组成的Unet(Dense-ResUnet,DRUnet),如图1所示。在编码器部分使用密集单元替代了原有的单元,在每一个密集单元之间加入scSE模块,利用对通道以及空间的挤压重新校准特征图,再对校准之后的特征图进行激活,激活之后经过转置输入下一个密集块。利用ASPP(空洞空间卷积池化金字塔)模块作为桥接部分,扩大感受野,有效捕获多尺度信息,使得分割更加完整;如图2所示,该模块使用具有不同采样率的多个并行空洞卷积层,为每个采样率提取的特征在单独的分支中进一步处理,并融合以生成最终结果。通过不同的空洞率构建不同感受野的卷积核,用来获取多尺度信息。在解码器部分使用残差单元替代了原有的上采样部分,简化网络训练,在提升性能的同时能够减少参数量。

图1 DRUnet生成器网络结构

图2 ASSP模块的功能

2.2 判别器网络结构

本文构建的判别器网络是如图3所示,在原有Unet(ResUnet)模型中,首先用卷积与空洞卷积并行结构替换原有的残差块(Res block),提高信息传递能力;然后在密集块之间加入转置层和空间通道压缩与激活(scSE)模块,对空间和通道进行重新校准,强调重要特征抑制无用特征;最后利用空洞空间卷积池化金字塔(ASPP)模块连接编码器与解码器,提取多尺度特征。改进的深度残差Unet(Improved-ResUnet)具有卷积与空洞卷积并行结构组成的编码器,普通卷积与锯齿状叠加的空洞卷积使得网络模型的感受野能够覆盖整个输入图像而且不会出现缺失的现象,增强了空间相关性;由残差块组成的解码器能够简化网络训练,使得梯度爆炸问题[14]得到了缓解;在解码器与编码器模块之间加入了空间通道压缩与激励模块、空洞空间金字塔池化[15]模块,从空间与通道上对输出特征进行校准,增强有意义的特征忽略无关特征。

图3 Improved-ResUnet判别器网络结构

在训练中生成器和判别器很难达到同步,为了使得网络训练更稳定,在判别器中本文讨论运用Leaky Relu和Tanh激活函数替换原有网络中的Relu与Sigmoid激活函数。

为了训练判别器D做出正确的判定,则希望D(x,y)能够最大化,同时需要最小化D(x,G(x))。生成器通过产生于真实数据无法区分的输入结果来防止判别器做出正确的判定,最终目标是从生成器获得真实的输出,因此目标函数被定义为目标的极小与极大化。同时分割任务还可以添加损失函数来运用地面真值图像,损失函数能够惩罚(penalize)地面真值与输出结果之间的距离。在本实验中运用二元交叉熵函数[16]来促进目标的识别与分割。因此,在综合了GAN的目的与损失函数后,将目标函数定义为:

(1)

其中,λ表示目标函数的平衡因子,在本文中遵循原文的设定,将λ设置为10。

综上,本文所设计的DRUnet-Improved-ResUnet(DRUnet-IRUnet)生成对抗网络整体结构如图4所示。将少量的盾构隧道渗漏水图像输入生成器网络中,生成与输入图像大小相同的渗漏水提取图像。判别器通过结合地面真值来确定所输入判别器的图像是来自于生成器所生成的还是地面真值,根据判别的结果交替的更新、训练生成器与判别器,最后实现收敛。

图4 本文改进的DRUnet-Improved-ResUnet生成对抗网络模型结构

3 实验结果与结论

3.1 数据集选择

本文利用改正后强度数据进行实验所需数据集的制作。首先,将改正后的强度图像进行分割,分割大小为224×224,并通过Labelme软件对分割后的强度图像进行标注。标注分为一个前景渗漏水区域和一个背景区域两类,图像中渗漏区域被标记为白色,同时背景区域被标记为黑色以便于区分,标注的原始强度图像为1000张。首先选取500张渗漏水强度图像作为训练数据集,之后减少输入数据集至200张,最后减少至100张,以验证本文所提出的生成对抗网络在人工标记少量样本的情况下,对盾构隧道强度图像渗漏水半监督语义分割的有效性。

3.2 模型训练

本文的算法在win10环境下采用python开发,采用的框架是Keras和Tensorflow。算法中通过调用图像处理器(Graphics Processing Unit,GPU)和专用深度神经网络加速库(CUDA deep neural network library,cuDNN)进行快速并行计算。计算机硬件配置为Intel Xeon Gold 5122@3.60 GHz 双处理器、128 GB内存和NVIDIA Quadro P5000显卡。模型的损失函数为二元交叉熵函数,在训练过程中使用Adam优化算法进行优化,固定学习率为2×10-4,β1=0.5加快收敛,批大小设置为8。

3.3 预测结果与分析

本文使用受试者操作特征曲线下面积(Area Under Curve for Receiver Operating Characteristic,ROC-AUC)、精度和召回曲线下面积(Area Under Curve for Precision and Recall Curve,PR-AUC)来评估本文所改进的网络的性能。在本文所建立的盾构隧道渗漏水数据集上,本文将所提出的生成对抗网络与原模型V-GAN以及DRUnet作为生成器,FCN作为判别器的生成对抗网络(DRUnet-FCN-GAN)进行了对比,采用了500张图像作为训练集输入训练,运用100张未参与训练的盾构隧道渗漏水图像进行测试验证,表1显示了所提出网络与V-GAN、DRUnet-FCN-GAN的比较结果,更优的结果加粗表示。

表1 不同的模型在500张盾构隧道渗漏水

从对比表中可以看出,DRUnet-FCN-GAN、DRUnet-IRUnet-GAN所得到的受试者操作特征曲线下面积、精度和召回曲线下面积与V-GAN相比都有不同的提高,定量的证明了DRUnet-IRUnet-GAN良好性能,同时当样本数量为500时,DRUnet-FCN-GAN相比于DRUnet-IRUnet-GAN能够达到更好的效果。

从定量的角度分析来看,本文所提出的网络模型在评价指标上已经优于原网络V-GAN。图5显示了三组实验在测试集图像上对于渗漏水提取的可视化对比。从图中可以看出,当图像中存在电线时,由于电线呈片状横向的遮挡,使得渗漏水的区域若隐若现,原网络V-GAN在电线遮挡较多的区域对于渗漏水区域的提取不准确,甚至有些情况下出现了提取断裂无法提取到渗漏水区域的问题。相对于原网络V-GAN、DRUnet-IRUnet-GAN具有一定的提升,对于渗漏水区域提取的整体性要优于原网络V-GAN,对于电线的遮挡具有一定的抵抗能力,但是在对于裂缝的干扰的情况下还具有一定的优化空间。

图5 在部分测试集上提取可视化结果

为了进一步研究本文所提出的网络模型的性能,减少输入数据集至200张图像,运用100张未参与训练的盾构隧道渗漏水图像进行测试验证,表2显示了所提出网络与V-GAN、DRUnet-FCN-GAN的比较结果,其中更优的结果加粗表示。

表2 不同的模型在200张盾构隧道渗漏水数据

本文所改进的网络虽然在两组精度指标上稍微也有下降,但是与V-GAN、DRUnet-FCN-GAN相比,依然有不同的提高。定量的证明了在只有200张图像的少量样本情况下DRUnet-IRUnet-GAN检测性能最佳。

在可视化的对比中,从图6可以看出,对于渗漏水比较严重或者作为漏水点,会使得点云的强度值更大,投影到二维平面时图像上出现RGB值更大的区域,与周围渗漏水区域RGB值不相同对原网络V-GAN的判断造成了干扰,同时原网络V-GAN对于与隧道裂缝重合的线状渗漏水痕迹也造成了部分渗漏水情况无法识别的情况。本文的方法对于渗漏水比较严重区域或者漏水点、线状渗漏水痕迹的识别与分割能够做的更好。

图6 在部分测试集上提取可视化结果

最后本文将输入生成对抗网络的训练数据减少至100张,表3展示了在100张训练集上V-GAN、DRUnet-FCN-GAN和本文改进网络的对比结果,其中更优的结果加粗表示。

表3 不同的模型在100张盾构隧道渗漏水数据上的提取结果对比

当数据减少到只有100张时,本文提出的DRUnet-IRUnet-GAN所得到的受试者操作特征曲线下面积、精度和召回曲线下面积与其他两组网络相比都有不同的提高。但与500张训练数据集相比,虽然在ROC-AUC指标上下降的不多,但是在PR-AUC上下降了大约10 %。

图7展示了三组实验的可视化对比,由于样本的减少,使得训练集中可以学习的特征数量也相应的减少,三组网络在对于大面积渗漏水区域的识别中展现的能力不足,特别是对渗漏水内部识别会出现缺损的情况。但是对于横置管道的干扰,三种网络都能很好的识别并且削弱了这种干扰。虽然DRUnet-IRUnet-GAN展现了三组网络中对于渗漏水区域识别的相对比较完整的效果,但是在面对电线的干扰时却出现了误判,存在识别中断的情况。

图7 在部分测试集上提取可视化结果

3.4 讨 论

表4展现了三组生成对抗网络的可训练参数量。从表中可以看到,DRUnet-FCN-GAN、DRUnet-IRUnet-GAN、V-GAN的总参数量依次递减。V-GAN、DRUnet-FCN-GAN、DRUnet-IRUnet-GAN训练所需要的时间(以100张训练数据集为例)依次递增。这是因为DRUnet-FCN-GAN中虽然网络结构参数量最多,但是参数量主要在判别器网络FCN中,而GAN的训练方式是首先训练判别器,使得判别器具有一定能判别能力之后再训练生成器,训练生成器网络直到生成器所生成的结果使得判别器难以判定时再次训练判别器。而DRUnet-IRUnet-GAN网络中,生成器与判别器的参数量相差不多,所以使得在GAN的训练中生成器与判别器的交替训练次数较多,所以使得训练时间要多于V-GAN、DRUnet-FCN-GAN。

表4 三组模型参数量与运行时间对比

4 总 结

针对现有渗漏水检测方法数据采集效率低、现场采集环境要求高、训练数据样本量大等问题,本文提出了基于改进V-GAN的盾构隧道强度图像渗漏水提取方法。在原有的V-GAN模型的基础上,通过改进生成器网络以及判别器网络,得到DRUnet-IRUnet-GAN生成对抗模型,进行对抗训练。实验结果表明,当输入500张、200张、100张少量样本时,本文所提出的网络模型对渗漏水区域有着较好的识别,在精度评价指标上都要高于V-GAN,同时对于背景物如电缆线、支架,螺栓孔等干扰具有一定的鲁棒性。同时当样本数量为200时,本文方法在样本数量和检测效果及检测精度上达到了相对最优。本文实验对于渗漏水痕迹的识别与分割能够到达良好的效果,但是对于渗漏水区域的边界分割精度还需进一步提升。下一步研究工作将致力于优化模型结构,减少模型参数量,缩短模型的训练时间,进一步提升渗水区域边界分割精度。