一种基于关键信息监督的隧道雷达数据衬线识别算法

宋恒，耿天宝，王东杰，张宜声

中国中铁四局集团有限公司，管理与技术研究院，安徽 合肥 230000

引 言

随着我国综合国力的提升和城市化建设的推进，为满足人们高效的出行生活，国家在以道路、铁路、空运和海运为主的交通领域进行大规模的投资建设[1]。由于我国地理环境山区众多，在“一带一路”倡议、川藏铁路等新时代“世纪工程”的驱动下，为减少绕山、陡坡建设的问题，铁路隧道工程得到快速发展，城市地下轨道交通在优化城市布局、促进社会和经济发展等方面也发挥着不可或缺的作用。据统计，截至2021 年年底，中国铁路运营总里程约15.1万km，而其中投入运营的铁路隧道有17,532座，总长约21,055km,在建2,418 座，总长约6,414km,规划6,226 座，总长约为15,266km[2]；截至2021 年年底，我国运营线路总长度达9206.8km，其中78.3%为地铁运营线路[3]。

隧道作为地下隐蔽工程，易受到地下水的侵蚀性和各种静动荷载作用，在运营期间出现裂缝、渗漏、衬砌变形等多种病害[4-5]。随着隧道运营时间的增加，衬砌结构的病害会不断恶化，不同诱导因素对结构损伤的影响程度不断加剧。如隧道衬砌厚度不足将产生应力集中，造成开裂掉块等病害，危及高速列车运营安全。探地雷达(Ground Penetrating Radar, GPR)因其穿透力强、探测深度大、速度快、分辨率高、无污染、无辐射等优点，目前广泛应用于隧道质量检测中，包括数据采集和图像分析两个方面的内容。由于隧道内部地质条件复杂、人工操作偏差大、干扰因素多等特点，隧道雷达波图像（B-scan）面临判识困难的问题。

基于此，本文采用深度学习的方法，研究隧道雷达波的衬砌线智能识别方法，解决人工主观因素影响的问题，实现快速有效地计算衬砌厚度，避免欠厚造成的隧道安全问题。

本文的主要贡献概述如下：

（1）提出使用两张热图共同监督关键点的预测，大大提升了网络的收敛速度；

（2）基于关键点检测模型重新设计了损失函数，使得网络可以直接输出拟合的衬砌线；

（3）本文方法在实际检测中，可准确预测衬砌线关键点，并平滑拟合所有衬砌线。

1 相关工作

衬砌线识别是隧道工程检测中雷达图像判识的关键步骤，对于衬砌病害分析具有重要意义。本节围绕目标识别、边缘检测及不规则线段检测方法简要梳理相关工作。

衬砌线的雷达图像识别属于目标识别领域，可分为传统识别方法和基于深度学习识别方法。传统方法主要根据线条颜色、形状等特征进行边缘识别，如Hough 变换法[6]、基于连接的算法[7]等。1989年，ZHOU等[8]从4个不同方向扫描图像，通过因果自回归模型表示局部窗口中的像素，根据梯度变化规则检测边缘，将检测到的4个边缘进行连接，获取物体边缘特征。1999年，Galambos 等[9]提出累计概率Hough 变换，提升了线段检测的实时性。2004年，韩秋蕾等[10]基于Hough变换，结合全局和局部阈值去除虚假尖峰，利用动态分组原则确定线段端点，实现了复杂背景中线段特征的提取。2009年，林玉池等[11]利用Hough变换峰值参数逆变换提取线段特征，实现对直线的准确提取。2022年，张培宣等[12]基于Hough 变换对海冰反转过程中的表面轮廓线进行识别，提取冰面厚度相关参数。

基于深度学习的目标识别方法进一步分为锚框检测法和无锚框检测法。锚框检测法需要人工依据数据特性设定锚框尺寸，泛化能力差；无锚框检测法是通过预测物体的关键点进行集成或物体内部点到物体边界偏移量进行检测，其中，基于内部点的方法主要应用于人脸识别任务中[13]。2018年，Law等[14]提出基于关键点配对(左上角和右下角)的检测方法CornerNet，使用一阶Hourglass-104[15]网络预测目标的热图角点集合，通过引入角点池化和非极大值抑制实现角点定位，但由于全局信息的缺失会导致错误边框的产生。2019 年，Zhou 等[16]基于极值点设计检测器ExtremeNet，通过预测上下左右4 个极值点热图和中心点热图，获取大量物体外观信息。Duan等[17]基于CornerNet 提出CenterNet 模型，通过引入中心关键点的热图，利用三元组方法实现对目标的精确定位。2020 年，Law 等[18]提出Corner-Net的高效版本CornerNet-Lite，先从低分辨率输入中快速预测物体候选区域，再从高分辨率候选区域精确检测物体，大大提升了CornerNet 推理的高效性。2022年，林林等[19]提出用于热图回归的损失函数Heatmap Wing Loss(HWing Loss)，解决了原始损失函数训练热图回归网络精度不高、收敛速度慢的问题。

伴随神经网络技术不断发展，边缘检测领域呈现出两个阵营：传统检测方法和基于深度学习的检测方法。传统检测方法主要基于一些低级特征来预测边界，如Sobel算子[20]、Robert算子[21]、Laplacian 算子[22]、Canny 算子[23]、统计边缘[24]、概率边界[25]、结构化边缘检测算法[26]等。传统检测方法取得了一系列进步，但是边缘定位、噪声抑制、定位精度等方面表现欠佳。深度学习领域，Xie 等[27]提出整体嵌套边缘检测(Holisticallynested Edge Detection,HED)，作为首个端到端网络架构，拥有效率高性能好、结构紧凑的优点，缺点在于计算成本较高，后续涌现出许多优秀的模型，如Relaxed Deep Supervision(RDS)[28]、Crisp Edge Detector (CED)[29]和Deep Structural Contour Detection(DSCD)[30]等在不同任务中取得领先的效果。

关键点检测方法分为基于坐标(coordinatebased)、基于热图(heatmap-based)、基于热图和偏移(heatmap and offset based)的方式，基于坐标利用全连接层直接回归坐标点及对应的置信度信息，基于热图通过预测关键点的响应，在各通道上选取置信度最大值对应的坐标点基于热图和偏移的方法是在热图回归基础上增加坐标偏移量。关键点检测已广泛应用于人脸[31]、人体[32]、手势[33]、服装[34]、车道线[35]等检测任务中，衬砌线的识别与车道线、不规则线段检测具有相通性。2004 年，Wang 等[36]根据B-Snake 模型，通过控制一簇控制点来描述曲线对车道线进行拟合，实现车道线的检测和跟踪。2009 年，Shi 等[37]将道路图像划分为若干像素块，判断像素块内是否包含车道线，对包含车道线的像素块用Hough变换进行线段检测，最后将所有检测到的线段连接构成车道线。2011 年，Wang 等[38]利用小波变换对车道线边缘进行检测，然后将边缘进行连接得到完整车道线。2020 年，Ko 等[39]将车道线图像划分为一个个网格，在网格中定位车道线的关键点，最后通过后处理方法拟合关键点，实现车道线的检测。2022年，翁佳昊等[40]提出基于路径搜索的车道线检测算法，提取车道线特征点构成点集，然后对同一点集内的点进行曲线拟合，得到车道线。2011年，Li等[41]利用菲涅尔反射系数和衰减系数，开发了一种自动识别衬砌层和估计二衬层厚度的方法。2022 年，Wang 等[42]基于旋转区域可变形卷积神经网络(R2DCNN)，实现了探地雷达图像中任意方向的缺陷、钢筋、衬砌的自动识别方案。

2 方法原理

本文所提出的基于雷达数据隧道衬砌线识别算法是基于探地雷达采集到的雷达B-scan 图像，通过图像处理、关键点检测、曲线拟合的方法，实现隧道雷达波图像（B-scan）中衬砌线的自动判识。

2.1 衬砌线识别问题定义

对衬砌的典型雷达影像特征进行分析，可知衬砌雷达影像呈现类似不规则带状线形态，位于拱架上方，如图1(a)所示，为切分后的雷达B-scan影像片段。考虑到线可以分解为点集，本文采用若干点标识出衬砌线的关键特征，如图1(b)所示。通过网络识别出衬砌关键点，即可拟合出衬砌线。本文采用热图法的关键点检测模型设计本文算法。

图1 衬砌雷达影像Fig.1 Lining radar image

不同于已有热图法，本文在网络训练的前10轮过程中，用两张热图学习一个关键点信息，其中一个用于描述第i个关键点KP信息，一个用于描述第i个关键点周边8 个点的信息，通过周围点信息与该关键点之间的位置矢量进行监督，如图2所示，使网络快速收敛至一定范围。在10轮结束后，去掉此分支，只计算各关键点间的位置矢量关系，对关键点位置信息进行准确预测。

图2 关键点KPi及其周围点的位置矢量图Fig.2 Vector diagram of the position of the key point KPiand its surrounding points

2.2 整体架构

如图3所示，隧道衬砌识别方法主要包括两个阶段：关键点预测和曲线拟合。其中，关键点预测是对输入主干网络的雷达B-scan 图像进行特征提取，然后根据关键点检测模型进行关键点预测。在训练过程中，前10个epoch网络会在输出每一个关键点的heatmap 基础上，额外输出关键点周围点的heatmap，通过周围点位置信息的约束力，加速网络的收敛，10 轮之后外围点信息去除，仅保留关键点预测支路。得到所有衬砌点准确位置信息后，根据关键点集进行曲线拟合，得到完整衬砌线。

图3 隧道衬砌识别算法整体框架Fig.3 Overall framework of the tunnel lining identification algorithm

2.3 网络结构

本文模型包括关键点检测模型与曲线拟合模块，其中，关键点检测模型细分为图像关键点特征提取和关键点坐标回归。

图像关键点信息特征提取网络结构如图4所示，由卷积层、激活层、池化层和反最大池化层组成，考虑到算法训练的反向传播过程中梯度消失的问题，使用Resnet残差连接方式保证参数可以区分。网络的层级数量N可根据训练精度和效率进行调整，本实验中N为6。

图4 特征提取模块结构图Fig.4 Structure of the feature extraction module

关键点坐标回归的主要任务是处理输出的N个特征图热图与N个关键点坐标的对应关系，同时进行二者之间损失值S(p)的计算，其结构如图5所示。关键点坐标回归模块使用differentiable spatial to numerical(DSNT)结构，其作用为让梯度流可以从坐标点流到高斯热图上，而不增加额外参数和计算量。对于特征提取模块输出的特征热图首先进行Softmax 归一化操作，得到只有一个峰值的离散概率分布，将此离散概率分步输入至DSNT模块后可直接获取坐标点信息。

图5 关键点坐标回归模块结构图Fig.5 Structureof the key point coordinate regression module

图6 关键点位置与中心点位置矢量图Fig.6 Vector diagram of true key point locations versus vector diagram of possible predicted key point locations

曲线拟合选用BP 神经网络进行数据拟合，将关键点检测模型输出的关键点X=[x1,x2]作为输入，分别乘以参数θ0，θ1，…，θM，作为偏置项，记，n=1，i=1，2，…M，表示隐藏层第i个神经元的输出，采用Relu 作为激活函数，去除网络输出的线性化。最终，整个网络的输出为标记了衬砌线的雷达B-scan图像。如图3中的输出所示。

2.4 损失函数

本文网络的损失包括坐标回归正则项，即坐标的真实值和预测值之间的欧几里得损失值记为，通过热图计算的Jensen-Shannon分布正则损失，记为，周围点和预测点坐标之间的相对位置损失记为，最终关键点预测网络的优化目标记为Loss。则Loss可表示为：

曲线拟合的损失采用均方误差值，记为LMSE，可表示为：

最终，整个网络的优化目标为L=Loss+LMSE。

2.5 对抗扰动训练

在对抗扰动训练是在模型训练中，有意在关键点预测之后输入神经网络拟合曲线的向量矩阵中加入图像噪声扰动，并训练模型在非扰动和扰动条件下同时达到损失最小。不加扰动的损失函数表示为Lp，如下式所示：

其中，λp代表权重平衡因子；MMD()· 表示最大平均差异损失；MSE()· 表示均方误差损失；E()·表示期望值。

增加扰动的损失函数表示为：

故总损失函数表示为：

其中，λa为扰动平衡因子。

3 实验结果

3.1 数据准备

从全国各项目段和历史库存数据中，随机抽取足量衬砌雷达图像，经隧道项目专家补充、认定后，数据基本覆盖所有的实际情况，共计4,799张。标注过程使用Labelme工具，标注若干连续关键点构成线段以此标记衬砌线边缘，参考图7、图8中人工标注结果，最终标注关键点总数达到50,422 个。实际衬砌结构在雷达图像上具有一定的模糊性和易混性，即轮廓线不明显、噪声干扰、与脱空混淆等，如图9，标注出的脱空区域与衬砌结构形态类似。整个标注工作着重注意关键点和轮廓线的距离和转折拐角是否契合，在相关专家的协同、审核下高质量完成。

图7 不同网络关键点检测效果Fig.7 Effect of detection of different network critical points

图8 不同网络预测关键的曲线拟合效果图Fig.8 Plot of curve fitting results for different network prediction keys

图9 脱空结构示意图Fig.9 Schematic diagram of the separation

针对标注好的数据，以每个关键点为中心，按高斯的概率形式表现，生成对应的热力图。将整理制作的衬砌雷达图像按照3:1:1的比例随机划分为训练样本、验证样本和测试样本，对本文模型进行训练和测试；通过比对目前先进的检测方法效果，证实本文所提的雷达图像衬砌线智能判识方法的有效性。

3.2 训练过程

整个训练过程共用到4 张NVIDIA Tesla V100显卡。一次训练花费12小时左右。各模型收敛情况见图10，迭代训练120 轮左右模型收敛，相较其他两种方法训练结果，本文方法拥有更小的损失，且收敛速度略有加快。

3.3 测试分析

针对测试数据，分别用CenterNet、CornerNet及本文方法进行关键点检测，并将关键点图像进行输出，部分结果如图7所示。

本文提出的网络所预测的关键点经专家评判，最接近衬砌线的关键点，其他网络均存在不足。如CenterNet 模型预测的关键点疏密不均，有些应该判为关键点的位置被忽略，甚至出现预测错误的情况，如第2 排图像所示，对于预测点数为12的情况，有6个点预测在非衬砌线的位置上；CornerNet 模型相较CenterNet 而言，预测点的情况略胜一筹，但是衬砌线的关键点存在上下浮动略大的情况，且有时也会出现错误预测情况，对于预测点数为12个的情况，衬砌线被预测出8个点，这些点均匀分布在衬砌线上，但是有4个关键点被预测在非衬砌线位置；而本文所提出的网络，能够很好地对衬砌线关键点进行预测，所有关键点均匀分布在衬砌线上，本文所提方法对衬砌线关键点的预测效果最佳。

图8 展示了各网络所生成的关键点及曲线拟合的效果，最终衬砌线的拟合效果取决于关键点预测的位置信息，关键点稀疏将导致曲线不接近真实衬砌线条，对于同一张输入图像，本文方法所拟合的衬砌线最贴合真实衬砌线条，而其他两个网络均存在线条不平滑、与真实衬砌线存在较大差距等缺点。

为进一步测试模型性能和稳定性，采集全新的隧道项目数据，对网络进行定量判定。手动标注500 张雷达B-scan 图像，分别利用CenterNet、CornerNet 及本文网络进行关键点的预测，计算预测关键点坐标与真实点之间的曼哈顿距离、欧氏距离、切比雪夫距离。统计分析各方法下距离误差值对应关键点个数的关系，绘制图11 折线图。横坐标表示误差的像素距离，纵坐标为对应关键点个数，为方便绘图，将误差超过10个像素的关键点统一计入误差为11个像素的关键点总数。经分析，基于CenterNet 方法的折线顶峰偏右，基于CornerNet方法的折线顶峰居中，基于本文方法的折线顶峰偏左，基于本文方法的预测结果相比之下拥有更小的误差。

图11 不同距离误差与相应关键点个数统计图Fig.11 Statistics on error at different distances and the number of corresponding key points

统计所有距离误差值，计算出详细各距离的均值，结果如表1所示。

表1 预测关键点与真实关键点距离误差表Table 1 Error of distances between predicted and true key points

对于衬砌线整体效果定量判定，在已标注衬砌线按水平方向100等分选取采样点，再依据水平坐标在预测衬砌线上选取采样点，计算并统计预测采样点坐标与真实采样点之间垂直方向的像素点距离，不同距离误差对应采样点的个数见图12，图中横坐标表示垂直方向上的距离误差。整体而言，本文方法拥有更小的距离误差。

图12 不同垂直距离误差与相应关键点个数统计图Fig.12 Statistics on errors at different vertical distances and the corresponding number of key points

统计所有垂直距离误差值，计算出各方法的误差均值，计算结果如表2所示。

表2 预测采样点与真实采样点垂直距离误差Table 2 Error of vertical distances between predicted and real sampling points

综上所述，本文方法所预测的关键点较其他两种方法更接近在于真实坐标信息，本文所提网络的衬砌线识别效果最佳，优于其他网络模型。

4 总结

通过将采集的探地雷达信号转换成B-scan图像后，经过图像的预处理，利用关键点检测模型和曲线拟合网络，对每一张输入的雷达图像进行关键点预测，通过关键点及关键点周围的信息点对网络进行监督，以实现前十轮训练过程的快速收敛。采用DSTN模型，通过对高斯分布的热图进行监督，既提升了预测精度，成为一种全微分模型的热图监督法，又具备直接坐标回归方式的空间泛化能力，兼顾了坐标回归和热图回归两种方式的优点，实现衬砌线的智能判识。通过设计对比实验，证明本文所提方法的有效性，在实际测试时，能够准确测得所有B-scan图像中的衬砌线，在工程应用上具有极大的价值。接下来可对网络模型进行多任务设计，比如用分割任务监督关键点识别任务，进一步提升模型有效性。

利益冲突声明

所有作者声明不存在利益冲突关系。