基于深度卷积神经网络的隧道围岩形变三维重构方法

张晓光

【摘要】    为了实现非接触、低成本隧道围岩形变测量，本文利用单目相机拍摄二维图像，提出了基于深度卷积神经网络的隧道三维重构方法。将二维片图像关键点位置看作潜在变量，利用数据挖掘进行特征提取，通过深度卷积神经网络仿真其不确定性;未知的三维形状通过稀疏表示建立模型，三维参数估计通过期望最大化挖掘算法进行，实现了隧道的可视化三维模型重构，为隧道围岩非接触式测量及预警研究提供参考。

【关键词】    深度卷积神经网络    围岩形状    深度学习    三维重建

引言：

针对施工期隧道围岩形变量测，传统的解决方案包括激光测距、反射性标记物、接触式传感器等技术，如利用ATR全站仪[1]、压力分布统计[2]。这些技术要求定制化设备、现场安装调试复杂，灵活便捷性有限。相比之下基于单目RGB图像构建三维隧道模型，实现非接触式形变测量，具有成本低、实时性强等优点。

在预测隧道围岩形状变化时，目前多通过搜素示例数据集的判别式，或者通过直接从历史数据库到围岩关键点位置的判别式学习映射图实现。但大多数研究中，均利用从单个相机捕捉的图像序列中恢复三维非刚性形状的一类因式分解方法，即非刚性运动结构，以及基于已知架构的围岩形状恢复模型。通过假定机器学习识别的二维关键点位置，通过二维形状捕捉来自动提供输入关键点或联合解决二维和三维形状估算还鲜有研究。

一、模型算法

研究描述隧道三维形状、二维形状和图像之间关系，提出了一种介于图像辨别与三维重建之间三维围岩形状仿真算法----TunnelCap算法。该方法考虑了基于图像的二维部分位置估算，以及基于模型的三维形状重建，针对拍照图像的畸变、阻挡，以及重建鲁棒性的不足，向三维形狀和视图参数加入了时间平滑性特征参数。图1给出了本文提出算法流程。

在给定输入图像之后，可以用深度卷积神经网络生成二维关键点热图，并结合期望最大化数据挖掘EM算法，这些热图与三维围岩形状的稀疏模型结合起来，恢复了三维形状的序列，从而构成三维模型。

图中为了全面考虑不确定性，这个问题是在概率框架下考虑的，其中将二维关键点置模型化为潜在变量，因此在EM算法中被边缘化。同时在三维中加入了时间平滑性特征，结合二维模型输出形成基于深度卷积神经网络的隧道围岩三维空间形变模型。

1.1三维形状的稀疏表示

三维围岩形状由一组p关键点的三维位置表示，针对第t帧，由St∈R3×p所表示。为了减少三维重建的模糊性，假定一个隧道三维形状可以被表示为预定义的基本形状的一种线性组合：

其中Bi∈R3×p表示一种基本形状，cit表示对应的权重。本文没有使用基本形状集很小的传统主动形状模型，而是使用了能够模型化围岩形状大量变动性的一种稀疏表示，也就是说，一个含有相对大量基本形状k的过完备字典{B1，...，Bk}，其中cit系数被认为是稀疏的。在本文后续部分，ct表示第t帧的系数矢量[c1t，...，ckt]T，而C表示所有ct构成的矩阵。

1.2 二维和三维形状之间的依赖性

本文通过相机视角模型表达三维形状其成像的二维形状之间的依赖性：

其中，Wt∈R2×p表示第t帧中的二维形状，Rt∈R2×3和Tt∈R2分别表示相机旋转和平移。本模型中取消了视图模型中的缩放参数，是因为三维结构St自身就可以缩放。在后面，W，R和T分别表示所有t的Wt ， Rt和Tt集合。

考虑观察噪音和模型误差，给定三维形状参数下的二维形状条件分布通过以下模型表：

其中θ={C，R，T}是所有三维形状参数的并集，而损失函数定义为：

其中，h‖·‖F表示弗罗贝尼乌斯矩阵范数。公式（3）中的模型说明，如果给定三维形状和相机参数，则每个关键点的二维位置呈高斯分布，其均值等于三维对应的投射。

1.3 形状和图像之间的依赖性

给定隧道围岩二维形状后，假定三维形状参数的分布有条件独立于图像数据。因此，θ的概率函数可以分解为：

其中I={I1，...，In}表示输入图像，Pr（W|θ）可以从公式（3）中得到。虽然直接获得Pr（I|W）比较困难，但是通过假定W和I具备统一的先验，则Pr（I|W）就与Pr（W|I）成比例，而则Pr（W|I）可以从数据中获得。

给定图像数据后，可以假定每个关键点的二维分布只取决于当前图像。因此，Pr（I|W）∝。

其中，wjt表示第t帧中关键点j的图像位置，而hj（·;Y）表示图像Y到关键点位置的概率分布的映射图（称为热图）。对于每个关键点j，其热图分布通过深度卷积神经网络CNN从训练数据中得到。

二、 模拟仿真

2.1 数据集的获取

在网上寻找包含隧道开挖阶段、隧道围岩二衬阶段施工等图像的开源数据集，并对此进行了机器学习和仿真模拟。

本文所有实验是在具备Intel i7 3.4G CPU，8G RAM，GeForce GTX Titan X 6GB GPU配置的台式计算机上进行的，大数据结构采用Hadoop的Hbase列存储。

2.2 评估矩阵

给定一组估计的三维关键点位置和同样坐标里对应的地面实况位置，每关键点误差定义为所有关键点的平均欧几里得距离：

上述矩阵取决于所估计的结构的绝对形状，包括大小、平移和方向。针对本文方法得到的重建进行缩放，使得平均长度等于所有训练主体的平均值。

重建误差定义为相似转换决定的每个关键点的三维误差：

其中指的是相似转换，可以通过Procrustes方法获得最优参数。三维重建误差广泛用于从位移信息中恢复三维场景结构领域，以期评估恢复后结果的准确性。

正确部分百分比（PCP）定义为：

其中，xi和yi是第i个部分两端点的坐标，和是对应的估计值。和分别表示指示函数和阈值。PCP矩阵测量位置正确部分相对给定阈值的百分比。

2.3 隧道围岩三维重建及可视化描述

本文所提出的重建算法可以在相当大程度上通过利用形状先验、整合时间平滑和模型化不确定性而修正误差，并进行围岩三维重构。

利用本文提出方法重建的每个三维形状都缩放到使得其平均长度等于训练形状的平均长度，然后根据根位置利用平移方法与围岩现场图像对齐。考虑了形状和时间平滑先验后可以修正二维热图的误差。每个图给出了工程现场的六个可视化示例，从左到右的图像对应于原始图像、热图图像、根據热图响应通过单独定位每个关键点获得的模型形状、关键点空间化形状、本文提出的EM算法重建模型形状、在新视点中可视化的三维形状模型结果。隧道围岩三维重建可视化图像如图2和图3所示。

可视化结果表明围岩CNN三维重建具有很高的自由度和修复遮挡的特性，其视觉末端也易于定位。

同时，利用在数据集上预先训练，又在数据集上进一步微调的沙漏模型作为二维形状探测器，使得结果有了很大改善。

三、结束语

本文提出了一种从二维图像中重建三维形状的方法，它是一种基于深度学习二维回归算法和一种三维时间平滑先验方法的新型综合应用方法。这种算法中的对关键点的考虑，综合了二维探测的判别式功能，三维形状模型的表达性和通过整合时间信息的规则化方法。在实践中，可以通过替换本文提出方法中的条件元素，方便地结合替代性关键点探测、形状表示和时间模型。实验证实三维几何先验和时间连贯性不仅有助于三维重建，还能改善二维关键点定位。通过围岩图像大数据集的模拟仿真，表明本文所提出的方法在准确性、可视化等方面优当前工程使用的测量方法，具有良好的收敛性、多样性和可扩展性，可以有效解决此类复杂难题。

参  考  文  献

[1]刘九阳，杨凤芸. TM30测量机器人ATR功能的功效及精度[J].辽宁工程技术大学学报（自然科学版）.2015.11（3）：275-279.

[2]李鹏飞，赵勇. 基于现场实测数据统计的隧道围岩压力分布规律研究[J]. 岩石力学与工程学报.2013.07（2）：1392-1399.