三维重建技术在通信铁塔信息数字化领域的应用研究

兰文辉，沈 涛，齐少安，李广彬，刘健苗（中讯邮电咨询设计院有限公司郑州分公司，河南郑州 450007）

1 背景

2021 年政府工作报告提出：“加快数字化发展，打造数字经济新优势，协同推进数字产业化和产业数字化转型，加快数字社会建设步伐，提高数字政府建设水平，营造良好数字生态……”报告中的7个“数字”勾勒出“数字中国”的丰富内涵，数字化是“数字—信息—智能”整体框架的基础和核心。

数字化已经是不可阻挡的大潮，面向未来，运营商及中国铁塔也计划将传统“通信塔”升级打造成为具有数字化能力的“数字塔”。作为数字经济、智慧社会的战略性基础设施，“数字塔”将服务千行百业，赋能数字经济发展，助力社会治理体系的现代化［1］。

目前通信铁塔数字化面临的主要问题是数据采集困难。铁塔、平台、抱杆、天线等天面信息，均采用人工草图、照片、记录等方式进行记录，无法对塔上的情况做准确、详实采集，采集后的信息需要大量人员加工整理上传系统，并且整理后的数据是以图纸等形式保存，没有实现数字化。

随着计算机技术的飞速发展，基于多视图图像的三维重建和图像识别技术得到广泛应用。按照目标物体深度信息的获取方法（被动式测量与主动式测量［2］），三维重建技术分为被动式三维重建技术和主动式三维重建技术。主动式测量是指利用如激光、声波、电磁波等光源或能量源发射至目标物体，通过接收返回的光波来获取物体的深度信息。考虑到现有的通信铁塔所处的位置环境较为复杂（地面不平、无法靠近、高度过高）等因素。本文采用被动式三维重建技术来构建铁塔的三维模型，进而获取铁塔的数据信息。

2 被动式三维重建技术

被动式三维重建技术一般利用周围环境如自然光的反射，使用相机获取图像，然后通过特定算法计算得到物体的立体空间信息。被动式三维重建技术分为运动恢复结构、稠密三维重建、纹理贴图、语义解析和模型矢量化等步骤。

2.1 运动恢复结构［3］

2.1.1 算法需要输入的数据

需要输入的数据为无人机拍摄的照片。

2.1.2 算法输出结果

输出结果为每一帧图像对应的相机姿态和场景的稀疏三维点云。相机姿态为6 自由度，包括3 自由度的位置（三维坐标）和3自由度的三维旋转。场景的稀疏三维点云指算法自动提取的部分场景关键点，每一个点由三维空间坐标（x，y，z）和颜色值（R，G，B）表示。

2.1.3 算法原理

运动恢复结构技术以采集的图片序列为输入，经过特征提取、特征匹配、两视几何计算、相机位姿估计和场景结构恢复4 个步骤，恢复出图片的相机位姿和场景的稀疏三维点云。运动恢复结构技术的流程如图1所示。

图1 运动恢复结构技术流程

特征点检测是检测出图像中纹理比较丰富、容易识别的点，常用的特征提取算法是SIFT［4］。特征匹配是指将2 幅图像中的特征点进行匹配，正确匹配的特征点对应着实际场景中的同一个点。根据匹配特征在图像中的位置和相机的焦距等内在参数可以计算拍摄2幅图像的相对位置和朝向，如图2所示。

图2 由2幅图像中的特征匹配计算的相对相机位置和朝向

由所有的两两图像对之间的相对位置和朝向可以计算出所有图像在一个统一坐标系下的相机位置和朝向，最后根据相机的位置和朝向，可以通过三角化把图像之间相互匹配的特征点在空间中的三维坐标计算出来，从而获取场景的稀疏三维点云。

2.2 稠密三维重建

2.2.1 算法需要输入的数据

需要输入无人机拍摄的照片、运动恢复结构算法求解的相机位姿。

2.2.2 算法输出结果

输出结果为场景的稠密三维点云和网格模型，点云和网格模型的顶点均带有颜色，点云和网格模型的坐标与运动恢复结构算法求解的相机位姿的坐标系一致。

2.2.3 算法原理

在运动恢复结构技术生成的相机位姿基础上，从图片序列中恢复场景的稠密三维点云结构。该技术涉及到稠密立体匹配、深度恢复等多视图几何原理和技术。稠密三维重建流程如下。

a）基于相机位姿利用稠密立体匹配技术恢复每张图像的深度图。

b）基于相机位姿将图像序列的深度图融合成稠密三维点云。

c）利用表面网格提取技术从稠密三维点云中抽取场景的稠密三维网格。

2.3 纹理贴图

2.3.1 算法需要输入的数据

需要输入的数据包括无人机拍摄的照片、运动恢复结构算法求解的相机位姿，以及场景的稠密网格模型。

2.3.2 算法输出结果

输出结果为带纹理贴图的稠密三维网格模型。模型的纹理贴图数据包括纹理图像集以及模型三角面片的纹理映射坐标。

2.3.3 算法原理

纹理贴图算法流程如下。

a）利用多视角的图像序列和相机位姿对三维模型做纹理映射。

b）对重复映射的视角图像集做最优的视角选择。

c）经过多视图拼接优化技术获得稠密三维模型的无缝拼接纹理映射坐标。

d）对纹理图像的拼接缝隙做色差消除。

经过上述步骤的处理获得最终带无缝隙纹理贴图的稠密三维网格模型。

2.4 语义解析

2.4.1 算法需要输入的数据

算法需要输入如下数据。

a）稠密三维点云。由重建产生的三维稠密点坐标的集合。

b）稠密三维模型。由重建产生的三维稠密面片的集合。

c）图像。无人机拍摄的照片。

d）相机参数。与上述图像一一对应的相机内参和外参，用于计算三维模型与图像之间的转换关系。

2.4.2 算法输出结果

输出结果包括二维图像稠密语义结果和三维模型稠密语义结果。

a）二维图像稠密语义结果。算法输出二维图像上每个像素所属的语义类别，如墙面、地面、天花板等。

b）三维模型稠密语义结果。算法输出三维点云或三维面片每个单位元素（点、或面片）所属的语义类别，语义定义与二维相同。

2.4.3 算法原理

语义分割是指将场景中的二维图像或三维模型基本元素进行语义分类，实现对场景内容信息高纬度的理解。基于深度学习中全卷积的网络结构，以先编码再解码的方式，实现对任意大小的图像输入的语义分割，网络结构中的多尺度信息融合设计可以让网络对于场景中同一个物体的尺度变化具有更强的鲁棒性。另外，配合所设计的半自动语义标注器，可以在现有模型的识别结果的基础上对新场景进行快速标注，将标注后的新场景扩充到现有数据库中，然后利用扩充后的数据库训练和更新深度学习网络模型，从而获得更好的识别性能。

2.5 模型矢量化

2.5.1 算法需要输入的数据

需要输入场景的稠密网格模型和三维面片的语义标注信息。

2.5.2 算法输出结果

输出结果为场景中核心对象（例如铁搭天线、铁塔平台等）的矢量化结构。

2.5.3 算法原理

模型矢量化是针对应用场景所关注的核心对象生成矢量化结构的算法，主要包括以下2类方法。

a）模型矢量化方法。提取场景模型中同类语义的联通区域。对于每个区域目标根据其语义特性拟合出对应的三维矢量化结构。

b）基于附加属性的矢量化方法。即根据提供的对象型号、排列顺序和从属组别，在三维空间上对矢量化的模型进行再拟合，获取实例级的三维对象矢量化结构。

基于不同语义的核心对象要采用适合自身语义属性的不同矢量化方法。

3 三维重建实例

3.1 三维重建过程及结果

结合实际工程中通信铁塔的实例，数据采集人员携带无人机到达铁塔现场，将无人机放置在平坦的地面，使用控制APP，按照规划路线完成铁塔照片的拍摄，然后将拍摄的照片上传到服务器，服务器按照三维重建流程进行三维重建，后端人员可以直接查看到三维重建结果。

通过稠密重建可以实现铁塔、平台、抱杆、天线等天面信息的自动化采集，实现对塔上情况做准确、详实的记录。通过语义分割可以实现铁塔、平台、抱杆、天线等天面信息的自动化识别。通过矢量模型可以实现通信铁塔信息的数字化。本文中所述的方法基本可以满足铁塔查勘自动化、处理自动化、结果数据化的要求，为铁塔基站的数字化建设、运维、优化提供了基础。本次实验的三维重建过程及结果见图3。

图3 三维重建过程实例及结果

3.2 三维重建时间

采用上述的三维重建方法和步骤，以角钢塔为例，采集设备为大疆精灵4 无人机，处理平台为Intel（R）Xeon（R）CPU E5-2680 v4（2.40 GHz，56 核Ge-Force GTX 1080 Ti），处理数据量为1 000+张图片，采集时间为20 min，重建处理时间约为1.5 h。

3.3 三维重建识别效果

三维重建识别效果如表1所示。

表1 三维重建识别效果

4 结束语

本文介绍了通信铁塔数字化的背景及数字化过程中存在的问题，分析了现有的三维重建技术。结合通信铁塔的环境因素，本文采用了通过无人机拍摄通信铁塔照片的方式来构建铁塔的三维模型的方案。通过实验结果可知，三维重建结果基本符合预期要求。后期随着人工智能的发展、训练算法的改进，识别率和识别精度会有进一步的提高，三维重建技术能够更好地支撑铁塔数字化。当前情况下，由于城市中存在无人机限飞、操作无人机需要专业人员持证操作等非技术因素，通过无人机拍照对铁塔进行三维建模来获取铁塔的数字化信息还无法大规模应用。