蒙版残差卷积神经网络辅助的输电杆塔快速倾斜空三建模

王卓林，卢晨，黄昊，马霄雯，吴名洲

(1.国网上海市电力公司工程建设咨询分公司，上海 200122；2.武汉市迪特影像科技有限公司，武汉 430077)

0 引言

近年来电力行业三维数字化设计和管理进入快速发展时期，高压电力输电线路的快速建模和调查监测要求逐步提高。采用传统的测量方式对输电线路走廊资源进行踏勘调查及规划设计工作量大、效率低、成本高，且在复杂环境中的适用性差，难以满足电网建设需求[1-2]。而基于无人机倾斜摄影测量技术的高压电力输电线路三维实景建模的这项新兴技术得到了广泛应用。无人机倾斜摄影测量通过无人机获取多视角地面物体的影像信息，快速重建地面物体的三维模型，可应用于电力线路走廊影像采集、地形测绘以及线路和杆塔的几何量测[3]。基于倾斜摄影测量技术的实景三维模型为电力工程三维数字化设计和管理提供了一个全新的途径。

基于无人机倾斜摄影的高压电力杆塔建模技术，是通过获取的多个不同的角度，带有一定重叠度的高分辨率影像、位置和姿态信息，经过内定向、相对定向、绝对定向、空中三角测量、多视密集匹配、泊松重建、纹理映射等技术构建实景三维模型[4]。该项技术具有以下特点和优势：①无人机的飞行高度相对较低，可以快速获取高压电力杆塔的多角度影像数据；②实现自动影像匹配和建模，减少了人工干预；③倾斜摄影获取影像的颜色信息真实，分辨率高，能够提供实景三维模型需要的精细纹理[5]；④实景数据采集快速，综合成本相对较低。

高压电力输电线路三维实景建模的主要对象是电力杆塔。由于杆塔属于线状结构地物，在进行倾斜摄影三维重建电力杆塔的过程中，往往需要更加贴近杆塔摄影才能拍摄到杆塔细节，由此产生大量照片，增加内业处理时间。在传统的实景三维重建中，杆塔和背景是一起作为重建对象进行空三、密集点生成和三维建模的。从电力杆塔重建的效率来说，大量时间都被耗费在与杆塔无关的背景地物的重建上。可以发现，电力杆塔在图像上占比要远小于背景的占比，因此如果能够精确选定电力杆塔范围的图像区域进行三维重建，就可以极大提高建模效率，减少无效信息。

精确选定电力杆塔范围的图像区域可以通过图像蒙版技术实现。Photoshop自2018版本以来就添加了基于机器学习的“选择主体”功能，只需利用该功能便可对图像中较为明显的主体做出选择，方便进行批处理，从而实现主体的快速自动选取和蒙版生成。然后在三维重建软件中导入蒙版，圈出照片中参与三维重建的主体区域，主体区域只占图片的很小部分，在同名点匹配环节大大减小匹配范围，从而提高重建速度。

Photoshop自动化的“主体选择”功能要求主体和背景有较大的反差，故当主体和背景没有明显差异时，“主体选择”功能无法主动识别出主体。而在室外摄影测量场景中，由于天气的影响包括云朵遮挡等导致照片偏暗、地面颜色与电力塔颜色相近或者地面背景较为复杂时，Photoshop基本上识别不出主体。如图1所示，红色圆圈为Photoshop识别结果，存在识别范围不全、识别范围过大、识别错误和未识别出来的情况。

图1 Photoshop的杆塔“主体选择”结果

为解决基于机器学习的方法在电力杆塔提取方面的不准确问题，本文通过标注少量电力杆塔样本，采用Mask RCNN深度学习网络来进行训练和识别，自动形成每张图像对应的杆塔蒙版。相比Photoshop中的“主体识别”，Mask RCNN网络专门识别电力杆塔，更具针对性，且该网络对光照变化不敏感，不完全依托于背景识别主体，因此，具备比Photoshop更好的识别能力。最后对每张识别出电力杆塔的图像，进行基于蒙版选择的空三重建和密集匹配，快速生成电力杆塔实景三维模型。

1 Mask RCNN电力杆塔蒙版的自动生成

电力杆塔蒙版的自动生成属于模式识别的技术范畴。随着CNN[6]、Fast RCNN[7]、Faster RCNN[8]以及Mask RCNN[9]的出现，目标识别逐渐由目标检测[10]、语义分割[11]，发展到实例分割[12]。实例分割技术是通过对图像多次进行卷积运算得到原始图像中的目标特征图，结合语义特征完成对图像中目标的识别，有效检测目标的同时能输出高质量的实例分割。何恺明提出的Mask RCNN是当前工业界最为流行的目标检测与分割框架之一，既能准确检测出图像中的目标，又能为一个目标生成具有较高质量的Mask[13]。Mask RCNN利用模型中的特征提取网络及特征的金字塔网络，通过空间金字塔池化获取特征及特征图，引入Mask分支生成候选框及边界框，而二者又分别继承了Fast RCNN和Faster RCNN的技术优势[14]，其技术流程如图2所示。

图2 实例分割技术流程图

如图3所示，在Mask RCNN中输入单幅图像进行色彩、分辨率、长宽比预处理；把结果输入到预训练好的神经网络，处理得到对应的特征图；为特征图设定预定数量兴趣区域(ROI)，将候选ROI送入区域候选网络(RPN)，运行二值分类和边框回归运算，滤掉部分候选ROI；对剩余ROI进行兴趣区域匹配(ROIAlign)操作；对ROI进行N类别分类、边框回归和Mask生成。(在每一个ROI里面进行全卷积(FCN)操作)。

图3 Mask RCNN结构图

2 基于蒙版选择的电力杆塔三维重建

在多数三维重建软件中提供导入蒙版功能。通过蒙版导入，可以圈出照片中参与重建的区域，这些区域只占图片的一小部分，在同名点匹配环节大大减小匹配范围，从而提高重建速度。基于蒙版选择的杆塔三维重建的主要流程和普通三维重建流程相同。但需要导入蒙版，并且在空三解算环节选择蒙版。

以Photoscan为例，基于蒙版选择的电力杆塔三维重建流程如图4所示。右击模块→Import→Import Masks，选择从Alpha通道输入模板、替换、应用于所有图片。在连接照片环节(空三解算，Align Photos)选择将蒙版应用于关键点(Key points)。再经过IMU、DGPS(差分GPS)数据的联合处理，利用POS(定位定向系统)辅助空中三角测量技术，获取每张像片的多个外方位元素，导入到Photoscan软件后，实现多视角影像区域网的平差，经过多次的迭代计算，得到符合精度要求的空中三角测量成果。

图4 Photoscan中基于蒙版的三维重建界面

基于蒙版选择的电力杆塔三维重建中，多视影像联合平差和多视影像密集匹配是关键技术，相对于传统垂直摄影测量，多视影像联合平差充分考虑了多视影像的影像畸变和地物间的遮挡关系[15]。结合POS和IMU的外方位元素，在多级影像上进行同名点自动匹配和自由网光束法平差，得到更优的同名点匹配结果，然后把连接点和连接线、控制点坐标加入到自检校区域网平差的误差方程后，展开联合结算平差，确保平差精度[16]。影像匹配是倾斜摄影测量三维重建的关键问题之一，多视影像具有覆盖范围大、分辨率高等特点[17]。因此，如何在匹配过程中充分考虑冗余信息，快速准确地获取多视影像上的同名点坐标，进而获取地物的三维信息，是多视影像匹配的关键。由于单独使用一种匹配基元或匹配策略往往难以获取建模需要的同名点，近年来随着计算机视觉发展起来的多基元、多视影像匹配逐渐成为人们研究的焦点，通过搜索多视影像上的边缘和纹理特征来进行密集匹配。

3 高压电力杆塔快速三维重建实验对比与分析

实验区位于上海市金山区枫泾镇，地形多为平地，实验覆盖亭泾线169～174号共六座基塔，以及周边其他五条电力线路、一条动车线路、两个村庄、一条干线公路在内的约1 km2的电力大通道，如图5所示。

图5 实验区概况

经现场踏勘，为确保飞行作业数据的稳定性及精度要求，制定了荷载达5 kg的六轴多旋翼行业应用无人机大疆M600Pro，搭载索尼A7R IV全画幅微单实测方案。于2020年5月13—18日对实验区进行了倾斜摄影，航飞当天风力小于5级，晴朗无云，飞行高度150 m，飞行速度8.7 m/s，完成了向下倾斜40°、呈“米”字型八个方向以及垂直正摄共九条航线飞行作业，航线设计如图4所示。对项目拟定线路区域进行了高重叠度精细化航片采集，并分别对区域内各电力杆塔在多条交错的线路之间进行了多角度上下垂直影像采集。针对单体电力铁塔(镂空建筑)建模效果差的问题，为获得更加精细的杆塔模型，进行了区域内各电力杆塔空中圆周环绕飞行拍摄，共获取影像3 247张，采用WGS 84坐标系和正高高程系统，航拍影像如图6所示。通过对影像质量检查分析可知，航向重叠度80%，旁向重叠度70%，测区最高点地面分辨率为2 cm/像素，符合《电力工程数字摄影测量规程》(DL/T 5138—2014)相关要求；通过对GPS和惯性测量单元(IMU)以及获取的影像照片进行分析，本次倾斜摄影飞行姿态稳定，设计航线的航向航高保持良好，影像成果的分辨率合格，颜色、亮度及对比度均衡。

图6 实验区航线(正射)布设图

图7 杆塔样本采集

实例分割技术流程首先进行样本制作，如图7所示。样本制作工具选用麻省理工大学计算机科学和人工智能实验室研发的图像标注工具LabelMe，可以使用该工具创建定制化标注任务或执行图像标注，常用于实例分割、语义分割、目标检测、分类任务的数据集标注工作。样本制作完成后，在Mask RCNN中进行网络训练，并利用测试数据进行模型验证和优化，从而建立识别分类器，最后对全部原始图像进行杆塔目标的自动识别提取。

从图8和图9可以看到，Mask RCNN识别生成的蒙版能够紧紧包围电力塔，并且没有遗漏。表1定量给出了蒙版识别质量评价，显示基于Mask RCNN的实例分割可以生成质量较好的蒙版，为快速三维重建提供良好数据基础。

图8 Mask RCNN识别生成的蒙版(全部)

图9 Mask RCNN识别生成的蒙版(局部)

表1 蒙版识别质量评价 %

空三处理的影像成功率为99.97%，平差报告中各项误差值均优于1像素。查看重建后模型，区域地形地物纹理颜色基本与现实环境相同，高压电力杆塔外观结构清晰，纹理覆盖均衡，空中三角测量误差如表2所示。

表2 空中三角测量误差

如表3所示，在Photoshop自动提取蒙版、手动提取蒙版、Mask RCNN提取蒙版和不使用蒙版等四种不同蒙版状态下进行空三和密集匹配时效性对比。结果显示，通过蒙版选择照片区域，可减少约四倍密集匹配用时，同时生成的点云数量也减少四倍左右；这充分说明了采用Mask RCNN提取蒙版的技术在高压电力杆塔快速三维重建中的优势。

表3 不同蒙版状态下的空三和密集匹配时效性对比

最后通过罗列自动提取模板和手动提取模板的密集点云生成效果(图10至图13)可以看出：①通过蒙版选择图片处理范围，可以极大程度地减少无效点云生成；②虽然Photoshop自动提取的模板在某些照片上没有包含整个电力塔，但是因为照片由多个角度获取得到，某些角度的照片可能会弥补相应的电力塔缺失，因此电力塔总体看起来较为完整(图10)；③在不提取蒙版的情况下，生成了最完整的拍摄场景，但是电力塔提取不完整，下半部分严重缺失，此情况的发生极有可能是因为电力塔属于杆状地物，当不使用蒙版时，其在照片中占比较少。Photoscan算法存在一定的缺陷，在密集匹配的深度图生成以及深度图过滤环节中，电力塔的深度值难以正确计算并保存。④从图11至图13可以看出，自动蒙版提取、Mask RCNN蒙版提取下的电力塔三维重建的完整程度同手动模板提取的三维重建完整程度一致，而不使用蒙版时，从各个角度观察电力塔重建均不完整。

图10 重建出的总体密集点云

图11 杆塔侧面点云(视角1)

图12 杆塔侧面点云(视角2)

图13 杆塔俯视点云

4 结束语

针对高压电力走廊的特点，将杆塔三维重建从整个环境三维重建的任务中分离出来，通过杆塔样本和实例分割技术，自动生成倾斜摄影图像的杆塔蒙版，采用基于蒙版的空三和密集匹配方法，直接对杆塔对象进行实例化三维重建，从而显著地提高了杆塔重建的效率。此外，通过引入蒙版缩小密集匹配搜索范围的同时，有可能避免背景中重复纹理或者单一颜色的干扰，提高密集匹配准确率，进而提高了模型重建的完整性，这在本文研究的农田或者山林等场景中的杆塔提取具有极大的应用意义。

无人机倾斜摄影测量在输电线路工程中具有显著的技术优势，通过优化设计航飞路线和成像参数，结合无地面控制的全局空中三角测量技术可以得到高精度的空三成果。在三维建模过程中基于蒙版的实例分割技术可以显著提高杆塔建模的效率。无人机倾斜摄影三维实景建模技术将线路走廊用数字化、图像化、模型化的技术手段重现，使得输电线路设备及其走廊环境变得直观、客观真实和可量测。相对于传统的测绘，无人机倾斜摄影测量能快速获取输电线路场景的影像信息，各流程的中间成果评价分析合理，处理后各种数据直观展示，能快速高效重建输电线路及杆塔设备真实准确的三维空间场景，为电力工程三维数字化管理、设计和监测提供了一个全新的途径。

本文的研究成果对于安全检测也具有重要意义。如“三跨”跨越架的安全检测，对规划线路周边的高速公路、铁路及有电线路开展真实三维场景的模拟后，规划跨越架安装工程的形体检测(高度、宽度、长度)的三维可视化场景，保证跨越架安全和顺利搭建。如抱杆安装的安全检测，对周边已通电线路开展真实三维场景的模拟后，建立抱杆吊装点(完全张开后半径9 m，最大吊装高度约70 m))的运行三维的可视化模拟，实现抱杆安装的安全距离的碰撞检测，保证抱杆离通电节点最短6 m的安全范围。针对安全检测，对高压输电线路两侧各300 m，开展真三维平行世界建模，实现场景的高精度再现和坐标、长度、高度的可量测；对跨越架、抱杆真实尺寸的高精度建模；通过三维可视化分析实现碰撞空间的检测，对跨越架、抱杆的安装规划实现数据可视化的检测依据，指导施工的安全开展。