视频帧影像和倾斜摄影点云融合精细建模方法研究

摘要：倾斜摄影技术是目前三维建模的重要方式，具有效率高、成本低且灵活快捷的优点，然而其模型结构不完整、表面拉花的问题也同样存在，这种情况在构建筑物部分尤为严重。为解决倾斜摄影建模精度的不足问题，提出一种视频帧影像与倾斜摄影融合精细建模方法。首先，通过无人机采集测区的倾斜影像并通过内业处理生成倾斜点云数据；其次，使用运动相机获取测区构建筑物的视频帧影像，利用增量式运动恢复结构（Structure"From"Motion，SFM）算法和多视图立体视觉（Multi-View"Stereo，MVS）算法进行三维重构生成点云数据；最后，在点云配准的基础上将两部分点云数据统一到相同坐标系统，再对两部分点云数据进行融合建模，实现三维模型的精细化呈现。结果表明：该方法能够快速、精确地融合视频帧影像和倾斜摄影影像，生成高质量的三维模型，为不同数据的融合精细建模提供一种新的思路。

关键词：倾斜摄影"视频帧影像"点云融合"精细建模

中图分类号：P231

Research"on"Fine"Modeling"Method"of"Point"Cloud"Fusion"of"Video"Frame"Image"and"Oblique"Photography

HUANG"Lizhang

Water"Survey"and"Design"Co.，Ltd."of"Fujian"Water"Resources"Investment"and"Development"Group"Co.，"Ltd.，"Fuzhou，"Fujian"Province，"350001"China

Abstract："Oblique"Photography"technology"is"an"important"way"of"three-dimensional"modeling"at"present，"with"the"advantages"of"high"efficiency，"low"cost"and"flexible"and"fast，"but"its"model"structure"is"not"complete，"and"surface"scratches"also"exists，"which"is"particularly"serious"in"the"construction"of"buildings."In"order"to"solve"the"problem"of"insufficient"modeling"accuracy"in"oblique"photography，"this"paper"proposes"a"fine"modeling"method"of"video"frame"image"fusion"with"oblique"photography."Firstly，"the"oblique"image"of"the"survey"area"is"collected"by"UAV"and"the""obliquepoint"cloud"data"is"generated"by"internal"processing;"Secondly，"the"motionnbsp;camera"is"used"to"obtain"the"video"frame"image"of"the"buildings"in"the"survey"area，"and"the"incremental"Structure"From"Motion（SFM）"algorithm"and"Multi-View"Stereo（MVS）"algorithm"are"used"to"reconstruct"the"three-dimensional"point"cloud"data;"Finally，"on"the"basis"of"point"cloud"registration，"the"two"parts"of"point"cloud"data"are"unified"into"the"same"coordinate"system，"and"then"the"two"parts"of"point"cloud"data"are"fused"to"achieve"the"fine"presentation"of"the"three-dimensional"model."The"results"show"that"this"method"can"fuse"video"frame"image"and"oblique"photographic"image"quickly"and"accurately，"and"generate"high"quality"3D"model，"providing"a"new"idea"for"fine"modeling"of"different"data"fusion.

Key"Words："Oblique"photography;"Video"frame"image;"Point"cloud"fusion;"Fine"modeling

倾斜摄影技术作为三维模型构建的重要手段之一，近几年获得巨大的发展，在众多领域得到广泛应用[1]。倾斜摄影测量主要通过在无人机飞行平台上挂载多镜头相机实现同一时间对同一地物进行不同角度影像数据采集。相较于传统的航空摄影测量技术，倾斜摄影测量具有效率高、成本低且灵活快捷的特点[2]。然而，无人机拍摄过程中由于影像重叠度不够、拍摄角度的限制以及地面遮挡等原因，倾斜摄影三维模型成果常存在模型变形明显、表面拉花的问题。

为解决倾斜摄影三维模型变形的问题，目前常采用的解决方法有：（1）倾斜摄影结合无人机近景摄影测量进行融合精细建模；（2）在倾斜摄影模型的基础上利用相关软件（如3DMax等）人工手动建模[3-5]；（3）倾斜摄影结合地面激光点云采集，进行融合建模。本文在现有倾斜摄影模型精细建模的研究基础上，根据视频数据的特点，提出一种视频帧影像和倾斜摄影点云融合精细建模方法。

1研究方法

三维建模的基本原理是利用获取的数据生成点云数据，从而构建不规则三角网，最后对不规则三角网进行贴膜处理[2]。本文介绍的精细建模的方法是将倾斜摄影生成的点云与视频帧影像生成的点云进行配准融合，进而生成质量更高的三维模型。

（1）外业数据采集方面，倾斜摄影数据通过无人机航拍获取；视频的采集利用运动相机对建筑物进行拍摄完成。（2）影像数据处理方面，倾斜摄影数据采用CC（Context"Capture）软件进行像控刺点和空三处理，生成倾斜摄影模型和点云数据。视频经分帧处理后，利用增量式运动恢复结构（Structure"From"Motion，SFM）算法生成稀疏三维点云数据，再利用多视图立体视觉（Multi-View"Stereo，MVS）算法进一步将稀疏点云数据重建为密集点云数据。（3）点云数据配准融合处理方面，点云数据配准利用特征点采用手动粗配准结合迭代最近点（Iterative"Closest"Point，ICP）算法精配准的方式进行，在配准的基础上导入CC软件进行点云融合，生成高精度三维模型。

2研究结果与分析

本次选用某住宅小区为研究测区，测区面积0.17"km2，地势较平缓，以住宅和仓储用地为主，范围内高低建筑分布均匀。测区数据的获取和处理具体流程如图1所示。

2.1测区倾斜摄影数据采集与处理

利用大疆M300RTK无人机搭配大疆禅思P1相机对测区进行倾斜摄影影像采集。设置无人机固定飞行高度120"m，重叠度设置航向为80%，旁向为70%，飞行速度8"m/s，测区共飞行两个架次，采集影像2"687张。

在测区范围内均匀布设10个像控点和6个检查点并利用RTK采集其三维坐标，平面坐标系采用CGCS2000坐标系，高程系统采用1985国家高程基准。

对采集的原始外业资料进行飞行质量的检查和影像质量的检查后，将合格的影像数据和Pos文件导入CC软件，手动对影像像控点进行测点，并进行空中三角测量，得到测区的倾斜摄影模型和点云数据。

2.2测区视频帧数据采集与处理

本次视频数据的采集通过运动相机以定焦环绕方式，人工拍摄测区内建筑物的四周立面视频，拍摄过程中应尽量保证相机的稳定，并使视频的中心点在同一直线上。

将外业拍摄的视频数据导入CC软件，利用视频分帧功能将其转换为视频帧影像。视频分帧的结果直接影响到后续精细建模结果，通过设定合理的视频分帧流程，以获得最优抽帧时间间隔，可有效避免外业数据二次采集，其处理计算公式为：

式（1）中：i表示间隔时间下提取影像幅数；T表示优化视频分帧总时长；b表示提取时间间隔；G表示读取速率；Wi表示当前抽帧序号；Wi+1表示下一抽帧序号。

SFM是从一定重叠区域、存在不同视觉之间的多幅影像中恢复出相机位姿和场景中加密点坐标[6]。SFM算法可以分为全局式SFM算法和增量式SFM算法，增量式SFM算法具有数据处理更精确且不容易受到异常值的影响的特点，本次实验采用增量式SFM算法将视频帧影像处理生成点云数据。经增量式SFM算法生成的三维点云数据仍较稀疏，为了提高与倾斜摄影点云数据的配准精度，还需使用MVS算法[7]对稀疏三维点云数据进行密集化重建，生成稠密点云数据。

2.3倾斜摄影点云与视频帧影像点云融合建模

经过上述流程处理的视频帧点云与倾斜摄影点云坐标系不统一，为实现两者的融合，还需对视频帧点云数据进行配准。

点云数据的配准通过选取两部分点云数据的特征点，采用手动粗配准结合ICP算法精配准的方式进行。两部分点云数据经配准后，再次导入CC软件进行融合，经空三处理获得精细化三维模型。

对测区范围内某建筑物模型融合精细重建，重建前后对比如图2所示，其中，图2（a）为原始倾斜摄影模型，模型变形明显、表面拉花严重；图2（b）为融合精细建模模型，模型细节清晰，更接近实际情况。结果表明，该方法不但可实现建筑物的三维精细建模，而且相对倾斜模型建模效果更优。

2.4模型精度分析

为评价精细化重建模型的精度，将测区预留的6个检查点的三维坐标分别与原始倾斜摄影模型和精细化重建模型中的对应点的坐标进行比对，利用中误差计算公式分别计算两模型的点位中误差。

式（2）中：ms平面中误差；mh为高程中误差；△si为平面残差；△hi为高程残差，n为检查点个数。

根据以上公式可求得原始倾斜摄影模型的平面中误差为±3.41"cm，高程中误差为±4.02"cm；精细化重建模型的平面中误差为±2.69"cm，高程中误差为±3.98"cm。平面中误差及高程中误差均满足《三维地理信息模型数据产品规范》（CH/T"9015—2012）的要求[8]。

2.5建模效率分析

在外业实施方面，地面激光点云数据外业采集需要提前做好控制测量、站点布设等准备，工作耗时较长；无人机近景摄影测量数据的采集，主要依靠手动操作，对外业人员的要求比较高，另外在树木遮挡严重地区和人口密集区实施起来也有诸多限制；本文所采用的方法只需利用运动相机以定焦环绕方式采集倾斜摄影盲区视频即可完成外业工作，外业操作优势更明显，耗时较少。

在内业建模方面，以图3建筑物为例，将本文提出精细建模方法设置为实验组；将倾斜摄影结合无人机近景摄影测量融合精细建模设置为对照A组；将基于专业修模软件的精细修模方法设置为对照B组；将倾斜摄影与地面激光点云采集融合精细建模方法设置为对照C组。以对照C组精细建模时间作为比较中间数（h），通过比较相对时间，统计各种方法的内业建模耗时，实现各种方法内业精细建模效率的比对，比对结果如图3所示。

从图3中可以看出，对照C组因外业采集的激光点云数据量庞大，内业对点云数据的处理耗时较多，建模时间最长，为1"h；对照B组的修模时间与构建筑物结构复杂程度密切相关，处理模型的时间浮动性较大，耗时0.8"h；对照A组对影像重叠度要求较高，在影像满足条件的情况下耗时0.3"h；实验组方法精细建模处理内业耗时为0.2"h，相较于其他对照组其内业建模耗时更少。

通过几种精细建模方法的内外业作业情况对比可知，本文提出的方法具有外业可操作性更强，内业建模效率更高的优势。

3结语

本文在传统精细建模研究的基础上提出一种视频帧影像与倾斜摄影点云融合精细建模方法。该方法具有对外业人员要求低、实际可操作性强和建模效率高的特点，为三维模型的精细化建模提供一种新的思路。

参考文献

[1]顾广杰，姜坚，陶占杰.无人机倾斜摄影测量技术在应急测绘保障中的应用[J].测绘通报，2017（S1）：100-101，110.

[2]谢云鹏，吕可晶.多源数据融合的城市三维实景建模[J].重庆大学学报，2022，45（4）：143-154.

[3]卞敏.空地一体精细化三维模型构建方法[D].徐州：中国矿业大学，2020.

[4]谭仁春，姚岚.城市三维快速建模方法探讨[J].测绘科学，2015，40（5）：136-138.

[5]董富强，喜文飞.基于倾斜摄影测量的三维精细建模研究：以睿智五号楼为例[J].测绘与空间地理信息，2019，42（12）：65-67，70.

[6]江晓斌.基于无人机影像的增量式SFM关键技术研究[D].淄博：山东理工大学，2020.

[7]张茂正，燕宁娜，袁宜红，等.复杂异形古建下基于SfM的视频帧影像三维重构方法[J].测绘通报，2023（10）：54-60.

[8]龙胜.无人机倾斜摄影测量精细化三维建模及数字乡村可视化应用研究[D].成都：成都理工大学，2021.