倾斜影像与LiDAR点云数据融合关键技术应用探讨

齐磊刚

〔摘 要〕通过基于倾斜摄影测量与机载LiDAR点云数据的融合关键技术探讨，详细分析并给出了“绝对坐标法”与“手动控制点法”的具体应用要求与场景，并借助某个具有异形结构的建筑物作为测试案例，进行了倾斜摄影、机载LiDAR扫描与融合处理，结果表明：融合后的实景模型在分辨率、精细化程度、结构完整性等方面均优于融合前；精度上，融合后的模型在平面点位中误差与高程中误差上均得到了大幅提高，且高程精度较平面精度提升更为显著，获得了较好的测试效果。该融合方案也可为同类建模工作提供参考。

〔关键词〕倾斜摄影；机载LiDAR；点云；融合；精细化

中图分类号：P237        文献标志码：Ｂ 文章编号：1004-4345（2023）01-00４４-0５

Discussion on the Application of Key Technologies of Oblique Image

and LiDAR Point Cloud Data Fusion

QI Leigang

（China Chemical Geology （Henan） Survey Planning and Design Institute Co.， Ltd.， Zhengzhou， Henan 450011， China）

Abstract  According to the discussion on the key integration technology based on  oblique photography measuring and airborne LiDAR point cloud data， the paper makes a detailed analysis and provides the specific application requirements and scenarios of “absolute coordinate method” and “manual control point method” in detail. The oblique photography and airborne LiDAR scanning and integration processing are carried out with the help of a building with special-shaped structure as a test case. The results show that the real-scene model after integration is superior to the model before integration in terms of resolution， refinement and structural integrity.  In terms of accuracy， the model after integration has been greatly improved in terms of error of plane point location and elevation， and the elevation accuracy has been significantly improved compared with the plane accuracy， which has achieved good test results. The integration scheme can also be a reference for similar modeling operation.

Keywords  oblique photography; airborne LiDAR; point cloud; integration; refinement

1   倾斜摄影与机载LiDAR技术原理

随着我国计算机、芯片、5G、无人机等高新科技的迅猛发展，测绘及其相关学科、领域也发生了多次技术革新。其中，倾斜摄影测量技术与机载激光雷达（LiDAR）技术，已成为近年来测绘领域的重要突破。

基于多镜头倾斜摄影测量理论、无人机技术的跳跃式发展形成的倾斜摄影测量技术使测绘人员从根本上摆脱了传统纯野外GPS-RTK、全站仪等繁重的测量模式，大大提高了测绘项目的工作效率。借助多视角航拍与同名特征点匹配技术，倾斜摄影测量可实现三维实景模型的构建，在测绘线划图的立体采集、工程设计、应急处理等领域大有可为。测绘工作的重心已从人力密集型、高成本、周期长的野外工作，转移到了人员少、高效率、周期短的自动化内业数据处理上来。倾斜摄影多镜头测量原理见图1。

与此同时，将无人机飞行器作为航飞平台，搭载激光雷达扫描设备的机载激光雷达（LiDAR）技术也得到了快速地发展与普及。机载LiDAR扫描系统是一种集全球定位系统、红外激光测距模块及惯性导航系统等技术于一身的激光点云测量系统。该系统属于一种主动式观测系统，其红外激光测距模块通过多次发出红外脉冲信号与光信号的接收，对目标进行距离测量，从而实现对现实世界绝大多数目标物（水域除外）的扫描与测量。机载LiDAR技术在地形测绘、高精度DEM数据的采集与制作、地质构造的结构识别与勘察、地质灾害形变监测等相关工作中有可观的发展前景。许多学者亦给出了较为丰硕的相关测试、应用等研究成果。DV-LiDAR40激光雷达模块见图2。

倾斜摄影与机载LiDAR各具优势，又各有缺点。如，倾斜摄影的实景三维模型虽是多镜头采集地物影像，但在采集异形建、构筑物或房檐下等隐蔽位置影像时，容易出现结构变形、表面拉花等现象，在模型的精细度上尚存不足，且高程精度较差；而机载LiDAR的多回波脉冲技术具有超强的穿透能力，测量点云点位精度高，但所获取的点云数据不具备光谱属性，尤其缺乏侧面纹理信息。因此，将倾斜摄影數据与机载LiDAR点云数据或地面三维激光扫描数据进行融合处理，是当前构建高精度三维模型的重要途径。本文拟利用倾斜摄影测量、机载LiDAR及其自带正摄影像进行实地测试与精度评定，探讨倾斜摄影测量与机载LiDAR点云数据之间融合处理的关键技术。

2   数据准备与融合流程

测绘多源数据的融合已成为现代精细化建模的主要解决方案，许多学者已探讨过并给出了不同的使用经验与方法。如，李晓斌等[6]基于倾斜摄影与地面三维激光扫描数据，探讨了两种数据相似特征点匹配、点云粗配准与精配准等关键融合技术；陈立波等[7]提出一种基于机载LiDAR点云与倾斜影像的高精度几何定向技术，提高了倾斜影像的空三精度；雷志秋等[8]借助ICP算法提高了固定翼载LiDAR数据与倾斜影像之间的融合精度，实现了实景三维的重现。而本研究则侧重于谈论控制点的融合处理方法，该方法更为实用、便捷与高效。

2.1  点云数据的准备

数据的准备包括了倾斜摄影测量空三解算与机载LiDAR点云数据的预处理。

倾斜摄影空三解算中，原始影像数据与POS数据文件的密集匹配解算后，剔除与主作业采集数据焦距差异较大的影像，如地面起飞点试拍数据、空中非规划航迹拍摄等，再提交第一次空三计算，从而降低采样率，快速完成概略空三运算。该步完成后即可进行地面控制点刺点，提交二次空三解算。此时恢复初始采样率，待空三完成后检查时，再剔除个别未能参与空三解算以及小范围的分层数据。至此，倾斜摄影的空三解算环节完成。

而机载LiDAR在空三解算时不同于倾斜摄影测量，无需像控点，它利用POS文件直接解算空中三角测量，对基本定向点的指标进行系统评价与分析，所以机载LiDAR在经过惯导数据、流动数据、原始采集数据的点云轨迹、数据差分以及点云解算后，即可获取用于后期融合处理的LAS数据。

2.2  点云融合技术流程

点云融合技术流程如图3所示，整个融合过程涉及3种数据、2个步骤。

具体步骤如下：首先，将机载LiDAR点云数据与其自身携带相机拍摄的正摄点云进行融合，形成LiDAR正摄点云数据，将正摄纹理信息赋予机载LiDAR点云；其次，将LiDAR正摄点云数据与倾斜摄影空三数据进行融合，形成融合点云数据，使倾斜纹理信息赋予LiDAR正摄点云数据。

3   数据融合技术

数据融合建模能够改善三维模型地物扭曲的问题，修补缺失的影像点云，提高三维模型的精细度。其主要包含3个技术环节：1）不同原始数据的配准与套合；2）正摄影像与机载LiDAR点云数据的融合；3）LiDAR正摄点云数据与倾斜摄影空三数据的融合。

3.1  多源数据的套合

多源数据之间的套合是指多种采集数据通过某种匹配方法，使之配准在一起。只有数据基准一致，才能实现不同数据间的融合。这里可通过两种数据套合方案实现：1）不同数据使用同一绝对坐标系，即具有统一数据基准；2）不同数据间无统一绝对坐标系，以手动添加控制点的形式，固定其中一类点云数据空间坐标不变，使其它点云数据通过手动控制点向固定数据配准。两种方法均可实现多种数据间的套合处理，使用哪一种应依据具体情况而定。若方便布设地面像控点，可使用方案一；若地形复杂，但地表特征明显，亦可使用后者。

3.2  正摄影像与机载LiDAR点云数据的融合

机载LiDAR在航飞扫描的同时，正摄相机也参与了垂直角度的拍摄，形成正摄影像数据，此过程即将机载LiDAR点云与正摄影像之间的融合，赋予空间三维点云以光谱信息。摄影测量共线方程[9]见公式（1）、公式（2）。

从两个公式中可以看出，由空间坐标（X，Y，Z）向平面坐标（x，y）转换相对容易解算。由于正摄影像与LiDAR點云数据共有统一坐标系，利用公式（1）、公式（2），以及相机参数与POS数据，可以解算出点云数据在像素平面下的平面坐标（x，y），继而赋予该坐标下的像素（RGB）值，完成正摄影像与机载LiDAR点云数据的融合，形成LiDAR点云影像数据。该数据有助于实现高精度、真正射影像图。在该环节的融合处理中，由于二者具有统一坐标系，所有融合处理时不涉及不同数据间的配置与套合问题。

3.3   LiDAR影像点云与倾斜影像点云的融合

LiDAR影像点云与倾斜影像点云的融合是在倾斜摄影做完空三解算后进行的。该过程是为了赋予LiDAR空间三维点云侧面纹理信息，从而实现在精准的三维结构上进行纹理映射，形成精细化三维实景模型。其思路是将上述两种数据纳入同一套绝对坐标系中，完成点云融合。但这样仍然可能会出现两种数据分层的现象，这也是多源数据融合需要解决的关键问题。

导致数据分层的原因，一是任何点云数据均含有观测噪点，在数据采集过程中均会受到外界干扰；二是多源数据采集系统的精度不一致，差异较大，从而形成了不可避免的系统误差。为了避免点云融合数据分层的情况出现，可以通过使用相同绝对坐标或手动添加控制点这两种具体方案[10-11]进行解决。

１）使用相同坐标系，地面统一布设像控点，或分开单独布设均可，只要两者具有相同的平面坐标系与高程基准，其点云融合精确度较高，能够有效避免融合后点云分层。2）若采用方案二手动添加控制点，一般是由于前期没有布设地面控制点，而是通过后期室内手动添加。这样则需要在手动添加控制点后进行概略解算，然后经多次空三解算以精确融合。需要说明的是，手动控制点应选择较为平坦的特征点，而具有一定高度或特征不明显的点位不宜作控制点使用。当然，无论使用哪种方案，在数据融合前均需要对自身数据进行去噪处理，以精化有效数据，避免分层，到达更好的融合效果。

本研究主要侧重探讨空中机载LiDAR与倾斜摄影数据间的融合，未讨论空地间的融合。在某些特殊情况下，由于地面植被、屋檐等遮挡严重，需要地面补拍，或使用地面三维激光扫描，此时除了会出现地面LiDAR点云与倾斜融合分层的情况（该情况与机载LiDAR融合情况类似，不在赘述），还会出现近景补拍影像不能参与到倾斜空三解算中去的情形，这是由于两者影像分辨率差异过大，不能完成特征点匹配所致，因此在融合过程中，近景影像与倾斜影像的分辨率控制在2至3倍关系为宜。

3  案例分析

3.1  多源数据的融合

为了更好地验证上述多源数据融合方案的可靠性，借助实例进行了测试。测试场景特意选择了具有一定异形构造的建筑物——某GPS接收机检校场。该场地由9个圆形柱体观测墩呈矩阵式排列。在LiDAR影像点云与倾斜影像点云的融合方案选择上，选择了由统一绝对坐标系与手动添加控制点结合的综合融合方式。此次飞行航高均为80 m，机载雷达扫描设备采用了DV-LiDAR40，正摄相机检校见图4，具体性能参数见表1。

倾斜摄影影像分辨率设为1.5 cm，旁向与航向重叠度分别为80%、70%，垂直镜头焦距28 mm，倾斜镜头焦距40 mm，传感器尺寸为23.5 mm×15.6 mm，五镜头总有效像素为1.2亿。数据处理与建模，采用了20台GPU高性能集群服务器，单台显存11 GB，内存128 GB。此外，布设6个地面控制点，18个地物检查点。机载LiDAR点云原始数据见图5，正摄影像点云数据与机载LiDAR点云数据的融合效果见图6。图7表现了LiDAR影像点云与倾斜影像点云的融合过程。图8为测区异形结构融合前后的实景模型。

由图8可以明显看到，融合后的模型从分辨率与精细度上，均优于融合前的模型。

3.2  精度分析

为了对比倾斜摄影点云与LiDAR影像点云数据融合前后的量化精度，在外场布设了18个地物检查点，计算、分析了点云融合前与融合后的模型精度。具体统计结果见表2。计算结果见式（3）～式（6）。

由式（3）～式（6）的计算结果可以看出：融合前平面点位中误差为±8.2 cm、融合后平面点位中误差为±4.6 cm、融合前高程中误差为±11.4 cm、融合后高程中误差为±6.5 cm。从结果上看，融合后的平面与高程中的误差，均小于融合前的；從精度的提高幅度上看，高程精度相对于平面精度，得到了更大的提升。

4   结语

多源数据的融合处理方案，是目前应对有高精度三维实景建模要求的较好的解决方案。本研究鉴于当代愈来愈多建筑风格的多样性与异形结构的抽象化等发展趋势，针对具有特殊顶部构造的建筑，探讨了倾斜摄影、正摄影像及机载LiDAR点云数据间的融合处理方案；同时通过测试案例，给出了机载LiDAR影像点云与倾斜影像点云的融合结果，并进行了精度对比。融合后的实景模型在构造的完整性与模型的分辨率上，均好于融合前；精度上亦是如此，融合后的模型平面点位中误差与高程中误差均优于融合前，且高程精度提升更为显著。

在建筑风格多元化的今天，测绘数据融合处理方案在一定程度上确实解决了精细化实景建模的技术瓶颈，而从融合类别上看，本研究尚未探讨空地融合，空三分层与融合稳定性仍是目前多源数据融合技术所面临的重要问题，这也是后续有待重点开展相关测试、研究、总结的方向。

参考文献

[1] 任小强，温俊丽，孟勇飞，等. 山区无人机倾斜摄影实景三维建模质量控制[J]. 工程勘察，2021（3）：68-72.

[2] 丁伟. 倾斜摄影测量技术应用于农村不动产权籍调查[J].工程勘察，2020（12）：58-62.

[3] 鲁丽.倾斜摄影在旅游风景区三维建模的应用探讨[J].江西测绘，2020（2）：19-21.

[4] 李通. 基于机载LiDAR技术的DEM快速更新关键技术研究[J]. 江西测绘，2019（4）：20-22.

[5] 廉福绵. LiDAR技术在高速公路改扩建中的应用及精度分析[J]. 江西测绘，2020（1）：23-26.

[6] 李晓斌，林志军，杨玺，等. 基于激光扫描和倾斜摄影技术的三维实景融合建模研究[J]. 激光杂志，2021，42（8）：167-170.

[7] 陈立波，聂倩，陶鹏杰. 基于LiDAR点云控制的倾斜摄影高精度几何定向技术研究[J]. 测绘地理信息，2021，46（1）：49-52.

[8] 雷志秋，马强，李杉格，等. 基于固定翼载小型LiDAR与倾斜摄影数据融合的三维测图[J].测绘地理信息，2022，47（2）：101-104.

[9] 张剑清，潘励，王树根. 摄影测量学[M]. 武汉：武汉大学出版社，2002.

[10] 邓非，杨海关，李丽英. 基于互信息的LIDAR与光学影像配准方法[J]. 测绘科学，2009（6）：51-52.

[11] 谭仁春，李鹏鹏，文琳，等. 无人机倾斜摄影的城市三维建模方法优化[J]. 测绘通报，2016（11）：39-42.