无人机倾斜影像三维建模中的模型精细化

邱春霞，董乾坤，刘荣华，雷 蕾

(1. 西安科技大学测绘科学与技术学院，陕西 西安 710054； 2. 陕西国土测绘工程院，陕西 西安 710054； 3. 西安华舆信息科技有限公司，陕西 西安 710054)

无人机倾斜影像三维建模中的模型精细化

邱春霞1，董乾坤2，刘荣华3，雷 蕾1

(1. 西安科技大学测绘科学与技术学院，陕西 西安 710054； 2. 陕西国土测绘工程院，陕西 西安 710054； 3. 西安华舆信息科技有限公司，陕西 西安 710054)

无人机倾斜影像制作三维模型，速度快、成本低，成为城市三维建模的首选。而无人机倾斜影像三维建模中，数据冗余、模型变形、影像缺失等多种问题常常会影响建模效果。本文针对无人机倾斜影像三维建模中的问题，提出了一系列相应的模型精细化处理技术，使三维模型更加形象、逼真。

无人机倾斜影像；三维建模；模型变形；影像缺失；模型精细化

倾斜影像是同时从多个角度采集的影像数据，利用倾斜影像制作三维模型，不仅使高昂的三维建模成本大大降低，而且有效提升了三维建模的速度和效率。目前，无人机倾斜影像构建的三维模型，为智慧城市建设及地形复杂的地质灾害监测等提供了全面、准确、详细的三维地理信息，广泛应用于多个领域[1]。然而，无人机倾斜影像三维建模实践中，在影像预处理、空中三角测量、模型建立后等各技术环节，还存在数据冗余、模型变形、影像缺失等多种问题。笔者针对这些问题，提出了一系列相应的技术措施，使无人机倾斜影像三维建模实现了模型精细化。

1 无人机倾斜影像三维建模的关键技术

无人机倾斜影像三维建模的关键技术包括数据预处理、空中三角测量、多视影像密集匹配、纹理映射等[2]。倾斜影像数据预处理主要为格式转换、旋转影像、畸变差改正和增强处理。空中三角测量是以航空像片上量测的像点坐标为依据，采用严密的数学模型，按最小二乘法原理，采用少量地面控制点为平差条件，快速求解影像的定向及地面点加密问题[3]。倾斜影像的空三解算是将倾斜影像转换为正射影像的过程，包括影像预处理、影像联合平差、基于特征点的影像匹配和正射影像的生成等步骤。通常所用的影像匹配方法有基于像方灰度的匹配算法，如相关函数法、协方差函数法、相关系数法、差平方和法、差绝对值法、最小二乘影像匹配法等；还有一种影像匹配方法是基于像方特征的匹配算法，如金字塔多级影像匹配算法、SIFT算法等[4]。SIFT算法在特征点提取的数量上有明显的优势，是从一幅图像中根据设定的阈值找到一个局部特征向量集，可以很好地进行局部目标的识别与匹配存在较大变形如旋转、缩放、尺度改变的影像。纹理映射是三维模型制作流程的最后一步，也是增强模型视觉效果的关键。通俗地讲，纹理映射就是二维到三维的映射关系。将纹理空间中的纹理像素映射到屏幕空间中的像素的过程，其实质是建立从屏幕空间到纹理空间及纹理空间到景物空间的两个映射关系[5]。复杂的三维模型具有复杂的表面，需要多幅来自不同视点的影像作为纹理图，才能为整个模型进行纹理映射。

2 三维建模的问题及三维模型的精细化处理

2.1 影像预处理

2.1.1 影像畸变差校正

由于相机中心投影的特性，焦平面上不同区域对影像的放大率不同而造成像片中心至像片边缘的变形依次增大。一般情况下，轻微的畸变对像片质量影响不大，但是如果建筑物畸变太严重会歪曲拍摄实物的几何特征，需要对像片进行畸变校正。

影像畸变差校正的方法是：打开MapMatrix软件—工具—数码相机影像校正，然后打开去畸变工具—添加影像—填写校正参数—校正。校正界面如图1所示。

图1 MapMatrix校正界面

参数设置包括：坐标及单位定义、分辨率、成像中心、校正参数、添加影像、网格大小、畸变去除。

设置好上述参数并检查无误后，点击“校正”按钮，即可进行畸变差去除，完成后可在输出文件夹生成校正好的TIF和TFW文件。

(1) 用相机检校参数填写见表1。

(2) 用Pix4D自检校参数填写见表2。

表1 相机检校参数

表2 Pix4D自检校参数

2.1.2 数据冗余与数据筛选方案

由于倾斜影像建模需要获取侧面纹理信息，且实际地物情况复杂，因此，航摄重叠度设计偏高，采集的影像数据量庞大，存在很大数据冗余[6]。为了高效、快速建模就必须对影像进行筛选。

数据筛选具体方法为：首先对研究区域获取的POS数据进行编辑(POS数据编辑器)，然后保存并生成KML文件，其次将KML文件导入到Google Earth中编辑属性，更改图标、颜色(如图2所示)，并把航线和影像设置为“贴于地面”(如图3所示)，以便挑选。

图2 导入POS数据

图3 航线与影像设置

挑选原则主要是将航线与影像高度设置为“贴于地面”，根据所需区域判断该区域上方有哪几张影像，然后选择离它最近的影像。如图3椭圆区域，可以在保证重叠度的前提下选择DSC50214.jpg、DSC50173.jpg、DSC50215.jpg、DSC50213.jpg和DSC50250.jpg这5张影像。

2.2 空中三角测量

2.2.1 模型变形及模型精细化处理

空中三角测量像片缺失是由于像片及POS参数质量问题，匹配时出现错误，导致建模后期存在空洞或模型变形。像片缺失如图4所示，图中用圈圈起来的是缺失的像片，模型变形如图5所示。

图4 像片丢失

图5 模型变形

针对空中三角测量时出现的模型变形，模型精细化的处理方法有两种。第一种方法为：

(1) 将像控点刺于相应像片中，同一地物至少出现在3张像片上，像片控制点的目标影像应清晰，易于判刺和立体量测。像控点点位如图6所示。

图6 像控点点位分布

(2) 区域网布点方案为：对于两条和两条以上的平行航线采用区域网布点时，要求如下：

a. 航向相邻平面控制点间隔基线数可参照式(1)进行估算[7]

(1)

式中，ms为连接点(空三加密点)的平面中误差，单位为毫米；K为像片放大成图的倍数；mq为视差量测的单位权中误差，单位为毫米；n为航线方向相邻平面控制点的间隔基线数。

b. 旁向相邻平面控制点的航线跨度见表3。

表3 旁向相邻平面控制点的航线跨度

c. 航向相邻高程控制点间隔基线数可参照式(2)进行估算[8]

(2)

式中，mh为连接点(空三加密点)的高程中误差，单位为米(m)；H为相对航高，单位为米(m)；b为像片基线长度，单位为毫米(mm)；n为航线方向相邻平面控制点的间隔基线数。

通过对航片刺入控制点，保证一个控制点至少出现在3张像片上，像片刺控制点如图7所示。然后进行空中三角测量计算像片的位置姿态参数，找回丢失的航片，对于边缘丢失的航片，选择继续通过刺入控制点找回航片或将航片删除，完成空中三角测量航片缺失及模型变形问题的处理，处理好的模型如图8所示。

图7 刺像控点

图8 处理好的模型

第二种方法为：对于带状测区，可以采用分区建模的方法进行空中三角测量，然后进行三维重建，最后利用相邻区域公共点对各区域的模型进行接边，可防止模型变形。图9为分区域建模的结果，图10为分区建模合成的结果。

2.2.2 不同建模方法比较

方法1：已经过畸变的像片加原始POS数据(经纬度数据+HPR角元素系统)。

方法2：未经过畸变的像片加原始POS数据(经纬度数据+HPR角元素系统)加畸变参数。

方法3：已经过畸变的像片加像片外方位元素(XYZ+DPK角元素系统)，然后在Smart三维中进行空三加密，空三Setting步，选择“adjust”。

方法4：已经过畸变的像片加像片外方位元素，然后在Smart三维中进行空三加密，空三Setting步，选择“compute”。

试验1：利用同一测区的数据，运用方法1、方法3、方法4在Smart三维软件中分别进行空中三角测量。方法1用时最长，为5.5 h，且空三加密成果变形，像片丢失4张，如图11所示。方法3用时1 h，空三加密成果无变形，像片丢失2张，如图12所示。方法4用时2.5 h，空三加密成果无变形，像片丢失11张。通过对3种方法的比较，方法3效果最好，因此在有外方位元素的前提下，可以直接利用方法3进行三维建模。

图9 分区空三成果

图10 模型合并成果

图11 方法1空三成果

图12 方法3空三成果

试验2：利用同一测区的数据，运用方法1、方法2在Smart三维软件中分别进行空中三角测量。利用方法1进行空三的过程中用时6.5 h，像片丢失15张，而且丢失的像片全部为航线拐角处，如图13中用圆圈标出来的地方。因为拐角处的像片畸变比较大，因此应该删除拐角处的像片，然后再进行空中三角测量。利用方法2进行空三的过程中用时8.5 h，像片丢失19张，而且模型变形严重，如图14所示。通过比较，方法1效果较好，因此在进行三维建模时，可以首先对像片进行畸变校正。

图13 方法1空三成果

图14 方法2空三成果

利用Smart三维进行三维建模，各种数据来源主要包括相机(单镜头、五镜头)、像片(经过畸变的像片、未经过畸变的像片)、POS数据(经纬度+HPR角元素系统、差分POS、经过空三加密获取的外方位元素)、像控点(Google Earth、RTK)。

通过对试验1、试验2的对比，得出五镜头相机获取的数据+经过畸变校正的像片+经过空三加密得出的外方位元素+使用RTK测得的像控点方法，三维建模精度最高且用时最短。

2.3 模型变形与纹理缺失的模型精细化处理

2.3.1 模型变形与纹理缺失

倾斜影像获取数据的死角或数据点关联不足的地方，在模型匹配时会造成模型扭曲变形，主要是建筑物或地物的底脚部位[9]。房屋结构变形如图15所示。水面、玻璃等表面无或少纹理，匹配不到特征点而产生漏洞，如图16所示。旗杆、铁塔、路灯、小于一定厚度的广告牌等，由于匹配截面过小，不能产生足够多的特征点，从而造成模型缺失，路灯变形如图17所示。

图15 房屋变形

图16 水面变形

图17 路灯变形

2.3.2 模型精细化处理

使用DPModeler软件采用高分辨率的航空影像通过透视成像原理，快速提取建筑物轮廓，自动纹理映射，完成建模[10-11]。其中通过倾斜影像多角度观测建模，模型和影像完全套合，模型具有精确的三维坐标信息，实现了模型贴图自动从影像中采集，一键完成模型贴图[12]。通过创建多级金字塔的影像结构，支持超过一亿像素的影像无缝调度，可以自动生成真正射影像，修正建筑物的投影差，消除遮挡阴影的问题，实现了对Smart三维自动建模中模型变形的精细化处理。

(1) Smart三维输出的数据格式为OSGB格式，DPModeler无法直接读取OSGB格式的数据，因此需要通过osgConv软件将OSGB格式的数据转化为DPModeler可以识别的OSGB格式。

(2) 将数据导入DPModeler中进行模型精细化处理。对于模型不精细或变形的地方，通过“平面选择”工具，选择需要修饰的模型范围，然后通过重建工具，进行模型重建，设置内收值，完成地面的缝补。

(3) 在三维视图中，显示删除的Mesh，根据显示的Mesh在三维自由视图中，通过制作模型、自动纹理映射步骤完成模型的重建，如图18所示。

图18 模型重建

图18中，最左边为相机布局视图，其中不同灰度的点分别代表垂直影像、该范围内的倾斜影像、计算机优先选择的影像。

(4) 在纹理自动映射步骤，若纹理不清晰或不完整，可以将该影像直接导入PS中进行处理，处理完后，再导入DPModeler中进行纹理映射。房屋精细化处理结果如图19所示，水面精细化处理结果如图20所示。

图20 水面精细化

(5) 对于铁塔、路灯、旗杆、小于一定厚度的广告牌，处理方法为在Smart三维中导出为OBJ格式的数据，然后导入3ds Max中进行模型精细化处理，完成制作模型与纹理映射步骤，最后再导入Smart三维中。路灯精细化处理结果如图21所示。

图21 路灯模型精细化

2.4 模型侧面缺失纹理信息的处理方法

若测区四面环山，会造成测区高差较大，无人机拍摄影像具有一定难度，因此只能用单镜头的相机俯视拍摄。由于影像数据是从空中俯视拍摄的，模型缺少侧面纹理信息，导致地面低处模型不完整。为弥补这一不足，可以利用地面拍摄影像与俯视拍摄结合进行影像的获取。

针对模型侧面缺失纹理信息处理方法有两种：

(1) 利用地面拍摄的影像进行三维建模，然后替换单镜头俯视拍摄的建模成果，进行空地融合。

(2) 在低空对模型欠佳的地区进行无人机倾斜影像采集，对于植被覆盖区，进行正射影像采集，由于高差较大，可对有房子的地区进行低空倾斜影像的采集，确保地物纹理完整。

3 结 语

利用无人机倾斜影像进行三维模型制作是目前广泛采用的三维建模方式，本文通过对无人机倾斜影像三维建模实践中经常遇到的问题进行分析，提出了一系列的三维模型精细化处理方法，以期对无人机倾斜影像三维建模实践有一定的参考和借鉴的价值。

[1] 冯梅.基于LiDAR和航空影像的三维建模方法探讨[J].测绘通报,2011(12):12-14.

[2] 姚方芳.基于倾斜影像的三维建模方法研究[D].泰安：山东科技大学,2014.

[3] 孙宏伟.基于倾斜摄影测量技术的三维数字城市建模[J].现代测绘,2014(1):18-21.

[4] 张祖勋,张剑清,胡翔云.基于物方空间几何约束最小二乘匹配的建筑物半自动提取方法阴[J].武汉大学学报(信息科学版),2001,26(4):290-294.

[5] 桂德竹,林宗坚,张成成.倾斜航空影像的城市建筑物三维模型构建研究[J]测绘科学,2012,37(4):140-142.

[6] 吴军.三维城市建模中的建筑物墙面纹理快速重建研究[J].测绘学报,2005,34(4):317-323.

[7] 闫利,叶志云.几何约束条件下的SIFT倾斜影像匹配[J]. 测绘通报,2016(1):37-40，44.

[8] 陈小航,黄金浪,施一军.易拼图(EPT)软件在正射影像图制作中的应用[J].现代测绘,2013,36(3):44-45.

[9] 王蒙.基于大规模点云数据的三维重建和纹理映射研究[D].南昌：南昌大学,2014.

[10] 卜松涛,岳凡琦,依兰.基于倾斜影像的三维建筑物纹理提取方法研究[J].测绘与空间地理信息，2014(10):206-208.

[11] 熊俊华,方源敏,付亚梁.机载LIDAR数据的建筑物三维重建技术[J].科学技术与工程,2011,11(1):189-192.

[12] 邓琴.基于DPModeler的倾斜影像三维建模[D].南昌：东华理工大学,2015.

RefiningModelof3DModelingBasedonObliqueImageofUnmannedAircraft

QIU Chunxia1,DONG Qiankun2,LIU Ronghua3,LEI Lei1

(1. College of Geomatics, Xi’an University of Science and Technology, Xi’an 710054, China； 2. Shaanxi Institute of Surveying and Mapping of Land, Xi’an 710054, China; 3. Xi’an Huayu Information Technology Corporation Ltd., Xi’an 710054, China)

3D modeling based on oblique image of unmanned aircraft is the first choice for 3D modeling of the city because it is fast and low cost. Multiple problems, such as data redundancy, model deformation and image deletion, often affect the modeling effect in the 3D modeling based on oblique image of unmanned aircraft. This paper puts forward a series of model refinement treatment technology for 3D modeling based on oblique image of unmanned aircraft. These techniques make the 3D model more vivid and realistic.

oblique image of unmanned aircraft; three-dimensional modeling; model deformation; image missing; model refinement

邱春霞，董乾坤，刘荣华,等.无人机倾斜影像三维建模中的模型精细化[J].测绘通报，2017(11)：133-138.

10.13474/j.cnki.11-2246.2017.0363.

P237

A

0494-0911(2017)11-0133-06

2017-06-26

国家重点研发计划(2016YFC0501707)

邱春霞(1969—)，女，硕士，副教授，主要从事摄影测量的教学与研究工作。E-mail:306044748@qq.com