基于多视图三维重建技术的无人机数据处理方法研究

王 勇, 刘 辉

(郑州测绘学校, 郑州 450015)

基于多视图三维重建技术的无人机数据处理方法研究

王 勇, 刘 辉

(郑州测绘学校, 郑州 450015)

针对无人机数据采用常规航测法采集处理费时费力，无法满足应急救灾需求。在分析无人机数据特点的基础上，提出了基于多视图三维重建技术的无人机数据处理方法。利用SIFT和RANSAC算法提高了特征点提取精度和约束匹配精度。通过实验验证了该数据处理方法的有效性。

多视图；三维重建；无人机；数据处理

近年来，无人机遥感技术已逐渐成熟，与无人飞行器相关的航空政策法规不断健全，国民经济建设的各个领域已开始使用无人机遥感系统，无人机的应用具有很大的市场潜力。无人机遥感图像的处理大多采用传统的摄影测量方法[1]。它存在着工作量大、周期长以及需要耗费大量人力和物力等问题。另外，由于无人机图像获取的特殊性，使其图像处理无法直接使用传统摄影测量的某些技术。随着材料科学和控制技术的不断发展，目前轻便型无人机已经比较成熟，但无人机图像的全自动处理仍是一项亟待研究的瓶颈技术。

1 无人机数据特点

1.1 机动快速的响应能力

航测用无人机通常低空飞行，空域申请便利，受气候条件影响较小，并且对起降场地要求较低，可在一段较为平整的路面实现起降。它的升空准备只需15 min。航测用无人机操作简单，运输便利。无人机航测的车载系统可迅速到达作业区附近设站，根据任务要求每天可获取数十至两百平方千米的航拍结果。

1.2 高水平的稳定系统和综合应用能力

目前的无人机系统已成功突破传统无人机航测作业精度控制的瓶颈。采用该方式获得的航测数据和姿态信息，是未经算法和各种滤波的完整真实数据，为后期数据处理提供了充分保障。无人机系统可与卫星遥感、航空测绘及地面监测手段综合应用。

1.3 地表数据的快速获取和建模能力

借助无人机系统携带的数码相机、数字彩色航摄相机等设备可快速获取地表信息，获取超高分辨率数字影像和高精度定位数据，生成数字高程模型(DEM)、正射影像图、三维景观模型、三维地表模型等二维、三维可视化数据，为各类环境下应用系统的开发与使用提供便利。

1.4 突出的时效性和性价比

相比卫星和有人机测绘，无人机系统可在短时间内快速完成工作，及时提供用户所需信息，且价格具有较大优势。相比人工测绘，无人机每天至少几十平方千米的作业效率必将成为今后小范围测绘的发展趋势。

2 基于多视图立体匹配的三维重建技术

2.1 基于现实物体的三维模型获取

通过现实物体获取三维模型有很多种方法，根据数据获取方法的不同主要可以分为主动法和被动法。其中，使用三维激光扫描仪获取数据的方法称为主动法；以二维图像为基础，通过三维重建技术获取数据的方法称为被动法。以二维图像为基础，通过三维重建技术获取三维模型的方法成本低、灵活性大，且能够直接获取彩色纹理，有效补充三维激光扫描仪等主动方法的缺点和不足。基于标定图像和基于未标定图像的三维建模方法是基于二维图像三维建模方法中最主流的两种方法。基于标定图像的三维建模方法需要在重建场景中预先放入标定物，具有时间和空间的限制性[2]。基于未标定图像的三维建模方法仅依赖图像间的特征匹配关系,克服了基于标定图像方法的限制,因而具有良好的应用前景。

2.2 基于多视图立体匹配的三维重建

传统的航测数据处理方法一般基于严格标定的航摄相机进行拍摄，通过相对定向加绝对定向的方法进行立体建模，恢复实物的三维场景。本文提出在无人机数据处理过程中采用基于多视图立体匹配[3-4]的三维重建方法。该方法主要利用图像的纹理信息对重叠影像的点进行匹配。三维重建的精度依赖于两幅图像特征点的精确匹配。本文从提高特征点提取精度和约束匹配精度的角度出发，提出了基于多视图立体匹配的无人机数据处理理论。

(1)利用SIFT(Scale-invariant Feature Transform)算法从每张影像上提取特征点并获取其对应的描述特征。SIFT特征匹配是一种基于尺度空间局部特征的描述算子，其过程包括：特征提取和利用一组参数对特征做描述。特征提取是在两张待匹配的图像中寻找那些最容易识别的特征点；利用一组参数对特征做描述，即对于检测出的特征点用一些数学的特征进行描述。计算SIFT特征点的主方向是描述特征的关键，每个特征点的指定主方向是特征点邻域像素的梯度方向分布特征。该方向就是后续描述符构造的参照，使得SIFT特征具有旋转不变性，可提高特征提取的精度。

尺度空间可表示为：

L(x,y,σ)=G(x,y,σ)×I(x,y)

(1)

式中：M为尺度空间；G为尺度可变高斯函数；I为原始图像；(x,y)为空间坐标；σ为尺度坐标。

基于高斯差分函数的尺度空间可表示为：

D(x,y,σ)=(G(x,y,kσ)-G(x,y,σ))×I(x,y)=L(x,y,kσ)-L(x,y,σ)

(2)

式中：D为高斯差分响应值图像；L为高斯拉普拉斯响应值图像；k为相邻两个尺度空间的倍数。

领域内像素的模值m(x,y)和梯度方向θ(x,y)分别为：

(3)

SIFT采用局部图像区域方向直方图作为特征描述(见图1)。

图1 由特征点领域内梯度信息构建的特征点描述符

(2)根据POS(惯性导航和差分GPS集成系统)或其他约束关系，选出可能具有重叠关系的像对。

(3)对每一像对的特征点描述进行匹配，并使用RANSAC(Random Sample Consensus)算法进行粗差剔除,消除匹配误差。其主要流程如下：①从样本集中随机抽选4个匹配点对作为一个RANSAC样本；②通过4个匹配点对计算变换矩阵；③根据样本集、变换矩阵和误差度量函数，计算满足当前变换矩阵的一致集，并返回一致集的元素个数；④根据当前一致集中元素个数判断其是否最优(最大)一致集，若是，则更新当前最优一致集；⑤更新当前错误概率p，若p大于允许的最小错误概率，则重复①至④，继续迭代，直到当前错误概率p小于最小错误概率。

(4)根据多视图三维重建技术(SFM)[5]，将各像对匹配的同名像点连接统一起来，在逐次平差迭代过程中，剔除粗差，估算出视觉场景中相机参数、三维点坐标和由匹配点形成的稀疏点云的相对位置。其实现方法如下：

若有m幅图像，空间中有n个点，则方程为：

xij=PiXji=1,2，…,m;j=1,2，…,n

(4)

式中：xij为第i幅图像中第j个点的二维信息；Xj为第j个点的三维位置信息；Pi为第i幅图像的投影。SFM算法如图2所示。

图2 SFM算法示意图

每个相机有7个参数，包括旋转矩阵和坐标平移、焦距等。在运算时一般用最好的两个相机估计初始参数，最后用集数调整法整体优化重构出所有的三维点坐标和相机参数。

(5)利用多视角密集匹配(CMVS/PMVS)算法[6]从3D模型的稀疏点云开始，经过匹配、扩散、过滤，生成带真实颜色的稠密点云。

(6)结合相机的GPS和像控点位置坐标,利用双最小二乘(DLS)算法获取相机和稀疏点云的真实空间位置。

3 基于多视图三维重建技术的无人机数据处理实验

基于多视图三维重建技术的无人机数据处理实验流程如图3所示。

图3 基于多视图三维重建技术的无人机数据处理实验流程

3.1 数据预处理

在数据处理前，需要对POS数据、影像进行预处理：一是剔除起飞、降落和拐角的POS数据和影像，检查POS数据与影像是否一一对应，然后将经纬度坐标转换为UTM(Universal Transverse Mercartor Grid System)坐标[6]；二是按照6个外方位元素的顺序整理POS数据的格式(见图4)。

图4 整理POS数据

3.2 导入影像

由于实验的数据较多，因此首先将整个实验区域划分成几个区块，对每个区块的影像进行点云提取，建立立体模型，再进行合并、提取纹理(见图5)。

图5 导入影像

3.3 检测特征点及特征匹配

利用 SIFT算子从每张影像上提取特征点，获取每个特征点的描述特征，按照POS关系选出可能具有重叠关系的像对，并对每一像对的特征点描述进行匹配，获取每个像对的同名像点。

3.4 数据定向及点云提取

利用SFM技术自动计算出照片的位置、姿态等，自动定向并生成点云数据。提取的点云数据如图6所示。

3.5 立体建模并生成DEM、DSM

依据带有坐标信息的点云数据，快速重构目标的三维模型，生成三角网格式数字高程模型DEM。给DEM赋予纹理信息，即可得到数字表面模型DSM(见图7)。

(a)稀疏点云

(b)稠密点云

(a) DEM (b)DSM图7 DEM和DSM结果

4 结 语

无人机数据获取速度快，受场地限制小，是应急救灾测绘获取数据的主要手段。但是，应用传统摄影测量方法处理数据的周期长、工作量大，无法适应应急救灾的需求。本文提出用多视图三维重建技术处理无人机数据，并且，因为特征提取和特征匹配是三维重建精度提高的关键点，所以应用SIFT算子和RANSAC算法来提高特征提取和立体匹配的精度，用改进的SFM技术进行三维重建，生成点云，构建了立体模型。通过编程实验，该方法能够达到较满意的效果，解决了应急救灾对影像质量和时间的双重要求。在应急救灾中，计算机视觉技术对摄影测量产生了重大影响，基于计算机视觉技术开发的各种软件将广泛应用于无人机应急救灾工作。

[1] 张祖勋，张剑清.数字摄影测量学[M].武汉:武汉大学出版社,1997：100-115.

[2] 康来.基于图像点特征的多视图三维重建[M].北京：科学出版社,2015：88-96.

[3] 陈杰.计算机视觉多视图几何的三维重建研究[D].郑州：中国人民解放军信息工程大学,2006.

[4] 郭禾,傅新元,陈锋,等.任意视角的多视图立体匹配系统[J].计算机工程与设计,2007,28(12):2873-2877.

[5] 张臻炜,赵勇,布树辉.一种基于计算机视觉的无人机实时三维重建方法[J].机械与电子,2015(12)：19-22.

[6] 王鹤,刘军,王秋玲. 利用无人机影像进行滑坡地形三维重建[J].测绘与空间地理信息,2015,38(12)：68-71.

(责任编辑：王长通)

Research on the UAV Data Processing Technology Based on the Multiple View 3D Reconstruction Technology

WANG Yong, LIU Hui

(Surveying and Mapping School of Zhengzhou, Zhengzhou 450015, China)

Because UNMANNED AERIAL VEHICLE (UAV) data is not stable, large rotating angle etc, difficult and time-consuming to conventional aerial theory and method of processing, unable to meet the needs of emergency disaster relief, study of the UAV data processing technology is of great significance. In this paper, on the basis of fully analyzing the characteristics of the UAV data, based on multiple view 3D reconstruction technology of the UAV data processing technology is proposed, and the SIFT feature point extraction accuracy and RANSAC algorithm and constraint matching accuracy are used. Through the experiment, the effectiveness of the treatment process are verified.

multiple views; 3D reconstruction; UAV; the data processing

2017-01-05

王勇(1979-)，男，河北永年人，讲师，硕士，主要研究方向为摄影测量与遥感图像处理。

1671-6906(2017)01-0083-05

TP751.1

A

10.3969/j.issn.1671-6906.2017.01.018