无人机倾斜摄影建模技术在虚拟现实中的应用

康传利,程 耀,石灵璠

(桂林理工大学 a.广西空间信息与测绘重点实验室;b.测绘地理信息学院,广西 桂林 541006)

随着现代科学技术的不断发展,计算机虚拟现实技术引起了人们的广泛关注,特别是在智慧城市建设方面。所谓虚拟现实(virtual reality,VR)是一门集成了人与信息的科学,是由计算机技术构建的虚拟世界。它既是虚拟的,也是真实的,也可以是虚拟世界对真实世界的映射[1]。如今,虚拟现实技术被广泛应用于各个领域。 与此同时,计算机硬件和软件的升级使虚拟现实技术得以更好地发展。 一个真实的三维场景是虚拟现实平台建设的基石,因此建设一个良好的虚拟现实平台必须拥有一个逼真的虚拟环境。 在传统的三维场景建模中,需要到实地采集照片,再进行纹理贴图制作,同时还要花费大量的人力进行模型场景的构建。 城市在高速发展,城市三维场景需要不断更新,这就需要一种全自动或者半自动的三维场景建模技术来解决当下的问题。

将无人机倾斜摄影测量技术构建的三维场景模型应用于虚拟现实系统中,缩短虚拟平台的建设周期,利用无人机倾斜摄影测量技术获取丰富的纹理信息数据,生成高密度三维点云和三维TIN网格模型,结合自动化软件构建三维模型,实现三维场景的快速、高效、低成本的真实还原,用现势的三维场景模型呈现城市信息,在城市规划、建设、管理和应急响应中起着极其重要的作用[2-3]。

1 应用系统设计流程及关键技术

无人机倾斜摄影建模技术应用于虚拟现实的系统设计流程如图1所示。具体步骤为:①通过无人机航拍采集倾斜影像,检查相邻航带侧视影像飞行方向是否一致,确定图像放置位置和摄像机参数设置,无误后便可进行空中三角测量。 ②在确认影像数据正确后,根据少量的野外控制点,进行控制点加密,获得精确外方位元素,并通过多视影像密集匹配寻找连接点,构建三维TIN网格; 对于数据较大区块,需要进行数据分块处理,本次实验选择自适应切块,可以快速自适应计算机RAM使用量,根据当前计算机的性能给出一个参考范围,在范围内设置目标RAM使用量值以顺利进行三维重建。③根据三维TIN网格每个三角形瓦片的法线方程与二维图像之间的夹角筛选出对应的最优纹理信息,完成自动纹理映射。④输出并获得obj格式三维场景模型,并导入3DS Max中进行场景优化。将其转为可编辑多边形,便可进行悬浮物删除、模型裁剪、变形修改等操作,然后在UVW展开界面修改映射错误的纹理。⑤将优化模型导出obj格式至Unity 3D引擎,通过C#语言写动态交互功能脚本,实现场景的实时驱动、用户界面和场景漫游等功能,完成该虚拟漫游系统。

图1 虚拟漫游系统设计流程Fig.1 Design flow of virtual roaming system

1.1 倾斜影像联合空中三角测量

由于无人机航拍的倾斜影像中不仅有垂直影像数据,还包括多个倾斜角度拍摄的影像数据,传统的同名像点自动量测算法已不能适用于倾斜影像[4]。 通过在同一飞行平台上使用多个传感器,在拍摄影像时记录影像参数(航高、航向、航速、旁向重叠度和坐标等),获取拍摄瞬间的POS观测值作为原始影像粗略的初始外方位元素,结合传感器的成像模型,计算得到多视影像上每个像元的物方坐标,进行相对定向,再精确匹配,结合少量的野外控制点(像控点)坐标,得到倾斜影像联合空中三角测量成果。

1.2 多视影像密集匹配及TIN网格构建

多视影像进行密集匹配的实质就是确定影像之间的同名像点。为防止遮挡对匹配造成的影响,匹配过程中还需过滤冗余信息。影像匹配的算法分为3类:灰度匹配、特征匹配和关系匹配。匹配的共性就是在影像上按照匹配策略找同名点。根据获取的同名点坐标,生成高密度3D点云数据,得到不同细节层次三维TIN网格模型。同时,通过相关算法的优化,简化了相对平坦区域的三角网络,减少了数据的冗余度,进而获取地物的三维信息[5]。因此,影像匹配是后期自动生成数字表面模型、三维建模的技术基础。

1.3 多视影像联合平差

在虚拟系统中实现漫游是最基本的功能,Unity 3D已经设计有角色控制器组件(Characters),Import Package→Characters,可以直接调用,需要调整视角、位置、奔跑速度和加速度等参数。 默认情况下,用户按下W、S、A和D键控制前后左右方向,同时控制鼠标调整视野位置,实现人物在场景中漫游的效果。

1.4 重建自动纹理映射技术

从Acute3D Viewer中量测得到图书馆楼梯的长宽分别为35.77和13.90 m,实地用30 m钢卷尺测量出的长宽分别为35.73和13.87 m。模型量测值与实地测量数据十分接近,充分体现了模型的高精度,为后续的系统应用提供了精度保障。

1.5 场景漫游技术

目前倾斜摄影技术在三维场景建模方面取得了一定的成就。Smart3DCapture软件系统强大的数据处理能快速生成三维场景模型,但有些地方还需要进行改进和完善，如在树林、水面、不规则的建筑物或建筑物遮挡比较严重的地方建立的模型会存在一些变形或缺失。 为了解决这些问题,后期需要对模型进行修补优化才能满足市场的需求。常用的模型优化软件有3D Studio Max、Geomagic Studio、Meshmixer,还有常用的DP Modeler和OSketch修模软件等[9]。本文以3D Studio Max进行模型优化处理,主要进行模型悬浮物的删除、裁剪、纹理错乱修改、变形修改等。模型纹理修改前后如图4所示。

2 模型实现

采用建模系统为Bentley公司的Smart3DCapture全自动三维建模系统。 Smart3DCapture是基于图形运算单元GPU的快速三维场景运算软件,能够运算生成基于真实影像的超高密度点云,其优势在于全自动、快速、稳健,以及优化的数据输出格式和广泛的数据源兼容性,不需要人工干涉便可以生成逼真的三维场景模型[8]。Smart3DCapture处理流程如图2所示,局部区域三维场景如图3所示。

2.1 三维模型的优化

虚拟现实注重人机交互的过程,而场景漫游技术是在虚拟场景中借助必要的装备实现全方位多角度浏览该虚拟场景的操作，如:通过键盘和鼠标控制,能让用户在虚拟场景中前后左右任意方向行走等。在设计方面,本次实验制作分为空中漫游和地面漫游,通过控制飞机的姿态倾斜和速度快慢实现对虚拟场景的鸟瞰、俯视和穿梭等操作,另外也可将飞机着陆并进行地面漫游,其界面中加入实时地图导航,极大地赋予了该场景漫游的多样性,给人不一样的观赏感受。

图2 Smart3DCapture处理流程Fig.2 Process flow of smart3DCapture

图3 局部区域三维场景Fig.3 3D scene of local area

2.2 三维模型的精度分析

本次研究表明，治疗组患者治疗后在心率、舒张压、收缩压水平等方面明显低于对照组，且治疗组在治疗过程中未出现肝脏和血液的毒副现象。这说明比索洛尔在降低患者心率及血压方面有显著效果，在治疗老年高血压伴心功能不全方面有积极作用，具有临床推广价值。

Unity 3D是由Unity Technologies开发的多平台集成游戏开发工具,可让用户轻松创建交互式内容。本文采用Unity 3D引擎构建校园虚拟漫游系统,具有模型兼容性好、运行稳定、交互设计多样等优点[10]。以桂林理工大学为试验区,规划功能需求,制定桂林理工大学虚拟漫游系统设计方案,系统实现流程如图6所示。

自动纹理映射技术是从海量的影像数据中快速高效获取丰富的纹理信息,能够真实地反映地面的客观情况,生成高质量的三维场景,满足现代社会的需求。 传统的城市三维建模方法是结合正射影像、测区CAD地形图等数据,建立初始白模,实地采集照片,然后对照片进行处理,将纹理映射在白模上， 这种方法消耗大量的人力、物力、财力。 自动纹理映射技术就能够很好地解决这个问题。 无人机倾斜影像一般都是分辨率较高的影像,可以很好地呈现实地情况,满足一定精度的建模。 自动纹理映射技术是利用影像的内、外方位元素,恢复拍摄影像时的瞬间姿态,然后通过联系模型面与倾斜影像之间的索引关系,以三维(TIN)模型为基础,根据数字三维技术和空间几何技术,对每一张影像数据进行空间筛选,找出最符合模型的影像集,进行影像像素采样并读入到模型上,自动完成纹理映射[2]。

图4 模型纹理修改前后Fig.4 Texture model before and after modification

表1 空中三角测量误差Table 1 Aerial triangulation error

图5 图书馆楼梯长度量测Fig.5 Measurement of library stair length

3 系统实现

为更直观地体现模型精度,对图书馆楼梯的长度和宽度进行了量测和检验,详见图5。

图6 系统实现流程Fig.6 System implementation process

3.1 场景模型导入

将3DS Max导出的obj格式模型文件置入Unity 3D场景中进行位置摆放。创建灯光以实现在不同天气条件下的校园场景,如晴天、阴天、雾天、雨天等场景；调节光线至合适亮度,体现出空间层次感；添加碰撞,可以用内置的Box Collider或者Mesh Collider碰撞组件,对地面、建筑和树等场景添加该属性。

3.2 角色漫游的设计与实现

目前相对成熟的多视影像联合平差方法为由粗到精的金字塔匹配法。该方法利用POS系统得到的多视影像外方位元素,实现每级影像同名点的自动匹配以及自由网光束法平差[6]。当获得了比较好的同名点匹配结果时,建立像控点坐标、GPU/IMU辅助数据和连接点线的多视影像自检校区域网平差的误差方程,经过联合解算,保证平差结果的准确性[7]。

在三维模型浏览平台下查看模型结果,地形的纹理、颜色、形状和空间位置基本上与现实环境相同，地理要素类型齐全,建筑、道路等主要设施轮廓清晰。进行空中三角测量的影像成功率为96.99%,空中三角测量误差报告中各误差值小于1像素，详见表1。

3.3 GUI界面的设计和实现

在本漫游系统中,GUI界面是用户与系统之间的桥梁。 通过GUI界面的引导,用户可以进入其他界面进行浏览,同时用户也可以自行选择不同的场景,实现相应的漫游功能[11]。 在GUI主界面,共创建了多个菜单选项,包括校园漫步、校园航飞、学校简介、导航、帮助等。 本系统中GUI界面的创建过程为： 首先在工程视图中,右击Create→UI,将所需要的控件加入到Canvas,并调整到合适的位置,最后将控件所要实现的功能代码加入到UI中。由于组件较多,可以构建思维导图用来规划逻辑,以免遗漏。主界面GUI如图7所示。

[期刊] 序号 作者(不超过3人者全部写出，超过者只写前3名，后加“等”或“et al.”).文题[J].期刊名，年，卷(期)：起止页码.

吸附材料上还存在着3点不足：（1）重金属的吸附有限制条件，比如温度、pH值的不同，对重金属的吸附都有影响，中药材的水煎液大都为中性，会对材料的官能团有限制。（2）中药材里重金属的种类较多，且都是微量存在，但脱除材料对于金属的吸附有选择性，现有的天然材料已不能满足吸附效果，应针对不同的重金属加以结构修饰改造，以便提高重金属的吸附率。（3）中药材里的基质成分复杂，需要注意脱除过程中吸附材料对有效成分的影响，可以根据不同药物的性质及主要含量选用不同的材料。同时也可以将几种方法与吸附材料结合使用，相互补足。

（2）糯米50克，连须葱白2根，生姜5片，先煮糯米，快熟时放入已经捣烂的葱白和生姜，同煮片刻后趁热给宝宝服用。

根据学生在问卷中对应具体表征、抽象表征和形象表征测试的四个问题的作答情况进行分析。A.选出你认为的概念中的关键词。B.对你所认为的关键词，选出你所能想到的可能含义。C.理解上述关键词的含义，你调用了哪些已学过的知识？（请按解决问题的顺序书写）D.利用生物学用语、图形语言或表格等具体工具，把这段文字在你脑海中形成的信息以外在的形式呈现出来。

图7 虚拟漫游系统主界面GUIFig.7 Virtual roaming system main interface of GUI

3.4 系统生成

先点击页面左上方的File→Building settings,或者用快捷键Ctrl+Shift+B快速进入,点击PC、Mac所在的图标,进入界面后选择Windows系统,根据电脑系统选择×86还是×64,点击Build,给生成的文件夹重命名和选择导出位置。三维数字校园漫游界面如图8所示。

图8 三维数字校园漫游界面Fig.8 Interface of 3D digital campus roaming

4 结束语

本文结合虚拟现实技术和无人机倾斜摄影技术设计并实现了校园虚拟漫游系统。利用倾斜摄影技术以及强大的图像几何运算软件(Smart3DCapture)来生产城市三维模型方法的可行性,快速构建三维场景,并应用3DS Max建模软件进行场景优化,最后导入Unity 3D引擎实现虚拟漫游的技术路线和实施方案,实现了三维交互式校园布局展示功能。 该系统开发基本达到预期目的,实现了碰撞检测、虚拟漫游等功能,本文的研究和实现对后续虚拟城市项目建设具有重要的现实意义。