实景模型在传统村落数字博物馆中的应用

李佳俊， 徐辉， 赵大伟

(中国城市规划设计研究院学术信息中心，北京 100044)

0 引言

近年来无人机三维实景建模技术的快速发展使其在地形测绘、应急救灾、土地确权、数字城市、名城保护等领域得到了广泛应用。与传统二维影像相比，三维实景模型带有高程信息，能形象地还原测区的地形地貌与地物信息，不仅可实现二维空间分析，还可用于可视域分析、日照分析、水淹分析等三维空间分析，并且可以生成真正射影像、数字表面模型等衍生产品。在今后的空间数据生产中，实景模型的生产已逐渐成为一项必不可少的遥感技术成果。

2017年以来，我国住房和城乡建设部已全面推动传统村落数字化工作。做好传统村落数字博物馆的建设已迫在眉睫。现阶段国内的学者大多是将三维实景模型用于景观设计、城市建设、灾害分析以及虚拟仿真等领域，涉及到的三维实景模型以公园、城市、桥梁、坝体、地形及大型旅游景点为主； 国外的学者大多将其用于城市规划，如Agency9公司通过加载城市的三维实景模型到cityplanner平台中，完成了对城市兴趣点的标注与说明，再导入规划师的不同方案，实现方案对比与发布。目前，国内外学者对于传统村落范畴内的实景模型研究还较少，原因主要有以下4点： ①数据采集有难度，村落内的道路网紧密且狭窄，倾斜摄影系统很难捕捉到建筑物的侧面纹理信息，加上植被的覆盖，增加了实景模型的重建难度； ②影响飞行安全因素多，传统村落的选址一般都依山傍水，天气与自然环境条件较为复杂[1]，风切变和气压变化都会对飞行器的起降点、飞行高度以及航线造成影响； ③技术规范不明确，三维实景模型的数据采集没有相关的规范； ④交通可达性较差，许多传统村落坐落于偏远山区，车辆难以抵达，常常需要人力携带整套作业设备徒步前往。

为了验证无人机三维实景快速建模技术应用到传统村落数字博物馆建设的可行性，本文以安徽省黄山市13个传统村落为研究区，在计算飞行航线参数的基础上，利用DJI GS PRO地面站将参数输入到飞行器的飞控端并实施数据采集任务，然后将预处理后的村落影像通过ContextCapture软件进行空三解算和重建模型，最终得到村落模型成果，并将该模型窗口在中国传统村落数字博物馆的网页中发布并调用； 同时对数据及处理时间进行分析，以期得到数据采集与空三解算的时间的关系，以及模型数据量与面积的关系。同时本文对在气候变化快 ，且地貌环境复杂的传统村落分布地区实施飞行任务提出了切实可行的建议。

1 村落概况与系统介绍

1.1 村落概况

本文中进行数据采集的13个村落主要集中在安徽省黄山市，既有入选世界文化遗产的西递村和宏村，也有一些如瀹坑村和汪村等不广为人知的村落。它们都是徽派建筑和徽州文化的突出代表，虽然在建筑手法和村落选址方面有许多相似之处，但是根据所处地理环境的不同，各村落之间也存在一些差异。例如，瀹坑村和汪村2村被夹持在2条相邻的山脊之中，临近山脚处被高耸的树林植被所覆盖[2]； 尚村由于处在梯田之中，村落地势高差较大； 渔梁村临近渔梁水库坝，水域面积相对其他村落较大。这些差异主要表现在村落面积大小、地势起伏程度、村落整体形态[3]、地物组成要素和建筑密集程度等5个方面。这些方面都会影响实景模型前期的数据采集以及后期的数据处理，所以全面了解村落情况，优化数据采集方案是获取三维实景模型的前提。

1.2 系统介绍

三维实景建模系统由数据采集系统和数据处理系统2部分组成。数据采集系统用于采集带有全球定位系统(global positioning system,GPS)坐标的多角度高空间分辨率影像； 数据处理系统则将正常采集的影像数据通过数据预处理、空三解算、重建模型等流程获得三维实景模型。

1.2.1 数据采集系统

数据采集系统分为硬件和软件2部分。硬件即飞行平台和挂载的倾斜摄影相机(图1)，软件指控制无人机飞行的地面站。

图1 数据采集系统硬件部分Fig.1 Hardware of data acquisition system

飞行平台为M600 Pro的六轴多旋翼飞行器，轴距1.13 m，最大起飞重量15.5 kg，最大续航时间30 min。搭配D-RTK动态实时差分系统，飞行器的定位误差可保证在水平1 cm，垂直2 cm以内。倾斜摄影相机为五拼微单相机，镜头从1个垂直、4个倾斜共5个不同的角度采集影像[4]，总像素大于1亿像素。相机镜头为定焦镜头，焦距为10.4 mm，CMOS尺寸为13.2 mm×8.8 mm。最小曝光时间为2 s，重量为1.8 kg。

现在用于采集三维建模数据的主流地面站软件有我国的Altizure，DJI GS Pro以及瑞士的Pix4D capture。其中Altizure和Pix4D capture针对单镜头多旋翼飞行器，且均为第三方产品； DJI GS Pro地面站为M600 Pro的官方地面站并且满足五镜头倾斜摄影相机拍摄的需求，所以本次工作使用该地面站。该地面站除可显示常规的飞行状态(如飞行高度、飞行速度和飞行姿态等)以外，还能够控制飞行器实现自主航线规划，并根据照片重叠率、相机参数以及曝光时间自动调整航线。

1.2.2 数据处理系统

数据处理系统同样分为硬件和软件2部分，硬件指计算机，软件指三维实景建模软件。本次处理数据使用到了多台计算机，部分计算机处理器为E5 1620 V4，显卡为GTX 1080Ti，显存为11 G，内存为128 G，硬盘为2 T固态硬盘，本文中称为一类机； 另有一台计算机处理器为E5 2670 V3，显卡为Quadro K5200，显存8 G，内存为64 G，硬盘为256 GB普通硬盘，本文中称为二类机。

目前专业的三维实景建模软件按照数据的存放位置分为2种，一种是将采集的数据放到云端处理，一种是将数据放在本地计算机处理。前者的代表为我国自主研发的Altizure，后者主流软件有法国的ContextCapture、瑞士的Pix4D mapper和俄罗斯Agisoft公司的Photoscan等。Altizure只需要将采集的数据上传到云端，无需人工干预就可得到模型成果，但是考虑到数据的保密性以及村落影像数据量大的特点，Altizure并不适合传统村落这种大场景的建模。Photoscan和Pix4Dmapper的处理流程较为复杂，而且每个村庄最终获取的照片平均大于1万张，处理的时间要大于ContextCapture。ContextCapture虽然提高了空三算法，但普通桌面版的程序还是有3 000亿(300 Giga)像素的限制，这对于总照片数超过15 000的村落数据还是会有困难。所以本次工作中采用了ContextCapture Center集群版，该版本的程序解除了对总像素数量的限制。

2 数据采集

在进行数据采集前首先对整个村落完成现场踏勘和各种准备，包括起飞点的选择和空域申请，以及村落范围、村落形态、建筑密度、天气条件、安全飞行高度等因素及设备参数的确定。数据采集主要包括倾斜摄影相机设置，航线规划及实施飞行任务。

2.1 相机设置

5台相机的设置参数相同。考虑到飞行器电机高速运转、空中风向变化以及飞行速度等原因的影响，将快门速度设置为1/1 600 s，拍摄模式为快门优先，避免由上述情况导致影像的模糊。感光度为自动，对焦模式为手动并对焦于无穷远，曝光时间间隔为2 s。

2.2 航线规划

航线规划无论是对于前期的数据采集还是后期的数据处理都有很大的影响，可以说是三维实景建模的重中之重[5]。高质量的航线规划不但可以节省外业采集数据的时间，而且还可以提高内业数据处理的效率。

航线规划的首要工作是划定测区范围，根据测区内地物的具体情况制定航线[6]。航线规划与飞行器参数和相机参数密切相关，本文将所有涉及到的参数分为3类: 飞行器参数、传感器参数以及航线参数，如表1所示。

表1 参数列表Tab.1 Parameter list

表1中，传感器参数为已知参数； 航线参数中的Oh，Os，G和A为自定义参数； 飞行器参数和航线参数中的H，V，Ds和D为解算参数。地面分辨率G的高低直接决定飞行器的飞行高度。二者的关系可以表示为

(1)

为满足传统村落数字博物馆中村落建模的要求，以瞻淇村为例，设置G=20 mm，其他参数分别为：f=10.4 mm，Sw=13.2 mm，Pw=5 742 像素。将以上4项参数代入式(1)，可得出H约为86 m。

H确定之后还有V和D需要确定。V由Oh与H决定，D由H与Os决定，二者计算公式分别为

(2)

(3)

将式(1)代入式(2)中得到

(4)

式中G与Oh为自变量，V为因变量。它们之间的关系如图2所示，曲面投影到右侧垂面的分层图为地面分辨率的等值图。由于研究区传统村落的房屋建筑比较密集，房屋与房屋之间的距离较近且每个村落的地形条件不同，为了能够采集更多的建筑立面信息并且保证模型的清晰度，村落数据采集将Oh限制在80%～90%之间，G限制在[10，30] mm之间(如图2曲面右下侧红框所示范围)。与之对应的H区间为[43.1，129.3] m，V区间为[1.8,10.9] m/s。红框中的红点标记为瞻淇村数据采集时飞行器设定的参数。Oh=Os=85%，H=86 m，V=5.5 m/s，G=20 mm。

图2 飞行速度关系Fig.2 Flight speed relationship

由式(4)也可以看出传感器焦距的大小对飞行速度没有影响。将式(1)带入式(3)中得到

D=PwG(1-Os)，

(5)

式中D为因变量，G和Os为自变量。三者的关系如图3所示。

图3 航带间距关系Fig.3 Strip spacing relationship

与航向重叠率相同，这里将Os也限制为80%～90%之间，以保证能够采集到更多的建筑物立面纹理信息。G的区间同样为[10,30] mm，与其对应的D的区间为[5.5,32.8] m。上述取值范围如图3右下侧的红框范围所示，可见D与G成正比。

A的设置与测区形状和风向有关。村落的边界一般为不规则多边形，在确定航线角度的时候应当保证整个村落都应该覆盖到，避免漏测情况的出现。另外，航线的角度尽量和当时的风向相同。图4为渔梁村的航线规划，其中A=97°。Ds与V和Ts有关，本实验中为V和Ts的乘积，即10.6 m。T等于航线长度与V的比值，为40 min 22 s。

图4 渔梁村部分航线规划Fig.4 Partial route planning of Yuliang Village

2.3 任务实施

将航线规划的参数输入到地面站中，再通过地面站将飞行任务上传到飞行器的飞控端。飞行器启动后会按照之前设定好的飞行路线进行自主飞行，任务完成后飞行器会自动返航。飞行器的自主飞行阶段一般不需要人工干预即可完成。经过对13个村子的多次飞行发现，有多个因素会直接影响飞行器的飞行安全。

1)距离因素。飞行器起飞点的选择应当尽可能地靠近设定航线的起始点，保证在视距范围内(小于500 m)。这是因为飞行器由起飞点飞行至设定航线起始点的飞行速度为飞行器的最大飞行速度，若飞行时间较长会无谓地消耗较多的电池电量。若遇到气流变化飞行器还会上下浮动，高度波动较大而影响飞行质量。因此飞行器每次起飞时，操作人员都会密切注视着飞行器，直至其安全地进入预定的航线。

2)天气因素。本次工作进行数据采集的时间为6—8月，正值雨季，山区的天气变化无常，在下雨之前会有积雨云迅速汇聚，并伴有大风。此时，气压降低，空气密度减小，飞行高度会有所降低，因此随时都会注意风力的变化情况。由于本次所用飞行器的抗风等级为5级，当遇到恶劣天气时就会中止飞行任务并降落，待天气转晴后利用断点续飞功能再完成剩余的航线。此外，温度过高会导致地面站的卡顿而影响飞行器的正常运转，因此都避免了在温度超过40 ℃时开展户外作业。

3)飞行监视。飞行器在作业时，操作人员始终位于高地开阔处，避开地面站与飞行器之间的障碍物，保证了二者之间通讯正常； 并全程监视飞行器的飞行参数，确保飞行安全。

2.4 质量控制

质量控制主要是检验数据的可靠性，判断是否可以保证数据处理的完成。主要包括4个方面：

1)丢片检查。对比触发曝光数与数据存储中的照片数是否相同。

2)定位数据检查。检查每个曝光点的定位是否正确，全程卫星信号是否正常。

3)照片清晰度检查。检查照片是否有模糊情况出现。

4)照片重叠度检查。实际飞行中减产照片的航向与旁向重叠率是否在预设范围内。

3 数据处理

3.1 数据预处理

数据预处理主要是制作ContextCapture软件可以识别的Block文件。Block文件中包含照片的位置信息、存储路径以及5台相机的详细参数等。首先，批量录入每张照片的组号、文件名、存储路径等信息； 然后，导入倾斜摄影系统内部的GPS文件，该文件包含每张照片的经纬度和相对高程信息； 最后，录入5台相机的CMOS尺寸、焦距、照片像素值以及检校信息，正常保存后用于下一步的空三解算。

3.2 空三解算

空三解算通过提取每张照片的特征点，进行特征点匹配形成照片之间的连接点，最终通过联合约束平差获取每张照片拍摄时的姿态角，获得点云。表2为龙川村的空三解算结果报告。

表2 龙川村空三解算结果报告Tab.2 Aerotriangulation result report of Longchuan Village

龙川村共采集影像13 450张，其中有效影像为13 316张。从表2可以看出，空三计算之后，获得到的连接点数为220 409个，反投影中误差为0.61像素，反投影标准差为0.79像素，地面点到摄站点距离标准差为0.021 m，结果良好。

为了寻求外业数据采集时间与内业空三解算时间的关系，以便判断出空三解算时间的经验值，从而帮助参与者预估空三解算的完成时间，需要计算数据采集时间占空三解算时间的比例，其中数据采集时间指的是倾斜相机开始拍摄到结束拍摄的时间差。由一类机处理的11个村子的数据采集时间占空三解算时间的比例如图5所示。

图5 数据采集时间占空三解算时间的比例Fig.5 Time proportion of data acquisition and aerotriangulation processing

其中，瀹坑村和汪村为邻近的2个村子，所以在数据采集和空三解算时将其合并在一起； 而龙川村和松木岭村数据是由二类机处理完成的，因此暂不作考虑。由图5可以看出大部分村子的时间占比都在5.19%～8.56%之间，只有万安老街和渔梁村在5%以下。前者是由于当时采集的时候正值雨季，山区的气候变化较快，所以在数据采集的时候光线变化较大，这就需要做多次空三运算[7]才能获得到整体村落的空三结果； 后者是因村落中存在面积占整个村落采集范围一半以上的河流，不利于空三解算，所以其空三解算时间较长。由此可以判断出，若一个村落需要用倾斜摄影相机采集60 min数据，那么需要用12～20 h来完成空三解算，平均需要18 h。该结果仅适用于一类机的配置。

3.3 重建模型

重建模型是对空三解算获取到的点云进行加密构建三角网，并将纹理准确映射在其上的过程。包括坐标设定、重建范围、瓦片分割、三维重建和成果输出几个步骤。

图6(a)—(c)为龙川村在ContextCapture中重建模型的流程，分别是空三解算、重建模型以及模型成果。模型重建时，空间参考坐标系选择为站心坐标系； 重建范围为之前在Google Earth上设定好的.kml文件，将其导入至该菜单下即可使用； 瓦片的分割方式为均分，每个瓦片大小为100 m，共计71个瓦片。

(a) 空三解算(b) 重建模型(c) 模型成果

图6重建模型流程(龙川村)

Fig.6Workflowofreconstructionmodel(LongchuanVillage)

图7是所有村子模型的数据量和模型面积之间的关系。

图7 模型面积与数据量关系Fig.7 Relationship between model area and data size

可以看出模型面积与模型数据量之间有一定的相关性。总体来看，模型面积越大，模型的数据量就会越大。但由于每个村落的地理环境和格局不同，数据量与模型面积并非为严格的正相关关系。例如，万安老街在所有村落模型中面积最大，但村中有较大面积的水域，通过空三计算水面上的连接点会远远低于房屋的连接点，因而构成三角网的数量并不高，因此其模型数据量并非最高。另外，如果该村落模型中包含广阔的田地或空旷的广场也会导致模型数据量的下降。与上述情况相反的是，如果该村落的树木或竹林较多，那么数据量就会升高。这是因为植被的连接点相对密集，构成大量细碎的三角网，需要更多的空间来存储。例如瀹坑村和汪村，这2个村子是被两侧的山脊所包围，呈条带状，所以村落面积不大。但是村落两侧被山上的植被所覆盖，所以数据量较大。图8(a)为瀹坑村的局部模型，左侧为房屋建筑，右侧为被植被覆盖的山体。图8(b)为相应的网格化的模型。通过对比可见，植被的三角网密度要远远高于房屋建筑的三角网密度。

(a) 原始模型(b) 模型不规则三角网

图8瀹坑村原始模型与其不规则三角网的对比

Fig.8ContrastbetweentheoriginalmodelofYuekengVillageanditsTIN

4 数据发布与共享

将生产出来的实景模型数据进行压缩后上传到了三维实景模型云平台，完成了模型数据的发布。模型数据包含2个部分： .osgb格式的模型数据文件和地理坐标信息(metadata)数据。将模型上传到云平台后，可以通过扫描二维码或链接的方式实现与公众的共享，还可以通过调用模型窗口代码将模型窗口嵌入到中国传统村落数字博物馆的网页之中，以三维的视角让公众更直观地了解传统村落的建筑风貌以及村落形态[8]。

图9为中国传统村落数字博物馆唐模村中三维实景模型的窗口。村落模型中加入了多个热点标注，标注有文字、图片、视频、全景影像等多种形式。浏览者除了能利用常规方式来了解该村落之外，还可以通过三维实景模型来全方位地了解该村落的历史建筑以及村落格局。此外，与现在的虚拟现实(virtual reality，VR)技术相结合，将生成的.fbx格式的模型进行优化后做成电子实景沙盘，通过头戴设备能让观察者沉浸其中，弥补了传统沙盘不真实、携带不便、不可更新等缺点。另外规划设计人员还可以通过模型完成村落某些建筑或地块的实际尺寸量测，让设计人员能够更直观地把握空间尺度，完成与该尺度匹配的环境改造方案，起到辅助设计的作用。

图9唐模村数字博物馆三维实景模型窗口

Fig.9Real3DmodelofTangmoVillagedigitalmuseum

5 结论

本文利用五镜头倾斜摄影系统，配合DJI GS PRO地面站完成了安徽省13个传统村落的数据采集，结合ContextCapture Center处理终端，生成了.osgb格式的三维实景模型，完成了模型数据的发布，并最终嵌入到中国传统村落数字博物馆的网页中。

1)通过对11个村落的数据采集时间和空三解算时间分析，得出空三解算时间平均为数据采集时间的18倍。由此，可以大致判断出采集单个村落的数据处理时间，进而能够帮助决策者判断完成该项目的时间节点。

2)三维实景模型的数据量与该村落的面积呈正相关性，大面积的水域、广阔的田地以及密集的植被群都会对此相关性造成影响。在村落模型生产前能帮助生产者预先判断采用适当体量的瓦片来处理模型，解决了模型后期发布加载缓慢的问题。

3)该方法适用于村落范围的模型构建，能够自动生产出空间分辨率高、拓扑关系良好、细节表现丰富的实景模型，对于中国传统村落数字博物馆的建设以及传统村落的小环境改造都能起到积极作用。

但是，三维实景建模对数据的采集要求较为严格，主要表现在以下2点：

1)阴雨天、大风天都会对数据采集产生较大的影响。阴天会使得照片过暗，空三运算可能会失败； 此外，雨天和大风天会严重影响飞行器的安全。

2)在雨季，山区的天气变化较为剧烈，光线忽明忽暗。这有可能导致照片之间匹配的成功率降低，需要后期采用人工刺连接点的方式来解决。

随着激光扫描仪成本的下降，配有激光扫描仪与相机双传感器的三维数据获取设备可以解决光照变化导致影像匹配的问题； 并且在获取到影像的同时还可以提高建模的精度。这将是本文以后将要延续开展的工作。