基于图像的三维重建在建筑遗产测绘中的应用

孙 政，曹永康，张莹莹

（1. 南京工业大学建筑学院，江苏 南京 211800；2. 城市与建筑遗产保护教育部重点实验室（东南大学），江苏 南京 210096；3. 上海交通大学船舶海洋与建筑工程学院，上海 200240；4. 东南大学建筑学院，江苏 南京 210096）

1 激光扫描技术的局限

进入21世纪以来，地面激光扫描1传统上激光扫描技术可以分为空中激光扫描（airborne laser scanning）与地面激光扫描（terrestrial laser scanning）。近年来出现了可穿戴激光扫描设备（wearable laser scanning）与手持激光扫描设备（hand-held laser scanning），但是考虑到成本和扫描范围，目前地面激光扫描在建筑遗产测绘中最为常用，因此下文出现的“激光扫描”均专指地面激光扫描。技术的应用为我国的建筑史研究[1]和建筑遗产保护[2]带来了新的契机。然而，这项技术惠及的建筑遗产在地域上以华北居多、在类型上以殿堂和楼阁居多。可能造成这一现象的原因有很多，如建筑史研究的关注点、科研资源的分布等，但有一个原因不能忽视，即建筑遗产测绘技术的适用性。建筑遗产测绘技术的选择取决于所需成果形式、所需精度、成本、设备便携性、对象可达性、外业效率等因素，目前还没有一种单一的技术可以同时满足上述要求，激光扫描也不例外。激光扫描昂贵的成本和较差的便携性制约了其在我国更广阔地域（如西藏）和更多建筑遗产类型（如建筑群、佛塔、壁画等）中的应用。

例如，为了帮助学生理解“有丝分裂保证了遗传信息在亲代和子代细胞中的一致性”的重要概念，根据课标要求，需要开展“制作和观察根尖细胞有丝分裂简易装片或观察其永久装片”的实验，这个实验能否达成预期效果的关键在于学生能否从视野中辨别出有丝分裂各时期的典型图像，并能正确读图。这一问题正是该实验教学中的重点与难点。为此，利用数字化显微镜观察技术，同步呈现不同学生所观察到的正确典型图像与错误图像，也可利用教师的智能手机的拍摄功能，同步传输、呈现学生观察到的典型图像，为学生创造丰富的观察学习情境。由于这些图像来自学生，更易吸引学生的观察、分析与讨论，从而有效支撑学生生成抽象概念。

2 基于图像的三维重建

从光学测量的角度，激光扫描技术采用主动光学传感器，通过主动发射并回收激光信号直接获得对象的三维数据，即基于测距的三维重建（range-based modeling）；与之相对的另一种途径采用被动光学传感器间接获得三维数据——摄影测量，即基于图像的三维重建（image-based modeling）[3]。由于工作原理上的互补性（表1），过去20年间这两种技术在大尺度、成果需求复杂的建筑遗产三维重建中（如庞贝遗址）通常配合使用[4-5]。

21世纪初，计算机视觉领域实现了从海量图像自动重建大尺度三维场景的突破，使传统的摄影测量中复杂的相机校正、同名点匹配等环节全部实现了自动化。这一类技术被称为从运动图像重建三维场景（structure from motion,SfM）。2011年，美国华盛顿大学、微软等机构的研究者用从互联网下载的海量图像在不到一天的时间内数字重建了罗马的主要景点（成果为点云模型）[6]。但是由于计算机视觉领域的研究偏向自动化，该算法的精度在1/100左右[7]（每100 m的误差为1 m），远远不能满足建筑遗产测绘的需求。然而，如果能够结合摄影测量在图像采集、图像处理、相机校正等方面提高精度的方法，则这一算法在建筑遗产测绘中的前景会非常可观。因此，近年来分析和提高计算机视觉领域开源算法的精度，受到摄影测量、建筑、考古等领域研究者的广泛关注，成为建筑遗产测绘领域的研究前沿[8-10]。

在我国建筑遗产精细测绘中，基于图像的三维重建起步较晚，但近年来发展迅速，尤其是无人机和倾斜摄影测量技术的发展，使测绘尺度从建筑单体拓展到建筑群、甚至城镇[11]。然而，在既有应用中，值得注意的问题是：出自建筑学背景的研究较少、横向比较不同测量技术的研究较少、纵向分析新技术对既有工作流程冲击的研究较少。上述问题导致的结果是：基于图像的三维重建作为一项新兴技术，在建筑遗产保护中与其他测量技术、既有工作流程的上下游之间存在明显的脱节。因此，本文希望通过3个案例更加全面地展示该技术在建筑遗产保护中的应用效果，为类似实践提供参照。

在自然环境严峻的地区，测绘技术的便携性和外业效率至关重要。而且，由于综合采用多种技术的可行性较低，所用测绘技术应当具有较好的成果多样性。在西藏江孜一处山顶建筑遗址的测绘中，基于图像的三维重建的优势得到了集中体现，它不仅替代了激光扫描，而且得到了比后者更完整、更丰富的测量数据。我们在2014年和2015年两次到达该遗址，感受到了旅游开发的山雨欲来。与2014年相比，山腰的一处建筑遗址的地面已经被硬化，许多原始信息荡然无存。在这样的情况下，建筑遗产测绘的意义更显得重要，无人机与基于图像的三维重建的结合可为之提供有力的帮助。

3 基于图像的三维重建在建筑遗产中的应用案例

3.1 低成本高精度测绘

在该项目中，我们用全站仪、无人机、数码相机在5天时间内完成了现场数据采集，最终生成了建筑室内外的点云模型，并最终转化为BIM模型，以期整合包括历史图档、测量成果在内的多维数据，为之后的修复提供数据支持（图1）。首先，采用全站仪建站的方法在建筑室内外建立了控制网络，分别从各站点测量事先布置的地面控制点，由于整个控制网络共享同一个坐标系，因此分别从图像建立的局部模型可以据此拼合为全局模型；其次，采用无人机和单反相机分别对建筑的室外和室内进行图像采集，图像采集遵循的原则是：每个需要的面被至少3张图像覆盖，以确保较大的基线与距离的比值（即尽量采用汇聚式的相机网络、避免发散式的相机网络）；最后，图像和控制点坐标分别输入软件（Visual SfM和PMVS2），生成三维点云模型。这个三维模型提供了许多手工测量无法得到的数据，比如楼板厚度、上下层对位关系等，还可以通过一系列算法（从点云模型生成网格面模型、对网格面模型进行纹理映射）生成屋顶、建筑立面、室内天花板的正投影图。在绘图阶段，我们将点云模型导入Revit，以其为参照，建立了建筑的BIM模型。该模型包含了建筑的实际状态（点云模型）和理想状态（根据历史图纸建立的模型），可以逐步加入材料、结构、历史变化等多维信息。该BIM模型不仅可以作为该建筑的数据库，还可以作为后续应用的中介，用于变形分析、结构模拟等用途。

激光扫描技术虽然可以达到极高的精度、还原丰富的细节，但是高昂的成本阻碍了其在预算有限的建筑遗产测绘中的应用，这种情况在当前我国非常普遍。在武汉大学学生俱乐部的测绘中，受制于项目预算，我们将基于图像的三维重建作为激光扫描的代替，在精度和成果形式上满足了测绘需求：点云模型的平均误差（与全站仪测量的控制点比对）不到3 cm。考虑到拼合激光扫描的多站点云时可能产生的误差，该精度已经十分接近激光扫描的精度，足以满足以绘制二维图纸为导向的建筑遗产测绘的需求。

所需测绘的建筑遗址位于约120 m的山顶。如果采用Leica ScanStaion C10激光扫描仪从山下向山顶扫描，建筑超出了扫描半径（300 m）；而将几十千克重的激光扫描仪运到山顶也非常困难。由于团队成员已经出现高原反应，我们临时雇佣了两名当地居民才将设备运至山顶。然而，从建筑遗址内部扫描无法获得全貌，需要进行多站点拼接，我们没有如此充裕的时间。因此，我们最终利用无人机在不到1 h的时间内采集的近百张图像最终生成了三维模型（图2）。该模型从人眼无法获得的角度生成了高分辨率的正投影图，准确记录了建筑遗产的现状，不仅包含全局信息，还提供了高清的局部信息（图3），为虚拟修复、雨水流向模拟等诸多应用创造了条件。基于低空图像的三维重建将建筑连同地形环境一并建模，提供了传统手工测绘和激光扫描无法获得的地理环境数据（如数字高程模型），这些数据可以在GIS中进行整合和分析，以便对该建筑遗址进行更宏观的记录和数据管理（图4）。

图1 从图像到点云模型到BIM模型的流程

3.2 自然环境严峻地区的测绘

4.1 选地 播前选择适宜地块、种子和机械。选地势高，土层深厚，便于排灌，非重茬地种植。当土壤含水量低于14%时，需浇水造墒播种。

采用SPSS 20.0统计分析软件处理，计量资料采用(±s)表示，组间两两比较采用独立样本t检验;计数资料采用百分率(%)表示，组间比较采用χ2分析;P＜0.05代表差异有统计学意义。

沈阳市是辽宁省的省会，它既是一个集经济、文化、政治、交通、旅游于一体闻名遐迩的历史文化古城，又是一个工业重镇。沈阳市位于辽宁省辽河平原中部，地处东经 122°25＇9＂-123°48＇24＂ 之间，北纬 41°11＇51＂-43°2＇13＂ 之间，全市总面积逾 12948 平方公里，现辖九大区，为沈北新区、于洪区、皇姑区、大东区、沈河区、东陵区、和平区、铁西区、苏家屯区，市区面积3495.4平方公里，常住人口约800多万人。地貌类型多样，以平原为主，山地、丘陵多集中在东南部。

3.3 倾斜检测与结构分析

图2 通过航拍图像建立的三维数字模型（西藏江孜紫金乡一处建筑遗址）

图3 从三维模型输出的高清正投影图

图4 在GIS中对点云模型进行处理

传统的墙体倾斜检测是从墙体上选择若干观测点，通过观测点的分布规律分析墙体的倾斜程度。这一方法的缺点在于：准确性依赖于取样点的数量、分布、是否具有代表性，以及能否直观表达倾斜情况。而通过单反相机采集的图像，可以高效地建立墙体的三维模型，并通过全站仪测量的若干控制点坐标，将其准确定位（该过程不需要建站，操作非常简便）。将其与理想的墙体平面相比较，通过计算前者中每个点距离后者最近点之间的距离，就可以得到墙体的整体倾斜分布（图5），具有很高的准确性和直观性。

图5 基于图像的三维重建用于墙体倾斜分析的工作流程

除了静态分析，基于图像的三维重建得到的模型还可以模拟建筑遗产的结构受力情况，进行安全评估。由于包含了建筑遗产的病害、变形、沉降等实际状态，该模型比基于理想几何体的三维模型更加准确。我们用该方法模拟了驳船对一座清代拱桥的撞击。该桥位于上海青浦，近年来屡遭驳船撞击，最近一次的严重撞击发生在2014年夏天，导致桥面开裂、桥拱变形。我们在现场发现，撞击的原因是原本满载的驳船在卸货返航时吃水减少，左右船舷非常容易撞到桥体。通过无人机采集的图像，建立了该桥的三维模型，并用基于Rhino的有限元分析插件Scan and Solve，对桥的撞击情况（撞击位置、持续时间、受力类型与大小）进行模拟，得到危险程度的分布图，并模拟了桥体受撞产生的变形（图6），为修复和加固提供了参考。尽管该结构模拟的成果不能作为修复的直接依据，但该工作的意义在于使用低成本、开源的测量和分析工具完成了传统上高度依赖专业技能和软件的复杂工作（如既有结构的有限元分析）。随着相关数字软件的完善，这一工作流程将愈发具有实际意义。

4 结论与展望

图6 结构变形模拟的工作流程

本文介绍了基于图像的三维重建在建筑遗产测绘中的若干应用案例。需要注意的是，尽管该技术具有很多激光扫描技术不具备的优势，但是它并不能取代后者。在许多大规模、复杂的建筑遗产测绘中，这两种技术应该综合使用。但是，在一些特殊情况下（预算有限、偏远地区），该技术可以作为激光扫描技术的有效替代，达到与之相近的测量精度和相同的成果形式。总之，基于图像的三维技术可以使建筑遗产数字化测绘的范围大为拓展（表2），在当前我国建筑遗产保护和古建筑测绘教学中具有广阔的应用前景。

表2 基于建筑遗产类型的测绘技术适用性对比（激光扫描与基于图像的三维重建）

在未来，该技术在建筑遗产测绘中的发展可能来自以下方面："应用范围的进一步拓展。随着硬件的发展（如微型无人机的成本降低、4 kB视频传感器的普及、全景相机的应用、热红外相机与无人机结合等），基于图像的三维重建技术有望用于更多类型的建筑遗产测绘（如石窟寺）。#与虚拟现实（virtual reality，VR）、增强现实（augmented reality,AR）、3D打印等数字技术的结合。虽然激光扫描技术同样可以与上述数字技术结合，但是基于图像的三维重建可以通过手机、单反相机，以及免费的软件以近乎零成本的方式实现，可以为建筑遗产的数字化应用提供更多可能。$消失的建筑遗产的三维重建。如果保留有充足的历史图像，基于图像的三维重建可以对已经消失的建筑遗产进行三维重建，比如最近上海交通大学建筑文化遗产研究中心对上海练塘古镇数处被拆建筑的数字还原。

[1]刘畅,刘梦雨,王雪莹.平遥镇国寺万佛殿大木结构测量数据解读[J].中国建筑史论汇刊,2012(1)：101-148.

[2]汤羽扬,杜博怡,丁延辉.三维激光扫描数据在文物建筑保护中应用的探讨[J].北京建筑工程学院学报,2011,27(4)：1- 6.

[3]REMONDINO F.Heritage recording and 3D modeling with photo grammetry and 3D scanning[J].Remote Sensing,2011,3(6)：1104-1138.

[4]BLAIS F.Review of 20 years of range sensor development[J].Journal of Electronic Imaging,2004,13(1)：231-243.

[5]BENEDETTI B,GAIANI M,REMONDINO F,et al. Modelli digitali 3D in archeologia：il caso di Pompei[M].Pisa：Edizioni della Normale,2010.

[6]AGARWAL S,FURUKAWA Y,SNAVELY N,et al.Building Rome in a day[J].Communications of the ACM,2011,54(10)：105-112.

[7]WU C.Towards linear-time incremental structure from motion[C]//3D Vision- 3DV 2013 International Conference on 3dtv- Conference[S.l.].IEEE,2012：127-130.

[8]REMONDINO F,DEL PIZZO S,KERSTEN T P,et al.Low-cost and open-source solutions for automated image orientation：a critical overview[C]//Progress in Cultural Heritage preservation.Springer：Berlin Heidelberg,2012：40-54.

[9]BALLABENI A,APOLLONIO F I,GAIANI M,et al.Advances in image pre-processing to improve automated 3D Reconstruction[C]//International Archives of the Photogrammetry.Remote： Sensing and Spatial Information Sciences, 2015：315-323.

[10]APOLLONIO F I,BALLABENI A,GAIANI M,et al.Evaluation of feature-based methods for automated network orientation[C]//International Archives of the Photogrammetry.Remote： Sensing and Spatial Information Sciences,2014： 47-54.

[11]SUN Z,CAO Y K.Applications of integrated digital technologies for surveying Tibetan architectural heritage：three years experience[C]//22th CAADRIA.Suzhou：[s.n.]2017：663-672.

[12]BARSANTI S G,REMONDINO F,VISINTINI D.Photogrammetry and Laser Scanning for archaeological site 3D modeling-Some critical issues[C]//.Proc.of the 2nd Workshop on'The New Technologies for Aquileia',V.Roberto：L. Fozzati,2012.