从图形到图像：建筑遗产测绘与临图学方法革新

孙政 Sun Zheng

近年来，自动化、数字化、轻量化的测量技术在建筑遗产测绘中不断涌现。除已经趋于普及的地面激光扫描之外，还有轻便灵活的近景摄影测量，适用于建筑群和城镇这种大区域的空中倾斜摄影测量，以及适用于狭窄空间、基于同时定位与地图构建（simultaneous localization and mapping，SLAM）的移动激光扫描等。这些技术极大地提高了测量的精度和效率，丰富了测量的数据类型，拓展了测绘场景，但也带来了新的问题：它们的运用与数据处理超出了建筑学的范畴，需要具备测绘、遥感、地理，甚至计算机视觉等领域的相关专业知识。

目前国内存在这样的情形：在建筑遗产测绘中，测量和数据处理被转包给测绘设备销售商（通常兼做工程），服务至其提供可以辅助绘制平、立、剖面图的数据为止。由于谙熟古建筑语法和制图标准，建筑学至今还坚守着绘图的阵地。如果说分工细化有利于提升工作效率——就像利用医学影像判断病情，专业的是医生不是医疗设备生产商一样——只要测绘的本体是建筑，那么驾驭新技术展开测绘就应该是建筑学的责任和专长。营造学社以往的工作表明，建筑学的判断在测绘对象选择、层级制定、成果表达上至关重要。在新兴测量技术的冲击下，延续这种判断的关键是建筑学图学方法的革新。

然而，目前国内建筑学的图学方法明显滞后于测量技术的发展。“图学是以图为核心，研究将形演绎到图，由图构造形的过程中图的表达、产生、处理与传播的理论及其应用的科学[1]”。建筑遗产测绘是从“形”到“图”的过程，“形”是建筑本体，“图”是图形——从营造学社的手绘到目前的计算机辅助设计（computer-aided design，CAD），也可能是图像——来自激光扫描与摄影测量。从图形到图像的转变，意味着处理、表达与传播图的方法也都需要随之改变。用图形的方法处理、表达与传播图像，是当下建筑遗产测绘实践与教学中诸多问题产生的根源。

1 建筑遗产测绘中的图形与图像

什么是建筑遗产测绘中的图形与图像？举例说明：

1937 年，营造学社在绘图纸上用笔画出佛光寺大殿的立面图，我们把它记为A；20 世纪90 年代，我们可以在计算机上用CAD 制图软件绘制出一张10 KB 大小dwg格式的矢量图来表达这个立面，记为B；今天，摄影测量技术可以让我们用一张10 MB大小jpg 格式的正射图来表达这个立面，记为C。如果忽略佛光寺大殿80多年间的变化，A、B、C 在信息表达上有什么区别呢？

A 与B 是图形，是被测绘者“画”出来的。在这个意义上，手绘与CAD 呈现的并无不同：图形表达的信息是明确的，每个图元（比如当心间两侧的柱子）都具有清晰的轮廓与可量取的尺寸；生成图形的过程是概括的，绘图者根据测绘层级和出图比例确定测量具体构件的过程；当图形绘制完成（哪怕只有一条线），图形的几何是集约而连续的（对于这条线而言）。

C 是图像，是机器自动生成的。图像表达的信息是含混的，无论采样多么密集、效果多么直观，真实构件的轮廓都隐藏在由均一像素构成的点阵里；生成图像的过程是客观的，图像忠实记录了建筑在测量时的状态；图像的数据量无论多大，都是对现实的不连续采样。

据此可以提炼出图形与图像的具体区别（表1）：

在计算机二维空间里，图形是矢量图（vector graphics），图像是栅格图（raster graphics）。由二维推演到三维，软件“画”出来的数字三维模型也是图形——三维图形，是二维图形通过拉伸、放样等几何计算方式生成的，符合表1 中图形的特征；但通过激光扫描与摄影测量等技术生成的点云及其衍生的网格面（mesh）则是图像——三维图像，点云是二维点阵的三维化，点与面都符合表1 中图像的特征。由此，我们可以把目前建筑遗产测绘中常用的“图”全都归为图形或者图像：图形包括矢量图（基于AutoCAD、Vectorworks 等软件）、三维数字模型（基于SketchUp、 Rhino、Revit等软件）等；图像包括栅格图（比如正射图）、数字高程模型、点云、mesh 等。尽管三维数字模型在测绘中通常被我们称为“模型”而非“图”，但这种“图形-图像”的分类在揭示测绘技术演进的本质上，比基于“二维-三维”数据维度的分类方法更加合理。即激光扫描与摄影测量等技术与手工测量的关键区别并非有无数字化技术介入——激光测距仪是数字化工具，但其与用卷尺测量并无本质不同——而在于前者是一种间接技术（indirect techniques）。

测量建筑遗产时的间接技术是相对直接技术（direct techniques）而言的[2]。采用直接技术测量的特点是根据绘图的需要决定测量的对象，通常先画草图，再在草图上标记测量数据，尺子、激光测距仪、全站仪等都属于直接技术的范畴。而间接技术则是无差别地记录测量范围内的物体：当基于测距（如激光扫描）时，测量范围是扫描半径内；当基于图像（如摄影测量、红外热成像）时，测量范围是相机景域内。间接技术导致建筑遗产测绘中发生一个显著的变化，即测量与绘图分裂成两个独立的环节（图1），这是今天相比营造学社时代的关键区别。由此产生两个问题：一是图像能否自动转化为图形？二是图像本身能否作为建筑遗产测绘的成果？

对于问题一，从图像自动生成图形的方法有很多，比如栅格图矢量化算法、根据点云拟合几何形体等，但是建筑遗产的不规则几何形体（由于残损、病害等原因）使该过程目前主要以半自动化（自动算法结合人工修正）的方式完成；而问题二则与建筑学和保护科学的不同学科导向，以及机器学习等领域的算法有关。

2 图像技术与保护科学相辅相成

保护的观念在20 世纪后半叶才逐渐兴起，但建筑学测绘建筑的活动至少可以追溯到文艺复兴时期。无论16 世纪的帕拉迪奥还是20 世纪的营造学社，其测绘的首要目的都不是保护，而是学习和研究古代建筑。帕拉迪奥的《建筑四书》之所以影响深远，很大程度上归因于他在古罗马遗迹测绘与设计实践之间展示了古典建筑语法的灵活性，其中图形充当了古为今用的媒介。《苏州古典园林》中，刘敦桢先生笔下的假山叠石有取舍、有详略、有轻重，让人想到宋元山水画、想到咫尺山林的掇山意趣，也是因为其中的图形延续了这种活的传统。

然而，我们今天说起“建筑遗产测绘”，往往把测绘视为保护建筑遗产的前期工作，视为技术干预提供决策依据的途径。除了绘制平、立、剖面图与轴测图等工作，建筑的残损、变形、病害等与保护相关的信息也是测绘的范畴。在保护科学的视野下，建筑是与绘画、雕塑、服装等并列的保护对象，测绘是一种记录信息的手段；由于保护对象珍贵、脆弱与形体不规则的特点，需要非接触、无损与高清晰的信息采集方式，图像技术正契合了这种需求。

表1 建筑遗产测绘中图形与图像的区别

图1 建筑遗产测绘中直接技术与间接技术的测绘流程对比示意图（图片来源：孙政绘制）

相比于古老的建筑学，晚近产生的基于科学方法的保护从一开始就结合了图像技术。1964 年问世的《威尼斯宪章》对记录的空前强调离不开图像技术的支撑。4 年后，国际文化遗产记录科学委员会（The International Committee for Architectural Photogrammetry，CIPA）在国际古迹遗址理事会（International Council on Monum ents and Sites，ICOMOS）和国际摄影测量与遥感协会（International Society for Photogramm etry and Rem ote Sensing, ISPRS）的协助下成立。它的使命之一就是利用测量和计算机领域的先进技术记录与管理文化遗产。截至2019 年，CIPA 已经召开了27 届学术大会，极大促进了该领域内的学科融合，也成为技术发展的风向标之一。自20 世纪90 年代数字化米开朗基罗项目①由美国斯坦福大学等机构实施的文化遗产数字化项目，详见https://accademia.stanford.edu/mich/。以来，基于激光扫描、摄影测量等光学传感器的测量在世界各地的文化遗产保护中逐渐普及。

对保护科学来说，记录不一定以输出图形为结果。图像本身可以作为记录的载体、作为一种广义的保护方式，即信息化保存（informational preservation）[3]；我们也可以从图像中直接得出保护需要的数据。比如，通过计算mesh 模型与理想平面的距离，可以分析砖石表面因风化、人为破坏等原因导致的残损[4]（图2a）；可以直接在mesh 模型上标注病害区域、统计病害面积[5]（图2b）；遥感卫星图像可以用于计算建筑遗产的位移——目前多时相干涉合成孔径雷达技术（Multitemporal Synthetic Aperture Radar Interferometry，MT-InSAR）的测量精度已达到毫米级别[6]（图2c）；可以用有限元分析的方法对mesh 模型进行受力模拟[7]（图2d-2f）。

图2 从图像直接得出的建筑遗产保护所需的数据2a. 砖石表面的残损分析（图片来源：参考文献[4]，文章引用时有裁剪）2b. 在不规则几何形体上标注、统计病害（图片来源：参考文献[5]）2c. 基于多时相遥感卫星的建筑物位移计算（图片来源：参考文献[6]）2d-2f. 模拟拱桥遭受船只撞击的受力与形变（图片来源：参考文献[7]，文章引用时有裁剪）

目前的前沿研究是利用机器学习与深度学习的方法，自动从图像中提取建筑遗产保护所需的数据，比如石质墙体表面的残损检测[8]、点云模型语义区分[9]。2018 年，英特尔公司（Intel）使用无人机摄影测量技术采集箭扣长城的图像，并利用人工智能（Artificial Intelligence，AI）从中自动识别长城的残损。2020 年，都灵理工大学等机构的研究人员发布了建筑遗产点云模型语义区分的基准数据集ArCH dataset（http://archdataset.polito.it/），它包含十余个不同类型建筑遗产的点云模型，及其基于机器学习、深度学习的构件分类结果，供同行以此为参照，评估不同分类算法的优劣。目前AI 从医学图像中检测某些病症的准确率已经超过了具有丰富经验的医生，并可能在十年后从整体上普及[10]。随着百度、腾讯等公司陆续开放面向个人用户的AI 服务，训练AI识别建筑遗产图像已经成为可能。此外，5G 通信、Web-GL 图形库、物联网、混合现实、众包等技术和模式的发展，使图像传输的成本越来越低，图像交互的方式将更加多元。今天，智能手机和混合现实眼镜已经可以作为测绘数据浏览与交互的终端。图像在建筑遗产测绘中的应用前景非常广阔。

3 建筑遗产测绘需要融合图像技术

图像技术的发展看似在不断侵蚀着建筑学在测绘中的领地，但学科的边界从来都不是固定的，许多传统学科在与新技术的融合中更具活力：线描图曾经是考古学重要的记录手段，但今天遥感考古学已经成为考古学的重要分支[11]；传统的摄影测量因计算机视觉的算法实现了全自动化[12]。在测绘技术发展进步的浪潮中，建筑学不仅不应缺席，而且应努力在图学的维度上重新定义学科的边界。建筑学在测绘中的最大价值，来自基于学科立场对建筑的设计逻辑、历史演变、隐藏节点、病害原因等内容进行判断。这种判断决定了展开测绘的方式，而测绘成果又为判断提供依据。就像医学影像辅助医生诊断一样，建筑学传统上基于图形的观念与方法应在图像技术的发展中被重新定位。

3.1 建筑遗产测绘的新课题

如何在下列问题上应对图像技术的发展，是目前建筑遗产测绘领域的研究热点，但在解决这些问题时还需要结合我国建筑遗产的自身特点：

（1）结合图像技术修正测绘层级。国内现有的测绘层级——简略测绘、典型测绘、全面测绘，都是以二维几何信息的矢量表达为主要导向，测量的要求也与之绑定[13]。涵盖图像的测绘层级还没有建立，这意味着目前三维几何和色彩在采集、处理、表达与传播的各个环节都缺少标准。在从点云到建筑信息模型（Building Information Modeling，BIM）的流程中，意大利、英国等国已经建立了标准，其中涉及精度、信息程度、自动化程度等指标[14]。不久前我国也发布了壁画的数字化测绘规程《古建筑壁画数字化测绘技术规程（WW/T 0082-2017）》，明确了图像色彩准确性的标准。下一步，需要在更多的建筑遗产类型中建立此类标准。

（2）改进表达、管理与传播图像的方法。目前测绘中常用的CAD 制图软件主要面向图形，无法有效表达与管理图像；地理信息系统（Geographical Information System, GIS）兼备图形与图像的表达与运算能力。但是GIS 作为地理信息平台，缺少建筑语义信息，这使其在测绘成果表达上局限于表面（如场地、墙面等）；BIM 具有建筑语义信息，可以结合物理、力学等信息，但是BIM 与CAD 一样几乎不兼容图像，从点云逆向建模的过程非常繁琐。在上述图学平台的基础上，运用二次开发和开源软件使其适应建筑遗产测绘的需求是近年来的研究热点[15]，但结合我国建筑遗产自身特点的研究目前还很少。

图3 在三个不同测绘层级上用BIM表达砖构建筑的测量成果（图片来源：孙政据参考文献[16] 图4-图9 改绘）

（3）评估与改进图像算法。图像处理与点云区分涉及大量算法。建筑学的工作不是写代码，而是从建筑语法、病害类型等角度评估与改进算法的适用性。比如前文提到AI 判断砖表面的病害程度，如果仅以平滑度和色差作为每块砖保存状况的判断依据，那么水泥抹面的砖墙可能被认为保存完好，但实际上已是不可逆的损坏。将砖表面的病害类型与相应的图像之间准确匹配，需要建筑学与计算机、AI 等领域的密切协作。

3.2 一个案例：明孝陵神功圣德碑亭测绘

明孝陵是明太祖朱元璋的陵墓，位于南京钟山南麓，始建于14 世纪末。神功圣德碑亭（以下简称“碑亭”）位于明孝陵建筑群的轴线上，在大金门以北约70 m，碑亭中央矗立着记录朱元璋功绩的神功圣德碑。方形碑亭的砖结构部分边长约为27 m、高约9 m，四面各有一个用桶拱砌筑的通道，宽约5 m。

2018 年，我们使用激光扫描技术采集了碑亭砖结构部分的三维数据，得到了平均误差小于3 mm 的点云。包括不同站点扫描数据的拼合（自动完成）在内，测量总耗时不到4 h。但是如何表达碑亭的结构变形与表面残损却并不容易，这与砖构建筑的特点有关：首先，平、立、剖面图等矢量图适用于表达木构建筑中杆件的空间信息，但砖券结构没有明确的建筑构件；其次，统计砖块的病害类型及其分布规律需要数据库功能，以便统计与筛选；最后，还要考虑不同的使用需求（如日常维护、精细记录、病害统计等）。综合上述考量，我们认为BIM 是目前最合适的图学平台，但基于BIM 的砖结构测量成果表达却并无标准可循。我们在可用商业软件（Autodesk Revit）的框架下，结合参数化工具自定义BIM 参数，尝试了三种基于不同测绘层级（Level of Detail，LoD）的工作流程（图3）[16]。

（1）LoD 1：忽略建筑形体的非理想状态（类似于典型测绘），建立参数化模型。砖质表面的残损通过凹凸深度图像以贴图形式附着于体块表面。该模型的数据量很小，且残损情况直观，可用于日常维护时的现场比对（基于智能移动设备与Autodesk BIM 360 Docs）。

（2）LoD 2：严格依照点云描绘二维轮廓，生成三维体块，三维体块的整体误差在厘米级别（类似于全面测绘）。该模型可以导出任意位置的平面图与剖面图，并统计四个桶拱因侧推力导致的变形，可以满足建筑史研究与建筑遗产保护的一般需求。

（3）LoD 3（局部）：通过一系列几何计算（如轮廓提取、放样等），把桶拱的mesh 转化为可编辑的非均匀有理B 样条（Non-Uniform Rational B-Splines，NURBS）曲面，再利用参数化工具（Grasshopper）借助NURBS 曲面生成尺寸可操控的砖块。同时利用IFC（工业基础类，Industry Foundation Class）代理（proxy）自定义砖块的病害信息（如裂缝、撞击、风化等），使这些参数在BIM 中可见并可改。该模型的意义是在砖块的尺度上管理整个砖构建筑的数据，并可随着检测数据（如湿度、盐析出等）的补充而不断丰富。

尽管上述方法可以解决砖构建筑遗产测绘中的部分问题，但是这一技术流程还有很多问题亟待解决。此外，它们也反映了目前建筑遗产测绘中涉及到的常用图学方法，比如：如何在全局尺度且不损失精度的前提下把mesh 转化为NURBS 曲面，这就涉及到计算几何的算法；目前砖块的生成是基于规律（纵联式筒拱，stretching bond）而非实测，这涉及到图像处理的算法。下一步，我们将继续研究从点云生成BIM的方法，以及评估栅格图矢量化的算法，进而可以从图像中自动提取砖块的轮廓，实现全测绘流程的自动化。

4 图学方法革新：从工程图学到可视计算

图是建筑学的工具之一，图形与图像也反映了建筑学在面对增量（如建筑设计、城市设计等）和存量（如建成环境评估、既有建筑改造、建筑遗产保护等）时的两种不同思维。面对增量时，图形贯穿草图、建模、施工图、放样等诸多过程；面对存量时，以数据采集为先，图像则是重要的数据类型之一。目前国内建筑学的图学基础来自工程图学，工程图学是面向工程学的图学教育，针对机械零件、道路桥梁、房屋建筑等领域从无到有的设计、制作与建造过程，主要包括画法几何、CAD、BIM 等课程。与逆向工程（reverse engineering）有关的图学教育几乎空白，这个问题也体现在古建筑测绘教学中。

在过去以手工测量为古建筑测绘的主要方法时，工程图学可以支撑绘图的原理与方法，教师只需额外强调古建筑测绘层级的内容。激光扫描、摄影测量等技术被引入教学后，习惯了使用CAD 绘图的学生在没有图像技术支撑的情况下，必然对处理庞杂的点云缺少办法，把其中包含的变形、缺损与病害转化为图形，更是难上加难。目前的情况是，教师要么把处理好的数据交给学生，要么在测绘中教学生使用相关软件。但无论哪种情况，在有限的课时下，学生都是既错失了传统意义上完整的典型测绘训练，又仅仅接触了新技术的皮毛。因此，我们认为古建筑测绘教学亟需补充有关图像的图学方法（表2），并将其与学生已有的图学基础建立联系。比如，可以引导学生运用建筑设计中常用的可视化编程工具（如Grasshopper、Dynamo）处理（如降密、简化等）点云和mesh，将其转化为NURBS 曲面或边界表示法（Boundary Representation，B-rep）模型，使其意识到空间数据处理与曲面表示方法的实质是计算几何。如何将可视计算融入建筑学现有的图学教育是今后教学改革的重要方向之一，意大利在课程设置上的经验可以给我们提供有力参考①在意大利的建筑学学科体系中，类似于我国“建筑历史与理论”二级学科的分支叫做“图学、修复与建筑史”（Disegno, restauro e storia dell ’architettura），包括名称所示的三个细分方向。其中图学（或译为绘图）是以图学原理（如计算几何）研究图学工具（如BIM, 参数化建模等）及相关新技术在建筑再现、建筑测绘中的应用，以博洛尼亚大学建筑系一名教师在2019-2020 学年的课程为例，其教学内容包括建筑制图与图形分析、平面设计基本原理、建筑测绘的工具与方法、建筑测绘新技术、技术制图（详见：https://www.unibo.it/sitoweb/federico.fallavollita/teachings）。这些内容并不全是理论授课，有的会成为设计课程的一个模块。比如，建筑测绘新技术（24学时）是设计、历史与修复工作坊（192 学时）的一个模块，这个工作坊的其他模块还有修复（72 学时）、历史建筑再生（24 学时）、历史景观和开放空间的设计与活态保护（24 学时）。这样设置的好处是，测绘技术教学在横向上有拓展、在纵向上有延续（学生在低年级时已学习过建筑测绘），有利于学生融会贯通。。

需要注意的是，表2 中涉及的领域并非泾渭分明，而是呈现出相互融合的趋势。有学者建议以“可视计算”（visual computing）统摄这些领域（还包括计算机图形学、机器学习等），形成更大的学科方向[17]。我们认为，可视计算不仅可以解释、评估与改进建筑遗产测绘中的图学方法，也顺应了从工程测量向传感器技术转变的趋势，符合建筑遗产保护中整合多源数据的需求。同时随着检测技术的发展，测绘的边界越来越模糊。红外热成像、透地雷达、超声断层扫描等检测技术是否可以归为测绘技术？测绘与检测的边界在哪里？在巴黎圣母院的修复中，负责数字建模的研究者在激光扫描与摄影测量采集的空间信息基础上，将材料学、考古学、人类学等不同学科领域的研究汇总，形成了一个融合各学科研究成果的“数字孪生体”（digital twin）[18]。按照我们的理解，这个数字孪生体是数字模型和知识本体（ontology）的结合。数字模型是由图形和图像组成的图学载体，知识本体则包含了语义、知识、检测数据等非图学信息的定义和描述，及其与图学载体之间的对应关系[19]。这种结合的目的，是服务于建筑遗产海量数据的管理，以及日益增多的跨学科保护。比如，当修复一段墙体上的裂缝时，不仅需要它的空间信息及演变过程（基于历时测量），还需要它的性能数据（比如材料强度），并能将其与裂缝的成因（如地震等）和结果（如渗水等）建立起关联[20]。可见，从保护的角度看，区分测绘与检测的边界似乎并不重要，二者都是基于传感器技术的数据采集手段。测绘更重要的意义，或者说发展趋势，是利用合理的图学方法搭建起融合多源数据的框架，并在建筑遗产保护的数据使用者（如建筑师、科学家、工程师、管理者等）之间，最大程度地提供信息可视化与交互的便利（图4）。

表2 建筑遗产测绘中与图像技术相关的研究方向及其应用

5 结语

近年来，在技术层面，基于图形的建筑遗产测绘受到了图像技术的冲击；在概念层面，建筑学与保护科学的不同导向又造成了“建筑遗产测绘”的歧义，二者是建筑遗产测绘实践与教学中产生的一系列问题的根源。文章从图学的角度探讨了上述问题，结论要点如下：

（1）激光扫描、摄影测量等新兴测量技术实质上是输出图像的间接技术，图像到图形的转化是目前测绘中的技术瓶颈，技术问题的背后是建筑学缺少针对图像的图学方法。

（2）图形与图像的偏好反映了建筑学与保护科学对待测绘的不同导向。图形是建筑学古为今用的中介，在测绘中适用于杆件（如木构建筑）空间信息的表达；图像技术与保护科学相辅相成，适用于具有丰富纹理与色彩、不规则几何形体（如砖石建筑表面、雕像、彩画）的测绘对象。越过输出图形、直接从图像提取保护所需的数据是目前的前沿研究。

（3）建筑遗产测绘面临的图学革新是从工程图学到可视计算。后者不仅可以涵盖建筑遗产测绘的图学方法，也顺应了从工程测量向传感器技术转变的趋势，符合建筑遗产保护中整合多源数据的需求。下一步，我们需要研究如何将可视计算融入建筑学现有的图学教育之中。

图4 传统的古建筑测绘与保护科学的测绘在知识构成上的差异（图片来源：孙政绘制）

[14]ANTONOPOULOU S, BRYAN P. BIM for Heritage: Developing a Historic Building Information Model [M]. Swindon: Historic England, 2017: 14-16.

[15]LÓPEZ F J, LERONES P M, LLAMAS J, et al. A Review of Heritage Building Information Modeling (H-BIM) [J]. Multimodal Technologies and Interaction, 2018, 2(2): 21.

[16]SUN Z, XIE J T, ZHANG Y Y, et al. As-Built BIM for a Fifteenth-Century Chinese Brick Structure at Various LoDs [J]. ISPRS International Journal of Geo-Information, 2019, 8(12): 577.

[17]刘利刚. 什么是计算机图形学[EB/OL]. (2013-08-08)[2020-09-20]. http://staff.ustc.edu.cn/～lgliu/Resources/CG/What_is_CG.htm.

[18]BALL P. The Huge Scientific Effort to Study Notre-Dame’s Ashes [J]. Nature, 2020, 577(7789): 153-154.

[19]ACIERNO M, CURSI S, SIMEONE D, et al. Architectural Heritage Knowledge Modelling: An Ontology-Based Framework for Conservation Process [J]. Journal of Cultural Heritage, 2017(24): 124-133.

[20]CACCIOTTI R, BLAŠKO M, VALACH J. A Diagnostic Ontological Model for Damages to Historical Constructions [J]. Journal of Cultural Heritage, 2015, 16(1): 40-48.

Synopsis

In the past decades, architectural heritage survey in China has benefited from the wide application of optical measurement technologies such as terrestrial laser scanning (TLS) and photogrammetry. These technologies produce 3D data with high precision and resolution, which is accompanied by new challenges in the field of architectural studies. The methods of processing, representing and spreading these data (images) are beyond the architectural knowledge system of graphics (graph-based).

Graphs are reflections of the human brain. They can either be drawn by hand or in CAD (computer-aided design) software. Both Andrea Palladio’s survey of ancient Roman ruins and a 3D B-rep (boundary representation) model can be regarded as graphs. Images, however, are born from optical sensors. The process leading to images are objective in contrast to that of graphs. No matter how high the resolution of a raster image is, or how dense a 3D point cloud model is, images by their nature are samplings of the measured objects. In the field of representing architectural heritage graphs are boundary-aware, which are good at representing the spatial organisation of timber structures, while images are visually intuitive, which are ideal media for or ganic geometries and texture-abundant surfaces.

From the viewpoint of technological evolution, images are related to indirect measuring technologies. The raw images produced by machines are unstructured. Human operations, such as decimation, segmentation and approximation, are essential to turn them into graphs. The workflow of the image-based survey is different from 16th century’s Andrea Palladio and 1930s’ Liang Sicheng whose surveys were conducted directly (Figure 1). Two issues arise from this workflow: (1) can images be converted to graphs automatically? (2) can images themselves be the result of architectural heritage survey?

Preferences of graph or image reflect the different directions of architecture and conservation science. Surveying ancient ruins is a learning process for architects. Graphs bridge the gap between the past and the present. In the scope of conservation science, survey is considered the pre-work for restoration. The aims of the survey consist of documentation, monitoring and defects detection. Since the objects of conservations tend to be fragile, non-contact measurement is preferable. Imaging tech nologies meet this demand and gradually become standard documentation methods for conservation. The or ganisations, conferences, charters and researches in the second half of the 20th century witnessed this tendency. Thus, survey does not necessarily end up with graphs. Images themselves can be the result of surveys, as the so-called ‘informative preservation’; correspond -ingly, knowledge for conservation can be extracted from images directly. Algorithms emer ging from image processing, computing geometry, computer vision and machin e learning sheds light on this field. In 2018, Intel trained Artificial Intelligence (AI) to detect the defects of the Great Wall from point clouds derived from photogrammetry. Recently a benchmark of architectural heritage point-cloud-segmentation was published. Machinelearning algorithms have been used to automate this process. Recent advances of AI in medical imaging diagnosis might provide a reference for the future development of imaging technologies.

Imaging technologies seem to challe nge the role of architecture discipline in the architectural heritage survey field. It is also an opportunity to redefine the boundary of architecture by integrating emerging technologies. Some new tasks arise, including:

· Modifying the category of architectural heritage survey with reference to imaging technologies in the complete workflow of the survey.

· Renovating graphics methods in representation, management and spreading. CAD and BIM (Building Information Model) have limited inter -operability with images, while GIS (Geographic Information System) platforms lack architectural semantics. API (Application Programming Interface) and open source tools which integrate with such platforms is a trend.

· Evaluating and improving algorithm s from the perspective of architectural heritage survey. Instead of coding, it is more important to optimise the workflow through critical evaluation of algorithms and to tune the threshold of their parameters.

A case study is given to show the innovative application of graphic tools in architectural heritage survey. This surveyed building Stele Pavilion of Remarkable Feats and Sacred Virtues is a 15th-century brick structure in Nanjing, China. Three LoD (Level of Detail) models are proposed based on the combined use of a commercial BIM platform and auxiliary tools: A host model linked with raster images composed using orthoimage and relief maps (LoD 1), an as-built volume with semantic skins (LoD 2), and a brick-by-brick partial model with custom industry foundation class (IFC) parameters (LoD 3). The results reveal that LoD 1 caters to an efficient web-based workflow for brick-damage annotations; as-built dimensions can be extracted from LoD 2; LoD 3 enables attrib utes such as damage types to be attached at the brick level. In future studies, the detection of brick shapes is expected to automate the process of as-built surface mapping.

Up to now, architectural students in China share their graphics education with engineering students (e.g. civil engineering and mechanical engineering). Problems arise in the courses of historic buildings survey into which TLS and photogrammetry have been brought in recent years. On the one hand, survey data is expected to support conservation in such courses; on the other hand, the knowledge constitution of this course is engineering survey, engineering graphics and archi -tectural history. Students lacking knowledge of reverse engineering are facing graphic issues based on images. The graphics education of architecture should be updated to meet the needs of conservation science as well as the social transformation from designing new architectures to adapting existing ones (Figure 4). Thus, the graphics for conservation science is a general discipline named ‘visual computing’ which includes image processing, computer graphics, computer vision and machine learning. Visual computing meets the transforma -tion from engineer ing survey to sensor technolo -gies and encourage s non-destructive analyses and simulations of the conserved objects. The ‘digital twin’ established in the restoration of the Notre Dame Cathedral reveals the trend of graphics for architectural heritage conservation: a visual database composed of graphics and ontology . For the next step, we should investigate how to integrate visual computing into the graphics education of architecture.