北海濠濮间与春雨林塘场景增强现实技术研究

马小淞

林旭辉

刘志成*

刘晓明

历史名园保护与发展的社会需求包括文化遗产的保护及相关内容的挖掘、公众展示及传播等。2000年起，国内外文化遗产领域引入增强现实技术(以下简称AR)，各相关领域也在推广此类技术应用。现有国内AR应用成果较多搭载娱乐及商业性内容，少见知识性强、具深度及严肃性的内容体系。随计算机图形学、计算机视觉、机器学习、神经网络、云计算、物联网、5G、AR的发展，复杂知识体系在信息空间(cyber)的多样化生成与传播成为可能。在Gartner2018年新技术成熟度评估曲线中，AR处于期待复苏期开端[1]；2019年AR相关技术包括：处于技术萌芽期的AR云、沉浸式工作空间、处于期待峰值的5G、图分析、进入低谷期的三维传感摄像机[2]。伴随技术成熟，AR搭载内容的广度与深度将大幅提升。对AR产品的探索开发也是全球电子信息产业未来10年的重要内容。2020年后，5G的商用将改善网络性能，在传输速率、时延、连接数密度和移动速度等方面产生革命性提升，未来AR设备有望摆脱笨重外设，实现轻便穿戴。以上新技术为中国历史名园多源数据融合的AR研究创造了条件。

将文化遗产的现实空间进行数字化构建是AR应用中的必要环节，分逆向与正向建模2种方式。1)逆向建模有：环秀山庄采用倾斜摄影结合三维扫描，进行了精度较高的数字化建模，并据此分析假山石及古建等[3]；“数字故宫”采用3D扫描建模的古建基础数据库[4]；国外包括对古罗马剧院断裂石柱及巴尔米拉的古罗马遗迹贝尔庙的研究，通过倾斜摄影对场景进行3D重建，用计算机图形学及物理引擎复原倒塌遗迹，均采用物件回归技术[5-6]；玛雅研究用Lidar技术建模，光谱分离模型的树木层露出地表结构，为古城遗址研究提供新视角、新依据[7]。2)正向建模在文化遗产中的应用有数字复原研究。以上研究将现实空间数字化，目的或是作为AR本身的虚拟呈现内容，或是获得精准的模拟及动态图形锁定而作为AR的数据基础。“再现圆明园”[8]以建筑学视角在圆明园的AR研究及其保护利用上具宝贵价值。因其对象为现状遗存较少的历史名园，故AR搭载内容以建筑及建筑空间复原成果为主、其他园林要素为辅，因研究对象所限，缺乏进一步对造园文化、艺术手法等内容的分析解读。文化遗产的AR研究包括北京理工大学及西班牙瓦伦西亚理工大学根据其相应AR搭载需求开发底层技术探索和引擎，在文化遗产的AR技术开发上具创新性[9-11]。而对于含较强专业性内容的中国传统园林综合信息管理平台建设相关研究，目前尚属空白。

本研究重点为探索中国历史名园的历史、文化、艺术内涵分析的AR内容搭载及其相应的新技术流程，以逆向建模为起点，在中国历史名园增强现实系统上，对从信息采集层到技术实现层提出了具体技术构建模式，为其系统平台注入新内容、搭建新场景、探索新技术流程、探索新应用，有助文化科技新产业、新业态、新模式的形成与发展。以遗存较完整的历史名园北海中濠濮间、春雨林塘景点的典型场景为对象，研究园林场景多源数据融合的AR构建，分别得到2套以中国历史名园知识体系为基础、针对具体场景的AR内容与技术的创新性流程。

1 濠濮间、春雨林塘增强现实技术构建的架构

北海东岸的濠濮间、春雨林塘是乾隆二十二年(1757年)至乾隆二十四年(1759年)增设的景点，具备丰富的历史文化艺术内涵。基于中国历史名园多源数据融合增强现实系统框架，本文对北海濠濮间和春雨林塘景点中的2个代表性场景进行了从数据层到内容层的探讨(图1)。

图1 研究内容在中国历史名园增强现实多源数据融合系统平台框架中的位置

其中，对技术中台的框架构建主要基于AR引擎构建中国历史名园AR内容体系，利用场景识别及内容呈现功能，对北海春雨林塘、濠濮间结合真实场景的园林历史文化艺术内涵分析信息进行再现。AR引擎提供了以下4个模块：1)场景检测；2)摄像机反求模块；3)虚拟模型渲染；4)融合显示(图2)。目标检测追踪技术是AR领域公认使用频繁的技术之一[11]。而Vuforia引擎(以下简称Vulforia)通过图像目标优化技术及图像目标的物理特性检测等技术，高效准确识别并跟踪多种类型的3D对象，是主流AR开发引擎之一。研究使用Vuforia进行开发。在场景识别功能中，利用场景检测模块，通过将照片信息上传至Vuforia服务器，对图像进行识别并提取图像特征，生成许可证编码，同时将生成后的数据包导入Unity引擎(以下简称Unity)中。在内容呈现功能中，Unity可基于该许可证编码调用Vuforia读取摄像机回传的视频流信息。再基于引入的识别数据包准确识别出真实世界中的场景信息，将信息回传至信息空间中，并利用摄像机视角反求模块，对视频流进行摄像机定位，实现真实世界与数字世界摄像机视角的匹配。流程完成后，基于中国历史名园中场景对应的知识体系，在信息空间中对视频流中的物件进行标注及分析，并将该信息通过虚拟模型渲染模块及融合显示模块映射到视频流中，实现对真实世界的信息增强。

图2 AR引擎工作流程

以下探讨如何以技术构建搭载中国历史名园知识体系。其主要方式是在数字世界中对视频流中的物件进行基础标注与分析。在实现基础标注与分析功能之前，需要利用Unity作为主要技术引擎，解析回传的摄像机视频流；同时，将标注、分析内容与现实场景结合，利用数字化内容解释现实场景。

2 濠濮间对外借景场景、春雨林塘南假山场景园林考证研究及其增强现实技术构建技术路径

中国历史名园多源数据融合AR系统框架的内容层构建离不开对研究对象历史文化艺术内涵的考证与分析。

2.1 濠濮间对外借景场景

2.1.1 云岫厂借景场景的园林考证与研究

濠濮间始建于乾隆二十二年，建成于乾隆二十四年。《国朝宫史》载：“过陟山门、簃门……路东，门三楹，西向入门，循廊蹑山而北，有堂据山巅，北向者曰云岫”[12]369。位于濠濮间山顶的云岫厂前通后达，因山构室；其西北及东南2处全园制高点为“远峰便宜借景”[13]51。云岫厂借景景山及琼华岛设计意图文献证据有：1)《御制云岫厂》：“一缕欲飞何处去，定知琼岛作春阴”[12]369；2)《御制云岫轩》：“林木已蔽亏①，骋望通兆朕。是地邻琼岛，春阴冀其引”[16]；3)《御制赋得濠濮间》：“俯仰得天趣，冲融散远襟”[12]369；4)云岫厂下联：“水天朗彻绕三洲”[12]369。后世学者对此借景观点一致：1)《北京名匾》描述“云岫厂门前有假山叠石，西望波光塔影，尽收眼底”[17]；2)刘晓明提及云岫厂借景景山与琼岛[18]。经2020年初春实地考察，研究明确云岫厂东南平台即濠濮间制高点现状中可见景山及西麓三亭；琼岛则被树遮蔽。此外，明确云岫厂西北平台同样借景琼岛，现状虽有针叶树遮蔽，然白塔依稀可辨(图3)。在下山蹬道引导的60°视野中，白塔位于西南238°，属垂直30°及水平45°的最佳视场范围[19]。故明确云岫厂的2处远借：东南角山顶平台向东南借景景山，向西借景琼华岛；云岫厂西北角山巅及向西南的下山蹬道借景琼华岛。

图3 自云岫厂西北望琼岛白塔视野场景

历史名园作为活态遗产，对植物生长周期问题最好是在维护中保留园林重要设计初衷，乾隆帝在时隔多年后游览濠濮间的御制诗中提及该问题(见上段)，《园冶》及《佛罗伦萨宪章》对此观点也较一致(“碍木删桠”[13]43)。然而现实中可能的各种问题导致在部分历史名园中此类维护不易实现，AR为公众及管理者对该问题的认知与沟通提供契机，因而借景被现状树木遮挡的问题是本文3.1.2节讨论AR技术应用的重要内容。

2.1.2 云岫厂借景场景增强现实实现路径

基于以上，在该场景AR构建中重要的是标注出白塔的位置，实现御制诗里的场景还原。为实现该功能，需对该位置定位获得经纬度坐标，同时拍摄场景照片。将场景照片上传至Vuforia开发者端口，获取许可证编码及生出的图像特征数据包，导入Unity。为避免园林中类似场景混淆，采用经纬度及海拔坐标保证濠濮间云岫厂空间位置的准确性和唯一性。完成定位与视野项后，再进行内容设计及界面开发。

该测试场景的内容设计包括：1)乾隆描述云岫厂借景琼岛及琼岛春阴的御制诗；2)白塔轮廓的高亮及其对应的方位角、视角范围；3)云岫厂建筑和假山石标签。上文提及的此地借景琼岛的其他证据收入“历史”版块的页面折叠详细考证内容中。该场景AR内容设计的原因为：这是该场景中国传统造园的核心内容，涉及借景、游线上的视野视角、古建筑、叠山置石及相关历史文化艺术内涵。对内容3，未来可据中国历史名园AR内容体系进一步细化。

2.2 春雨林塘南假山场景

2.2.1 春雨林塘南假山主峰瀑布场景的园林考证与研究

濠濮间北临春雨林塘。二景与画舫斋同期始建于乾隆二十二年。以往学界对三景范围界定不明，多认为春雨林塘仅指春雨林塘殿而将其归为画舫斋[20]；或将春雨林塘山门以南归为濠濮间。经文献考证结合实地调研，研究提出：1)春雨林塘是完整一景而非单座建筑或建筑群，既包括春雨林塘山门与春雨林塘殿，又包括其南部的林谷假山；该景是画舫斋和濠濮间的重要过渡，起到将建筑围合方池、人工意味较浓的画舫斋，与突出自然山林气氛的濠濮间有机联系的作用；2)濠濮间北假山与春雨林塘借雨主旨相符，且濠濮间小石牌坊标识以北、样式雷图中摛锦轶云牌坊以南均属春雨林塘地界(图4)；3)春雨林塘为乾隆二十二年至二十四年东岸新增景点中立意体现艮位内涵特征的景点。

关于该景的始建，画舫斋、春雨林塘、濠濮间共同且依次记录于乾隆二十二年奏案及2年后竣工的奏销档中[14]。春雨林塘乾隆御制诗描绘了春雨弥谷、林暗塘明、微寒中雨润枝梢之景，使乾隆联想到绿野外的出耕人②。从《清一统志》《清诗纪事》、1918年赵元成游历北海记中可见，春雨林塘从清代设计建园至民国为古迹，始终与画舫斋区别，且常与画舫斋、濠濮间并称[22-24]。乾隆二十二年奏案同样提及春雨林塘以西的系列景观及龙王庙的营建：“石桥一座，牌楼二座，西边出水口山石河一道……龙王庙三间。[25]”《日下旧闻考》载：“水殿之北有龙王庙，庙后小渠亘之，自太液池注水入春雨林塘者也。上有桥，桥南北坊各一。二坊在南者榜曰貯月 ，曰摛锦 ，在北者榜曰轶云 ，曰延春。[26]391”现此桥尚存，二牌坊不存。此外，样式雷《西苑太液池图》可见龙王庙与春雨林塘殿位于同一东西轴线上(图4)。自古有龙能兴云致雨之说：“以龙致雨”[27]“龙春分而登天”[28]“龙嘘气成云”[29]，中国传统文化中龙为水神，各地有修龙王庙祈雨的传统。春雨林塘立意与龙王庙的相关性，以及设计图纸中位置的相关性相呼应，且与画舫斋立意不同，故而春雨林塘不应归为画舫斋内景。以上为春雨林塘立意独立于画舫斋和濠濮间之证。该景之地位于太液池东岸、琼华岛的东北方向；南接画舫斋，北接濠濮间，西邻龙王庙，春雨林塘山门位于山谷南端，南有山谷林木与濠濮间曲池之景。此三景间共有3处牌坊，园林牌坊的主要作用为界定园林之“境”，3处牌坊与山石河、小石桥共同区隔了自南向北：濠濮间、春雨林塘、画舫斋3处境界(图4)。此外，相对全园中心琼岛白塔，春雨林塘位于后天八卦的东北艮位对应丑艮位及寅位，前者五行为土，后者为木。寅在节气上对应“立春”后半与“雨水”前半[30]，景名意指艮卦。景名具体内容上，天时季相为初春，节气为“立春”和“雨水”，气象为雨，春雨属古人所谓“天泉”；地利要素为“林”“塘”。结合乾隆御制诗，该景之北画舫斋内无“林”无“塘”。而殿南有大片林木，现存34棵古树，山门南至濠濮间池边也有曲折有致的石包土山山谷。“筑土遏水曰塘”③，“塘”为堤岸、水池，此景前为曲岸、后为方池，景名将景物道尽。春雨林塘殿联堪为景名注解：“烟景入疏帘，图书带润；波光索曲岸，水木余清。[32]”上联描绘雨中，下联“曲岸”指濠濮间水池自然式驳岸，道出该景雨后初晴的“余韵”。该联处处写雨却不提一雨字，写尽该景“借春雨”之旨。春雨林塘殿内原匾“动静交养”[21]，取意白居易《动静交相养赋》。“十二消息卦”中泰卦为正月初春，对应东北方，为坤(地)气上升、乾(天)气下降之象，阴阳相交顺畅通达。春雨为天泉，即乾气下降，林塘为坤气向上生发，该匾意指景名，也与全园东北方位相应。濠濮间北小石牌坊北楹联“蘅皋蔚雨生机满，松嶂横云画意迎”点明“春雨林塘”。春雨林塘以山门和主殿为核心，南拥山林谷地、北坐方塘，雨润山林为池为塘的意境呼之欲出。在《太液池地盘图》及现状中，院墙外的春雨林塘假山与院墙内春雨林塘殿以南土山均连贯一体，有山脉不绝之意。现状自春雨林塘殿南望，门框层层透景“无心画”的内容是门外山谷树林，都暗示该景独立于画舫斋。春雨林塘各方面反映出其范围南至濠濮间石牌坊，北至摛锦轶云牌坊，其中包含南至濠濮间小石牌坊的山林谷地。春雨林塘前后北塘南池是其与画舫斋、濠濮间二景的过渡(图5)。

图4 东岸《西苑太液池地盘图》中北海东岸濠濮间、春雨林塘、画舫斋三景境界范围(作者改绘自参考文献[21])

图5 北海东岸三景及周边现状平面图(扇形标注为本文两场景位置及视角，局部濠濮间和画舫斋部分底图改绘自参考文献[33])

关于春雨林塘的叠山掇石，其南假山反映了中国山水画的理论与实践。此假山与园林同期而成：《国朝宫史》记载④，《濠濮间地盘图》及《太液池地盘图》对该假山有所描绘[22]。谢国桢说：“若北海之濠濮间、镜清斋，苍翠幽邃，清逸淡远，兼而有之，其叠石之法尤奇。[34]”园林叠山，大致可借鉴画理[35]。此假山主峰做法精妙：主、客峰之交有水口，其上峰石参差交错，以画论中“计白当黑”“留白”手法为水口曲折之态；形成的2条瀑布处于凹入山体而较暗的“窄峡”之中，拟山水画中高山瀑布之意态(图6)——山水画中常将瀑布两侧山石加深作窄峡，以突出瀑布水流湍飞洁白，是常用留白手法之一。清代笪重光和唐岱都强调叠山与理水一体两面的辩证关系，因而“山到交时而水口出，山脉之通，按其水径；水脉之通，理其山形”[36]；都论述了夹水口两旁山石的体势转折和掩映[37-38]。以上在郭熙、唐岱山水画中体现(图7)，主峰瀑布做法与《园冶》瀑布理法也相符⑤。上述均为由实景结合画论、造园论著的证据，该景是山水画论对造园深刻影响的生动实例。核心证据为直指该局部为“瀑布”的乾隆御制诗“会心濠濮间……其北乃假山，巉岩何磊碦……其上挂瀑布，结构俨卢霍。飞沫杂冰流，玉牙排龂㗁”⑥。综上，此处叠石一符合春雨林塘最初设计建造的立意；二作为中国山水画论、园论在园林中的实例而具较高艺术性；三作为园林假山工程而言的“水簸箕”山石排水沟，有防止局部水土流失的实际功用，因此认为蕴含较高研究及保护价值。

图6 春雨林塘南、濠濮间池北假山主峰视野场景及瀑布标注

对春雨林塘为画舫斋、濠濮间中间的第三景论证有以下6点：1)用相关文献结合实地调研明确该景立意是借“春雨”润“林塘”体现“仁德”，区别于画舫斋与濠濮间；2)西侧同期建成的龙王庙、石桥、2座牌坊、出水口山石河与该景立意及边界相关；3)乾隆御制诗为濠濮间池北假山即春雨林塘地界内有“瀑布”的明确文献记载；4)《园冶》有瀑布理法依据；5)现存假山雨天瀑布景观。考虑到对于此景之境的认知受限于天气时节，研究提出第6种论证，即在假山数字化建模基础上，利用AR模拟雨天水流情境。通过以上研究判断该瀑布局部为乾隆朝叠石原作，说明此处叠山的造园艺术价值，无疑对中国传统园林传承具积极意义。上述考证内容及各类证据也将作为AR搭载的知识内容。

2.2.2 春雨林塘南假山主峰瀑布的增强现实技术实现

基于以上，该场景AR构建内容为图8，其中重要的是对雨天假山瀑布的模拟。因简单主观性标注难以重现雨天假山瀑布时的状态，因此结合上述内容设计，利用物理引擎对假山进行水流模拟，以还原更真实的雨天场景。

第一，需对假山场景进行数字化建模，采用照片建模。照片建模是近年出现的逆向建模技术，即通过解析数码设备拍摄的照片进行特征及深度信息提取与数字模型重建，克服了传统建模设备昂贵、操作复杂等问题。第二，局部数据采集建模完成后，用Zbrush优化模型，再导入Unity中模拟和输出。在该测试场景中，内容设计包括：1)乾隆春雨林塘御制诗；2)假山石涧壑轮廓与天沟留白的高亮及其对应的方位角、视角范围；3)假山石标签；4)雨天及瀑布水流。该场景属春雨林塘的证据收入“历史”版块考证内容。该场景AR内容设计所涉专业核心有：叠山置石、山水画论在园林中的实践、园林造景与排水、游线上的视野视角等。第三，需将AR内容统一在界面设计中，因此利用有限状态机完成对每一种模拟状态综合管理，实现各种模拟结果快速触发，再进行深层模拟与分析，包括碰撞模拟、水流模拟及边缘检测分析等。

图7 中国古代山水画中的瀑布局部图7-1 (宋)郭熙《溪山行旅图》图7-2 (宋)郭熙《早春图》图7-3 (清)沈源、唐岱《圆明园四十景图》图7-4 (清)唐岱《仿范宽秋山瀑布轴》

图8 基于中国历史名园AR多源数据融合内容体系的春雨林塘主峰瀑布场景内容

上述技术为构建历史名园AR系统的主要流程：以AR引擎为载体将数字世界与真实世界联结，利用历史名园知识体系对现实事物解析再现，将中国历史园林的价值和内涵呈现眼前而非停留纸面(图9)。

图9 春雨林塘南假山主峰场景AR呈现效果

以往AR搭载内容多为复原3D模型直观展现。本文结合中国历史名园知识体系做了园林内涵上多源数据分析的呈现，重点在于中国传统园林历史文化艺术内涵分析。以往历史园林AR路径多为：正向建模-模型置入-模型展示，搭载内容以建筑为主体，对园林艺术内涵分析展示较少。本研究AR路径为：逆向建模-模型置入-相关园林内涵多源数据内容分析结果整合-综合界面展示。区别于建筑学视角中文化遗产的AR路径，从风景园林学视角出发构建技术路径。因文化遗产中园林要素(如山石、道路、植物等)的形态、材质等方面构成的非线性、不规则特征，正向建模难以真实、完整地将上述园林要素数字化建模；而以逆向建模有利于相对准确地完成对此类要素的记录。以往文化遗产AR相关研究的重点是以建筑为主体的数字化复原模型及其可视化，本文重点是对对象场景的数字化再现模型及其园林内涵分析成果的综合可视化。

3 结论与展望

以遗存较完整的北京皇家园林中北海濠濮间和春雨林塘景点中的2个典型场景为对象，在其园林史考证的基础上，对其在历史、文化、艺术方面的AR搭载内容和技术构建路径进行了讨论。研究对象选取上，濠濮间云岫厂西北借景场景与春雨林塘假山瀑布场景共性是：1)位于游览路径上的重要节点；2)反映了所在景点的设计意图；3)园林历史、文化、艺术内涵可考。前者考证结论为云岫厂西北角作为濠濮间一景制高点之一，是对琼岛春阴的借景；后者考证结论为春雨林塘在造园境界上为濠濮间和画舫斋之间独立景点，此瀑布属春雨林塘地界，叠石有较高艺术价值，在雨天可形成古代山水画论中描述的瀑布场景。考证方式上，前者为园林史考证传统的文献结合现场调研；后者在传统方式基础上，采用照片建模及水流模拟等数字化证据支撑。

技术构建上，以Unity和Vuforia引擎为核心，将场景信息、使用者信息与虚拟模型渲染模块整合，研究构建了一套基于中国历史名园知识体系的AR创新性流程。两场景的AR构建路径基于各场景风景园林知识内容设计实施，探索“术以载道”的具体思路，让技术服务专业内容，让AR成为讲述园林内涵的手段。研究对中国历史名园AR系统从信息采集层到技术实现层进行了技术构建，首次强化了对园林场景的历史、文化、艺术内涵与实景的关系认知，为具备较完整遗存的历史名园的AR研究探索思路，探讨了园林文化传播方式的问题。

AR未来将搭载更丰富的园林本体价值内容信息。对历史园林的本体价值内容也有待全面深入的挖掘和研究。AR未来与其他相关技术结合有望生成更多新应用场景。它将不仅作为历史名园研究与游览者间的沟通手段，还将在其保护、研究、管理、利用、展示和传播中发挥综合效益。

本研究也是在5G移动通信技术为社会发展赋能、北斗全球卫星导航系统部署全面完成的时代背景下，对中国历史名园领域应用场景的探讨。

注：文中图片除注明外，均由作者绘制或拍摄。

致谢：感谢薛晓飞、师卫华、王江浩、舒建骅、黄晓、郭湧、任羽楠、毛祎月、肖惠丹、鄢虹、王卉媛对本文的支持与帮助！

注释：

① “蔽亏”意为因遮蔽而半隐半现。“骋望”意为放眼远眺，有《楚辞·九歌·湘夫人》“登白苹兮骋望，与佳期兮夕张”[14]；有唐代戎昱《苦哉行》“登楼非骋望”[15]。

② 《御制赋得春雨林塘》乾隆二十五年(1760)：“霭霭才弥谷，凄凄遂洒春。论时真及节，称德乃为仁。林暗轻烟合，塘明细浪皴。微寒夫岂碍，嘉泽更希均。接上连枝杪，入虚起蕴沦。情知绿野外，明日出耕人。[12]370”

③ 《初学记》卷第六·地部中·总载水第一[31]。

④ 《国朝宫史》卷之十六·宫殿六：“池三面，纍石为山，东有水洞二，水之来去所经也。[12]370”

⑤ 《园冶》：“瀑布如峭壁山理也……留小坑，突出石口，泛漫而下，纔如瀑布……斯谓‘坐雨观泉’之意。[13]220-221”

⑥ 《御制过“曲涧花香”，游流杯亭、日知阁诸胜诗》[26]301-302。