与古为新与图像存形:AIGC赋能传统园林绘画的再现与研究

2024-09-24 00:00:00詹旭军陆之宇崔岩方志立
中国艺术 2024年3期

关键词:AIGC 《东庄图》册 中国古代园林绘画 返场 图像

以二维图像的形式表现一座园林,在中国有着悠久的历史,《小祗园图》《南村别墅图》《东庄图》《止园图》等为此类绘画的典范,然昔日的园林大多已不存于世,但从现存的园记与园林绘画作品中仍可见一斑。近年来,众多学者深入研究与梳理“失意”园林,并有较大进展。

东庄是真实存在过的庄园,现在虽不存于世但仍有佐证与“影像”存世,例如《东庄记》和《东庄图》册,两者相互照应可为学者提供一定的研究参考。从已有文献可以看出,对东庄的研究多从不同介质材料、角度进行分析探索,高居翰等对照研究园记与图册,细致地从二维图像视角探究自然与人文意象,但对形态复原尚未深涉。张志强等将城墙景观作为研究对象,试析东庄地理位置,结合几种文献材料的综合分析,但除此景观外,园林的其他位置仍有较大的探讨空间。以图像为蓝图探寻历史性回归的方法中,汤晓颖等以具身交互构建虚拟现实的山水意境,但图像分析及形态过于主观理想化。本文将在已有成果的基础上,试以生成式人工智能工具透过图像与文字等材料复原东庄实景以及补齐、延伸图像视角,贯通册页、手卷等形式,借意象图式“返场”感受东庄园趣。

一、AIGC逻辑与传统园林绘画图像分野

(一)AIGC概念、原理与演进

AIGC是基于生成式对抗网络(Generative Adversarial Networks,GAN)、大型预训练模型(Contrastive Language-Image Pre-Training, CLIP)等人工智能的技术方法,通过学习、识别、处理已有数据,再以适当的泛化能力生成相关内容的技术。并且随着技术的不断完善与成熟,众多相关图像生成模型如雨后春笋般争相面世。比如,AIGC绘画发展迅速,从风格模拟与物理模型、风格拼贴与算法判断到对齐训练与扩散模型在文生图等方面逐渐精进,根据不同操作工具训练逻辑的不同而各具优势,生成模型(如GAN)能够借助概率模型将随机噪点变换输出为多样化、高层次的信息数据,而扩散模型(如StableDiffusion)能够在生成高质量图像的同时保证其信息多样性,并在无条件图像生成、文本到图像合成等任务上展现竞争力。伴随着AIGC绘画工具与技术的三次飞跃,其高度智能化、多样化、自动化、高效性以及创造性等特征,使得艺术与设计作品的生成与传播路径更为开阔,艺术与设计工作流程也随之焕然一新。

(二)AIGC绘画工作流程

AIGC能为艺术家或设计师提供新的智慧化工作方式,以解决一定的自身需求,在绘画层次上亦有助于其更好地理解原始图像中的创作细节与逻辑,使得艺术设计不再是艺术创造力的单一表现,具有了更多的科学性内涵。对比传统设计与人工智能设计流程,从原本局限于物理学习与经验模拟的人工智能发展到可根据计算模型实现自动制图,再到智能扩散、自动化生成具有多样性和创造性图像等形式的作品,经过不断磨合、发展,艺术设计和人工智能在合作中已找到了契合区间。

数字时代为艺术设计创作与传统文化的图式语言传承提供了新的发展平台,同时AIGC绘画多样的呈现方式为生动再现传统绘画作品所在的社会与现实场景提供了有效传播路径,意在形成千人千面、万千感受的互动效果。将AIGC纳入设计与考据分析工作中,可以提供有效意象以及帮助推理复杂问题,在艺术设计创作中发挥粉本作用。通过不断的迭代设计,从数据收集和预处理、算法训练以及内容生成和优化三个核心部分出发,有效实现智能图像的有机生成。设计师的作用和身份开始转变,其与人工智能间的互动合作关系被不断定义。文生图、智能生成三维空间形态以及交互型文本使用的工作流程可归纳为:梳理构思创意;确定设计目标;选定意向风格,建立组合模型;运行规则算法,设计生成输出;设计动态调整,迭代完善作品。

(三)图像与绘画范式

图像存形,林泉借以不朽,真实园林通过图像介质在无穷流变之中坚持精神与美的延续。俞孔坚2x4Je14EmoXIL1vuYhCgcg==曾提出“栖居的过程实际是人与自然相互适应的过程”,图像是记录景观符号的一种广泛载体。传统园林绘画中不乏张宏一类的艺术家坚持视觉实证主义的实景再现,或以册页或以长卷,或纵观或细考。董其昌说“公之园可画,而余家之画可园”,区别于后者文人造园的工程设计图之用。画中对于细节的刻画巨细靡遗,予人一种超越时空的可信感。图像是记录现实与幻境最有效的方式,具有便捷直观的特点,现代照片可作为古代图像的典型替代物。在现实时空中,弗洛伊德以二维照片的形式记录并描绘米开朗基罗的三维雕塑作品《摩西》得出静态图像,从其心理机制与行为得以解析,图像艺术作品的内涵与主观认识均得以体现。曾经从三维现实转译到二维视觉的图像现在又能重新浮现于我们眼前,其中的细节与内涵能够复现“事实”的真相。园林的营造多以纸本绘画为参考,建筑家童寯就将中国园林概括为“三维的中国画”,意味两者可进行有机转化。

中国传统园林绘画的范式分为单幅、手卷与册页。单幅通常以俯视纵览园林全景为描绘角度,此类画作更似现在的景区手绘地图,使各标志性景点与建筑跃然纸上;手卷可以随着观者的打开,园林场景以播放形式逐帧出现于观者眼前,画面连续不断,视线流转不停,以这种形式带领观者游览园林,伴随着两端画轴的展开与收起,移步换景,沉浸其中;相较于前两者的全局展现,册页的描绘对象似乎是画家精心挑选出的小品景观,画幅通常不足尺,但内容独具匠心,并且在图前、图角等处多有文字说明,通过连续翻页带领观者观赏每个园林的重要景致。三种绘画范式都旨在唤起观者一种身临其境之感,绘画图像对照现实园林的高潮回落,是图像与真实世界的媒介场所。如今,大多真实园林已消失,徒留图像与文字遗存,以供我们研究与赏析。

二、“人工智能+”与《东庄图》册的设计逻辑

(一)《东庄图》册与《东庄记》考察的解读与构建

东庄位于苏州城东(今苏州大学本部一带),《东庄图》册是沈周为其笃友吴宽的私家园林东庄所绘,现藏南京博物院,原为二十四开册页,现存二十一开,三开佚失,每幅对页有明代书法家李应祯的篆书景名,后附董其昌等人的14条题跋。除图像遗存外,仍有相关文字记录。各地文士游历东庄留下了大量诗篇,如无锡邵宝《匏庵先生东庄杂咏》二十首、直隶石王缶《题吴匏庵东庄诸景》二十首、宜兴吴俨《东庄十八景为匏庵先生赋》等。此外,明成化十一年(1475)秋,吴宽因父吴融病笃需返回苏州照料,临行前请当时名土李东阳作《东庄记》-文以慰父亲,李东阳也许并没有亲身到访过东庄,应是经由吴宽口述而作,册页与园记大概是同时之作。

《东庄记》全篇五百佘字,其中对园景描绘较为简略,仅占百分之三十,但仍将庄内各景点按方位路线进行串联:苏之地多水,葑门之内,吴翁之东庄在焉。菱濠汇其东,西溪带其西,两港傍达,皆可舟而至也。由凳桥而入,则为稻畦,折而南为果林,又南西为菜圃,又东为振衣冈,又南为鹤洞;由艇子滨而入,则为麦山;由竹田而入,则为折桂桥。区分络贯,其广六十亩,而作堂其中,日续古之堂,庵日拙修之庵,轩日耕息之轩。又作亭于桃花池,日知乐之亭。亭成,而庄之事始备。总名之日东庄。

由此,结合《东庄记》记述景观游览顺序与李应祯所书篆书题名:东城一菱濠一西溪一南港一北港一凳桥一稻畦一桑园一果林一菜圃一振衣冈一鹤洞一朱樱径一折桂桥一艇子浜一麦山一荷花湾一竹田一全真馆一续古堂一拙修庵一耕息轩一曲池一知乐亭。其中鹤洞、朱樱径、全真馆三处为图像内容,记中无提及。凳桥、菜圃与荷花湾为佚失的三幅图像的原始题材。由此能够构建出吴融时期东庄的平面示意图。如今东庄已不复存在,仅有册页二十一开可供参考与研究,由此我们希望从观画现场中“离场”,并返回真实时空中的东庄,以更主观的视角去探寻东庄的野趣与文人生活,尝试将《东庄图》册转译并再现于我们的视线之中。

(二)《东庄图》册转译与再现评估

对《东庄图》册的数字化研究与建设能够形成全方位、多模态、强体验的设计范式,为后期构建数字孪生系统、智能信息可视化空间、沉浸交互式数字空间提供参考,发挥粉本作用,以展现传统文化的特征与美感,带来独特的体验与效果。

通过模糊层次分析法(Fuzzy AnalyticHierarchy Process,F-AHP)构建园林绘画转译与再现的价值评估体系,可以定量确定其历史文化价值、意境感知价值等,由此展开研究与评估流程,获得价值评估结果,借此为园林绘画转译与再现价值评估提供良好的方法与范式。

根据笔者之前的研究成果,包括文献摘要、田野调查、实地探寻,结合《东庄图》册的图像构成与历史研究,其转译与再现价值构成分为以下三个部分:历史文化价值、意境感知价值以及社会公共价值。

对《东庄图》册转译与再现价值中元素的关联性与完整性共同构成一个完整评定对象,其三个分级价值指标的具体原因如下:历史文化价值需要考虑画作作者与收藏者的名气以及关联程度(这是对艺术作品质量的保证)、作品绘制时间与时代意义(这会给画作的构成形式提供时代特征)、原真性与可探寻性(主要考量设计对象与艺术创作原始背景、风格的紧密联系,需要将真实的、可信的、可行的部分传承下来)。意境感知价值总体注重观者感受,分别探讨空间、色彩、风格、情感以及构成物意象之间的关系;社会公共价值侧重于未来实践的可行性,例如场景复现与交互,将数字化与实物建立虚实相生的交互关系。

综上所述,构建《东庄图》册转译与再现价值评估体系分为目标层、准则层以及指标层,三者层层递进,细项具有理论与实践研究价值,充分体现价值评估体系的完整性与科学性。

模糊层次分析法改进了传统层次分析法(Analytic Hierarchy Process,简称“AHP”)存在的问题,一定程度上提高了决策可靠性。首先采用专家评价法对各指标的重要性进行比较打分,该方法简单易行且能够将风险量化处理。研究表明,专家数量在15至50人之间较合适。通过邀请二十名来自美学(哲学)、建筑学、美术学、社会学四领域的专家进行打分,基于F-AHP判断矩阵的构建得到指标层判断矩阵及权重结果,并得出单排序权重与总排序权重参数,可见上述指标层中各细项重要性程度,基于该价值评估结果,为后续的场景复现以及各类基于AIGC技术的拓展研究提供重要参考值。同样该量化方法也能够为后续的研究成果再次进行价值评估提供有效的方法与路径。

通过构建《东庄图》册园林绘画转译与再现价值评估体系,为基于AIGC展开的传统园林绘画再现提供研究依据以及实践方向。AIGC介入原始图像层面,通过模拟人类的创造思维,来提高设计效率、保持审美意识。AIGC技术与绘画图像的相互结合能够增加设计黏性与参与度,引入知识推理与学习,通过主观介入可提供丰富的用户体验。经过前期的主观创意与想法构思,随之收集相关信息资料,细致分析《东庄图》册现存二十一开,进行词频分析得出画面综合构成,由此开始正式的共创设计。

三、AIGC赋能传统园林绘画再现的解析与过程

(一)风格迁移:文人园林的如画呈现

《东庄图》册现存二十一开,重要景点小品已出现于图像之中,凳桥、菜圃与荷花湾由于佚失而缺席。首先我们使用AIGC技术将册页内容补齐,试探三个场景的历史图像。本次AIGC设计研究运用扩散模型Stable D.ffusion (AI绘画生成工具)来辅助新图像的生成,其工作原理是通过连续添加高斯噪声破坏训练数据,然后对这个噪声过程进行反转,以此来恢复数据。经过训练后,模型能够从随机输入中合成新的数据,实现算法创新。

具体设计工作流程如下:

第一,确定设计任务,将《东庄图》册作为初始图像,运用text-to-image(文字生成图像)与image-to-image(图像生成图像,以下简称“图生图”)相结合的手段,将初始图像作为设计的起点,同时选择一种符合《东庄图》册风格意向的Lora模型,即IocsChinaLandscapes(一种高效性微调参数方法,仅需要少量的数据就可以进行训练的一种模型)。

第二,使用wd14-vit-v2-git算法(Sta bleDiffusion中的一种算法)对参考图像自动打标并人工调整,文件放入指定路径并且训练Lora模型,挑选不同训练步数的模型进行筛选,选出最稳定的模型。

第三,根据参考文献确定构图与内容,参考实际图像元素给出提示词,结合上文提到的F-AHP评估结果,设定侧重点与提示词,控制Sta bleDiffusion的构图形式,使用Stable Diffusion的插件ControINet,绘制语义分割图像并使用ControINet进行图像控制,编写正向提示词:clearing. tree、field、house、broadleaf、forest、scenery、natu re、grove、Iook at the front horizontally(清除、树、田、房屋、阔叶树、森林、风景、自然、数量、平视),以及反向提示词:many trees、multiplerivers、complex visuals、hedge(多棵树、多条河、多重视线、树篱)。

第四,以迭代步数与预处理器类别为变量生成网格对比图,选择稳定变量,根据图像效果选择采样模式DPM++2M(一种采样器,是DPM二阶多步算法,DPM即扩散概率模型求解器,DPM++2M适用于对数据复杂性有严格要求的场景)、迭代步数25作为生成参数,以ControINet中控制重量与控制模式为变量生成网格对比图,选择稳定变量。

第五,根据稳定变量生成稳定图像,并将图像放送至图生图,利用Inpaint Anything(修补一切模型)插件进行语义分割并创建蒙版发送至图生图,在图生图中通过Tiled D.ffusion(平铺扩散)与Controlnet Tiled(瓷砖模型,具有高清修复、丰富细节内容等功能)插件对蒙版区域进行修整。

第六,根据主观判断,对未达到理想预期的局部进行重绘,重复执行上述环节,迭代更新并得出合适的粉本。

在筛选出符合理想预期的粉本图像后,仍需要经过设计师与艺术家的主观能动性改造,查漏补缺,通过Adobe illustrator(应用于出版、多媒体和在线图像的工业标准矢量插画软件)、Photoshop(图像处理软件)等软件的加工改造,使生成图像更具有艺术性。佚失的三幅图像经过风格迁移、智能设计、后期自主修改等环节,重新将凳桥、菜圃与荷花湾的场景呈现出来,对比沈周的原版图像,AIGC复现的佚失图像如一脉相承。目前的AIGC技术仍有巨大的进步空间,尤其对于创作中国传统绘画来说,随机性与复杂性将导致输出图像存在较多误差,例如对绘画笔意与空间意境的理解与判断尚不尽如人意,对诗意的理解、价值的判断、文脉的传承仍需要人为地修正与指导,未来基于AIGC模型生成的内容趋势也应将注重优化机器对人类伦理及价值判断问题,加强生成内容的情感表达等。

(二)感知层次:人居环境的感性复现

《东庄图》册园林绘画转译与再现价值评估体系的各指标,包括场景交互、自然与人文意象、持续开发能力与空间布局这四项相对重要的指标,对设计实践具有指导作用。在设计过程之中,注重册页小品布局与位置经营、建筑与装饰所具有的内涵意义等都是感知层次上的重要要求,例如原作中第二十开册页空间内描绘的续古堂,堂内悬挂庄主父亲吴融遗像以表吴宽思乡、思父之情。可见二维图像同样可以传递具体情感,营造情境氛围。本研究复现佚失的三幅图像,旨在以AIGC技术探索不同视角下的园林视角,不局限于二维视角观画,而是深入园中的树林、建筑屋舍、假山池造之中,将“返场”体验进行感性抒发,营造虚实相生的效果,复现“在场一返场”的空间意境。四、结语

本文基于《东庄图》册的原始图像,通过F-AHP价值评估,结合使用AIGC技术与工具,使得二维平面向三维时空转译的路径更为多样,设计范式得以改变,空间画面得以多样。复现“失意”空间,观者能更直观地看到传统绘画中的意境空间,设计师与艺术家将更有信心把粉本图像转化为创新产品。

综上,AIGC技术支持跨地域、跨学科,甚至跨时空的协作设计,在其助力下,艺术家与设计师对传统文化的深度开发将更具“智慧”,迭代与创新将传统园林绘画从盈尺之地拓宽至无垠时空的同时,拓展了中国传统文化的传播路径与创作空间。坚持继承与发扬中华优秀传统文化,集聚优质创新资源和工具助力文化传播与创新,艺术创新离不开旧日的土壤。历史、时空、真实园林等经由图像介质保留下来,借助AIGC技术与工具的参与和协助使观者返场于过往的时空、曾经的园林。遥想未来,AIGC技术支持下的设计方法与创作思维将愈发广阔,介质、意象与图示的组合运用也将更为灵活。