基于改进生成式对抗网络与矢量绘制技术的古蜀锦纹样数字化研究

王维杰, 刘 毅, 肖 露, 方 佳, 王金羽, 王佳丽

(1.四川省丝绸科学研究院有限公司,成都 610031; 2.四川大学 轻工科学与工程学院,成都 610065)

丝织品是较难保存的文物之一,由于细菌等微生物对丝素蛋白的破坏导致丝织物随着时间流逝逐渐丢失织物本来的颜色和纹样特征,因此针对传统丝织物的保护与复原是一大难题[1]。保护丝织品文物的传统方法是不断对残片进行修复或复制,其中最关键的技术是采用和残片一样的材料与织造技艺,同时采用逆向工程精确复现原始织物的组织结构与纹样,从而使文物恢复本来的面貌。在这所有的环节中,最容易被忽视的是对织物原始纹样的复原。针对纹样的不精确复原容易导致部分珍贵纹样在传播过程中发生变异,从而导致文物的原真性遭到破坏。

蜀锦作为中国三大名锦之首,其织造技艺是中国丝绸文化的重要组成部分。由于目前针对古蜀锦残片的保护力度不够,导致部分传统蜀锦纹样残片散落于民间。随着时间的流逝,一些纹样逐渐消失,对蜀锦文化的传承产生了不利影响。因此针对现有残片纹样进行数字化修复与整理至关重要。目前古纹样的保护手段主要分为传统方法和现代方法。传统方法主要采用相机拍摄和手工描绘的方式对纹样特征进行保存,如黄能馥[2]在《中国成都蜀锦》一书中通过古蜀锦实物照片及文字描述方式对中国古蜀锦进行了收集和整理,然而光栅图像可编辑性差,图像在放大之后容易失真,不利于纹样的后续传播与开发利用。除了采用相机拍摄手段保存纹样,还有研究者基于采集的纹样数字图像进行手工描绘,以线稿的形式保存纹样。如赵丰[3]在《中国古代丝绸设计素材图系》中收集和制作了部分蜀锦纹样线稿图,然而由于古纹样不同程度地存在破损、模糊、噪声和分辨率低等问题,这项工作在手工绘制线稿前未结合图片预处理技术,从而造成纹样细节在绘制过程中不同程度的损失,这不利于纹样传播的原真性。

为了解决传统方法在纹样数字化保护中存在的问题,基于数字图像处理技术与深度学习相关技术的现代图像处理方法被广泛用于古纹样的数字化保护。其中,针对纹样破损问题的数字化图像修补方法主要分为基于几何学的修复方法和基于图像块的修复方法[4],两种方法分别适用于纹样小区域的破损和大范围的破损。然而两种方法均参照破损纹样周边区域进行补全,在面对不规则的独立纹样缺损时,两种方法都很难获得令人满意的修复效果。如蒋超等[4]将纺织纹样分为规律型、画作型和综合型三类,其中画作型纹样自身的规律性较弱,难以通过已知区域的信息对待修复区域进行推理。因此提出采用人机交互的方式引导补全纹样的结构信息,这在一定程度上降低了纹样自动化修复效率。类似的工作还包括孙晓婉等[5]提出的一种基于结构线拟合的残损丝织品文物修复技术,需要手工绘制结构线来辅助纹样修复过程。因此目前针对复杂纹样的缺损问题主要采用人工参与修复方法进行纹样补全。除了纹样破损问题,在纹样处理过程中面临的另一个难题是纹样退化,包括模糊、噪声和低分辨率等问题。这严重影响对纹样的重建工作,因此有必要在纹样重建之前对纹样图像进行预处理。基于传统的数字图像处理手段难以实现高质量的退化图像复原,目前基于深度学习技术的数字图像处理技术被广泛应用于图像的退化问题并取得了良好的效果。如基于生成式对抗网络实现遥感图像的超分辨率重建[6]和医学图像超分辨率重建[7]等,然而很少有研究探索将生成式对抗网络应用于纺织品文物的纹样超分辨率重建。

不同于传统光栅图,矢量纹样能够实现对原始纹样的结构信息进行数学建模,更容易保存纹样的拓扑特征,因此对纹样进行矢量化建模对古纹样的数字化保护工作至关重要。对于预处理后的纹样图像可以采用人工提取法与计算机智能生成法提取矢量图形,然而现有的矢量化算法生成的矢量图质量参差不齐,处理复杂纹样时存在线条不连续和拓扑结构失真等问题[8]。因此,目前针对复杂纹样的高精度矢量化重建仍然需要人工参与。

为了实现针对古蜀锦纹样的数字化保护,本文提出了一种基于生成式对抗网络与矢量绘制技术的古蜀锦纹样的数字化保护方法。基于以上技术,对《四天王狩狮纹锦》图像进行了分辨率增强处理与矢量化绘制。本文研究成果将有助于提高传统织锦纹样的数字化复原质量,同时也为古织锦纹样的数字化复原提供可参考的技术路线。

1 古蜀锦纹样矢量化重建流程

1.1 丝织品文物纹样复原策略

丝织品文物因保存状态不佳而造成的图案不清、纹样破损等情况非常普遍,因此也为纹样复原工作带来了难度,在实际操作中需要为不同保存状态的纹样制定对应的复原策略。为了界定纹样复原技术的适用范围,本文将待复原的纹样对象分为四个层次:第一层次为花回完整且清晰可辨的纹样;第二层次为基本清晰可辨或有微小破洞且花回完整的纹样;第三层次为花回循环不完整且仍能够根据已存内容推测的纹样;第四层次为破损严重且难以推测花回循环的纹样。对于第一层次的纹样,无需对原始图片进行前处理即可进行矢量化建模;对于第二层次的纹样,需要在对原始图片进行矢量化建模前进行预处理,否则容易造成矢量化纹样丢失细节;对于第三层次的纹样,需要在对原始图片进行考证分析补全及预处理的基础上进行矢量化建模,否则无法获得完整花回的纹样;对于第四层次的纹样,由于无法判断完整花回,故只需要在对原始图片进行预处理的基础上照样描绘矢量图形即可。

1.2 纹样复原流程

纹样的整体复原流程如图1所示。首先分析原始纹样的骨架结构,提取循环单元;针对纹样中的大面积破损模糊部位采取相似区域补全策略进行修补;然后基于改进的生成式对抗网络完成补完图像的超分辨率重建;之后采用矢量绘制软件完成纹样矢量化建模;最后采用模糊综合评价方法对纹样矢量化重建效果进行评价。

图1 纹样复原流程

1.3 古蜀锦纹样矢量重建对象分析

《四天王狩狮纹锦》长250 cm,宽130 cm,纵横排列着20个联珠团窠纹。如图2(a)所示,圆形窠环内以菩提树为中轴,四位对称分布的异域骑士骑在有翼的天马上作回头射狮状,马身上还分别写着“吉”“山”字样。骑士头戴饰有日月的王冠,两对雄狮呈扑跃状,前腿扬起,狮尾卷曲上翘,鬃毛飞舞,呈现凶猛之态[13]。在联珠团窠纹相交的空隙部位,装饰十字唐草纹(在希腊称为“阿堪萨斯十字纹”)。纹样中的四位骑士与波斯银器上刻的萨珊王夏希尔二世骑马射狮的形象相似,而波斯侯斯罗二世头戴日月冠,隋朝隋炀帝在冕服两肩也饰日月纹,背上饰星辰纹,寓意“肩挑日月、背负星辰”。由此推断四天王狩狮纹锦是波斯文化与汉文化交流的结晶。

按照图案的构成形式可以分为单独纹样、适合纹样和连续纹样。其中连续纹样主要包括二方连续纹样和四方连续纹样。常见的四方连续骨架排列方式有散点式、连缀式和重叠式。《四天王狩狮纹锦》纹样属于典型的散点式四方连续纹样,如图2(b～c)所示,图案由上下左右四个方向重复循环的团窠主纹样和嵌在主纹样空隙中的宾花图案组成,这种排列方式实现了联珠团窠纹节奏与韵律的统一[14]。

结合丝织品文物纹样复原策略可以得知,《四天王狩狮纹锦》属于纹样基本清晰,有局部模糊且花回完整的第二复原层次,因此需要在对原始图片进行矢量化建模前进行图像预处理,否则容易造成矢量化后纹样细节丢失。通过对纹样中较大面积的破损模糊部位采取相似区域补全策略进行修补可以得到纹样的四方连续单元,如图2(d)所示。通过将图2(d)进行超分辨率重建可以获得更加清晰的纹样。

2 古蜀锦纹样超分辨率重建

2.1 生成式对抗网络结构

本文在文献[15]的基础上,通过加深网络层级、修改残差网络结构和参数,实现对生成式对抗网络模型的优化。生成式对抗网络结构如图3所示,其中低分辨率原始图像通过生成器生成高分辨率图像,判别器对生成的高分辨率图像真实性进行判断。通过损失函数反馈与优化算法的配置实现生成网络权重和偏移量的调整,提高生成器生成高分辨率图片的能力。同时,对判别器输入高分辨图像不断提升其判别能力。在对抗式训练迭代过程中,基于训练集数据持续更新网络中的参数,最终构建高性能的生成式对抗网络模型。

2.2 生成网络结构

文献[16]证明了加深网络层次和增加卷积核数量可以获取图像中更多的细节信息。为了减少超分辨率处理过程中原始图像中细节的损失,本文采用24个残差块,同时借鉴EDSR[17]的方法去掉批量归一化层(BN层)来节省内存,提高网络性能。最终的生成网络如图4所示,即通过卷积网络提取低分辨率图片的特征,卷积层采用64个3×3卷积核,步长为1,采用ReLU激活函数进行非线性映射。随后经过24个残差块,残差网络后接一层卷积层,通过跳跃连接进行卷积求均值求和。后接两个亚像素卷积层完成4倍图像上采样,最后经过一个卷积层和Tanh激活层完成图像超分辨重建。

图3 网络结构示意

2.3 判别网络结构

在判别网络中,卷积核大小、Feature Map数量与Stride大小对网络判别质量有重要影响,为了提高感知也采用4×4的卷积核进行卷积操作。另外,采用多层的卷积、LeakyReLU、全连接层和Sigmoid的操作输出判别结果,如图5所示。具体地,判别网络前6层采用4×4的卷积核进行图像特征提取,为了增加提取的特征信息增加Feature Map的数量,第7～9层网络利用1×1的卷积层减少输入通道和卷积核参数实现降维,同时减少运算量。最后经过Flatten-Layer、全连接层和Sigmoid激活函数输出判别结果,判别结果用于分析生成数据与真实数据之间的差距。然后通过反向传播函数优化网络参数值,不断提高模型的判别能力,直到判别网络无法区分生成网络生成的高分辨率图像与真实的高分辨率图像,训练完成。

2.4 损失函数

生成式对抗网络模型基于最大最小博弈思想优化判别网络和生成网络。在优化判别网络时固定生成网络,要求生成网络在真实高分辨率图片x输入的时候结果越大越好,对于生成的假样本图片G(z)判别结果越小越好,也就是D(G(z))越小越好,由于第一项与第二项的优化目标矛盾,因此将第二项改为1-D(G(z))。在优化生成网络时和真实图像样本无关,因此不需要考虑。此时只有生成网络产生的假样本,但生成器希望假样本的判别结果取值越高越好,所以D(G(z))取值越大越好,但是为了统一成1-D(G(z))的形式,将1-D(G(z))最小化,合并两个优化模型成最终的目标函数,如下式所示:

(1)

式中:x为真实高分辨率图像;z为真实低分辨率图像;E为真实数据的数学期望;Pdata(x)为真实高分辨率图像的概率分布;PZ(z)为真实低分辨率图像的概率分布;D(x)是判别器判断真实高分辨率图像是否真实的概率;G(z)为真实低分辨率图像通过生成网络生成的高分辨率图像;D(G(z))是判别器判断生成网络生成的高分辨率图片是否真实的概率。

损失函数通过权衡生成的图像与原始高分辨率图像之间的差距来判断网络的性能,在反向传播过程中损失函数通过修改权重参数来不断优化网络。

SRGAN中生成器的损失函数由感知损失和对抗损失构成。其中感知损失函数可表示为下式:

(2)

式中:Wi,j和Hi,j为VGG网络中各个特征映射的宽和高;φi,j(IHR)为真实高分辨率图像经过VGG网络提取的特征映射;φi,j(GθC(ILR))为生成的虚假的高分辨率图像经过VGG网络提取的特征映射。

对抗损失可表示为下式:

(3)

式中:DθD[GθG(ILR)]为生成图像GθG(ILR)的原始高分辨率图像IHR的概率,DθD是通过参数θD构建的判别网络;N为训练样本数。

在实际操作过程中发现,没有通过均方误差(MSE)指导的生成网络虽然能很好地保留图像中的高频部分,但产生的伪影影响图像效果。因此最终生成器的损失函数可表示为下式:

(4)

式中:λ1和λ2是对抗损失和MSE损失对应的权重。

SRGAN中判别器的损失函数可表示为下式:

(5)

2.5 评价指标

采用峰值信噪比(Peak Signal to Noise Ratio,PSNR)、结构相似性(Structural Similarity,SSIM)和平均意见得分(MOS)对本文超分辨方法的优越性进行主客观评价。其中PSNR数值越高表示生成的高分辨图像的失真越少,计算如下式所示:

(6)

(7)

式中:MAX1为图像像素值可取值的最大值;MSE表示图像I和图像K的均方误差,I为真实图像,K为生成图像,m和n分别为图像的长和宽。

结构相似性(SSIM)从亮度、对比度、结构三方面计算图像之间的相似性,数值越大表示图像失真越小。给定两张图像x和y,SSIM值可通过下式求出:

(8)

除此之外使用平均意见得分(MOS)测试[18]来主观评价生成图像的质量,评分从1～5分别代表差到优。

3 结果和分析

3.1 实验环境

3.1.1 实验平台

硬件平台:实验计算机型号为DELLG3 3590,系统为Windows 10,CPU为Intel Core i59300H@2.4 GHz, GPU为NVIDIA GeForce GTX 1660Ti,计算机内存为12 GB。软件平台:数据下采样基于Matlab软件,模型搭建和训练基于Tensorflow深度学习框架。矢量重建基于Adobe Illustrator软件,版本为CC2018。

3.1.2 数据集

古织物纹样的数据集具有特殊性,由于类似样本数据量较少,因此考虑引入古壁画数据集,并通过对采集的高分辨率数据进行双三次插值(Bicubic)降采样得到与之对应的低分辨率数据。在实践过程中,只通过插值降采样得到的低分辨率图像通常只是变得模糊,不能适应实际复原场景中原始纹样存在噪声等情况。因此,本文在对原始高分辨率数据集降采样的基础上进一步引入椒盐噪声处理获得退化图像的数据集。实验中共采集到满足实验需求的200张高分辨率原始图像,经过插值降采样与添加椒盐噪声获得与之对应的低分辨率图像。其中80%的数据用于训练网络模型,10%的数据用于验证,10%的数据用于测试。

3.2 超分辨率结果与分析

为了证明本文方法的先进性,分别采用Bicubic模型与SRGAN模型进行原始《四天王狩狮纹锦》图像的超分辨率重建,不同算法生成的高分辨率图像对比结果如图6所示。从图6可以观察到,传统Bicubic双三次插值方法获得的放大图像失真度最高,边缘细节最模糊。通过SRGAN获得的高分辨率图像比Bicubic方法获得的高分辨率图像视觉效果更加清晰,有效突出了纹样中描边轮廓的高频信息,从人物脸部放大图中可以清晰地观察到细节特征,这将有助于进行纹样矢量重建。虽然传统的SRGAN方法可以获得相对清晰的图像生成效果,但是其生成网络损失函数计算中未考虑均方误差(MSE)的影响,这导致虽然能很好地保留图像中的高频部分,但轮廓边缘产生的伪影会影响图像效果,如图6(c)中人脸特写所示。本文改进的SRGAN方法很好地解决了这一问题,在后期绘制矢量纹样时,可以有效避免线条轮廓的二义性。

采用同一测试集的不同算法的PSNR、SSIM和MOS计算结果对比如表1所示。相比传统SRGAN算法,本文方法的PSNR提高了0.89 dB,SSIM提高了0.008 7,其中,基于主观评价的MOS数值相比传统SRGAN算法提高了0.43分,这与图像的主观感受一致。

表1 同一测试集的各项参数对比

3.3 矢量绘制结果与分析

在对织物图像进行超分辨率放大的基础上,采用贝塞尔曲线拟合纹样中的线条轮廓。为了保证绘制结果的准确性,测量纹样骨架中主纹样和辅助纹样的比例关系,结合历史记录资料和纹样实际特征推断纹样细节。由于《四天王狩狮纹锦》以菩提树为中轴基本呈中心对称分布,因此在绘制纹样时只需绘制窠环内一侧的纹样,另一侧图案可通过沿垂直方向对称复制并细微调整后获得。同时基于图案四方连续设计原理,宾花图案只需要绘制出1/4即可。纹样内不同对象的原始纹样与矢量绘制轮廓如图7所示。

将绘制的不同区域组合成最终纹样,复原效果如图8(a)所示。图8(b)则显示了原始织物纹样的四方连续单元。通过将复原结果与原始纹样重叠可以观察复原纹样对原始纹样的拟合效果,如图8(c)所示。从图8(d～e)可以观察到,窠环内的人物及动物纹样可以比较精确地拟合原始纹样轮廓,在纹样细节方面也实现了对原始纹样的重建。图8(f)显示了在圆形窠环处出现了局部与原始纹样不匹配的情况,这是由于原始纹样图像在拍摄时不可避免地受到拍摄角度倾斜和织物经纬线倾斜等影响,从而造成后期误差。后期误差与纹样设计初期的误差叠加共同影响了纹样的对称性,因此,基于对称设计的形式美法则与四方连续单元设计中连续性的原则对误差进行适当校正,这将有助于纹样在后续传播过程的准确性。

图8 《四天王狩狮纹锦》纹样复原效果

3.4 古蜀锦纹样复原效果的模糊综合评价

为了证明本文方法对复原古蜀锦纹样的有效性,采模糊综合评价方法对纹样复原效果进行专家评价。其步骤主要包括:建立因素集、建立评价集、建立权重集、单因素模糊评判和模糊综合评判。

3.4.1 建立评价因素集

因素集是影响评判对象的各种因素为元素组成的集合。由于没有针对古织锦纹样的复原效果的评价体系,本文拟从与原始图像的相似性、矢量路径连续性、细节精确性与比例精确性等4个方面建立针对复原效果的综合评价体系。最终确定古纹样复原效果评价指标,如下式所示:

U=(u1,u2,u3,u4)

(9)

式中:u1=原始图像相似性,u2=矢量路径连续性,u3=细节精确性,u4=比例精确性。

3.4.2 建立纹样复原效果评价集

评价集是评判专家对评判对象可能做出的各种总的评判结果所组成的集合。本文建立了五级评价指标,如下式所示:

V=(v1,v2,v3,v4,v5)

(10)

式中:v1=很差,v2=比较差,v3=一般,v4=比较好,v5=很好。

3.4.3 建立各指标的权重集

由于不同的评价因素对最终评判结果的重要程度不同,需要建立各因素针对评价对象的权重集A=(a1,a2,a3,a4,a5)。各权数ai(i=1,2,…,m)应满足归一性和非负性条件:

(11)

本文采用层次分析法计算各评价因素的权重系数。首先,请5位对织锦纹样设计较为熟悉的蜀锦设计师作为专家组,采用Satty量表对不同评价因素进行比较和评分,建立比较判断矩阵A。

(12)

矩阵中的对角元素是款式类目的自比较,因此aij=1,其中i=j;让aij=1/aji,aij>0,i≠j。

然后,采用标准化几何平均值法(NGM)计算因素集中各指标的权重。设Wi表示因素集中第i个指标的权重,如下式所示:

(13)

权重集为W=[w1,w2,…,wn]T,i=1,2,…,n。

采用一致性比率指标CR对比较判断矩阵的一致性进行检验:

CR=CI/RI

(14)

式中:CI=(λmax-n)/(n-1)为一致性指标,RI为平均随机一致性指标,本案例中RI=0.9。

λmax为最大特征根,计算如下式所示:

(15)

3.4.4 单因素模糊评判

设评判对象按因素集中的第i个因素ui进行评判,对评价集中第m个元素vm的隶属度为rij,则按第i个因素ui评判的结果,可用模糊集合来表示,如下式所示:

(16)

式中:Ri称为单因素评判集,它是评价集V上的一个模糊子集。

把n个单因素评价集组合在一起构成单因素评价矩阵R,如下式所示:

(17)

3.4.5 模糊综合评判

模糊综合评判结果B按照下式进行计算,如下式所示:

(18)

式中:bj(j=1,2,…,m)为模糊综合评判指标,bj表示在考虑了评判对象所有因素时,评判对象对评判集中某一元素的隶属度。

3.5 古蜀锦纹样复原效果的模糊综合评价结果

根据因素集中各因素两两比较结果构建得到的判断矩阵A为:

(19)

采用NGM法计算因素集中各指标的权重为W:

W=[0.32 0.16 0.46 0.06]

(20)

一致性比率指标CR=CI/RI=0.058<0.1,所以比较判断矩阵通过一致性检验。

根据专家评分法计算得到的单因素评价矩阵R为:

(21)

所以,根据式(18)计算得到模糊综合评价结果B为:

(22)

模糊综合评价结果显示,纹样复原效果为比较差的隶属度为1.92%;一般的隶属度为13.36%;比较好的隶属度为47.78%;很好的隶属度为36.94%。根据最大隶属度原则,纹样复原效果为比较好。

3.6 与现有复原结果对比

《四天王狩狮纹锦》目前流行最广泛的是文献[19]中的复原版本。本文从纹样内容和细节刻画两个方面将文献[19]复原纹样与本文方法复原纹样进行对比。为了更好地对比,借鉴文献[19]中纹样的配色进行填色,如图9所示。相比于文献[19]中纹样的复原效果,采用本文方法绘制的纹样比例更加准确,细节上更加丰富。同时在绘制的纹样细节准确度上,本文方法优于文献[19]中的绘制结果,对比结果如图10所示。这是由于纹样前期预处理对纹样信息的放大作用,纹样细节被最大化保留,因此获得了相比传统方法更加精确的复原纹样。这进一步证明了本文方法的优越性。

图9 文献[19]复原结果与本文复原结果对比

图10 复原图像细节对比

4 结 论

为了保护古蜀锦纹样,本文以《四天王狩狮纹锦》为研究对象,在分析纹样内容与特点的基础上,基于改进生成式对抗网络对原始纹样进行预处理,提高了原始纹样在放大过程的分辨率,实现了纹样的矢量化复原与绘制。最后利用模糊综合评价法对纹样复原效果进行了评价,评价结果显示纹样达到了比较好的复原效果。数字化修复的古蜀锦纹样为古蜀锦的保护和展示提供了新的方式,使古蜀锦的艺术和文化价值得以更多样化的方式传播。本文研究成果将有助于提高传统织锦纹样的数字化复原质量,同时也为古织锦纹样的数字化复原提供可参考的技术路线。

《丝绸》官网下载

中国知网下载