基于生成对抗网络的书法纺织图案设计开发

陈涵 沈雷 汪鸣明 张希莹 任祥放

摘要： 随着区域民族纺织品全球化格局的形成，中国风格成为了全球纺织品流行趋势之一。中国传统纺织图案在世界范围的流行对其设计开发方法提出了更高要求。文章以书法纺织图案为研究对象，提出了基于深度学习生成对抗网络的传统纺织图案开发方法。该方法解决了传统开发方法技术壁垒高、效率低、可控性差、资源损耗大等问题，同时在深度学习层面解决了中国传统纺织图案样本少、规格杂、重意不重形等训练难点。经对比实验、主观评估与设计运用，该方法相较当前典型方法更适合应用于传统纺织图案的设计开发，具备先进性与实践价值。

关键词： 生成对抗网络;纺织品设计;深度学习;传统图案;中国书法

Abstract： With the formation of a global pattern of regional ethnic textiles， chinoiserie has become one of popular trends of global textiles. The popularity of traditional Chinese textile patterns in the global context puts forward higher requirements for its design and development methods. By taking calligraphy textile patterns as the research object， this paper comes up with a development method of traditional textile patterns based on the deep learning generative adversarial network. The proposed method solves the problems of traditional development methods， such as high technical barrier， low efficiency， poor controllability and large resource consumption. At the same time， at the level of deep learning， it solves the training difficulties of traditional textile patterns， such as few samples， miscellaneous specifications and emphasis on meaning but not shape. Through comparative experiment， subjective evaluation and design application， it is found that the proposed method is more suitable for the design and development of traditional textiles than existing typical method， and has advanced and practical value.

Key words： generative adversarial network; textile design; deep learning; traditional pattern; Chinese calligraphy

书法作为中国及中国文化辐射地区特有的文字艺术表现形式古已有之。水和墨通过不同比例的混合形成变化丰富的墨色，配合不同的留白布局表现出“气韵生动”的画面感[1]。书法元素图案打破了中国传统纹样以线为主的艺术框架，摆脱了固有的理性形态和羁绊，画面虚实相合，个性独特鲜明[2]。书法图案因其多变的艺术表现形式与深入人心的东方符号意向，在纺织品设计中应用广泛。在区域民族纺织品全球化的格局下，以书法纺织图案为代表的中国传统纺织图案在世界范围流行，对其设计开发方法提出了更高要求[3]。

随着纺织图案开发需求的不断提升，越来越多的学者投身于数字化智能纺织图案开发的研究中来[4]。Hudec G等[5]对数学与计算机结合的分形艺术进行了分析阐述，并通过KPT5 FraxPlorer程序实现了分形艺术的纺织面料图案开发。张聿[6]基于弱混沌动力学的图形生成原理，运用计算机图形技术结合纹织实验，研究提出了均匀随机网的纹织设计方法。姜延等[7]通过深度学习BP神经网络，将面料样本的力学参数转换建立为具备更高真实感的三维织物模拟图像。赵海英等[8]提出了基于拓扑构型的地毯图案自动生成方法，解决了图案元素重叠的问题，实现了自动生成体现织物图案的构图、元素形象和色彩的图案。郑锐等[9]通过深度学习卷积神经网络，实现了将刺绣风格迁移到实物照片进而数字合成开发出新的刺绣图案。在深度学习研究领域，生成对抗网络（generative adversarial network，GAN）自2014年由Ian Goodfellow提出以来，因其具备更低的训练难度、更高的训练效率、无监督的训练方式被广泛研究[10]。虽然目前深度学习在图像生成方向的应用较多，但将生成对抗网络运用于传统纺织图案开发，并对其进行针对性模型优化设计的研究还较为鲜见。本文以书法纺织图案为研究对象，针对其艺术表现特征与训练难点搭建与优化设计了基于生成对抗网络的开发模型，对人工智能算法与设计师协同设计开发纺织图案进行了尝试与探索。

1 模型搭建与优化

1.1 模型搭建

本文基于深度学习生成对抗网络，搭建了由生成模块与判别模块组成的神经网络模型躯干架构，如图1所示。生成模块在模型中扮演纺织图案设计师的角色，通过训练模拟人类设计师设计开发出传统书法纺织图案。判别模块则在模型中扮演设计评论家的角色，通过训练和学习来识别提取传统书法纺织图案的艺术表現特征与文化基因，进而判断输入图案是由人类创作的还是由生成模块模拟创作的。

1.2 模型优化

在深度学习计算机视觉的众多研究课题的研究对象中，传统文化图案区别于大多实物图像，以其为对象的机器训练研究存在难度，需要针对其特点对模型进行优化设计。本文在模型躯干架构基础上，添入了训练样本自动扩增与标准化预处理模块，使用了批标准化机制、带泄露修正线性单元、RMSProp、Wasserstein Loss损失函数等优化设计。对模型性能进行了针对性的优化提高，使其更适合处理传统书法纺织图案。

1.2.1 训练样本自动预处理模块

目前研究比较成熟的深度学习图像应用例如人脸识别、交通目标定位等因为训练样本多为实物照片，可搜集到的训练样本数量更多，甚至可直接利用公共图像样本集如ImageNet、The PASCAL Visual Object Classes等[11]。传统文化图案多为艺术创作，因此普遍存在训练样本数量少、图像规格不统一等问题。针对此问题，本文对模型躯干架构添入图案自扩增标准化预处理模块。模块可对输入的训练集图像进行合适范围内的自动数量扩增及标准化预处理，很大程度提升了整体模型的小样本可训练度，减低了训练前的人工图像预处理工作量。具体来说，本文的训练集包含500张不同规格的传统书法纺织图案，属于典型的小样本传统文化图案训练集。预处理模块通过在预设范围内的随机翻转、亮度变换、对比度变换等方法，将样本数量有效扩增至1 200个。模块又通过图像标准化处理将规格杂乱的图像进行了自动规格统一处理，这也有效降低了样本扩增随机变换带来的负面影响。

1.2.2 批标准化机制

为了解决降低神经网络在训练时可能出现的收敛速度慢、梯度消失等问题，本文通过加入批标准化机制对模型进行优化设计。批标准化机制通过将隐层神经元从非正常分布拉回到较为标准的正态分布来避免梯度消失问题[12]。通过加入批标准化机制有效提升了训练速度与模型精度，使收敛过程大幅加快;增加了分类效果，很大程度上防止过拟合现象;使调参过程简单化，降低了对于初始化的要求，提高了学习率使用上限等。

1.2.3 帶泄露修正线性单元

带泄露修正线性单元Leaky ReLU于2013年在声学模型中被首次提出。带泄露修正线性单元是经典非饱和激活函数ReLU的一种变体，它既保留了非饱和激活函数擅于降低梯度消失和加速收敛等性能，又通过给所有负值赋予一个非零斜率减少了静默神经元的出现[13]。它有效解决了非饱和激活函数进入负区间后神经元不学习的问题。因此，本文选择使用带泄露修正线性单元对模型进行优化设计。

1.2.4 RMSProp

RMSProp的全称是Root Mean Square Prop，是Geoffrey E.Hinton提出的一种神经网络优化算法。RMSProp通过对梯度计算微分平方加权平均数来修正摆动幅度，使得模型优化时损失函数收敛速度快又不至于摆动幅度太大[14]。因此，本文选择使用RMSProp来对模型进行优化设计。

1.2.5 Wasserstein Loss损失函数

GAN的原始损失函数不足之处主要表现为两点：一是易出现模式坍塌，即生成样本的多样性不足;二是其不稳定性会一定程度上导致训练无法收敛。自2014年生成对抗网络被提出以来，很多学者都在尝试解决其原始损失函数的不足，但是效果都不尽人意。Wasserstein Loss损失函数的提出跨越性地实现了以下优化：彻底解决了生成对抗网络训练不稳定的问题，不再需要小心地平衡生成器和判别器的训练程度;基本解决了mode collapse问题，确保了生成样本的多样性;训练过程可以通过类似交叉熵、准确率这样的数值来指示训练进程，数值越小代表生成对抗网络训练得越好、生成器产生的图像质量越高[15]。因此，通过选择使用Wasserstein Loss损失函数代替原始函数来对本文构建模型进行优化升级。

经自动预处理模块添入与超参数优化设计后，本文在模型前后端进行了设计师参与模块的添入。在整个设计开发行为前，设计师在艺术美学原则下对所要设计开发的艺术类别纺织图案进行语义情景构思与原始数据集制作，并将其输入到搭建好的模型算法中。通过模型训练后输出的全新纺织图案成为候选，设计师在美学原则下可对挑选出的图案进行人工加权调试后运用或是直接进行设计运用。设计师参与模块添入后的完整的设计开发模型如图2所示。其中判别模型是单独训练的，因此判别模型权重被标记为不可训练，以确保仅更新生成模型的权重。判别模型权重的可训练性更改仅在训练组合模型时有效，在单独训练判别模型时无效。模型将随机噪点作为输入，通过生成模块模拟创作图案，模型再将创作图案输入到判别模块进行二分类输出。模型使用Wasserstein Loss指示训练进程，在学习率为0.000 05的RMSProp下进行优化。

2 结果与分析

2.1 实验环境及样本准备

本文所用实验平台为CPU Intel E5-2637v4（美国Intel公司），GPU 4×NVIDIA TITAN X（美国NVIDIA公司），Ubuntu 16.04LTS系统（Canonical公司）。模型构建基于深度学习框架Keras（后端的编译器为Tensorflow），使用编程语言Python 3.6实现。

考虑到解决传统图案小样本、规格杂等问题也是本文重要探究方向之一。训练样本集包含了500张不同尺寸规格的书法纺织图案，在模型中设置了图案自动预处理模块，因此训练样本图案无需进行人工预处理准备。

2.2 训练过程

网络模型在经过约16 000次无监督学习训练循环后，输出结果由一堆噪点逐渐演变为机器模拟设计开发的书法纺织图案。图3为16 000次训练循环中挑选出的几个时间节点对应的输出图案，可以看出生成模块通过不断学习训练，在与判别模块进行对抗的过程中生成的图案越来越接近真实。最终在16 h左右训练基本达到平稳，组合加权损失函数趋近于零，如图4所示。

2.3 实验结果分析

2.3.1 对比实验

与传统的纺织图案开发方法相比，本文提出方法表现出了明显的低技术壁垒、高效性、可控性与可持续性。同时与其他非深度学习原理的计算机辅助开发方法例如分形艺术、均匀随机网、拓扑构型等，以及非生成对抗网络的深度学习模型例如DBM（deep boltzmann machine）、VAE（auto-encoding variational bayes）、NCE（noise-contrastive estimation）等相比，本文所建构模型在性能上有着极大的提升，这与生成对抗网络本身的先进性有关。

通过对目前流行的生成对抗网络模型进行学习与实验分析，选择原始生成对抗网络模型（原始GAN）、深度卷积生成对抗网络（DCGAN）模型与本文模型进行对比。相对于原始GAN模型，DCGAN的最大特点是使用了卷积层，提高了模型训练的稳定性。除收敛时间、生成时间等指标外，选择了Salimans等[16]在2016年提出的IS（inception score）与FID（fréchet inception distance）作为关键指标对模型性能进行评分。IS与FID被广泛运用于衡量生成对抗网络输出图像质量与多样性。IS得分越高，FID值越低，生成的图像多样性与质量越高。其中FID在评判生成图像真实性与变化性上更为接近人类的判断，非常适合用于评价主观性创作图案。表1为部分训练集图案与模型开发图案的对比。对比实验数据结果如表2所示，构建模型相比原始GAN模型与DCGAN模型在传统书法纺织图案的创新设计上表现出更优的性能。

2.3.2 人工评估实验

考虑到纺织图案数字生成的艺术创作主观性，本文除了对模型进行了客观对比实验，还设置了人工主观评估实验。本实验受访者共50位，由本科以上学历随机年龄段的30位设计相关从业者与20位非设计相关从业者组成。实验对受访者发放了50张传统书法纺织图案实验样本，50张实验样本由25张设计师创作图案和25張模型模拟开发图案组成。实验受访者在不知道两类图案组成比例的情况下对每张图片进行判别分类，最终对判别结果的正确率进行计算，结果如表3所示。受访者判断图片的正确率主要集中分布在40%～60%，区域人数占比达到84.00%，并且在测试过程中表现出更多的不确定及猜测判断。设计相关从业人员在内的大部分受访者无法分辨出生成图案与真实图案，即本文模型创作的传统书法纺织图案拥有较高的真实度。

2.3.3 设计运用

为了进一步验证本文模型的实践价值，本文对部分模型输出图案进行了设计运用，如表4所示。结果显示，设计师通过模型能较好地实现书法纺织图案的人工智能协同设计开发，最终的设计运用作品也在一定程度上呈现出中国传统书法图案“气韵生动”的艺术特征与文化内涵。

3 结 论

本文基于生成对抗网络搭建了书法纺织图案设计开发模型。在本文模型中，设计师与人工智能算法协同设计开发纺织图案，完成了由计算机软件辅助设计到人工智能算法辅助设计的转变，在一定程度上解决了传统纺织图案设计方法无法通过规模经济降低边际成本的难题。模型针对书法纺织图案特点进行了自动预处理模块添入与超参数优化设计。在与主流生成对抗网络模型的对比实验中，本文模型在训练时间、生成时间与生成图案多样性等方面表现出更优性能，同时解决了传统纺织图案普遍存在的样本少、规格杂等训练难点。该方法为解决当下中国传统纺织图案高开发需求与传统创作方法不匹配问题提供了新的解决思路，将对传统纺织文化数字化传承与纺织产业设计环节创新升级起到积极作用。

参考文献：

[1]邹晓. 汉字文化与现代设计[J]. 装饰， 2003（6）： 39-39.

ZOU Xiao. Chinese character culture and modern design[J]. ZHUANGSHI， 2003（6）： 39-39.

[2]刘丽娴， 王靖文. 中国古代丝织品的织款及其图形构成[J]. 丝绸， 2011， 48（7）： 50-53.

LIU Lixian， WANG Jingwen. The weaving style and graphic composition of ancient Chinese silk fabrics[J]. Journal of Silk， 2011， 48（7）： 50-53.

[3]SMITH A. Nations and Nationalism in a Global Era[M]. Cambridge： Polity Press， 1995.

[4]沈雷， 郭萌萌. 民间剪纸元素在丝绸服装设计中的应用[J]. 丝绸， 2011， 48（7）： 37-39.

SHEN Lei， GUO Mengmeng. Application of folk paper cutting elements in silk clothing design[J]. Journal of Silk， 2011， 48（7）： 37-39.

[5]HUDEC G， LIOVIC M. Fractals and its applications in textile pattern design[J]. Tekstil Zagreb， 1999， 48（9）： 448-451.

[6]张聿. 基于弱混沌理论的纹织设计方法研究[J]. 纺织学报， 2004， 25（4）： 22-23.

ZHANG Yu. Research on jacquard design method based on weak chaos theory[J]. Journal of Textile Research， 2004， 25（4）： 22-23.

[7]姜延， 刘正东， 陈春丽. 基于面料力学属性的三维织物模拟[J]. 计算机辅助设计与图形学学报， 2012， 24（3）： 323-329.

JIANG Yan， LIU Zhengdong， CHEN Chunli. 3D textile simulation based on fabric mechanical properties[J]. Journal of Computer Aided Design & Computer Graphics， 2012， 24（3）： 323-329.

[8]赵海英， 彭宏， 杨一帆， 等. 基于拓扑构型的地毯图案生成方法[J]. 计算机辅助设计与图形学学报， 2013， 25（4）： 502-509.

ZHAO Haiying， PENG Hong， YANG Yifan， et al. A generation met hod of carpet pattern based on topology configuration[J]. Journal of Computer Aided Design & Computer Graphics， 2013， 25（4）： 502-509.

[9]鄭锐， 钱文华， 徐丹， 等. 基于卷积神经网络的刺绣风格数字合成[J]. 浙江大学学报（理学版）， 2019， 46（3）： 270-278.

ZHENG Rui， QIAN Wenhua， XU Dan， et al. Digital synthesis of embroidery style based on convolution neural network[J]. Journal of Zhejiang University（Science Edition）， 2019， 46（3）： 270-278.

[10]GOODFELLOW I J， POUGETABADIE J， MIRZA M， et al. Generative adversarial networks[J]. Advances in Neural Information Processing Systems， 2014（3）： 2672-2680.

[11]王坤峰， 苟超， 段艳杰， 等. 生成式对抗网络GAN的研究进展与展望[J]. 自动化学报， 2017， 43（3）： 321-332.

WANG Kunfeng， GOU Chao， DUAN Yanjie， et al. Generative adversarial networks： the state of the art and beyond[J]. Acta Automatica Sinica， 2017， 43（3）： 321-332.

[12]IOFFE S， SZEGEDY C. Batch normalization： accelerating deep network training by reducing internal covariate shift[DB]. arXiv preprint arXiv： 1502. 03167， 2015.

[13]XU B， WANG N， CHEN T， et al. Empirical evaluation of rectified activations in convolutional network[DB]. arXiv preprint arXiv： 1505. 00853， 2015.

[14]DAUPHIN Y， DE VRIES H， BENGIO Y. Equilibrated adaptive learning rates for non-convex optimization[C]//Advances in Neural Information Processing Systems. 2015： 1504-1512.

[15]ARJOVSKY M， CHINTALA S， BOTTOU L. Wasserstein gan[DB]. arXiv preprint arXiv： 1701. 07875， 2017.

[16]SALIMANS T， GOODFELLOW I， ZAREMBA W， et al. Improved techniques for training gans[DB]. arXiv preprint arXiv： 1606. 03498， 2016.