青花瓷纹饰的艺术风格迁移研究

任建军，张卫正，张伟伟，王越峰，崔俊杰，李灿林，刘岩，刘欣琪

1.郑州轻工业大学 艺术设计学院，河南 郑州 450002；2.郑州轻工业大学 计算机与通信工程学院，河南 郑州 450001

0 引言

近年来，陶瓷器的消费日益呈现分化趋势，普通消费群体要求陶瓷器的实用性，而高端消费群体则要求产品具有较高的艺术观赏性。高端产品的利润较高，但对生产工艺、器型、纹饰等的要求也较高。陶瓷行业面临原材料价格上涨、跨界竞争、去产能等压力，发展模式逐渐从规模取胜、低价促销等转向品质化、个性化和品牌化[1]，涌现出了现代仿古瓷器、大板面瓷器、“互联网+瓷器”等作品类型[2-3]。

瓷器艺术大师及工艺师的瓷器作品大都具有特色鲜明的艺术风格，并通过器型、纹饰等外部特征来体现艺术形式。但现代大批量生产的瓷器及相关文创产品普遍存在艺术性缺失的问题，要进行传统纹饰与现代技术的时空融合与再创作，就有必要将瓷器的植物纹饰、动物纹饰、几何纹饰等经典纹饰的艺术风格融入现当代景观、画作等作品，借助人工智能技术创作出新的纹饰风格，并将所产生的新纹饰迁移到现当代的瓷器外观设计中[4]。风格迁移技术通过将风格图像和内容图像输入卷积神经网络模型，生成一幅新的图像，所生成的新图像既具有风格图像的风格和纹理，同时还具有内容图像的结构和内容特征[5]。该技术方法已被应用于多个领域，也使得瓷器纹饰的艺术风格迁移成为可能。

图像风格迁移技术在国内外发展迅猛，逐渐成为人工智能领域的研究热点。杜斐等[5]通过输入时装图像和所需服装风格样式，使用基于CycleGAN的深度神经网络结构进行背景保持的服饰片段风格转换，在服饰款式不变的情况下实现了风格转换。邓筱等[6]提出了一种基于语义分割的织锦类自适应感知域风格迁移算法，在内容图像上增加高斯白噪声，将其用于平滑训练过程中生成图像的背景纹理，解决了生成结果图像背景中纹理不均匀的问题。潘今一等[7]采用基于块的图像风格迁移算法将汉字原图扩增为具有真实感光效果的汉字风格图，然后再经过薄板样条变形将风格图变成最终的汉字样本图片。李进等[8]提出了基于条件生成对抗网络的蒙古文字体风格迁移模型，该模型采用Adam优化器自动调整学习率，逐渐减少差异值，直到生成器和判别器达到纳什平衡状态，所生成的蒙古文字体样式基本接近真实字体样式。陈捷等[9]将风格迁移算法技术运用于漆艺技法的画面呈现，漆艺文创产品可呈现60%～70%的漆艺视觉风格效果。董荪等[10]在动画设计领域引入人工智能，以Caffe为网络平台，借助主流模型进行风格迁移动画特效设计，能较好地解决细节丢失、扭曲变形、颜色大范围变化等风格迁移中的突出问题，创造出丰富、独特的动画视效。侯宇康等[11]以苗族传统的蜡染和挑花图案创新设计为例，提出传统民族图案风格创新模型，该模型将改进型的形状文法与基于深度学习的神经风格迁移网络相结合，提取并编码民族图案构型框架，通过形状文法生成大量民族图案构型框架图案，使用风格迁移网络快速提取民族图案中的底层特征，在框架基础上迁移生成创新民族图案设计方案。金思雨等[12]将传统的音乐可视化和图像风格迁移相结合，基于Processing程序识别音乐特征和图像特征，控制图像风格迁移的实时生成效果，将人对音乐和图像的联觉进行可视化表达。

国内外已有学者开展了服装织品、文字、漆艺文创、动画设计、图案设计、音乐可视化等方面的风格迁移研究，但陶瓷纹饰的风格迁移领域尚处于空白阶段。青花瓷作为陶瓷器中极具影响力的种类之一，具有悠久的历史和鲜活的生命力。青花瓷纹饰线条硬朗、水墨气质特色突出，具有国画的形式特点，对青花瓷这一非物质文化遗产进行数字化设计和生成研究对保护文化的多样性具有重要意义。鉴于此，本文拟以青花瓷纹饰为例，利用基于卷积神经网络(Convolutional Neural Networks，CNN)的人工智能技术将青花瓷纹饰与现代景观画作中的元素相结合，创建具有高感知质量的艺术风格迁移图像，在图像的内容与样式之间构建复杂的相互作用来生成艺术风格浓郁的纹饰，以期拓展图像风格迁移的应用范围，促进青花瓷等产品的外观纹饰设计水平，推动青花瓷的发展与创新。

1 预训练卷积神经网络

牛津大学的视觉几何实验室(Visual Geometry Group，VGG)对ImageNet 数据集中的大约 120 万张图像进行训练得到一个预训练的卷积神经网络，该网络模型有 19 层，命名为VGG-19，可将图像分为键盘、鼠标、咖啡杯、铅笔等 1000 个类别[13]。VGG-19验证了在图像信息提取、分类等方面，采用具有小卷积核的深层网络优于具有较大卷积核的浅层网络。ImageNet 是一个按照 WordNet 层次结构构建的图像数据库，各层次结构的每个节点都由成百上千的图像来描绘，在推进计算机视觉和深度学习研究方面发挥了重要作用，这些数据可供研究人员免费用于非商业用途[14]。VGG-19的网络结构如图1所示。

图1 VGG-19的网络结构图Fig.1 Network structure diagram of VGG-19

图1给出了VGG-19各卷积层使用的卷积核大小和相关通道数量，虽然网络结构的层数较多，但很简洁，整个网络中所采用的卷积核均为3×3，连续的卷积层之间使用池化层隔开。采用小的卷积核具有简化参数和保障图像尺寸的作用，例如使用3个连续的大小为3×3的小卷积核可代替一个7×7的较大的卷积核，从而使得参数的个数由49降低为27，不仅简化了网络的参数，还保证了神经网络每一层输出的特征图上的像素点在原始图像上映射区域的大小。

使用连续的小卷积核代替大的卷积核，使得网络的深度明显增加；由于每个卷积层都有一个非线性的激活函数，多个卷积层就增强了非线性映射。每个通道代表一个特征图，更多的通道数可以表示更丰富的图像特征。VGG-19网络第一层的通道数为64，之后每层的通道数都翻倍，最多达512个通道，通道数的增加可提取更多的特征信息。将3个全连接层转为3个卷积，使得全卷积网络不受全连接的限制，无需对输入图像重新做缩放处理，可以直接接收任意大小的图像作为输入信息，可有效提高网络的鲁棒性和适用性。

2 图像风格迁移

图像风格迁移的实现可分为以下几步：1) 随机生成—个高斯白噪声图像，可以基于原内容图片生成，以缩短训练过程；2) 通过VGG-19提取内容图像和生成图像的内容特征，计算两者的内容损失Lcontent；3) 通过VGG-19提取风格图像和生成图像的风格特征，计算两者的风格损失Lstyle；4) 最小化损失函数，进而生成较为理想的风格迁移图像。获得风格迁移图像的流程如图2 所示。

图2 获得风格迁移图像的流程Fig.2 The process of obtaining the style transfer image

2.1 内容损失的计算

VGG-19模型的较低层可以简单再现原始图像的精确像素，随着模型的层级升高，其对图像的高级内容越来越敏感[15]。将分别表征原始的内容图像和迭代生产的图像的特征矩阵之间的平方误差作为内容损失Lcontent(p,a)，整个内容图像的损失计算公式如下：

2.2 风格损失的计算

格拉姆矩阵(Gram Matrix，GM)图像的风格在一定程度上表征了图像的纹理信息，纹理信息在VGG-19的高阶层中表示为特征图的值之间的相关性。GM可衡量向量相关程度，通过测量同一卷积输出层的不同通道之间的相关性来计算风格损失的程度。GM不仅可以充分表征图像的纹理信息，还可以表征图像中物体的轮廓和大小等信息。当输入图像被C个卷积核卷积后得到一个H×W×C的特征图，由特征图计算得到的GM维数是C×C的，GM由下式计算得到：

把特征图每个通道都延展为一维形式的HW元向量，这样的向量共有C个，这些向量两两作内积就得到了C×C的GM。GM可以体现各个特征之间的关系，对角线元素还可直接显示每个特征在图像中出现的比重。在图像生成及修复问题中，常用风格损失进行描述，风格损失正是基于预测结果和真值之间的GM的差异构建的[16]。

原始图像的GM与要生成图像的GM相差越小，它们的风格越相似，通过梯度下降法可以最小化两图GM之间的均方距离。总的风格损失Lstyle是风格图像和生成的风格迁移图像的均方误差，公式如下：

其中ωr是每层对总损耗的贡献的加权因子。

2.3 风格迁移图像的生成

图像经过卷积层后得到的特征图的协方差矩阵可以很好地表征图像的纹理特征，但是会损失位置信息。不过在风格迁移的任务中，更重要的是可以较好地表征风格的纹理信息，对位置信息可以不予考虑[17]。将这些纹理信息进行迁移，生成风格迁移图像，使之既具有内容图像的内容，同时兼具风格图像的风格韵味，即实现了设计目的。

将高斯白噪声图像作为初始的风格迁移图像，通过VGG-19网络提取特征图，它既要与内容图像所提取的特征图相比较，计算内容损失；还要和风格图像所提取的GM相比较，计算风格损失。每次前向传播得到的损失将反馈到初始的风格迁移图像，然后初始的风格迁移图像通过迭代开始变化，直到接近理想结果(最小化的损失函数见式①)，这个风格迁移的网络不需要训练网络结构内的任何权重参数，需要训练的是风格迁移图像中的元素。

Ltotal(p,a,x)=αLcontent(p,a)+βLstyle(a,x)

①

其中，x表示风格图像，α和β分别表示内容和样式重构的加权因子。

3 实验结果与分析

3.1 实验环境搭建

实验程序在Matlab 2021a集成开发环境中运行，所采用的电脑型号为Thinkpad T460P(16G RAM，Intel(R) 双核I7-6700HQ CPU@2.60 GHz)。本文采用多幅青花瓷的纹饰图像作为风格图像，包含山水、树木、建筑物等，选取具有异域风格的建筑、国风的山水景观及近现代的动植物作为内容图像，进行图像风格迁移的实验和分析，结果如图3—6所示。由于未安装GPU模块，电脑不能实现实时性的图像风格迁移，其中运行程序的迭代次数可调整，一般设定为2000次，运行所需时间为2 h。

3.2 结果与分析

图3a)所示风格图像为青花瓷板上的江南水乡，通过小桥流水、轻舟垂柳和错落有致的白墙青瓦充分展现青花瓷文化，洋溢着浓郁的中国风。图3b)所示内容图像为具有希腊爱琴海特色的建筑群，建筑的线条简单且修边浑圆，建筑外部具有长长的廊道和半圆形高大的拱门。通过本文所提出的方法将青花瓷板纹饰的天青色韵味融合到爱琴海的建筑上，生成的风格迁移图像具有了青花瓷韵(见图3c) )，其中植被、墙面和屋顶具有较好的辨识度，验证了所提出方法的鲁棒性和可行性。

图3 江南水乡瓷板纹饰与爱琴海特色的建筑群相结合生成风格迁移图像Fig.3 Combining of the porcelain plate decoration of the Jiangnan water village and the Aegean characteristic building group to generate style transfer image

图4 青花瓷板纹饰与齐白石景物画作相结合生成风格迁移图像Fig.4 Combining blue-and-white porcelain plate decorations and Qi Baishi’s landscape paintings to generate style transfer images

图5 青花鱼藻纹盘纹饰和鱼虾图相结合生成风格迁移图像Fig.5 Combining blue-and-white porcelain plate decorations and fish and shrimp paintings to generate style transfer images

图6 青花花鸟图八方扁壶纹饰风格与萝卜白菜图相结合生成风格迁移图像Fig.6 Combining blue-and-white flat pot decoration style with the painting of radish and cabbage to generate style transfer image

图4a)所示的风格图像为清康熙年间所制的青花人物图长方瓷板，瓷板四面均有长方形插孔。瓷板以青花双线为边框，框内以青花饰渔家乐图，一轮红日挂在天空，宝塔、青山清晰可见，远山近水之间，渔民撒网捕鱼，一片繁忙景象。图4b)所示的内容图像为齐白石所创作的4幅画作，内容涵盖渔舟、山石、树木及房舍，构图简洁，画面均衡，色彩搭配巧妙，造型简练生动，意境淳厚朴实。将清康熙的青花人物长方瓷板的纹饰与齐白石景物画作相结合生成的风格迁移图像(见图4c) )还原了山峦叠嶂及整齐房舍，树木的形态和颜色的浓淡也相得益彰，成功实现了从陶瓷纹饰到景观画作的风格迁移，促进了传统青花瓷纹饰艺术与近现代艺术的融合与再创作，产生了具有浓郁的青花瓷风格的新纹饰形式。

图5a)所示风格图像为青花鱼藻纹盘，青花大盘的纹饰通常布局繁密，层次分明，纹饰自身则带有很多汉文化寓意和特征；主纹画在盘内心，莲叶田田，水草轻摇，水流潺潺，游鱼穿梭其间，寓意富贵有余。图5b)所示的内容图像为齐白石创作的鱼虾图，采用半工半写画法，鱼鳍、鱼鳞和鱼尾用小写意画出，鱼唇、鱼鳃和鱼目则用大工笔；虾的触须、鳌节都用工笔，背上节肢、腿和虾尾则以水墨写意；同时以墨色浓淡表现肢节、鳞片和眼等的向光背光和透明程度。将青花鱼藻纹盘的纹饰图像与鱼虾图相结合生成风格迁移图像如图5c)所示，生成了具有青花韵味的鱼虾，在留白处填充了莲叶和水藻的纹理，充满了灵动变化的意味，使得整个风格迁移图像动起来了，具有一定的新意。

图6a) 所示风格图像为清雍正青花花鸟图八方扁壶，器呈八方形，颈肩处饰对称螭龙耳。器腹圆形开光内饰花鸟画，青花发色艳丽，描绘生动逼真，寓意吉祥。图6b)所示为齐白石创作的萝卜白菜图，菜叶墨色丰富，层次分明。将青花花鸟图八方扁壶纹饰风格与萝卜白菜图相结合生成风格迁移图像如图6c)所示，生成了青花韵味的萝卜白菜，传达出了硕果累累的感觉，青花着色具有了一定的流动性，融合了青花瓷的“雅”和大白菜的“俗”，看似风马牛不相及，却展现出相得益彰的美感，使得历史悠久的陶瓷纹饰作品具有了现代感。

以上所有的内容图像或多或少存在图像的空白或画作的留白，参考对应的风格图像进行2000次迭代运算，所生成的风格迁移图像在对应位置也会产生一定程度的纹理，部分内容的细节有模糊、失真，但整体效果是可接受的，并且对生产和研究具有一定的指导意义。有时所生成的纹理对画作主题具有一定的辅助作用，与作品主题相得益彰；有些作品则需要去除生成的无关纹理，纹理是否与作品主题相契合是今后研究的重点。

4 结语

本文采用预训练的卷积神经网络VGG-19有效提取反映青花瓷风格图像的纹理和颜色特征的风格矩阵，并将所提取的图像风格应用于山水、建筑、植物和动物等多种题材的内容图像，产生了具有浓郁青花瓷韵味的风格迁移图像，实现了陶瓷纹饰的风格迁移。瓷器纹饰的种类繁多，将具有代表性和艺术性的瓷器纹饰的风格迁移到题材及内容丰富多样的近现代名家画作或其他图像上，即可生成具有浓郁青花瓷风格的纹饰形态，这种将传统纹饰与现代技术融合创新的艺术形式，具有广阔的应用前景和市场潜力。但是，图像风格迁移过程易受到随机噪声的影响，在生成画作的空白部分会产生干扰，后续可结合图像分割和目标提取进行改进。内容图像的相关细节在所生成的风格迁移图像中实现精细化还原也是后续研究的方向。由于瓷器的器型多样，后续研究可将经过风格迁移所生成的纹饰进行三维投影变换，实现更好的贴合。此外，VGG-19所涉及的网络层数较多，对网络层的取舍和参数的设置需进行调整和改进。