基于对抗神经网络的现代绘画生成

孙梓钦　李景伟

基于对抗网络的生成算法在近些年取得了长足 的发展，但是在艺术绘画创作领域，由于训练数据非常 困难，且机器学习的创造性算法要求较高，限制了对抗神 经网络模型的应用范围，使得这些方法在艺术绘画创作领 域中难以进行广泛的应用。本文通过对抗神经网络的原理 进行简述，并利用wikiart数据库对抗神经网络在现代绘 画的模型进行生成和训练，最终通过测试，验证了对抗神经 网络在艺术绘画创作方面的天赋。

本文研究的创新点如下：

（一）提出了一个艺术生成代理的模型，使用 改进型对抗神经网络，使其具有创造性的功能。对抗神经 网络所接触的艺术进行编码，并且可以随着新艺术的添加 而不断更新。

（二）将对抗神经网络算法应用到现代绘画创 作中。在实验中对多种风格数据集绘画进行训练，并最终 得到了从未出现过的全新艺术绘画，验证了本文提出的模 型在现代绘画生成上的通用性。

（一）对抗神经网络的原理

GAN作为深度学习领域提出的一种新的框架结 构，使用了两个神经网络进行对抗训练。一个作为生成网 络，通过输入一个随机噪声生成假的数据;另一个作为 判别网络，对生成网络生成的假的样本数据进行鉴别，并 反馈送到生成器对其进行优化。判别器将误差传到生成器 后，生成器通过误差更新参数，完成生成网络的训练，生 成网络通过更新后的参数再生成假的样本数据，并且将这 些假的数据集和真实数据集送入判别器网络，更新判别器 参数，达到训练判别器的目的。这两个神经网络不断进行 对抗训练，互相博弈，互相优化。

在这个过程中，生成器性能不断提升，生成的 样本数据越来越真实，判别器的判定能力也不断提升，对 于输入的图像分类越来越准确，同时向生成器反馈二者之 间的误差用以更新参数，最后达到纳什均衡的状态。这时 生成器网络生成的数据样本與真实的数据样本并无二致， 判别器不能对其进行有效分类，这时生成器生成的结果就 是我们想要的结果，模型训练完成。

（二）对抗神经网络的应用

生成对抗网络这一概念被goodfellow等人提出 后立刻受到了广泛的关注，并迅速成为非常热门的研究话 题。在计算机视觉，自然语言处理和其他一些领域中，生 成对抗网络被深入研究，具有广泛的应用场景。目前GAN 在计算机视觉领域已经有了很多成功的应用，包括图像 生成、风格迁移和图像修复等方面。而且通过对GAN的不 断深入研究，学术界提出了各种基于原始GAN的衍生模型 ，这些模型针对原始GAN的缺点进行了改进、对其理论扩 展和应用等方面进行了创新，基于生成式对抗网络模型的 研究不断推进。

在图像生成方面，GAN通过增加一个条件变量 对模型进行有效约束，可以从无监督学习转换为有监督学 习的场景，加快模型收敛速度，使生成数据更加接近真实 数据。改进的GAN结合生成对抗网络和卷积神经网络，采 用步幅卷积和批标准化等操作，改善了原始GAN训练过程 不稳定的缺点，但是由于生成样本具有多样性的特点导致 容易出现模型崩溃的问题。为了克服原始GAN的梯度消失 问题，本文基于上述原理对艺术绘画进行生成。

除此之外，GAN还在图像风格转换、图像补充 和修复、强化学习、隐私保护、医学、生物学等领域均 有不同程度的应用。

（一）现代绘画生成原理

本文将对抗神经网络应用在现代绘画生成中， 提出创造性对抗网络，生成器被设计为接收来自判别器的 信号，与生成性对抗网络（ GAN）类似，该网络有两个对抗 网络，一个判别器和一个生成器。判别器可以接触到 与标定标签的绘画艺术风格，如文艺复兴、巴洛克、印象 主义、表现主义等相关的大量艺术，并使用它来学习区分 不同的风格。

对抗神经网络中的第一个信号是判别器对“艺 术与否”的分类。在传统的GAN中，该信号使发生器能 够改变其权重以生成更频繁地使判别器判断是否来自相同 分布的图像。在现代绘画生成中，判别器表明是否认为生 成的艺术与它所现代无线电监测接受设备的艺术绘画数据 集十分重要。在尝试使用小规模艺术绘画作品进行初步测 试时，发现数据集的模型收敛得很差。在本文中采用 wikiart数据库，这是一个超过10万幅绘画的集合，这些绘画都 标有风格、流派、艺术家、绘画年份等。这个数据集，将 有足够的数据使模型收敛，能够使用标记信息来提高网 络的学习能力。

（二）现代绘画生成模型

1 .训练组合模型，以提升生成器。为了区分 真实艺术图像和非艺术图像，我们使用传统的卷积神经网络 （CNN）架构。因此，对于尺寸为64×64的图像，代码如下：

图1 64×64图像的代码

本文设置了3个卷积层，它们负责执行以下操 作：形状为64×64×3的原始图像经过16层过滤器，产 生一个形状为32×32×16的图像。下一步转换32×32×16 的张量为16×16×32的张量。最后，在下一个卷积层之后， 我们最终得到8×8×64形状的张量。

2.生成器模型。生成器的作用正好相反，将大 小为100的矢量转换为图像。这涉及一个卷积的过程， 它本质上是一个反向卷积。

我们以64×64×3的张量大小结束，这正是需 要的图像的大小。所有这些准备图像的步骤都由image dataset类来处理。

（一）实验环境与流程

本次算法实验所使用的实验环境为，操作系统 ：Windows 10家庭中文版（版本号1903）;CPU： IntelCore i7-8750H;CPU主频：2.20GHz ;内存：16G;硬盘：1.5T。

整个现代绘画流程如下：使用 WS=workspace.from_config连接到工作空间，连接到计算集群： cluster=compute target（workspace=ws， name=‘my cluster’）。此处需要一个带有GPU的虚拟机集群，例如NC6。上传 数据集到ML工作区默认的数据存储里。

传递model_path=.outputs/models和 samples_path=.outputs/samples作为参数，它们会指定训练期间 生成的模型和样本数据写入对抗神经网络实验的相应目录里 。

为了创建可以在GPU上順利运行的estimator， 使用内建的tensorflow estimator。它和通用estimator 非常类似，但是可以为分布式训练提供开箱即用的选项。

（二）现代绘画结果验证

使用公开的wikiart数据集中的绘画对抗神经 网络进行了训练。最终评估了三个不同分辨程度模型生成的 图像，并与提出的CAN模型生成的图像进行比较，以定性 和定量地了解差异。所有模型都在相同的art数据集上进 行了训练。结果如下图所示。

图2 64×64训练模型

第一个分辨率模型是原始对抗神经网络根据艺 术数据训练的模型。此模型生成分辨率为64×64的图像。虽 然根据艺术数据进行训练，但此模型未能生成模拟训练艺术 的图像。生成的样本未显示任何可识别的人物或艺术类型或 样式。

图3 256×256训练模型

第二个分辨率模型是原始的对抗神经网络模型 在向生成器添加两层后，将分辨率提高到256×256，即此 处的生成器具有与CAN模型相同的精确结构。我们还对该模 型进行了艺术收藏方面的训练。生成的示例有了显著的改进 ;我们可以清楚地看到美观的构图结构和颜色在结果图像中 显示。但是，生成的图像也没有显示任何可识别的人物、主 题或艺术类型。

最后为所有模型使用了相同的训练图像集，并 进行了第3次实验。所有生成的图像都使用超分辨率算法 放大到512×512分辨率。图像也调整到512×512分辨率。 结果如下图所示。

可以看到该模型生成的图像在实际模拟艺术分 布方面表现出显著的改进，从这个意义上说，可以看到许多 肖像、风景、建筑、宗教主题等类似于人类创作的艺术绘画 类型。从而验证了对抗神经网络在现代绘画生成的有效性。

图4 512×512训练模型

（一）结论

科学技术日新月异，图像信息已经成为互联网 信息共享和交流过程中最主要的媒介之一。所以，研究对 抗神经网络的现代绘画生成具有极其重要的现实意义。传 统图像识别不仅需要耗费大量人力、财力资源，且在质量 和效率方面难以满足人们的实际需求。而对抗神经网络的 现代绘画生成可以自动从图像中获取数据信息，提高了图 像识别效率。同时，由于对抗神经网络运用了博弈思想 ，在模型中引入对抗机制，其自身强大的生成能力，备受 广大业内人士青睐与喜爱，成为了现代绘画领域中最受欢 迎的对象。本文首先以生成式对抗神经网络概述为出发点 ，分析了对抗神经网络现代绘画生成过程，最后对生成的 现代绘画进行了测试，结果表明所有生成的图像都使用超分 辨率算法放大到512×512分辨率，图像也调整到512×512分 辨率。

（二）展望

本文通过训练对抗神经网络实现了艺术绘画的 创作，使人工智能真正意义上具有了人类的创造力。但是 ，本文也存在一些缺陷，目前的对抗神经网络或多或少都 是基于概率模型设计的，也就是说，这些网络都是在给定 条件下，通过输入的数据来预测一个输出结果。训练集 仅仅只是“真实的照片”和“绘画作品”，从中找到了某 种能够将它们两者联系起来的映射关系。

然而，真实的艺术绘画生成，除了基于真实的 场景以外，艺术家更会结合自己的个人体验与经验来进 行创作——这些个人的体验与经验是极难被量化成计算 机所能理解的数据，这有待于在未来进行进一步研究。

同时本文提出的对抗神经网络生成的图像通常 会有很模糊的边缘。这种附带的模糊效果是很难在对抗神 经网络中避免的。未来应使用改进算法分别提取原图和生 成图像的深层次特征，然后计算二者的损失来进行优化， 从而减弱边缘模糊的效应。