基于生成式对抗网络的局部风格迁移

张红蕊

摘 要：生成式對抗网络GAN（Generative Adversarial Networks）结合机器学习中的生成模型和判别模型的思想演变为网络结构中的生成器型用于捕捉真实样本的概率分布并生成新的样本，判别器用于对生成结果进行分类，两者采用对抗训练方式。本文以GAN的结构特征以及方法原理为基础，结合风格迁移的理论依据，对真实场景的图片数据进行艺术风格转换，加入掩膜图像思想实现局部风格转换和混合风格转换。

关键字：深度学习 生成式对抗网络 风格迁移

一、相关工作

（一）GAN原理

GAN[1]源于二人零和博弈理论，它包括生成模型和判别模型：生成器 用于捕捉真实数据样本的概率分布并生成新的样本；判别器 可以看作是一个二分类器，输出一个固定的概率值。双向GAN机制[2-3]包含成对的生成器和判别器，采用深度卷积神经网络实现双向域中图像转换任务。

（二）风格迁移

风格迁移定义为存在一张图片 提取图像整体风格，存在另一张图片 保留纹理内容，将两者因素相互结合在一起生成新的图片既具有 的风格同时保留 的内容。风格迁移方法Neural Style Transfer[4]使用深度神经网络VGG19网络提取图像深层次特征信息，采用感知损失函数计算差异。

二、 方法原理

本文旨在实现 域到 域图像的转换任务，对于风格迁移，假定域为内容域， 域为风格域，采用GAN网络架构生成新的图像既保留 域的图像内容又符合 域的图像风格。逐像素匹配图如图2-1所示，域与域逐像素匹配，将图像风格进行转换，使合成图像为输入图像内容和目标图像风格的完美

结合。

（一）全局风格迁移

GAN网络结构中包含一个生成模型和一个判别模型，两者采用对抗训练的方式学习。其中生成器以 图像尺寸作为输入，经过深度残差网提取图像深层次特征信息；判别器则是一个输入为 的图像小块的深度神经网络，在提取特征后反馈给生成器；网络结构中采用多损失函数共同计算误差，并通过反向传播算法将梯度误差回馈给生成网络。

（二）局部风格迁移

网络模型结合掩膜图像的思想，理论实现如公式2-1所示。输出的图像对应掩膜图像中值为1的部分保持不变，对应掩膜图像中值为0的部分为转换后的效果。原始图像是A（x， y），转换后图像为B（x， y），掩膜图像为m（x， y），通过代数运算得到的局部风格转换图像为A'（x， y）。

A'（x， y）=A（x， y）∧B（x， y）+m（x， y）∧（-B（x， y）） （公式2-1）

三、实验结果

实验细节：实验数据中的原始图像来源于真实场景的图像取景，风格图像为艺术作品图像；学习率最初默认设定为0.0002，batchsize大小设置为1；网络结构采用深度学习中Adam优化方法和反向传播算法。实验结果如图3-1所示，从左至右依次是内容图 、风格图 以及生成图像。

四、 总结与展望

本文应用生成式对抗网络模型架构，采用生成器和判别器的对抗训练的方式，结合深度卷积神经网络在提取深层次图像特征的优势，优化损失函数计算，以风格迁移图像转换任务的理论依据为指导，实现了自然场景图像与艺术风格迁移转换任务，并结合图像处理方法的掩膜思想，将全局风格迁移转换为局部风格迁移。

参考文献：

[1] Goodfellow I J， Pouget-Abadie J， Mirza M， et al. Generative Adversarial Networks[J]. Advances in Neural Information Processing Systems， 2014， 3：2672-

2680.

[2] Zhu J Y， Park T， Isola P， et al. Unpaired Image-to-Image Translation Using Cycle-Consistent Adversarial Networks[C]// IEEE International Conference on Computer Vision. IEEE Computer Society， 2017：2242-2251.

[3] Yi Z， Zhang H， Tan P， et al. DualGAN： Unsupervised Dual Learning for Image-to-Image Translation[J]. 2017：2868-2876.

[4] Johnson J， Alahi A， Li F F. Perceptual Losses for Real-Time Style Transfer and Super-Resolution[C]// European Conference on Computer Vision. Springer， Cham， 2016：694-711.