局部图像风格迁移绘制算法

孙 冬，时 宇，高刘雅，李芳芳，高清维，卢一相

(安徽大学 电气工程与自动化学院，安徽 合肥 230601)

传统的非参数图像风格迁移(非真实感渲染[1-2])通过笔触渲染、图像类比、纹理合成和图像滤波的方式，捕捉图像的低级特征，对图像进行真实化渲染.Hertzmann在文献[3-4]中分别提出了笔触绘制算法和图像类比算法.笔触根据源图像的色彩进行选择，将风格描述为笔触算法的一组直观参数，通过调整参数改变绘画风格，但笔触算法的局限性较大，往往只能根据某一特定的风格进行设计.图像类比算法通过学习源图像示例之间的映射关系，进而得到目标图像的风格化效果图，但是该算法只捕获到图像的低级特征，无法获得有效的样式，效果不理想.Efros等[5]提出了一种图像绗缝方法，通过将源图像的小块拼接在一起的方法合成新图像，该算法简单高效，能够有效扩展纹理图像，但是产生了一个大的随机图像，每处理一次大随机图像，就需要遍历小的纹理图像的所有像素，导致较长的运行时耗.Raad等[6]研究的Efros-Freeman算法是在图像绗缝算法[3]的基础上，通过对输入纹理进行无缝的全块排列，计算出新的纹理.该算法可以实现部分并行化，大大加快了算法运行速度，但绗缝算法不适合生成非常大的纹理图像，尤其在输入纹理不固定时缺点更加明显.Winnemoller等[7]提出一种自动实时图像抽象框架，通过调整亮度和颜色对比度，创造出具有卡通风格的图像，但是在风格多样性方面受到限制.可以看出传统的非参数图像风格化能够机械地描绘一些规定的样式，在灵活性、有效性、多样性等方面都具有很大的局限性.

随着深度学习的兴起，深度神经网络在图像处理等相关领域得到更深一步发展.Gatys等[8]提出利用卷积神经网络提取图像的不同层特征，使用梯度下降法调整输入响应，经过多次迭代后，输入响应即为具有特定风格和内容的图像.Johnson等[9]提出了一种利用感知损失函数来训练的前馈神经网络，使用感知损失代替像素损失，增加了一个转换网络，提高训练速度的同时大大缩短了时间.Gatys等[10]提出利用颜色直方图匹配或亮度转移的方法，在风格迁移的同时能够保留源图像的色彩.

为了产生更多不同类型的风格图，改变对整幅图片进行风格化的现状，论文提出了一种基于导向滤波[11]的图像局部图像风格迁移算法.首先，使用导向滤波对内容图像进行抠图操作，通过对粗边缘或手绘的黑白图像精细加工处理，得到边缘细化的二值掩膜图像；其次，利用卷积神经网络中VGG16网络的输出作为图像的高级特征，分离与重组输入图像的特征进行风格迁移；最后，将风格迁移后的图像与二值掩膜图像进行点乘，将前景、背景或者是任何作者感兴趣的部分提取出来进行风格迁移，获得更具有欣赏价值的艺术图像.

1 相关工作

1.1 VGG16模型

风格迁移算法是指将一幅图像的艺术风格迁移到另外一张图像上，既可以保持该图像语义内容，又体现了风格图像的样式.该算法在对图像的内容和风格进行特征提取时主要采用VGG16模型，提取过程中损失函数分为内容损失和风格损失，前者表示输出图像的内容与内容图像之间的差异，后者表示输出图像的风格与风格图像的差异，通过调整两种损失之间的组合方式，可以最终实现目标图像的风格迁移.

在卷积神经网络中，每个卷积层具有若干卷积核，可作为用来提取图像特征的算子.对于输入图像，若某个区域与卷积核的内积运算结果较大，则说明了该区域与该卷积核的相似度较高.VGG16网络模型结构如图1所示.

图1 VGG16模型结构图

该模型共分为5层，每一层的基本结构均由卷积(第1，2层的卷积次数为2，第3，4，5层的卷积次数为3)、池化及relu激活函数组成.VGG16中卷积核大小为3×3像素，池化层中采用的池化方式为maxpool，核尺寸为2×2，该池化方式能较好地捕捉图像的梯度特征，从而能有效提取边缘纹理等更加细节的语义信息.

图2为利用VGG16不同层的输出特征重建图像的示例，其中作为输入的两幅图像分别为输出图像提供了风格和内容的约束，可以看出，随着卷积层的加深，可视化结果越来越抽象.

图2 卷积神经网络的图像可视化

1.2 损失函数

假设VGG16网络第l层的滤波器数量为Nl，其中Ml为滤波器输出的特征图的尺寸，图像在经过该层后的响应矩阵可表示为Fl∈Nl×Ml.

图像内容的损失函数Lcontent计算公式如式(1)，用以衡量内容图像和生成图像的低级特征差异

(1)

同样，图像风格的损失函数Lstyle计算公式如式(2)，用以衡量风格图像和生成图像的高级特征差异

(2)

(3)

其中：α和β是权重因子.

2 基于导向滤波局部图像风格迁移方法

2.1 导向滤波算法

导向滤波技术是一种保边滤波平滑算法，根据引导图像提供的信息得知哪些区域需要滤波操作，哪些区域边缘需要对其保留.由于该算法简单高效，因此被广泛应用在图像去雾、抠图等方面.导向滤波算法构建模型如图3所示，可以将输出图像T看成是输入图像p经过噪声n污染而产生的退化图像.

图3 导向滤波模型

该算法的关键是假设在引导图像I和输出的滤波图像T之间、以像素k为中心的窗口中存在局部线性关系，即在窗口wk中T与I存在如下的线性变换

Ti=akIi+bk,∀i∈wk，

(4)

其中：ak和bk是以r为半径的正方形窗口wk线性系统的系数.由于∇T=ak∇I，所以在窗口wk这个局部线性模型中，输出图像T和导向图像I的边缘具有一致性.根据无约束图像复原的方法可以将其转化为最优化问题，优化目标为min‖n‖2， 即在窗口wk中 的代价函数如(5)所示

(5)

其中：εak2为惩罚项，ε是正则化参数.上式可由最小二乘法求解得到系数

(6)

(7)

(8)

(9)

其中：

2.2 局部图像风格迁移

基于导向滤波，提出了局部区域控制的图像样式转移算法.首先利用卷积神经网络提取图像特征和样式，对整个图像的风格进行迁移；然后根据导向滤波算法，通过手绘的粗糙掩膜图像，得到精细化的二值掩膜图像；最后将精细化的掩膜图像与风格迁移图像进行与运算，从而完成不改变其他区域局部图像风格迁的移过程.使用以下公式表示生成的局部样式转移图像

(10)

该算法主要用来对图像进行抠图，正方形窗口wk的半径r和正则化参数的选取并不是一成不变的，对不同的图像选取不同的参数，可以极大地提升抠图效果精确性.基于导向滤波的局部图像抠图可视化过程如图4所示，左侧为导向图I，中间为输入图像P，右侧为输出图像T.可以看出，根据导向滤波算法得到的抠图输出图像的边缘相较输入图像更加精细，局部特征保留得更加完整.

上行图中r=40，ε=10-5；下行图中r=15，ε=10-3.图4 导向滤波抠图

3 实 验

该节通过实验对文中所提出的局部图像风格迁移算法进行验证，其中用于求解方程(3)的梯度下降法由Python提供的函数fmin_l_bfgs_b[12]实现，初始图像为高斯随机白噪声，使用VGG16网络，并将conv5_2作为图层内容的Lc，将conv1-1，conv1-2,conv2-1, conv2-2，conv3-1，conv3-2，conv3-3，conv4-1，conv4-2，conv4-3，conv5-1，conv5-2，conv5-3的Gram Matrices作为模型掩饰的图像统计，α/β是1×10-4，硬件环境为Intel Core i7-7700K，Nvidia GeForce GTX 1080Ti.

图5展示了直接将风格图像与内容图像进行相互融合的结果以及论文所提方法的实验结果，从左到右分别是风格图像、内容图像和融合图像，经过2 000次迭代之后，卷积网络可以对图像的风格和内容进行很好的融合，直接迁移化后，内容图像被整体风格化，不能突显局部感兴趣区域；但引入滤波抠图后，其只对感兴趣区域进行局部风格迁移，可以更好地保留内容图像的特征，同时凸现图像风格.

图5 不同风格迁移化结果

图6，7通过对不同类型输入进行局部图像风格迁移化的结果及效果对比，进一步证明论文所提方法的优越性未引入导向滤波前，由于使用的是手绘粗略制作掩膜图像，边缘做不到和原内容图像完全贴合，拐角处处理不够细化，导致局部粗掩膜风格化图像边缘较粗糙；利用导向滤波算法先对粗边缘图像处理得到精细化掩膜图像，再将合成的效果图通过掩膜图像切割后与内容图像拼接，可以有效解决粗边缘的问题.对图6，7的粗掩膜风格图像局部放大图与精掩膜风格图像局部放大图作对比，可见精掩膜图像的边缘保留得更加完整，几乎看不到模糊突兀的部分，进一步说明了使用导向滤波算法对掩膜图像边缘进行细化的重要作用.

图6 实验结果展示(一)

图7 实验结果展示(二)

4 结束语

论文提出一种基于导向滤波的局部图像风格迁移算法，该算法可以控制神经风格迁移的区域，实现局部图像风格迁移.首先利用导向滤波得到精细的二值掩膜图像，该操作能够保证局部边缘的平滑度，最大化地保留边缘有效信息；然后通过神经风格迁移算法对整个图像进行风格迁移；最后将掩膜图像和迁移图像进行与运算，获得最终的局部风格迁移图像.通过这种方式，可以提取前景、背景或任何作者感兴趣的区域并进行风格化，与之前的整个图像迁移相比，可以有选择性地迁移某些部分.同时，精细的掩膜图像能够有效地处理边缘粗糙等问题，进一步提高了局部风格迁移图像的视觉效果.