基于卷积神经网络的水墨画合成方法

彭玉元,赵朋朋,武有能,谢兵兵

(桂林电子科技大学 a.艺术与设计学院;b.计算机与信息安全学院,广西 桂林 541004)

非真实感绘制是利用计算机生成不具有照片般真实感,而具有手绘风格的绘制技术。它的主要目的之一是为了表现图像的艺术特征、模拟美术作品。水墨画是具有悠久历史的中国传统绘画,研究如何利用计算机绘制出优秀的水墨画作品对弘扬发展中国文化有重要的意义。

关于水墨画的计算机绘制技术主要分为两方面:基于物理的仿真绘制技术和基于非物理的以空间模型或原始图像为基础的自动或半自动的绘制技术。 基于物理仿真的研究取得了较好的效果,但是对毛笔、 水墨、 宣纸的物理特性模拟运算以及各种参数的设定, 使得绘制过程比较复杂, 难以操作, 绘制效率很低[1-4]。 对于基于空间模型的绘制, 如建立3D物体模型直接进行渲染、 建立水墨粒子模型模拟其扩散运动等, 也取得了不错的效果, 但是过程繁琐、 计算量大, 处理起来也很困难[5-8]。 基于图像的水墨画制技术简单、 易操作, 近年来成为了研究热点,取得了不错的研究成果：Yu等[9]提出了基于真实图片的水墨画合成算法,在图片上控制水墨笔触,获得了真实图片的水墨画效果；李丹等[10]提出了基于图像类比的方法,对照片A和对应的水墨画风格图像A′类比来获取对应信息,让滤波器学习匹配规律,使另外输入的照片B可以转化为带有水墨风格图像B′；曹毅等[11]充分利用图像处理的相关技术(图像分割、 滤波处理等), 生成了水墨画效果的图像；Liang等[12]提出一种基于真实图片的水墨线条绘制算法,对边缘检测出来的线条进行水墨扩散模拟,使真实图片有一定的水墨效果；金炜炜[13]改进基于图像生成水墨画的绘制过程,引入Perlin噪声,获得了不错的水墨绘制效果。这些方法都是根据水墨画一般性特征而设计的,而真正由画家创作的水墨画的优美之处在于其整体的风格。Gatys等[14]提出利用卷积神经网络模型,对图像特征提取然后加以合成, 使一张图像拥有另一张图像的风格。 这种方法对于水彩画或油画等色彩明显的艺术图像合成效果较好, 但对于水墨画风格图像的合成效果不佳。 本文针对水墨画的主要特征, 对输入照片图像进行对比度增强预处理, 修改卷积神经网络模型对水墨画图像风格提取算法, 使最后生成的图像带有较好的原水墨画风格。

1 卷积神经网络

卷积神经网络是深度神经网络中最强大的计算机视觉处理领域的一个模型,在物体识别的表现上超过了人类识别能力的模型。

1.1 信息提取能力

训练完成的卷积神经网络模型, 对于图像特征的提取具有一般性, VGG-Net具有很好的图像转化学习能力[15], 其卷积层的特征映射大小为3×3(滤波器大小), 能捕获最小1像素左右的信息尺寸, 卷积的步长为1, 边界填补为1, 这样使得卷积层获得了更多的非线性判断。 在池化层VGG-Net使用的是2×2区域最大池化操作, 池化步长为2。 被训练好的模型经过简单的修改调整便可在深度学习框架(caffe-frame、 theano、 torch等)下进行更多的应用和研究(如图像语义分割)[16]。 本文使用了VGG-Net的16个卷积层和5个池化层提供的特征映射空间而没有用到任何一个全卷积层, 这样可以使输入图像的尺寸大小是任意的。 在池化层保留了最大池化处理，而并没有使用平均池化。

卷积神经网络是深度学习中第一个真正成功训练多层网络结构的学习算法,是由神经元按层级结构组成的前馈网络。通过特征映射(滤波器)依次卷积输入图像的感受野信息,获得平移、旋转和缩放不变的图像特征信息(特征图),再依次把信息传递到高层。当训练卷积神经网络用作物体识别时,随着层数的增加，图像特征信息代表的目标信息就越来越明确[14]。

如图1所示,通过一张白噪声图像匹配照片在卷积神经网络中某一层的特征响应的方法来获取照片内容。洇湿也就是水墨扩散效果,是水墨画的一个显著特征,湿毛笔接触宣纸时,墨水会从毛笔流入到宣纸,然后向周围浸润、渗透。卷积神经网络进行图像风格提取时,考虑的是图像整体风格，而弱化了细节纹理方面,所以为了使生成的图像在不同的灰度区域边界拥有由黑到白的水墨扩散效果,在水墨画合成时应对输入的原照片图像作增强处理,提高明暗对比度。

图1 内容提取Fig.1 Content extraction

1.2 纹理处理能力

一般认为,纹理是一种反映像素在图像空间分布的特征,通常表现为总体有规律而局部无规律的性质；又或者是一种反映图像中同质现象的视觉特征,体现了物体表面共有的内在属性,包含了物体表面结构组织排列的重要信息以及其与周围的联系[17]。近年来,纹理合成的主流技术主要是对源纹理图像内在规律的提取、重构。这种方法用在非纹理图像上,可以认为是对一张图像风格特征的提取。本研究使用Gatys等[18]提出的基于卷积神经网络的纹理合成方法。在已经被训练好的用于图像分类的卷积神经网络模型中,每一层的特征响应间相互关系表示了纹理信息的空间汇总统计。如图2所示,通过一张白噪声图像匹配水墨画在卷积神经网络某些层特征响应相互关系的方法来获取水墨画风格图像，在风格获取时,避免了空白区域特征响应的互相关系有可能无意义情况,使生成的图像保留了足够的原水墨画风格信息。

对计算模型进行改进,通过对输入照片图像进行对比度增强预处理, 有助于卷积神经网络模型对照片内容和水墨画风格的获取,并通过修改计算参数, 使得原来对于水彩画或油画等色彩明显的艺术图像合成效果较好的卷积神经网络, 同样适用于水墨画风格。

图2 风格提取Fig.2 Style extraction

2 水墨画合成

2.1 基于HSV颜色空间的照片图像增强

对于输入的照片,直接在RGB空间中对R、G、B3个分量进行处理运算容易出现色偏。应先把图像从RGB颜色空间转换到HSV颜色空间下,HSV颜色空间的3个基本属性为色调(H)、 饱和度(S)、 明度(V),具体转换如下:

(1)

式中：R、G、B的取值范围是[0, 255];H的取值范围是[0, 360];S的取值范围是[0,1];V的取值范围是[0,255]。把明度V当作灰度图像V1进行直方图均衡化处理,映射成一幅灰度分布均匀的图像V2,变换函数为各灰度级概率的累积分布函数

(2)

式中：rk为V1归一化的灰度级；k=0,1,2,…,L-1;n是图像中像素的总和；nk是灰度级为rk的像素总数；L是图像中可能的灰度级总数；T是变换关系；Pr(rj)是原图像第k级灰度值的概率；sk是V2归一化的灰度级。最后将图像从HSV颜色空间转换到RGB颜色空间,换算公式为

(3)

图3a一张普通风景图经过图像增强后变为图像如图3b所示。

图3 图像增强Fig.3 Image enhancement

2.2 照片内容获取

(4)

对式(4)求关于F的导数:

(5)

在l层通过误差反向传播算法便可求出关于x的梯度,直到在此卷积神经网络的l层映射的特征响应与p在此层映射的相同,此时x便表示了关于p的内容信息。

图4a—c分别是使用VGG-Net第1层卷积层的第1组、第3层卷积层的第1组和第5层卷积层的第1组提取的内容。

2.3 水墨画风格获取

(6)

其中，i为第l层第i个滤波器；k为第i个滤波器的第k个位置的特征输出；j为第l层第j个滤波器；k*为l层第j个滤波器上第k*个位置的特征输出。

用一组格拉姆矩阵集合G′⊆{G1,…,Gl}便可确定一张图像的风格。 计算机视觉处理的卷积神经网络模型主要面向RGB图像的输入, 一张水墨画从计算机视觉上理解是一张灰度图像, 上面很多空白区域, 由于3×3滤波器范围很小, 容易对应到水墨画图像灰度全为0的3×3区域, 使得特征响应的值忽略了滤波器的影响, 只受到神经元基值的影响。 若此时基值为0, 那么两个滤波器在这种情况下的互相关系就没有意义。 为了避免这种情况,对上述互相关系进行调优:

(7)

(8)

总损失为

(9)

式中：wl为每一层对总损失的权重影响。对式(9)求关于F特征响应的导数:

(10)

同样地，根据误差反向传播算法可以求出关于x的梯度。如图5a′是图5a水墨扩散效果的纹理合成图像,图5b′是图5b山水画风格合成图像。

图4 内容提取Fig.4 Content extraction

图5 风格提取Fig.5 Style extraction

2.4 水墨画合成

以一张白噪声图片为基础,利用卷积神经网络模型VGG-Net同时进行2.2节所述的照片内容获取处理和2.3节的水墨画风格获取处理,此白噪声图片即可生成为一张水墨画风格图像。

设p为一张图像增强处理后的照片,a为一张水墨画,x为一张白噪声图像, 则损失函数表示为

Ltotal(p,a,x)=αLcontent(p,x)+βLstyle(a,x)。

(11)

式中:α、β分别是照片内容和水墨画风格在生成图像中的权重影响。

照片内容获取使用的卷积层是CONV4_2, 水墨画风格获取使用的卷积层是CONV1_1、 CONV2_1、 CONV3_1、 CONV4_1和CONV5_1,式(9)中的这几个卷积层权重wl均设为1, 其他的全为0。 水

墨画合成的总损失函数式(11)中,α设为1、β为5。从原风格合成方法生成的图6c可以看出,生成图像的山体部分呈现出大面积的空白,并且远处天空部分还残留着白噪声图像的纹理。相比之下,图6d山体部分的墨色就比较均匀,图像中的天空区域也减少了白噪声图像纹理。本文合成方法在Gatys的合成算法基础上,首先基于HSV颜色空间的照片进行图像预处理来提高其明暗对比度,然后利用卷积神经网络模型VGG-Net获取照片内容以及水墨画风格的提取,最后依据水墨画合成的总损失函数式(11)进行参数调优,设置合理的照片内容和水墨画风格在生成图像中的权重,可以看出,通过这一系列的模型改进使最后生成的图像带有较好的原水墨画风格。图7是对其他一些图像进行合成的效果展示。

图6 风格提取Fig.6 Style extraction

图7 效果展示Fig.7 Show results

3 结束语

通过分析水墨画具有的洇湿扩散特征,使用图像增强算法对图像作预处理,针对水墨画图像灰度为0的空白区域,填补其像素值,并依据卷积神经网络的性质,在已经训练完成的卷积神经网络之上,通过计算,定义照片内容的表示方法和水墨风格的表示方法。通过一张白噪声图像同时去拟合一张照片图像的内容信息和一张水墨图像的风格信息,可以合成出效果较好的水墨风格的图像。