基于多维特征分布的设计风格偏好度量模型研究

姜鑫玉，栾 宽，唐 智,*，王 平

(1.东华大学机械工程学院，上海 201620；2.哈尔滨工程大学智能科学与工程学院，黑龙江 哈尔滨150001)

0 引言

在设计作品中，色彩、线条、纹理、笔触等画面内容之外的特点，代表作品的风格[1]。风格偏好度量的核心思想是提取图像的风格特征，计算不同图像特征间的距离可以衡量风格相似的程度。设计风格在绘画、服装设计、家具设计、计算机绘图等多个领域有所体现。在绘画领域，文献 [2]提出一种基于颜色、着色、纹理和笔画四种特征的风格相似性的测量方法，为用户创作风格一致的剪贴画开发了相应的应用程序。文献 [3]为理解人类视觉复杂性，基于心理学和艺术理论从绘画作品中筛选出29个全局、局部和突出特征，这些特征与人类视觉高度相关。文献 [4]设计了一种基于签名风格的自动识别画家和艺术流派的方法。该方法使用Fisher评分对描述符进行评估，并使用最具信息性的特征对绘画、画家和艺术流派进行分类和相似性测量。文献 [5]为将绘画图像进行分类，从人脑认知机制出发，建立艺术风格相似性规则，并对风格特征进行量化，从而实现对绘画图像进行分类。在服装设计领域，文献 [6]针对不同风格服装匹配问题，对服装风格相似度进行定量分析，提出一种基于面料图像梯度的服装风格相似性匹配算法。在家具设计领域，文献 [7]从家具的雕刻装饰图案入手，利用文献研究法对雕刻图案进行归纳总结，采用方差分析法研究了图案出现部位与图案类型之间的关系。在计算机辅助绘制设计领域，文献 [8]针对非真实感绘制，利用人眼对图像最亮信息特征的提取，提出一种基于纹理合成的多种艺术风格的计算机手绘图像方法。文献 [9]为识别钓鱼网站，提出一种衡量可疑网页与实际网站的相似度方法。在建筑领域，文献 [10]发现建筑样式、颜色搭配、建筑材料的搭配是影响建筑风格的主要因素。通过对以上文献分析发现这些研究多针对某单一领域的艺术风格的测量，还没有一种通用的方法能够对多领域风格进行量化。而研究方法上，一些研究从人脑工作机制入手，探索影响风格的因素，视角相对狭小。另一些研究则采用传统机器学习方法，试图通过有限的特征来量化艺术风格，具有局限性。

本研究提出一种基于多维特征分布的通用风格偏好评价方法。该方法通过卷积神经网络提取图像特征，利用格莱姆矩阵表征图像的艺术风格。在评价用户风格偏好时，通过计算用户挑选的不同图像间的特征分布的均方差来评价图像间风格的相似程度，根据相似程度对图像进行排序，从而准确把握用户风格偏好。

1 艺术风格偏好度量模型设计

1.1 基于卷积神经网络的图像多维特征提取

利用卷积神经网络[13-14](Convolutional Neural Networks)进行高效、多层和深度的[15]图像特征提取的原理如图1所示，通过卷积核在图像上滑动，与各像素点做内积输出特征图，不同的卷积核提取到不同的特征信息。通过设置卷积核的数量和卷积层数，使其能够提取的特征信息更多且复杂。低层卷积输出低维的特征如色彩和边界，高层卷积输出高维特征如形态和细节等[16]。输入图像在网络中进行层层映射，最终得到各层对于图像不同的表示形式，实现图像的深度表示[17]。

图1 卷积神经网络提取特征过程Fig.1 Feature extraction process of convolution neural network

1.2 基于格莱姆矩阵的图像风格表征

格莱姆矩阵[18]是指n维欧氏空间中任意n个向量之间两两的内积所组成的矩阵，表示为公式(1)。根据向量内积的定义，格莱姆矩阵中对角线上的元素anan表示向量an本身，其他元素aman则表示向量am和an之间的关系。

(1)

在风格迁移[19-20]任务中将图像特征作为图像内容，而用这些特征向量的格莱姆矩阵表示图像风格，从而实现了图像内容和风格的分离重组。特征的格莱姆矩阵能够表示特征的分布，例如特征圆形通常与特征红色同时出现，出现直角的地方通常没有曲线等，而这种特征相关性则作为意义上的风格[21]。两张图片的风格相似度等同于其特征分布的相似度，图像特征分布越相近，则风格越相似。

1.3 艺术风格相似性度量模型设计

由于设计风格的评价是主观的，取决于设计师对风格特点的准备把握，因而很难用统一的标准(例如相似度高、中、低或70%相似等)进行描述[22]。为了便于机器对风格的相似程度进行比较，本研究提出的模型能够实现对于输入的任意两张图片进行多维特征提取，计算其不同维度上的特征分布差异，最终输出风格差值。多种风格图片两两相互比较就能根据风格差值给出排序，从而准确判断用户的风格偏好。模型描述如图2所示。

学生会或学生社团中，学生的自我意识强烈，官僚现象普遍存在。学生会各部门、社团相互之间缺乏有效合作与交流，成员缺乏团结奉献精神，团队组织性有待提高；相比班主任及科任教师，因学院辅导员掌握学生奖惩决定权，学生更惟命是从，若出现取舍学习及社团任务时，常舍弃课堂择参与社团活动，影响了正常的本职学习任务。

图2 设计风格相似性度量模型Fig.2 Design style similarity measurement model

模型具体参数设置如下：

1) 根据卷积层数越高提取的图像特征越复杂的特点，高卷积层提取的特征更倾向图像内容，并直接影响到图像的风格。因此本研究受图像风格迁移的启发，选用图像风格迁移任务中常用的VGG-19[23]模型。由于风格迁移前需要对图像风格进行提取，因此本研究的思路是借助预训练的VGG-19卷积神经网络模型对图像的风格做特征抽取，其相关参数如下：filter为3×3的卷积核，stride步长为1，为保留边界处的卷积结果padding为1个像素，maxpool窗口大小为2×2，步长为2，用Relu作为激活函数。

利用前5个卷积层输出特征图，每层卷积提取的特征为

(2)

2) 计算图像特征的分布关系描述图像的风格，其中每个卷积层上图像的特征分布计算方法为

(3)

3) 计算图像特征分布的均方误差作为风格差异，其计算方法为

(4)

2 风格相似性度量实验

2.1 实验方法

实验在本地计算机上进行，主要参数如下：GPU为NVIDIA RTX 2080，8GB显存，CPU为Intel i7-7700，内存为16 GB。先行研究的风格以绘画作品为载体，为了验证本研究方法在现代数字化设计风格评估中的有效性，实验对象的选择遵循以下原则：1)图像内容一致，均选择卧室设计图像；2)对图像进行标准化处理，尺寸、清晰度、比例一致。具体使用Python的图像处理库Opencv2、OS、Pillow，将图片全部转换为3个色彩通道的jpg格式。以图像的短边为目标尺寸，将图像居中裁剪为正方形。最后基于局部像素重新采样，将图像尺寸处理成224×224 pixel。

由于风格的相似程度是相对的，通常同类风格作品间的相似度大于异类风格，且作品间的风格相似度是可以进行比较。所以实验选取20名专业的设计师，对图像风格进行分类和排序，对比本研究的模型输出是否与设计师的主观评价一致。

2.2 异/同类风格差异主客观评价一致性实验

在国内外7个设计网站，选择美式、中式、欧式、工业风、日式、地中海、现代和东南亚8种高频次出现在室内设计风格分类中的风格。实验以这8种风格为目标，检索了535张卧室设计的图片，设计师分别对图片进行重新分类，最后仅保留设计师挑选图片数量占网站分类数量半数以上的风格，具体数据如表1所示。根据筛选结果最后挑选中式、欧式、地中海这3种风格的图片作为实验数据。此外，为避免不同风格图片数量不均衡产生偏差，以数量最少的地中海风格图片数量9张为基准，并分别从中式和欧式风格中随机选取9张图片。三种风格图片一共27张进行风格相似性度量。

表1 实验图像的数量Tab.1 Number of experimental images

三种设计风格两两一组，共形成三组数据。每组内计算同类作品间的风格差距，记作Plabel1_label2，异类作品间的风格差距记作Clabel1_label2，label1和label2为数据所属的风格，其中中式简写为Ch，地中海简写为Med，欧式简写为Eu。以中式与地中海组为例，PCh_Med表示先在中式的9张图片中分别计算两两图片间的均方误差，得到36个计算结果，然后在地中海式9张图片中进行同样的计算，得到36个计算结果。因此，PCh_Med共得到72个计算结果。CCh_Med表示中式和地中海式各取一张图片，计算两图片间的均方误差，共得到81个计算结果。其他组采用同样的计算方式，客观度量数据统计如表2所示。

2.3 风格偏好排序主客观评价一致性实验

设计者在用户风格偏好评价时，即使是同类风格的图片，用户也会有偏好倾向。因此，为更加精准地在同类风格中把握用户的风格偏好，本研究设计了风格偏好排序主客观评价一致性实验。实验根据设计师的分类结果，从同类风格中选取3张不同的图片分为一组，每种风格选取10组，三种风格共设置30组。每组图片中任选一张作为目标，标记为So，设计师比较另外两张图片与So的风格相似程度，其中更相似的一张图像标记为Si，另一张标记为Di。将大多数设计师的排序结果作为最终的排序结果，即

B(So[i]，Si[i]) >B(So[i],Di[i])，

(5)

其中，i表示案例所在的组别，取值范围为[1,30]。根据设计师的排序结果，采用本文方法分别对30组案例中的Si、Di与So之间的相似程度进行计算。

表2 异/同类风格相似性客观度量数据表示Tab.2 The representation of objective measurementdata of dissimilar/similar style similarity

3 实验结果及分析

3.1 异/同类风格差异主客观评价一致性结果及分析

采用箱形图分析异/同类作品的风格差异，如图3所示，其中浅色区块代表两种设计风格组内的相似度差距，与其对应的深色区块描述该两种设计风格组间的相似度差距。组间作品的风格差异分布离散，中位数和上下四分位数高于组内的相似度差距。

图3 异/同类风格作品风格差值箱式图Fig.3 Distribution of MSE from different/similar styles

选取数据范围、平均值、标准差和方差作为评价方法性能的基准。发现6组异/同类风格相似性客观评价中，组间风格差异的范围，平均值，标准差和方差都高于组内风格。

表3 异/同类设计作品风格差值分布Tab.3 Statistical analysis of different/similar styles

从该实验结果可以看出，该模型给出的相似度数值在组内图片风格处于较低区间，在组间图片风格中处于较高区间。尽管组内与组间有重合区域，但是组内图片风格的平均值与组间图片风格平均值有较大差异，不同组图片风格能够利用该模型给出的均方误差进行区分，并与设计师的分类结果具有较高的一致性。

3.2 风格偏好排序主客观评价一致性结果及分析

根据设计师的主观排序结果，分别计算Di、Si与目标风格So之间的风格差异，获得如图4所示的风格排序客观度量折线图。D分布在S上方，说明Di与So的风格差异大于Si与So，即本方法的度量结果与设计师的主观评价一致。统计30组数据的结果，得出本方法与设计师评价结果一致的正确率为90%。

图4 风格偏好排序客观度量Fig.4 Objective measurement of style ranking

从该实验结果可以看出，该模型在同类风格图片中仍然能够准确地评价出风格偏好，尽管结果中有3例模型与设计师排序结果相反，但在实际用户风格偏好评价时，设计师通常会给出几十张图片让用户进行比较和挑选。因此，该模型的评价精度符合实际需要。

4 结语

用户风格偏好的准确把握直接影响到设计工作的效率。本研究提出一种艺术风格偏好评价模型，该模型能够综合考虑图像多维特征分布。该模型在其性能评估实验中，对同/异类风格作品间风格的相似性度量结果呈明显差异，符合风格相似性的规则。在风格偏好排序任务中，本模型与设计师的排序结果符合率达到90%。与其他风格评价方法相比较，该模型不受设计作品类型限制，尤其能够在同类风格中给出偏好评价。这些表现说明该模型能够作为设计师评价用户风格偏好的有力工具，具有良好的实用价值。