李炳彤 张华熊 康锋 林翔宇
摘要:针对分形服饰图案的特点,提出了一种多特征融合的美学评价方法。首先对设计图像进行主观美感评分,建立样本图像库;然后提取图像的美学复杂度、色彩分布、构图和纹理等19维美学特征以及7维通用图像特征,建立特征库;通过支持向量机建立图像美感分类器,最终实现高、低美感图案的自动分类。实验结果显示:该方法的高、低美感评价准确率为87.14%,AUC值为0.923 7,符合人类对图案的审美思维;与典型的美学分类算法对比,该方法对分形图案美感等级分类的性能有所提高。
关键词:服饰图案;美学评价;分形图案;美学特征;支持向量机
中图分类号:TN919;TS145.4文献标志码:A文章编号:1009-265X(2018)03-0047-06Aesthetic Assessment of Fractal Dress Pattern Based on MultiFeature Fusion
LI Bingtong, ZHANG Huaxiong, KANG Feng, LIN Xiangyu
(School of Information and Technology, Zhejiang SciTech University, Hangzhou 310018, China)Abstract:For features of fractal dress pattern, this paper proposes an aesthetic evaluation method based on multifeature fusion. Firstly, each image was graded according to the subjective aesthetic perception and an image database was established. Then, 19 dimensional aesthetic features and 7 common image features were extracted to establish feature database, including aesthetic complexity, color distribution, composition and texture, etc. and combine wit. An image aesthetic classifier was created through SVM to achieve automatic classification of high and low aesthetic patterns. The experiment results demonstrate that the accuracy of high and low aesthetic evaluation is 87.14%, and the AUC value is 0.923 7. The results show that the method proposed in this paper is according with human aesthetic thinking. Compared with typical algorithms of aesthetic classification, this method improves the performance of aesthetic grade classification for fractal patterns.
Key words:dress pattern; aesthetic evaluation; fractal pattern; aesthetic feature; SVM
通信作者:張华熊,Email:zhxhz@zstu.edu.cn计算机可以通过一定的数值计算方法生成变化无穷、玄妙美丽的分形图案,这些图案具有局部和整体的自相似性、动态平衡性、对称性以及精细的结构,内涵丰富,风格独特,具有科学和艺术的双重价值。分形图案在中国服装纺织业已被广泛应用于服饰图案设计,并得到了很多业内外人士的肯定[15]。然而,这些分形图案是数学的产物,由纯粹的公式生成,在一定程度上存在着机械性和随机性。设计师能够在计算机生成的分形图像中挑选出可以表达设计思想和创作灵魂的图案,但是大部分分形图像不能自动地符合设计师的主观思想和用户的感受。因此,采用数字图像处理技术,用计算机对分形服饰设计图案进行客观的美学评价,不仅可以方便设计师挑选合适的服饰图案,而且对服饰图案的设计起到指导作用,激发设计师的创作灵感。
目前,以模式识别和数字图像处理技术为基础的图像美学评价已经逐渐成为计算机视觉领域的研究热点[68]。Datta等[6]的研究是图像美学分类的里程碑,其综合考虑图像的颜色、纹理、形状、大小等低层特征以及景深、三分法则、区域对比度等高层特征,建立了图像视觉特征和美学评价之间的联系。Marchesotti等[7]利用SIFT特征和局部颜色描述进行美学图像分类,取得了很好的分类效果。Bhattacharya等[8]利用显著度检测和地平线检测法,并运用三分法则和视觉平衡原则判断图像美学质量,可以根据这些规则修复和增强图像的美感。然而,目前大部分研究仅针对自然图像进行美感分类,选择的特征缺乏针对性,对人类感知的相应的高层美学特征不够重视。
本文以应用于服饰设计的分形图像为研究对象,根据服饰图案的特点和普通美感图像的特征,提出了一种符合人类视觉体系和审美思维的分形图像美学评价方法。该方法从图像的高层审美特征以及色彩分布和空间结构的低层美学特征,分别提取分形服饰图案的复杂度特征、色彩分布特征、构图特征、纹理特征等,并结合通用图像特征,建立特征数据库;采用SVM算法融合这些特征建立分类器,以实现分形服饰图案的美学评价。
1算法设计
1.1算法流程
本文提出的算法可以分为图像库建立、特征库构建、SVM分类评价3个过程,算法流程如图1所示。a)对每一幅计算机生成的分形服饰图像,由浙江理工大学服装学院的学生进行评分,分为高美感类和低美感类,由此建立样本图像库;b)对每一幅样本图像库中的图像,分别提取其美学复杂度特征、色彩分布特征、构图特征、纹理特征,并结合通用图像特征,建立特征数据库;c)将特征库中数据分为训练样本和测试样本,首先通过SVM分类器对训练样本进行训练,建立分类器,然后对测试样本进行评价,输出评价结果。
1.2特征提取
服饰图案是专门用于服装设计,对服装的装饰和造型有着雕饰陪衬的作用[9]。服饰图案主要包括纹理结构与画面构图,给人美感的服饰图案一般具有对称的结构、合理的空间分布、简洁明快的纹理、和谐的色彩分布以及较为丰富的颜色层次[10]。
本文结合服饰图案的特点和分形图像本身的特点[11],提取样本图像库中图像的美学特征和通用特征进行处理。采用图像处理复杂度和内容复杂度作为分形图案的高层美学特征(2维特征);从美学的角度考虑图像的色彩、构图和纹理等低层特征,提取图像的色彩分布特征(1维特征)、构图特征(8维特征)以及全局纹理特征(8维特征),共19维特征。选取模糊特征(1维特征)、暗通道特征(1维特征)、计数特征(3维特征)和对比、亮度特征(2维特征)等通用图像特征来表征图案的统计属性,共7维特征。
1.2.1图像复杂度
图像复杂度是指图像的色彩分布、形状分布、纹理分布以及结构分布等复杂程度,被认为是与审美高度相关的测度之一。Machado等[12]把图像复杂度分为处理复杂度(processing complexity,PC)和内容复杂度(image complexity,IC),認为图像的“美”与PC成反比,与IC成正比。PC值低,那么人们在识别图像和理解图像时感觉有规律性,大脑处理起来简单,会产生愉悦的感觉;IC值高,那么人们感觉图像内容丰富精细,人们会觉得图像很美。
本文借鉴Rigau等[13]的研究,采用秩序复杂度来近似图像处理复杂度。秩序复杂度是从空间信息规律呈现角度来计算图像的构图复杂性。当图像越有秩序时,对其进行JPEG压缩的程度就会越大,压缩后图像文件就会更小,用式(1)可以描述为:
PC=N×Hmax-KN×Hmax(1)
式中:N为图像像素总数,Hmax为图像的最大信息熵,K为图像编码后的大小。
分形图案具有精细结构的特点,在设计图案时会产生细节,在进行图像压缩时可以去掉不相关的细节信息,因此可以通过压缩的性能来表征人们对内容的感知。本文采用图像JPEG压缩误差与压缩率的比值来度量图像内容复杂度[12]。如果压缩比率越低,压缩图像的误差越高,那么图像复杂性度量值越大,可以用式(2)来表示这种度量关系:
IC=RMSError/CompressionRatio(2)
式中:RMSError表示图像压缩的均方根误差,用来测量精度损失;CompressionRatio表示压缩率,是压缩前后图像文件大小的比值。
对式(2)进行推广可得式(3):
IC=E[(I-J)2]‖I‖‖JpegStream(J)‖(3)
式中:I为原图像,J为压缩后图像,E表示求解数据均方,JpegStream表示图像压缩流信息。
对于JPEG的压缩方法,本文参考文献[14]的方法设定压缩品质系数。因为人类视觉感知对亮度比色度更加敏感,因此本文仅使用图像的亮度通道,丢弃色彩信息。
1.2.2色彩分布特征
图像的色彩及颜色分布对人们的心理有较大的影响。本文在HSV颜色空间计算色彩分布特征,通过一幅图像中高频出现明显与周围不同的色彩确定图像的主要色彩[15]。
把图像的每个HSV颜色空间划分为16个区域,构建163=4 096个区域,每个区域中心设为备选色彩,共有4 096个备选色彩。设Ci为第i个备选色彩,h(i)是图像中第i个颜色区域的像素数,那么可以建立一个加权样本的数据集D:
D={(Ci,h(i))|h(i)≥0,i=1,2,…,4 096}(4)
对D通过加权k均值算法,可获得N个聚类中心。这N个聚类中心的色彩仅考虑图像像素点的颜色分布,没有考虑像素点的空间分布,因此采用式(5)综合考虑颜色和空间因素,以更好地选择主要色彩:
Dom(j)=argmaxCi αh(i)+(1-α)‖Ci-Vj‖-1(5)
式中:Dom(j)为第j个主色彩;Vj是第j个聚类中心;α∈[0,1]为用来平衡色彩所占权重和与聚类中心距离的参数。
本文中主要色彩数N=5,那么聚类后图像就减少为5×3(通道)=15维向量。为了获得基于色彩信息的美学评价特征,本文采用基于实例的方法[16],对训练样本集中的图像在15维空间中采用k最近邻法计算高美感颜色数nH和低美感颜色数nL,即k=nH+nL,并通过它们的差异来构建特征:f=nH-nL。
1.2.3构图特征
构图特征是图像元素和线条的分布以及相互结合,线条是图像形成中的基本元素[1718]。在设计分形图案时,对称构图表现了秩序与不平衡程度,往往表达不同寻常的感情。本文通过简单、直观、对感情有更直接影响的特征来表征构图特征。在图像的H、S、V和H+S+V通道中,计算每个值与整体的比值作为布局关系矩阵。首先对整个测试样本库的图像的4个通道取平均,建立高、低美感模板,然后计算输入图像与高、低美感模板的距离dH、dL,将差值dLdH作为该通道的布局构图特征,由此获得4个通道的4维特征。
图像边缘可以反映目标边界,边缘的空间分布对评估分形图案的美感有益。与计算构图特征类似,在HSV通道中通过拉普拉斯算子提取输入图像4个通道的边缘,并计算输入图像与高、低美感模板的距离,以距离差值作为图案的边缘构图特征,共得到4维特征。
1.2.4纹理特征
纹理是服饰设计图案中非常重要的内容。分形图案具有局部和整体的自相似性以及结构精细的特点,拥有鲜明的纹理结构。从全局纹理的角度,本文分别提取图像的布局关系和边缘强度,把整体图像在垂直和水平方向分别分割成6个子区间,然后分别计算H、S、V和H+S+V通道相邻区间差异的总和来描述图像在不同颜色空间的纹理特征,用这种方法共得到8维特征。
1.2.5通用特征
本文采用模糊特征、暗通道特征、计数特征和对比、亮度特征等通用特征来表征图像某些方面的统计属性,这些特征与图像美感没有直接联系。
a)模糊特征。将图像进行傅里叶变换,筛选出阈值大于设定值的值像素点并计算其所占比例,用来估计灰度图像的锐度,作为图像的模糊特征。
b)暗通道特征。计算图像中各像素的RGB通道的最小值之和的平均值,构造暗通道特征[19]。
c)计数特征。图像转化为HSV颜色模型每个分量都划分为16个区域,分别统计每个分量非零区域的数量,共得到3维计数特征。质量高的图像计数值越高。
d)对比和亮度特征。首先分别计算R、G、B通道的灰度直方图HR、HG、HB,然后计算综合直方图H,H(i)=HR(i)+HG(i)+HB(i),用综合直方图H中间98%区间宽度的面积来计算对比特征。在YCbCr颜色空间中提取图像的亮度直方图,同样用直方图中间98%区间宽度的面积来计算亮度特征。这样可以得到2维特征。
1.3SVM分类器构建
将图像自动分类为高、低美感类别是一个分类问题。本文采用支持向量机(support vector machine, SVM)对样本图像进行分类。SVM算法由Cortes等[20]提出,其基本思路是构造最优分类超平面,这些分类面由支撑平面的向量确定。Burges[21]在图案识别领域分析了SVM算法的基本性能,并提出了在该领域的应用方法。该算法解决了在高维空间中计算的“维数災难”问题,具有良好的泛化性能,在解决小样本、非线性、高维模式识别问题中有明显优势。
训练样本集D={(xi,yj)|i=1,…,N},yj=-1表示训练样本为负样本,yj=+1表示训练样本为正样本。样本在N维空间的线性判别函数为:g(x)=wx+b,其中w为N维法向量,b为偏移量。则分类面的方程为:wx+b=0。样本中离分类面最近的点且平行于最优分类面的超平面上的样本,称之为支持向量。
为了求最优分类面,用核函数k(xi,x)代替点积(xi·x),SVM分类决策函数为:
f(x)=sgn{w*·x+b*}=
sgn∑Ni=1a*i·yi·k(xi,x)+b*(6)
式中:sgn为符号函数,w*为最优分类面的权系数向量,ai>0为分类面的Lagrange系数,a*i和b*都为确定最优超平面的参数。对于非支持向量对应的ai都为0,所以实际上只对支持向量进行计算。b*为分类的值域,可以通过对两个类别中任意一对支持向量取中值得到。本文的核函数选用线性核函数为k(xi,x)=xtix。
2结果与分析
2.1实验结果
本文采用Draves等[22]提出的Fractal Flame算法生成分形图案,并对这些图案进行主观评价。Fractal Flame算法相对于一般IFS系统,在非线性方程、log密度显示和结构化色彩方面有显著特点,并且有多种变量函数,生成的分形图像较适合用于设计服饰图案。使用该算法的编辑器包括调节器和渲染器两个部分,其中调节器用来选择变量函数类型,并调节点集映射的形状、大小、颜色等参数,渲染器包括设定γ值、亮度、质量、密度、滤波半径等参数。
图像美学是研究图像美感相关特征和人的主观感受之间的关系。本文参考文献[6]提出的方法,由多位测试者对图像进行主观评分(1~7分)。对每一幅计算机生成的分形图案由5位浙江理工大学服装学院的学生来进行评分,将平均分数高于5.8分的分形图案设为高美感类,低于4.2分的分形图案设为低美感类,建立了520幅分形图案的样本图像库,其它分数区间不入选图像库。随机选取每类样本的一半作为训练样本,另一半作为测试样本。首先对训练样本提取美学特征和通用特征,建立特征库,并对SVM分类器进行训练,建立分类器;然后提取测试样本的美学特征和通用特征,通过已训练的分类器对这些样本进行评价,输出评价结果,重复10次后取平均值作为最终结果。在提取训练样本和测试样本的特征时,计算美学复杂度特征值时JPEG压缩的压缩品质系数设为50,计算模糊特征设定选定阈值为500。实验结果的示例图案如图2所示。
2.2特征类别对比
本文对美学特征(19维特征)、通用特征(7维特征)以及美学特征和通用特征融合(26维特征)进行对比实验,以验证特征选择的有效性。首先对每一幅样本图像库中的图像,分别提取图像的美学特征、通用图像特征以及美学特征和通用特征,建立对应的特征数据库;将特征库中数据分为训练样本和测试样本,通过SVM分类器对训练样本进行训练,建立对应的分类器,最后对测试样本进行评价,输出评价结果。在实验过程中,三类算法所设定的参数均相同。为了评估分类器的性能,本文采用评价准确率、ROC(receiver operating characteristic)曲线和AUC(area under the ROC curve)作为指标,对实验结果进行分析。评价准确率是指分类器对测试样本正确分类数占测试样本总数的比例。ROC曲线可以用来判断模型的好坏,通过构图法反映移动点的敏感性和特异性,其度量分别表示曲线的纵坐标和横坐标,连接各点绘制ROC曲线。曲线下面积(AUC值)越大,准确性越高。因此ROC曲线和AUC值常用来评价分类器的性能。ROC性能曲线下的面积越大,说明自变量对因变量的判断价值越好,即分类的性能就越好。
基于不同特征分类器的图案美学评价结果见表1。从表1中可以看出,采用通用图像特征分类器的评价准确率为75.71%,采用美学特征分类器的评价准确率为82.86%,而融合两种特征后的评价准确率提升为87.14%。
不同特征组合的ROC性能曲线如图3所示,纵坐标和横坐标分别表示正样本分类正确率和错误率。正确率指的是分类器所识别出的正样本占所有正样本的比例,错误率指的是分类器错认为正样本的负样本占所有负样本的比例。表1给出了各曲线的AUC值,从表1中可以看出本文提出方法的AUC值达到0.923 7,高于其他两类特征的值0.865 1和0.911 4,由此可知本文采用的特征融合方法比只采用通用特征的模型性能好,比采用美学特征模型性能要略好。
图3不同特征模型的ROC曲线
以上数据表明,本文提出的评价算法通过SVM分类器融合了两大类型特征,提高了分形图案评价准确率。由于通用图像特征并不是从美感的角度来考虑分形图案的特点,而本文选取美学特征考虑了在针对服饰分形图案设计时的人类情感和美学认知因素,所以选取的美学特征可以较好地反映在设计分形图案时人类的审美思维,取得了更好的分类结果。
2.3与现有方法比较
针对图像美学分类与识别的研究有很多,比较有影响力的是宾夕法尼亚大学的Datta等[6]提出的方法,该方法采用底层的像颜色、纹理、形状、图片大小特征,以及高层的图像景深、三分法则、区域对比度等特征。此外,Lo等[16]从图像美学的角度对图像分类进行了深入研究。本文将文献[6,16]的方法与本文方法进行了对比,采用本文的图像库进行验证,对比结果见表2和图4。
从实验结果可以看出,与文献[6,16]的方法相比,针对高、低美感分形图案分类结果,本文的评价准确率达到87.14%,AUC值达到0.9237,综合性能高于文献[6,16]的方法,更加符合人类对分形图案的视觉及审美。
3结语
本文提出了一种分形服饰图案的美学评价方法,将美学特征和通用图像特征进行融合,通过SVM算法建立了分类器,实现了高、低美感图案的评价。结果表明,该方法的图案評价准确率高于基于其它特征的组合,在针对分形服饰图案的美感等级分类性能比其他典型算法有所提高。
艺术图案设计的表达是多样化的,本文考虑的特征仅部分地描述了设计者和观察者的审美思维。在后续的工作中,将建立更有效的符合人类视觉和思维的高层特征,并且对不同风格的设计图案进行针对性的美学分析,从更专业化的方向对设计图案进行美学评价。
参考文献:
[1] 蔡燕燕,宋晓霞.基于Mandlebrot集的分形图形用于丝绸图案设计[J].丝绸,2011,48(8):35-37.
[2] 周瑞健,丛文新.分形及其在纺织品领域中的应用[J].染整技术,2014,36(10):33-38.
[3] 王淑颖.基于分形理论的服饰图案设计的研究与应用[D].无锡:江南大学,2010:9-13.
[4] 叶家鸣,蒋永花.基于牛顿迭代算法的分形艺术图形设计[J].计算机技术与发展,2008,18(4):88-91.
[5] 代沛涵,杨旭红.分形图案在纺织纹样设计上的应用[J].现代丝绸科学与技术,2015,30(1):6-8.
[6] DATTA R, JOSHI D, LI J, et al. Studying aesthetics in photographic images using a computational approach[C] // Computer Vision-ECCV 2006. Springer Berlin Heidelberg, 2006:288-301.
[7] MARCHESOTTI L, PERRONNIN F, LARLUS D, et al. Assessing the aesthetic quality of photographs using generic image descriptors[C]// International Conference on Computer Vision. IEEE Computer Society, 2011:1784-1791.
[8] BHATTACHARYA S, SUKTHANKAR R, SHAH M. A framework for photoquality assessment and enhancement based on visual aesthetics[C]// International Conference on Multimedea 2010.ACM,2010:271-280.
[9] 王新平,徐淑波.论装饰图案在服装设计中的美感表达[J].包装世界,2015(6):102-103.
[10] 贾京生.论服饰图案设计的艺术特性与审美价值[J].服饰导刊,2014,3(2):9-13.
[11] 李丹婷.分形的美学思维[D].重庆:西南大学,2008:1-10.
[12] MACHADO P, CARDOSO A. Computing aesthetics[M]//Lecture Notes in Computer Science. Springer Berlin Heidelberg, 2000: 219-229.
[13] RIGAU J, FEIXAS M, SBERT M. Informational aesthetics measures[J]. IEEE Computer Graphics & Applications, 2008, 28(2):24-34.
[14] HOENIG F. Computational Aesthetics and Visual Preference An Experimental Approach[D]. linz, Austria:Johannes Kepler University, 2006:57-62.
[15] KE Y, TANG X, JING F. The design of high-level features for photo quality assessment[C]// Computer Vision and Pattern Recognition, 2006 IEEE Computer Society Conference on. IEEE, 2006:419-426.
[16] LO K Y, LIU K H, CHEN C S. Assessment of photo aesthetics with efficiency[C]// Pattern Recognition (ICPR), 2012 21st International Conference on. IEEE, 2012:2186-2189.
[17] ARNHEIM R. Art and visual perception: a psychology of the creative eye[J]. Philosophy & Phenomenological Research, 1956, 16(3):145-146.
[18] LIU L, CHEN R, WOLF L, et al. Optimizing photo composition[J]. Computer Graphics Forum, 2010, 29(2):469-478.
[19] LUO W,WANG X,TANG X. Contentbased photo quality assessment[J]. IEEE Transactions on Multimedia, 2013, 15(8):2206-2213.
[20] CORTES C,VAPNIK V. SupportVector Networks[J]. Machine Learning, 1995, 20(3):273-297.
[21] BURGES C J C. A tutorial on support vector machines for pattern recognition[J]. Data Mining & Knowledge Discovery, 1998, 2(2):121-167.
[22] DRAVES S,DRAVES IW. The flame algorithm and its open source culture[J]. Acm Siggraph Computer Graphics, 2010, 44(3):1-9.