：融合色彩和谐性与构图的图像美学分类方法研究

葛瑞雪

摘要：图像美学评价通过构建模拟人脑审美思维的计算模型，对图像作出具有可行性的美学决策。针对现有方法特征选择单一以及无法适用所有类型图像的问题，提出一种基于改进的色彩和谐性并融合构图的图像美学评价方法。现有的色彩和谐性提取方法没有考虑色彩调和模型，只适用于比较简单的颜色组合。为此，提出一种改进的色彩和谐性度量方法。为了更好地对各类图像进行美学分类，又融合了构图特征。在Datta数据库上进行实验，证明了该方法的有效性和普适性。

关键词关键词：图像美学评价；主体区；MoonSpencer色彩调和理论；色彩和谐性；构图

DOIDOI：10.11907/rjdk.171834

中圖分类号：TP317.4

文献标识码：A文章编号文章编号：16727800（2017）011022104

0引言

随着科技的发展和数码产品的普及，网络上数字图像数量呈爆炸式增长。如何从海量图片中选出符合用户美学感受、满足用户心理需求的图像，成为亟待解决的问题。随着计算机视觉、图像处理和模式识别等技术的发展，人们对图像美学的标准也在逐步量化。在此背景下，计算美学应运而生。

Datta等[1]是最早通过提取图像特征对图像美学进行量化的领军人物。通过提取图像的颜色、饱和度、亮度和景深等56维特征，利用分类回归树算法选取其中15维最为有效的特征，采用支持向量机对图像进行分类，虽然得到的准确率不高，但为后续图像美学的研究奠定了基础。在Datta等人研究的基础上，Wu等[2]用“good”、“bad”和“ugly”对图像美学进行形容和判定。Ke等[3]通过提取边缘的空间分布、颜色分布、色调和模糊等一系列高层语义特征来区分专业照和快照。Marchesotti等[4]则提出使用图像的通用描述实现图像分类任务。Wong等[5]把研究的重点放在图像的显著区域，提出了基于视觉注意力机制模型的显著性增强算法，提取图像的显著区域作为主体区域，然后利用主体区域特征、全局特征及主体和背景之间关系特征区分专业照和快照。

Khan等[6]根据人脸和背景区域之间的关系，提取了颜色、空间构图、清晰度、景深和对比度等7个特征，用来评估摄影肖像美感的高低。Aydn等[7]根据图像的色调、清晰度、深度等5个属性，提出了一个为摄影图像自动校准的审美评价系统。同样，图像的低层和高层特征也应用到艺术作品的质量评价中。高寒等[8]通过对静物、人物、日景、夜景4类图像进行饱和度、对比度、反色、光照等特征的提取，证明了不同类别图像的审美特征存在一定差异。同时，根据不同图像审美特征的着重点不同，建立了“先分类后审美”的图像审美系统。Zhe等[9]考虑了主体区域的重要性，采用主体背景分离，提取了主体区域的颜色直方图、主体区域与整个图像大小的比等特征来区分图片的质量。Wang等[10]在前人的研究基础上，提取了颜色、纹理、景深、复杂度、色彩调和等特征，利用这些特征构建美学分类模型取得了很好的效果。

在一系列图像美学特征中，色彩和谐性一直被认为是对图像美感影响较大的因素之一。在图像美学研究的早期，主要把图像的颜色直方图作为衡量美学质量的一个重要标准，Luo[11]将颜色直方图进行色彩和谐性度量，最终得到的效果不好。近些年开始将色彩调和理论应用到图像美学评价中。Chamaret[12]采用Matsuda[13]定义的8个色彩调和模板得到和谐距离图，利用感知掩模图和对比掩模图模拟人类视觉系统对色彩调和的感知，最终效果很好。Tang等[14]也采用Matsuda[13]定义8个色彩调和模板对的方法整个图像进行色彩和谐性度量。

目前虽然在可计算图像美学领域有一定的研究基础，但仍存在一些不足：

①现存的色彩和谐性特征提取方法，没有考虑到模型本身只适用于比较简单的颜色组合问题，忽略了图像主体区域和背景区域的颜色种类数量差异，最终效果不好；②目前的方法大多只是对某一类图像评价效果较好，不适用所有类型图像。

针对以上问题，本文提出了一种改进的色彩和谐性算法，同时融合构图特征方法，有利于提高图像美学分类的准确率，对各类图像均有很好的鲁棒性。

基于改进的融合色彩和谐性及构图特征的图像美学评价方法，在色彩和谐特征提取上，将图像的主体区域和背景区域分离，分别对主体区域和背景区域采用自适应方法进行分块，然后根据MoonSpencer色彩调和理论对子块进行色彩和谐特征提取，最后将所有子块特征进行整合，构成色调特征向量、明度及彩度特征向量。在色彩和谐特征基础上融合了构图特征，提高了图像分类的准确率，适用于各类图像的美学质量分类。

1色彩和谐性特征提取

1.1色彩和谐性

色彩和谐性是决定图像美学质量的重要特征之一。目前，比较经典的色彩和谐模型有：Matsuda[13]色彩调和模板和MoonSpencer[15]色彩调和模型。Matsuda色彩调和模板只考虑了色调，没有考虑饱和度和亮度。在选用模板时，由于一幅图像可能符合多个模板，因而较难确定适用的模板，而MoonSpencer色彩调和模型克服了这一缺点。它在Munsell颜色空间上通过计算主颜色与其它颜色的相对值来衡量是否和谐，其模型如图1所示。在图1（a）中，当色调值落在同一、相似或对比区域时，认为这两种色调和谐；当色调值落在模糊区域时，认为这两种色调不和谐。在图1（b）中，当明度及彩度值落在同一、相似或对比区域时，认为两种明度及彩度和谐；当明度及彩度值落在模糊区域时，认为这两种明度及彩度不和谐。

图1MoonSpencer色彩调和模型

用于图像美学评价的色彩调和模型较多，但对于颜色复杂的图像效果不好，只适用于颜色组合比较简单的情况，因此产生了分块的思想，将一个图像看作是多个简单颜色块集合，Nishiyama[16]采用了这一思想。但是，该方法没有考虑到主体区域和背景区域颜色种类的不同。为弥补这一缺点，本文提出一种改进的提取色彩和谐性特征方法。对于一幅图像来说，主体区域的颜色种类往往比背景区域的种类多。因此，本文将它们分开处理，分别对主体区域和背景区域分块。endprint

色彩和谐性特征提取流程如图2所示。

图2色彩和谐性特征提取流程

特征提取分为如下5个步骤：

2实验设置与分析

在Datta[1]数据库进行实验，证明本文方法的有效性。

2.1实验设置

实验分为色彩和谐性特征参数实验和特征融合实验。本文采用核函数为RBF的支持向量机构建图像美学分类模型，其中采用5折交叉验证法选取最佳的参数c和γ，将高美感图像定义为正样本，低美感图像定义为负样本。

2.2色彩和谐性特征参数实验

本文从Datta数据库中分别随机选取高美感图像750张，低美感图像644张，共1 394張图像进行测试和训练。其中，本文随机选取一半的高美感图像的和一半的低美感图像作为训练集，余下的作为测试集。分块大小N∈{4×4，8×8，16×16，32×32，64×64}，表1为实验结果。

从表1可以看出，当分块大小为16×16时，准确率最高，为70.85%，说明此时分块内的颜色较单一，比较适用于MoonSpencer色彩调和模型。当分块小于16×16时，准确率随着分块大小的增大而提高，当分块大于16×16时，准确率随分块大小的增大而降低。

2.3特征融合实验

2.3.1实验结果及分析

本文不仅对每类特征进行单独测试，而且对整体进行测试。如表2所示，准确率指正确分类的图像数量与所有测试图像数量之比，即平均准确率。

从表2可以看到，色彩和谐性特征平均准确率为70.85%，构图特征的平均准确率为64.35%，两者融合的平均准确率为73.15%，比单个特征的平均准确率高。从高美感图像来看，两者融合后的准确率比单个特征的准确率高。同样，在低美感图像上，融合后的准确率也比单个特征的准确率高。

2.3.2对比实验

使用Dong[9]提供的代码进行对比实验，实验结果如表3所示。

从表3可以看到，本文算法准确率为73.15%，Dong等人算法的准确率为70.59%。本文算法平均准确率更高，证明了本文算法的有效性。

3结语

本文提取了图像的两类特征，将这些特征输入到支持向量机中进行训练，最终得到能够进行美学质量决策的美学分类模型。实验结果表明，本文方法能很好地将高美感图像和低美感图像区别开来。但本文方法仍存在一些不足，需要进一步研究：

（1）提取更多的视觉特征。虽然色彩和谐性一直被认为是对图像美影响很大的因素之一，但是只考虑色彩和谐性是不够的，还需要考虑更多的视觉特征，如光照、纹理、形状等。

（2）提取图像的语义特征。对一些图像来说，语义是必不可少的一部分。有些图像本身有其特殊含义，更好地提取图像的语义，将会进一步消除图像的视觉特征与图像美学之间存在的语义鸿沟，这些是笔者以后的研究方向。

参考文献参考文献：

[1]DATTA R， JOSHI D， LI J， et al. Studying aesthetics in photographic images using a computational approach[C].European Conference on Computer Vision， Springer Berlin Heidelberg， 2006：288301.

[2]WU Y， BAUCKHAGE C， THURAU C. The good， the bad， and the ugly： predicting aesthetic image labels[C].Pattern Recognition （ICPR）， 2010 20th International Conference on. IEEE， 2010：15861589.

[3]KE Y， TANG X， JING F. The design of highlevel features for photo quality assessment[C].2006 IEEE Computer Society Conference on Computer Vision and Pattern Recognition （CVPR'06），2006.

[4]MARCHESOTTI L， PERRONNIN F， LARLUS D， et al. Assessing the aesthetic quality of photographs using generic image descriptors[C].2011 IEEE International Conference on Computer Vision.Spain， 2011：17841791.

[5]WONG L K， LOW K L. Saliencyenhanced image aesthetics class prediction[C].2009 16th IEEE International Conference on Image Processing （ICIP）， 2009：9971000.

[6]KHAN S S， VOGEL D. Evaluating visual aesthetics in photographic portraiture[C]. Proceedings of the Eighth Annual Symposium on Computational Aesthetics in Graphics， Visualization， and Imaging， Switzerland，2012：5562.

[7]AYDIN T O， SMOLIC A， GROSS M. Automated aesthetic analysis of photographic images[J]. IEEE Transactions on Visualization And Computer Graphics， 2015，21（1）：3142.endprint

[8]高寒，唐降龙，刘家锋，等.基于图像分类的图像美学评价研究[J].智能计算机与应用，2013，3（4）：3941.

[9]DONG Z， TIAN X. Effective and efficient photo quality assessment[C].2014 IEEE International Conference on Systems， Man and Cybernetics （SMC）， San Diego，2014：28592864.

[10]WANG W， CAI D， WANG L， et al. Synthesized computational aesthetic evaluation of photos[J]. Neurocomputing， 2016（172）： 244252.

[11]LUO Y， TANG X. Photo and video quality evaluation： focusing on the subject[C]. Computer VisionECCV 2008， France：2008：386399.

[12]CHAMARET C， URBAN F. Noreference harmonyguided quality assessment[C].26th IEEE Conference on Computer Vision and Pattern Recognition，Portland，2013：961967.

[13]MATSUDA Y. Color design[J]. Asakura Shoten， 1995，2（4）：1011.

[14]TANG X， LUO W， WANG X. Contentbased photo quality assessment[J]. IEEE Transactions on Multimedia， 2013， 15（8）： 19301943.

[15]MOON P， SPENCER D E. Geometric formulation of classical color harmony[J]. JOSA，1944，34（1）：4650.

[16]NISHIYAMA M， OKABE T， SATO I， et al. Aesthetic quality classification of photographs based on color harmony[C].Computer Vision and Pattern Recognition （CVPR）， 2011 IEEE Conference on，2011：3340.

[17]ACHANTA R， SHAJI A， SMITH K， et al. Slic superpixels[R]. EPFL Technical Report 149300，2010.

[18]LIU L， CHEN R， WOLF L， et al. Optimizing photo composition[J].Computer Graphics Forum， Blackwell Publishing Ltd， 2010，29（2）：469478.

責任编辑（责任编辑：杜能钢）endprint