面向情感特征的风景图像分类研究及其实现

郭洁畅　朱蓉　何山　周云蕾

摘要：视觉活动是认知外部世界的主要途径，视觉感知源于物体的外形、色彩及纹理。而颜色特征的不同对人类情感变化起着至关重要的作用。鉴于不同风景图像会产生不同的顏色特征和情感特点，如何建立图像颜色特征与用户评价之间的关系并加以鉴别具有重要的研究意义。该文在学习前人提出的各种颜色提取分类算法的基础上，结合图像的颜色直方图对风景图像的颜色特征进行提取，并利用支持向量机的方法对图像进行分类。实验表明，该方法取得了较好的准确率。

关键词：情感特征；颜色直方图；特征提取；颜色分类；支持向量机

中图分类号：TP18 文献标识码：A 文章编号：1009-3044（2014）28-6727-05

视觉活动是人们在社会生产生活中认知外部世界的主要途径，而一副图像中的颜色及其分布的不同能使人类对其产生不同的情感。人们在不同场合根据不同的场景会使用不同的风景图像来表达情感，因此对于风景图像的提取和分类是很有必要的。颜色特征的提取和分类以及如何把底层的语义与高层的情感语义联系在一起也成为数字图像处理研究领域的热点和难点。

在对风景图像的处理中，进行模拟人类情感进而分类和准确辨认是十分困难的，因此对颜色特征的提取及分类是对风景图像的内容理解、跟踪与目标识别的重要研究内容。风景图像的分类是指用计算机对图库中的图像进行分析，而后将图像划分到一个语义当中来代替人类对图像的感受。图像分类其实就是基于图像的语义基础上，也是人类对图像的视觉判别的发展。所以针对存在于网络环境中的风景图像的分类是一项艰巨繁重的任务。然而传统的图像分类技术已不能满足现代人的需求，其局限性在于仅仅涉及了图像的客观特征，而没有真正利用人类的情感和生活经验去挖掘图像中的语义信息。为了解决这一问题，该文采用颜色直方图的方法对风景图像进行颜色特征的提取，而对纹理的分类则选择支持向量机（Support Vector Machine，简称SVM）的多类分类器。最后将从建立的情感数据库中对风景图像的情感语义进行人为的分类。

1 图像颜色特征值提取

1.1图像情感特征

广义而言，图像情感特征是指人们看到图像时所激发出的感觉或是情感等各种体验。20世纪以来，日本、欧洲、美洲、韩国等国的学者都陆续开始关注如何依据情感特征对图像的检索。由人类的视觉刺激，视神经的图像刺激图像情感特征，视网膜视觉刺激将收集到发送到视神经，然后发送该信息到大脑的视觉皮层。根据视觉体验，长期记忆的信息处理，神经刺激这些转化为人类自己的意识和激活人的各种心理状态，形成对事物的感觉和认知。从情感特征生成图像的原则包括生理刺激的感觉到人类情感的高级情感体验多层面特征。

根据图像的三层语义模型如图1所示，以了解图像的语义的自底向上的过程中形成。语义信息处理铺在一层语义层，精制而成，使图像更接近抽象思维人类的语义表示底层语义层将是有益的，提取图像语义信息也更有意义 [1] 。

1.2 颜色特征提取方法

图像检索系统中广泛采用颜色特征颜色直方图。它所描述的是不同色彩基调在整幅图像中所占比例[2]，而风景图像具有十分明显的颜色特征，如日落图像主要色彩基调是红色而海边风景图像主要色彩基调是蓝色。所以颜色直方图非常适合用来描述难以进行自动分割的风景图像。

计算颜色直方图需要将颜色空间划分成若干个颜色区间对每个小区域进行量化。颜色直方图可通过计算颜色落在每个小区间内的像素得到[3]。

1.3 数字化色度空间

传统的颜色直方图提取颜色特征选用的是RGB颜色空间，主要原因 RGB颜色空间有利于图像的显示，但是它的缺点在于不具有视觉一致性。例如有三幅单色图像， 颜色分别为绿色（0，255，0）、红色（255，0， 0）和粉红色（255 ，255，0）， 红色图像与绿色图像的欧式距离和红色图像与粉红色图像的欧式距离相等，即红色图像与绿色图像的相似程度等同于红色图像与粉红色图像的相似程度，这不符合人的视觉感觉[4]。该文采用具有视觉一致性的HSV颜色空间替代传统的RGB颜色空间，因为相比较 RGB颜色空间而言，HSV颜色空间更直观，更容易接受，适合于基于颜色的图像相似比较，同时从RGB颜色转换到HSV颜色也方便容易。

给定的RGB颜色空间的值（r，g，b），r，g， b（[0，255]），则变换到HSV空间的（h，s，v）值计算如下：

1.4 颜色量化

对于给定的一幅图像，它的颜色一般会很多，特别是真彩色图像，导致直方图矢量的维数会很多。如果对 HSV空间进行一定程度的量化，然后再计算直方图，能大量减少计算量。在HSV空间中，H从0到360变化时，色调依次呈现为我们熟悉的红、橙、黄、绿、青、蓝、紫，每一种色调对应的H分量的区域并不是非常均匀的 [5] 。所以根据视觉对颜色的心理感觉，将H、S、V三个分量按照人的颜色感知进行量化， 将H的不同分量分为不等间隔的8份[6]。

（8）

其中Qs和Qv分别表示分量s和v的量化级数， 虽然Qs和Qv取的越大，量化的精度越高，但是随之而来的检索的时间也就越长，该文的试验中取Qs=3，Qv=3，因此转化为G=9H+3S+V。这样，H，S，V这3个颜色分量就可以用一维矢量上表示。G的取值范围为[0，1…， 71]，该文对每个分块构造G的颜色直方图，采用直方图相交法进行相似度的匹配。

目前，颜色直方图是最常用的颜色信息提取和表示方法。之所以被较多地使用到图像特征提取中去，是因为颜色直方图的简单性。对于不同的颜色空间，每个颜色空间有三个通道，因此可反映图像颜色分布特征的直方图很多。

简单说，量化主要分为两种：等间隔量化和非等间隔量化。等间隔量化的方法较为简单，但是存在两个问题： 第一，没有考虑颜色空间的特点，不足以反映颜色空间的分布情况。第二，颜色集合的代表性差，存在列的浪费及拥挤問题 [7] 。

非等间隔量化方法是一种基于HSV颜色空间的方法。先将得到的RGB空间上的图像转化至HSV空间，再根据H、S、V三个分量按照人类的颜色感知进行非等间隔量化 [8] 。

72种颜色量化方法：

将H的不同分量分为不等间隔的8份 [10] 。最后量化结果为：

如此，在一维矢量上，H、S、V三个分量分布开来， 亮度取的权重是1，饱和度取的权重是3， 色调取的权重是9。这种权重取值方法的优点是使得颜色分布不同的图像可以被很好地区分开来。根据式1可知， [0，71]是一维特征矢量G的取值范围，对各值出现的频率进行统计，得到了72柄（bin）的直方图。对原风景图像进行量化后量化结果颜色直方图如图2所示。

2 SVM分类器设计

2.1 核函数的选择

支持向量机的使用首先需要选择合适的核函数和参数，选择不同的核函数和参数意味着采取不同的标准对样本特征的相似程度进行估计。目前常用的核函数主要包括以下三种：

线性内积核函数：

2.2 SVM参数的选择

当选定了核函数以后，需对核参数进行确定，即要确定惩罚因子[C]和RBF核的参数[σ]的值。其中试凑法是较为方便直观的方法之一，确定核参数，这可以找到分类函数的预测准确率最高的[σ]值来进行。网格搜索法（grid-search），它适合从不同的增长方向并行搜索最优解。算法输出就是由找到的适应度最高的参数来替代，还需给定参数的解区间，然后在区间内逐个地测试。

根据经验，该文选取[C∈（2-4，2-3.5，2-3…，23.5，24）]，[σ2∈（2-4，2-3.5，2-3…，23.5，24）]比较恰当。首先进行粗网格搜索，设定搜索步长为1，如此，在[C]，[σ]坐标系上就构成了一个二维网格。对应网格上每一组[C]，[σ]值都是一组潜在解，代表着一组SVM参数。依照K折交叉验证方法计算各组参数预测准确率的均值，用等高线画出，获得等高线图，可以得到最佳的[C]，[σ]参数对。其次进行细网格搜索，就是在现有的等高线图上，选定一个具有最高的预测准确率的搜索区域，减小搜索步长来开展二次搜索，这样可以得到更加精确的搜索结果。根据前人实验得出的经验，该文试验选取[log2C=-4]，[log2σ=1.5]即[C=0.0625]，[σ=2.8284]为SVM的参数。

3 实验结果与分析

3.1 图像库

本文结合互联网上搜到的一些风景图片来作为本次试验的试验用图。实验中使用的风景图像均来自百度图像库。在整个实验过程中采用的风景图像集中包含蓝色，红色，灰色，绿色4类不同颜色特征的风景图像，为减少实验误差，选取互联网中主色调占有整幅风景图像比较大篇幅的图像作为试验对象。众所周知拥有不同颜色特征的风景图像会给人们带来不同的感受，而人与人之间由于社会经历经验，成长环境，种族的不同会对此产生轻微的差异，所以本次试验事先从互联网中查取这4类不同的颜色分别对应模拟出代表人类不同的情感，所用的颜色基调有红色；灰色；绿色；蓝色。其中红色代表生机、安康、热情、盼望，绿色代表芳华、战争、暮气 ，蓝色代表秀白、清爽、安静、宁静、永久、明智，灰，宁静、慎重、质朴。

图像集中包含天空，花朵，草地等4类不同的颜色基调的图像，共40幅风景图像，每类图像各10幅（图3显示了部分图像示例）。由于原始图像的尺寸不一致，首先执行预处理操作，进行尺寸归一化（预处理后的图像尺寸为 384×256 或 256×384） 。

3.2 实验环境

研究本系统所用的硬件平台：硬件平台为：CPU（intel core i3 1.86GHZ）、内存（2G）；软件工具为：VC++6.0 与 MATLAB7.0 混合编程。

3.3 实验过程及算法

本文对于面向风景特征图像的分类试验中，综合运用了前文中提到的方法进行整个试验，先采用颜色直方图对风景图像进行颜色特征的提取，再运用SVM分类方法对提取出颜色特征的风景图像进行训练和分类。由于分类器具有一定的模糊性，使得分类无法得到100%的准确，为评价风景图像分类实验，现将准确率（Accuracy）定义如下：

准确率 = 正确分类样本数 / 测试样本总数 × 100%

本次实验的算法流程图如图4所示。

图4 基于颜色直方图及SVM的风景图像分类算法流程图

3.4 实验结果分析

本次试验的风景图像颜色特征一共有四类（红色，灰色，绿色，蓝色）88张风景图片，每类有22张图，先对每类的前19张进行训练，而后对剩下的三张进行测试，实验结果如表1所示。

通过SVM分类，得到了通过颜色特征分类出来的风景图像，并进行模拟人类情感的表达进行归纳分类。根据人类情感特点本文对最终的试验结果进行分析并且归纳整理后得出最后的试验结果。有68.75%的风景图像是符合我们的分类归纳标准的，由于风景图颜色的多变性和复杂性，仍然有31.25%的图像无法正确的被识别分类。

4 结束语

由于缺乏人类对于风景图像情感的大量分析结果和语义库，导致面向情感语义的风景图像的分类研究还处于不是非常完善成熟的阶段。风景图像对于计算机来讲是一个很抽象的概念，从本次试验结果可知试验的风景图片分类的吻合率较低，如果用作网络检索方面是远远不够的，从本文所用方法原理可以看到，对于风景图像这种包涵多重语义的对象来说，只用颜色直方图对其进行特征提取是远远不够的，还要综合其他方法一起才能达到最佳效果。人类的情感对于计算机来说则是更为抽象，还需要综合医学，生理学，统计学，计算机科学等多种学科进行综合研究，这样才能得到更为精确的试验结果，这也是今后从事该领域研究学者致力于去研究的内容。

参考文献：

[1] 张厚粲，徐建平.现代心理与教育统计学[M].2版.北京：北京师范大学出版社，2003.

[2] 周明全，耿国华，韦娜.基于内容图像检索技术[M].北京：清华大学出版社，2007.

[3] 屈伸.基于内容的图像表示和分类[D].西安：西北工业大学，2004.

[4] 洪安祥，陈刚.基于图像直方图混合量匹配的图像检索[J].通信学报，2002（8）：1-7.

[5] 邱兆文，张田文.一个智能化的图像检索系统IIRS[J].自动化技术与应用，2003（5）.

[6] 姜兰池，沈国强，张国煊.基于HSV分块颜色直方图的图像检索算法[J].机电工程，2009（11）.

[7] 丁宏波.基于颜色和纹理的图像检索系统的研究和实现[D].北京：北京交通大学，2008.

[8] 宋麦玲，李欢.一种基于HSV颜色空间的图像检索技术[J].电脑知识与技术， 2007（1）.