基于加权K近邻算法的抽象画图像情感分布预测

李博，郭琛，任慧

(1.中国传媒大学 理工学部，北京 100024；2.视听技术与智能控制系统文化部重点实验室，北京 100024)

1 引言

以往对图像内容分析的工作主要集中在理解图像的认知层，即图像中描述的物体或者场景的识别。然而，随着社交网络的迅速发展以及公众对摄影技术的广泛使用，对视觉内容情感表达的强烈需求，使得对图像最高语义层——情感层的分析变得越来越迫切。例如一位摄影杂志的记者为一篇标题含有关键词“萧条”的文章寻找配图，没有特定的物体去寻找，但是在图像中需要含有“悲伤”的氛围。

心理学领域主要有2种方式来描述情感：类别情感状态(CES，categorical emotion states)和维度情感空间(DES，dimensional emotion space)[1]。对于CES，如Mikels 通过严格的心理学实验，把情感分为8 类，即表示积极情感的娱乐、敬畏、满意、激动，表示消极情感的生气、厌恶、害怕、悲伤。对于DES，将情感描述在特定的情感空间(如愉悦度(Pleasantness)—激活度(Arousal)—优势度(Dominance))中，该空间的情感描述能力是无限的，能够涵盖所有的情感状态。在大多数的图像情感分类任务中，主要是在CES模型中找到图像属于某一种情感的确定分类。然而由于观察者对于图像的情感感受的主观性和模糊性，预测图像的情感分布相比将图像分类于某一种特定的情感更有意义。

本文对抽象画图像的情感分布情况进行研究。如图1所示图像情感分布预测与图像情感分类的不同：在情感分类中(A)图像被分类为害怕，(B)图像被分类为满意，(C)图像在分类中产生不同情感的歧义性，无法被确定的分类，在右边的情感分布直方图中表示了图像在8种情感上的分布情况。

2 预测方法

2.1 数据集

Abstract数据集由Machajdik创建，其中包含了280张抽象绘画[2]，这些绘画仅包含颜色和纹理，没有特定识别的物体，更适用于情感分布预测任务。该数据集由230人对280张图像表达情感感受并进行情感标记，平均每幅图像由14人进行标记，这8种情感类别中票数最多的类别作为最终的情感类别。由于情感的模糊性，一些类别的票数接近或相同，执行分类任务中具有歧义性。因此将图像每种情感的票数比值作为概率分布，如图1所示的图像及对应的情感概率分布。

(A)

(B)

(C)图1 图像情感分布示例

2.2 特征提取

由于抽象画仅包含颜色和纹理，不是通过特定物体来产生情感的，因此提取的特征是基于艺术学理论的情感特征。

2.2.1 颜色直方图

艺术家通过颜色来表达或引发观察者不同的情感，提取颜色特征中的颜色直方图是常用的有效方法[3]。颜色直方图空间H的定义为：

(1)

其中h(Lk)表示第k种色彩的频数。两幅图像颜色直方图的相似性采用欧式距离来度量：

D(Hs，Hd)=[(Hs-Hd)T(Hs-Hd)]1/2

(2)

2.2.2 Itten对比

Itten成功使用了色彩组合的策略，定义了7种对比属性，Machajdik将图像的亮暗对比、饱和度对比、扩展度对比、互补对比、色调对比、冷暖对比、同时对比等7种对比属性作为艺术学理论的情感特征[2]。在Wang-Weining相关工作基础上[4]，总结了对比属性的数学表达。

(3)

(4)

(5)

(6)

(7)

于是得到一幅图像R1，R2…RN每小块的1*5维向量，对于整幅图像的亮暗对比定义为：

i=1，..5，Rn为分割块的像素个数。

这样得到图像对比属性的向量表达式作为特征，通过欧氏距离计算不同图像的相似性。

此外通过Itten模型计算判断图像是否和谐，也可作为图像情感表达的特征。计算图像的主色度，建立图像N种颜色的直方图，忽略5%以下比例的颜色，选取图像中3-4种主颜色，在Itten色相轮中连接这几种颜色，如果构成正多边形，则图像为和谐的。和谐度可用所构成的多边形与相同顶点数的正多边形的内角差进行判断[5]。

2.2.3 纹理

统计法分析纹理的主要思想是通过图形中灰度级分布的随机性来描述纹理特征。定义z为一个代表灰度级的随机变量，L为图像的最大灰度，Zi为灰度为i的像素数目，p(Zi)表示灰度直方图，关于z的第n阶矩：

(9)

2.3 加权K近邻情感分布预测算法

距离非常远的训练集对y的影响很小，考虑所有训练集会使运行速度变慢，并且不相关的训练样本也会误导算法的分类。按距离加权的k-近邻算法是一种非常有效的归纳推理方法，距离越近的样本权重越大[6]。它对训练数据中的噪声有很好的鲁棒性，而且当给定足够大的训练集合时它也非常有效。通过取k个近邻的加权平均，可以消除孤立的噪声样例的影响。

加权K近邻仅选择K个与测试图像最相似的训练图像所对应的基函数进行加权，对k 个最近邻的贡献加权，将较大的权值赋给较近的近邻。Pk(k=1，…K)表示与测试图像最近的K个训练图像的情感分布，将其看作基函数，通过对基函数进行距离加权求和计算测试图像y的情感分布p，即

(10)

其中s为测试样本与训练样本的相似度

(11)

d为欧式距离，β为y与k个训练图像的平均距离。

算法：加权K近邻情感分布预测算法。

输入：训练集(xn，pn)，测试集y。

书须“善读”方有益。读书多不等于知识多，更不等于各方面能力都很强。一个人能力的提高，一部分得益于书籍，一部分得益于实践，所谓“读万卷书，行万里路”，说的也就是这个道理。如果方法不对头，思维没跟上，日日与书为伍又何益？以为多读了几本书就可以包打天下，成为“万能之士”，那可真是冤枉了书籍。那种以为读了几本书就必须达到某种效果，万一不如意就迁怒于书籍的人，我看还不如别去读书——书可担当不起这个罪责。

输出：测试集的情感分布p。

1)计算测试集图像y与训练集中每幅图像的距离d；

2)按照距离递增排序，选取与y距离最近的前k幅图像x1…xk；

3 实验分析

3.1 实验设置

Abstract是包含情感分布信息的公共数据集，含有280幅图像，每幅图像平均由14个人进行标记，可标记为 8种情感。由于部分图像的某些情感概率值相近或相同，在做情感分类任务时只有228张可用的有效图像[2]。而本文是做图像情感分布预测，因此全部的280幅图像均可用于实验。通过归一化的方法来获得数据集中图像情感分布的真实值Pn=(Cm|x)。

采用10折交叉验证的方法，将数据集随机分成10等份，每一次由其中的一个子集作为测试集，其余的子集作为训练集，10次后每一个子集都进行了测试，于是得到了数据集中每幅图像的测试值Pn(Cm|y)。

将每种情感测试值与真实值方差和的平均值σ来度量图像情感离散概率分布的性能，定义σ为σ(Cm)：

(12)

σ值越小预测的性能越好。

3.2 实验结果与分析

本文采用python3.6版本进行实验，测试了加权KNN中不同的K值(K=5，10，20，40，50，100，252，采用10折交叉验证，其中K=252 时为训练集全局加权)对情感分布预测的影响，如图2所示。

图2 不同K值对情感分布预测的影响

横坐标表示K值，纵坐标表示σ，从实验结果看出，K 值会对算法的结果产生比较大的影响。K值较小意味着只有与测试图像较近的训练图像才会对预测结果起作用，容易发生过拟合；如果 K 值较大，优点是可以减少学习的估计误差，缺点是学习的近似误差增大，这时与测试图像较远的训练图像也会对预测起到作用，容易使得预测的结果发生错误。

在本实例中最优的K值受到情感类别的影响，考虑到平均性能，认为K=40，50时预测效果最好，性能优于全局加权，即当K=252时所有的训练图像都用于分布预测。

4 结论

本文从图像的角度考虑情感的主观性和模糊性的情感感知问题，对图像情感的离散概率分布进行预测。采用加权K近邻距离算法，在Abstract数据集上验证了其有效性。在后续工作中应加入更丰富的图像情感相关特征，引入最小二乘等优化算法使求得的数据与原始数据之间的误差平方和最小，提高预测性能。

[1]MIKELS J A，FREDRICKSON B L，LARKIN G R.Emotional category data on images from the International Affective Picture System[J].Behavior research methods，2005，37(4)：626-630.

[2]MACHAJDIK J，HANBURY A.Affective image classification using features inspired by psychology and art theory[C].Proceedings of ACM International Conference on Multimedia.Firenze，Italy：ACM，2010，83-92.

[3]陈俊杰，李海芳、相洁、赵娟娟.图像情感语义分析技术[M].北京：电子工业出版社，2011.

[4]WANG W N，YU Y L，JIANG S M.Image retrieval by emotional semantics：A study of emotional space and feature extraction[C].Proceedings of IEEE International Conference on Systems，Man and Cybernetics，Taipei，Taiwan：IEEE，2006，3534-3539.

[5]ZHAO S，GAO Y，JIANG X.Exploring Principles-of-Art Features for Image Emotion Recognition[C].Proceedings of ACM International Conference on Multimedia，Orlando，FL，USA：ACM，2014，47-56.

[6]周志华.机器学习[M].北京：清华大学出版社，2016.