个性化图像美学评价的研究进展与趋势

祝汉城，周勇*，李雷达，赵佳琦，杜文亮

1.中国矿业大学计算机科学与技术学院，徐州 221116；2.矿山数字化教育部工程研究中心，徐州 221116；3.西安电子科技大学人工智能学院，西安 710071

0 引 言

随着移动互联网的迅速发展，人们在日常生活中可以轻易通过移动设备获取大量图像数据，极大丰富了人们的视觉体验。图像的美与美感成为人们追求精神生活的重要部分(王伟凝 等，2012)。图像美学评价(image aesthetics assessment，IAA)成为当前图像处理与计算机视觉领域的热点研究问题(Deng等，2017b；金鑫 等，2018；Hosu等，2020)。图像美学评价可以应用于图像增强(Chaudhary等，2018；王浩 等，2017)、图像检索(Vo等，2019；柯圣财 等，2017)、相册管理(Kuzovkin，2019)和推荐系统(Zhang等，2017；黄立威 等，2018)等多个实用场景。例如，当用户在图像搜索系统中输入山景这个词时，希望看到的图像内容是色彩丰富、令人愉悦的山景或构图较好的山峰，而不是灰色或模糊的山景。目前，图像美学评价已经出现在一些实际应用中，并取得一定的成功。例如，自动设计广告海报的鲁班系统、自动美化图像的美图秀秀软件和自动选取视频封面的腾讯视频软件等。图像美学评价具有重要的理论研究意义和实际应用价值。

早期的图像受设备成像技术和图像处理技术的限制会引入不同程度的噪声，研究人员主要通过图像质量评价(image quality assessment，IQA)方法来量化图像的失真程度(王志明，2015)。随着图像成像和处理等技术的逐渐成熟，人们不仅可以相对容易地获取到高质量图像，并且要求图像既具有高质量内容，又具有美感。例如，手机用户拍照时，对拍摄的图像不仅要求内容清晰，而且要求符合用户的审美体验。由于人类对图像的审美体验受到图像客观内容和人类自身心理因素的双重影响，因此图像美学评价需要心理学、美学和计算机视觉等多个交叉学科的共同支持，是极具挑战性的研究课题。

图1 大众化与个性化图像美学评价的区别

目前，国内外关于图像美学评价的相关综述文献(王伟凝 等，2012；Deng等，2017b；金鑫 等，2018；白茹意 等，2019；鲁越 等，2020)主要集中在针对GIAA模型的研究上。王伟凝等人(2012)主要介绍早期利用手工特征和传统的机器学习来构建图像美学评价模型；Deng等人(2017b)从实验角度总结基于不同视觉特征(手工特征和深度特征)的方法在多个图像美学评价数据库上的对比结果和性能分析；金鑫等人(2018)回顾了图像美学评价的发展历史，从方法、新挑战和数据库构建的角度综述了该领域关键技术的发展情况；白茹意等人(2019)和鲁越等人(2020)从艺术绘画图像分类的角度详细分析了绘画图像美学评价方法的研究现状及发展。这些综述文献主要是从大众审美的角度探讨图像美学评价方法，缺少对PIAA模型相关研究进展的分析与总结。为进一步拓展和补充现有针对图像美学评价的综述文献，本文详细概括了PIAA模型的研究进展与趋势。

1 图像美学评价

1.1 研究现状

从古至今，对美好事物的不断追求一直是人类精神生活中的重要部分(罗利建，2014)，例如古代的艺术绘画和现代的摄影技术等。随着物质生活水平不断提高，人们不再满足于物品在功能上的实用性，还要求它们在视觉上具有美感(金鑫 等，2018)。而图像作为人们日常生活中最广泛使用的视觉内容，使得图像美学成为当前美学与计算机视觉领域的重要研究课题(罗利建，2014)。图像美学的研究目标是利用科学的计算方法确定人类对图像在视觉上表现出的审美感知，也就是判断人类对给定图像的审美体验(Palmer等，2013)。对人类的视觉审美体验进行有效建模可以了解人们所需的审美情感诉求，在人们进行艺术创作时(如绘画和电影制作等)形成一套指导方针，以诱导感知者的神经系统产生情感上的审美共鸣(Cavanagh，2005)。

长久以来，研究人员对人类的审美体验是否可以通过科学方法进行计算存在一定争议，一些研究人员认为美学不可能通过科学方法进行研究，因为科学方法是客观的和合理的，而美学具有主观性和不确定性(Nanay等，2019)。但是随着科学计算方法的不断进步，大多数研究人员认为虽然人类的视觉审美体验是主观的，但是这不阻碍利用客观的计算方法进行研究(Jacobsen，2006)。例如，人们对颜色的审美是主观的，并且不同人之间也存在很大的审美差异，然而这没有阻碍色觉成为一门完善以及技术成熟的科学体系(Koenderink，2010)。虽然人类对图像的审美感知存在主观性和不确定性，但是科学的计算方法就是从人类的视觉审美感知中寻找规律，进而对图像的美感进行评估。因此，图像美学评价是一种主观性较强但可以通过客观计算方法进行研究的课题。

目前，图像美学评价吸引了国内外科研机构和院校的关注与研究。具有代表性的有清华大学、中国科学院大学、西安电子科技大学、北京电子科技学院、华南理工大学、山东财经大学、香港中文大学、美国谷歌研究院、美国宾夕法尼亚州立大学、美国加州大学欧文分校、美国罗格斯大学、新加坡南洋理工大学和德国蒂宾根大学等。这些机构院校在计算机视觉与图像处理等相关领域顶级期刊和会议发表了图像美学评价相关研究成果，如《中国图象图形学报》、《计算机辅助设计与图形学学报》、TIP(IEEE Transactions on Image Processing)和CVPR(IEEE Conference on Computer Vision and Pattern Recognition)等。图2展示了近10年在国内外期刊和会议发表的图像美学评价论文数量(Web of Science和中国知网的统计结果)。可以看出，关于图像美学评价的研究成果呈逐年增长趋势，这些研究成果推动了图像美学评价的快速发展。此外，多媒体领域顶级国际会议(Association for Computing Machinery International Conference on Multimedia, ACM MM)于2020年举办了第1届面向多媒体美学与技术质量评价研讨会(The 1st Workshop on Aesthetic and Technical Quality Assessment of Multimedia)，专门就当前图像美学评价的最新研究趋势、存在问题和未来方向进行意见交流和讨论，以期加快该领域的研究进展(Hosu等，2020)。

图2 近10年发表的图像美学评价论文数量

1.2 研究进展

图像美学评价方法的目的是利用可计算的智能系统有效地模拟人类对图像的审美体验，并自动给出对图像美学质量的感知评估分数(金鑫 等，2018)。神经科学的研究表明人类的视觉审美体验是一种信息处理过程，包括5个阶段：感知、内隐记忆整合、内容与风格的明确分类和认知掌握和评价，最终产生审美判断(Leder等，2004)。从早期的心理美学(Martindale，2007)到现代的神经美学，研究人员一致认为，无论来源、文化和经验如何，人类的审美体验与视觉刺激引起的感觉之间存在一定的关联性(Zeki，2013)。因此，早期的研究人员认为人类在对图像的审美体验上通常具有共识性，可以通过摄影专家总结出的通用美学规则来描述图像的美感，这些规则会受到多种因素的影响，如光照强度、色彩丰富度和构图方式(Wells，2015)等；为了方便计算，早期研究方法通常利用机器学习或深度学习构建评价模型对图像进行美学二分类(王伟凝 等，2016)或美学分数回归(Kong等，2016)。

图3 图像美学二分类和分数回归的两种任务

图4 图像美学分布预测任务

虽然图像美学分布可以在一定程度反映出人们对图像审美的主观性，但是该研究任务还只是从图像层面上来考虑人类的视觉审美特性，所以美学分布预测难以有效地推断特定用户对图像的审美评估。图5展示了5位用户对同一幅图像的美学评分。可以看出，不同用户对图像的审美差异较大，所以仅从面向多数人的审美体验设计的GIAA模型难以有效地适用于现实生活中以用户为中心的应用场景，如个人相册管理(Ceroni，2018)、个性化图像增强(Bianco等，2020)和个性化推荐系统(Zhang等，2019a)等。考虑到人类对图像的审美体验存在较强的个性化和主观性，因而构建符合特定用户审美体验的PIAA模型是当前图像美学评价研究的重要发展方向。

图5 图像和5位用户对应的美学评分

2 个性化图像美学评价

2.1 面临挑战

个性化图像美学评价任务需要对特定用户的视觉审美进行研究。因为用户的审美体验受地域、年龄、性格、情感和行为习惯等多重因素的影响，因此针对特定用户的PIAA模型的研究相对复杂和困难，面临巨大挑战。首先，PIAA是一种典型小样本学习任务(Ren等，2017)。PIAA模型是面向特定用户的即时系统，无法要求用户对大量图像进行美学标注，通常情况下仅能获取用户对少量图像样本的标注数据用于模型构建。目前基于数据驱动的深度卷积神经网络的有效训练需要大量样本数据(Krizhevsky等，2012)，因此，仅通过少量训练样本构建符合特定用户审美体验的PIAA模型是一个较大挑战。其次，由于用户对图像的审美体验具有高度主观性(Kim等，2020b)，所以用户的主观特性是影响其对图像审美感知的重要因素。但是由于用户的主观特性较为复杂，导致用户的审美体验会受到情感情绪(Joshi等，2011)和性格特征(Swami和Furnham，2014)等多方面影响，因此如何有效地提取用户主观特性并融入到PIAA模型中也是一个较大挑战。虽然面临上述挑战，但是由于PIAA模型可以较为精确地推断出特定用户对图像的个性化美学评价结果，在面向个体用户的智能终端上(例如，智能手机、智能手表和平板电脑等)有更加广阔的应用前景。

2.2 整体框架

图6是现有的PIAA模型的整体框架图，该框架分为两个阶段。第1阶段，主要针对PIAA任务的小样本学习问题，利用大量用户进行美学评价的GIAA数据集通过监督训练获取美学先验知识模型；第2阶段，主要针对用户视觉审美体验中的主观性问题，利用特定用户的PIAA数据集对美学先验知识模型进行微调训练，得到符合该用户个性化审美体验的PIAA模型。现有的PIAA模型分为3类：基于协同过滤的PIAA模型、基于用户交互的PIAA模型和基于审美差异的PIAA模型。

图6 个性化图像美学评价整体框架图

2.2.1 基于协同过滤的PIAA模型

由于针对特定用户的PIAA是小样本学习任务，直接通过少量的标注样本训练PIAA模型存在极大的不确定性。因此需要借助于其他相似用户的美学先验知识构建PIAA模型。如图7所示，协同过滤是一种可以有效利用不同用户之间相似的审美偏好来推断特定用户的个性化图像美学评价方法(O′Donovan等，2014)。

图7 基于协同过滤的PIAA模型典型框架

Deng等人(2017a)提出使用社交网络上用户标记为“偏好”的样本图像表征用户的审美感知。首先通过协同过滤的方法提取相应偏好图像的深度视觉特征(He等，2017)来构建基于大众化审美感知的GIAA模型；然后通过对已训练的GIAA模型进行个性化审美的迁移学习来实现针对特定用户的PIAA模型。Wang等人(2018)在图像美学评价数据集AVA(aesthetic visual analysis)(Murray等，2012)的基础上收集用户对图像的文本评论数据。首先利用协同过滤方法设计了一个带有用户与图像关系编码输入的卷积神经网络(convolutional neural network，CNN)模型来训练GIAA模型，然后提出一种注意力机制，通过融合图像和用户评论信息来捕获用户对图像语义标签和兴趣区域，最后得到符合用户个性化审美偏好的PIAA模型。Cui等人(2020)首先利用大规模的图像美学评价数据集训练出GIAA模型，然后在社交媒体平台上收集用户的偏好图像，并结合用户的个性化审美偏好和大众化审美标准来解决用户偏好行为的不确定性，最后通过协同过滤的方法对每个用户与图像之间的成对排序进行优化的方式来解决数据稀疏问题，得到基于CNN的PIAA模型。从上述分析可以看出，基于协同过滤的PIAA模型借助于用户对图像的审美相似性构成协同矩阵，并通过目标用户与其他用户之间的相似性度量获取该用户对图像的美学评估。

2.2.2 基于用户交互的PIAA模型

基于用户交互的PIAA模型与基于协同过滤的PIAA模型类似，主要目的也是解决小样本学习的问题。不同之处在于基于交互的PIAA模型需要目标用户自身的交互行为，而基于协同过滤的PIAA模型则依赖于目标用户与其他用户相似的审美偏好。基于用户交互的PIAA模型如图8所示。

图8 基于用户交互的PIAA模型典型框架

Yeh等人(2014)提出一种针对用户审美偏好的交互式反馈系统，通过用户对图像的颜色、纹理和组成等通用手工特征的权重进行调整来反馈其正向和负向的审美偏好行为，实现用户对图像的个性化审美排序。Park等人(2017)针对用户的个性化审美偏好提出一种基于支持向量机(support vector machine，SVM)的组合学习框架，包括支持向量机回归(support vector regression，SVR)和排序支持向量机(ranking SVM，R-SVM)。其中，SVR用于学习一个基于大众化审美的GIAA模型，R-SVM用于从交互系统中学习用户的个性化审美偏好来调整模型，并通过最近邻搜索算法在GIAA数据集中识别与用户的PIAA数据集最相似的部分图像数据对该组合学习框架进行优化，最终得到用户的PIAA模型。Lyu等人(2018)提出一种基于用户交互的图像美学排序模型，将特定用户偏好的一系列图像作为输入，并输出符合用户审美偏好的图像美学排序结果。考虑到特定用户的主观性和不确定性，通过检索算法从GIAA数据集中提取与用户指定图像相似的数据集来描述其视觉审美偏好，并基于该用户特定数据集中的图像美学属性分布，通过用户多次的交互排序得到符合此用户的PIAA模型。从上述分析可以看出，基于用户交互的PIAA模型可以通过用户在PIAA模型的训练过程中对个性化美学排序结果不断地进行调整，从而获取符合用户个性化审美体验的PIAA模型。

2.2.3 基于审美差异的PIAA模型

除了上述两类PIAA模型，一些研究人员认为用户的个性化审美与图像大众化审美之间存在的差异会受到用户主观因素和图像客观因素影响，基于此动机，现有的研究工作提出了基于审美差异的PIAA模型，其典型框架如图9所示。

图9 基于审美差异的PIAA模型典型框架

Ren等人(2017)针对用户的个性化审美偏好问题提出了两个用于个性化图像美学评价的数据集，并通过研究发现用户的个性化审美与图像大众化审美之间的差异与图像内容和美学属性之间存在着密切的关联性。利用用户的个性化美学评分与图像大众化美学分数的差异值作为预测目标，通过对基于CNN的GIAA模型进行微调训练来获取PIAA模型。Wang等人(2019)提出一种包含大众化网络和辅助网络的元学习框架，首先利用大众化网络学习GIAA模型，并利用辅助网络学习图像的内容的特征，然后利用元学习的快速适应能力通过辅助特征学习特定用户的个性化美学评分与图像大众化美学分数之间的差异分数，最终通过对差异分数与大众化美学评分进行求和得到PIAA模型。Li等人(2020)将用户的性格特征作为该用户个性化审美与大众化审美之间差异的主观因素，提出一种基于多任务学习的个性化图像美学评价框架。该框架包括两个阶段，第1阶段，提出一个具有共享权重的多任务学习网络，用于同时预测图像的美学分布和偏好该图像的用户性格特征。为了获取GIAA模型和用户性格特征的共同表征，构建一个孪生网络，将美学数据和性格数据用于联合训练多任务学习网络模块。第2阶段，基于多任务模块中预测得到用户的性格特征和大众化审美分数，进一步引入任务间融合学习模块，最终生成针对特定用户的PIAA模型。Zhu等人(2022)发现基于平均美学的GIAA先验模型难以体现不同用户对图像审美差异的多样性，为了学习不同用户对图像进行美学评价时更可靠的美学评价先验知识，提出一种基于双层梯度优化元学习的PIAA模型，直接通过对大量用户的PIAA任务进行训练构建美学评价先验知识模型，然后通过目标用户少量的PIAA数据集对先验知识模型进行微调，最终获得符合该用户个性化审美体验的PIAA模型。

从上述分析可以看出，基于审美差异的PIAA模型可以通过分析造成不同用户之间审美差异的影响因素，并利用目标用户的偏好图像提取相应特征，从已训练的GIAA模型进行迁移学习，得到该用户的PIAA模型。

2.3 3类PIAA模型的优缺点

表1总结了现有3类PIAA模型的主要特性以及优缺点。可以看出，现有基于协同过滤的PIAA模型可以利用不同用户对图像的审美偏好建立协同矩阵，在对目标用户进行PIAA建模时，通过协同矩阵中相似用户的审美偏好得到该用户对图像的个性化审美。但是这在实际情况下通常难以实现，因为用户之间的审美是相对稀疏的，无法确保目标用户与其他用户对同一幅图像都进行过美学评价。现有基于用户交互的PIAA模型可以根据用户的实时反馈获取较为鲁棒的性能，但是该方法需要用户进行在线的交互行为，这通常难以适用于在现实生活中的离线场景应用。现有基于审美差异的PIAA模型通过在先验模型中学习不同用户之间的审美差异，可以利用目标用户的少量标注样本进行微调得到，但是该方法难以有效地量化用户个性化审美与大众化审美之间差异的影响因素，这是因为用户的个性化审美偏好会受到其自身的多重主观特性影响，导致获取的PIAA模型存在一定的不确定性。

表1 现有的3类PIAA模型的主要特性和优缺点

综上所述，基于协同过滤和用户交互的PIAA模型局限于需要用户进行在线交互的应用场景；基于审美差异的PIAA模型依赖于可以有效地衡量用户个性化审美相对于图像大众化审美的差异的主观性因素。因而，上述不同类型的PIAA模型需要在不同的前提条件下获取用户的主观特性，无法在统一的实验设置下对现有PIAA模型的性能进行定量评估。面对上述问题，如何通过对用户在日常生活中外化出的审美行为进行分析，有效捕获影响用户对图像审美体验的主观性因素，并借助基于小样本学习的深度框架将相应的主观性因素融入到PIAA模型的学习中，是提高PIAA模型有效性和鲁棒性的关键。

3 评价指标和数据库

3.1 评价指标

对于特定用户的PIAA任务来说，图像美学分数的相对大小相比于绝对大小更具研究意义，所以图像美学评价模型的预测结果与真实结果之间的排序一致性是非常重要的评价标准(Ren等，2017；Lyu等，2018；Li等，2020)。PIAA模型的性能通常采用斯皮尔曼相关系数(Spearman rank order correlation coefficient，SROCC)进行衡量。假设si和s′i分别表示第i幅测试图像在真实美学分数和预测美学分数中的排序等级，则真实美学分数和预测美学分数之间的等级差为

di=si-s′i

(1)

SROCC计算为

(2)

3.2 PIAA数据库

现有不少针对IAA的研究建立的数据库，但大多是针对GIAA任务构建的，如AVA(aesthetic visual analysis)(Murray等，2012)、AADB(aesthetics and attributes database)(Kong等，2016)、CUHK-PQ(Chinese University of Hong Kong photo quality)(Tang等，2013)、DPChallenge(digital photography challenge)(Datta等，2008)和Photo.net(Joshi等，2011)等，这使得GIAA模型的研究相对成熟且发展较快。随着社交网络和在线众包技术的快速发展，一些研究人员针对特定用户的个性化审美体验建立了公开的PIAA数据库，如FLICKR-AES(Flickr images with aesthetics annotation dataset)和REAL-CUR(real album curation dataset)(Ren等，2017)。AADB是针对GIAA任务建立的数据库，但是由于AADB数据库包含每个用户对图像进行美学评分的身份信息，因此该数据库也可以用于PIAA任务。本文主要是对PIAA模型的研究综述，因此主要对AADB、FLICKR-AES和REAL-CUR这3个公开数据库进行详细介绍，主要信息如表2所示。

表2 3个公开数据库的主要信息

图10 FLICKR-AES数据库中的示例图像以及对应用户的身份(ID)信息和美学评分

4 PIAA模型的应用

PIAA的研究旨在利用可计算的智能系统构建模型来模拟特定用户的审美思维对图像的美感进行评估。由于人们对图像的审美体验具有较强的主观性，往往涉及心理学、艺术美学和计算机图形学等多个交叉学科的融合。因此，PIAA模型的研究面临全新的问题与挑战。同样，PIAA模型的研究在人机交互、个性化搜索引擎与推荐系统(冀振燕 等，2017)、个性化视觉增强(Kim等，2020a)和个性化广告海报设计(Song等，2019)等经济、艺术与科技的融合领域有着重要的应用价值。

随着计算机技术和硬件制造技术的不断进步，可计算的智能设备逐渐开始面向个体用户并朝着小型化和个性化发展，如可穿戴设备、移动手机和平板电脑等。用户利用这些移动智能设备可以随时随地进行购物和娱乐等消费行为，而用户之间的消费行为和审美体验往往存在较大差异，因此，需要根据不同的用户偏好设计个性化的私人定制服务。例如，阿里巴巴的鲁班系统可以根据用户个性化的审美体验自动设计出千人千面的商品广告，提升了投放广告的点击率；OPPO R17手机的立体自定义美颜功能可以根据用户不同的审美偏好打造个性化的成像效果，深受用户欢迎。这些案例说明当今社会人们希望智能系统能够理解他们独特的审美偏好，并尽可能满足他们的审美需求。此外，百度公司于2020年9月—2021年1月举办的AI(artificial intelligence)沉浸式互动艺术体验展体现了人们对艺术作品的追求。但是由于人们对艺术作品的感受具有高度主观性，因而在利用AI技术创造艺术作品时需要考虑不同人的个性化审美体验。并且，通过研究用户的个性化审美可以分析用户潜在的行为倾向和心理状态，对用户的情感分析(Zhao等，2018)、性格分析(Zhu等，2018)以及心理疾病辅助诊断(Guntuku等，2017)具有重要的应用价值。总而言之，PIAA模型的研究在当今科技、经济和医疗和艺术等领域的融合与发展上具有广阔的应用场景。

但是，现有PIAA模型在实际应用中还存在较大问题，主要原因有：1)用户的审美体验在实际场景存在较大的不确定性，导致难以有效地量化用户在审美感知中的主观特性；2)现有技术对PIAA模型的研究尚处于起步阶段，相关的数据库还较为匮乏，难以直接应用于实际场景。因此，在实际应用中，需要借助于更有效的模型来提取用户更为鲁棒的审美主观特性，并创建与应用场景相关的数据库来学习更加有效的PIAA模型。

5 结 语

移动互联网的快速发展使用户对个性化产品和服务产生了极大需求。针对图像美学的个性化评价符合时代的发展要求。本文首先对图像美学评价的研究现状和发展趋势进行分析，然后总结当前个性化图像美学评价方法的整体研究框架和面临的问题与挑战。PIAA模型的研究主要面临训练样本有限和美学评估的高度主观性两个主要挑战。PIAA模型主要可分为基于协同过滤的PIAA模型、基于用户交互的PIAA模型和基于审美差异的PIAA模型，虽然取得了一定进展，但是还存在不少问题。基于协同过滤的PIAA模型和基于用户交互的PIAA模型需要借助于其他相似用户或用户的交互行为，这不利于现实情况下的离线系统；而基于审美差异的PIAA模型依赖于对用户的主观特性的有效客观量化，导致PIAA模型存在不确定性。目前对PIAA模型的研究还处于起步阶段，如何利用有限的样本进行模型训练和提取描述用户主观特性的有效特征是问题的关键。

针对PIAA模型的研究，小样本学习和主观性较强仍然是两个主要问题。对此，总结未来的研究重点和发展方向如下：

1)研究知识驱动的PIAA模型。现有的PIAA方法大都需要数据驱动的机器学习或深度学习方法进行模型构建(Ren等，2017；Li等，2020)，这些方法的良好表现很大程度上依赖于高质量的标注数据。由于用户对图像的审美标注具有高度主观特性，所以高质量的标注数据需要极为精准的主观性实验。在现实应用中，由于人工标注成本较高，耗费大量人力物力，针对PIAA模型的小样本学习问题，如何在少量训练样本情况下获取有效的先验知识模型具有重要研究价值。并且，随着近些年自监督学习(Jing和Tian，2021)、强化学习(Li等，2018)和元学习(Wortsman等，2019)等知识驱动的深度学习技术在计算机视觉领域广泛应用，基于知识驱动的PIAA模型是下一步研究的重要方向。

2)研究融入用户主观特性的PIAA模型。在用户对图像的审美体验中，不同用户之间存在审美差异的关键因素是用户之间具有不同的主观特性。因此，在研究用户的个性化审美中，不仅要借助于用户对图像美学评价的标注数据，而且还需要借助于用户的自身主观特性。针对上述问题，可以通过对用户外化出的行为进行分析，获取可以全面描述影响其对图像审美偏好的多重主观特性，例如情绪情感(Zhao等，2018)和性格特征(Zhu等，2018)等。同时，利用基于多模态融合理论的深度学习技术融入用户的多重主观特性，构建出鲁棒性较好的PIAA模型。

3)构建具有统一的用户主观特性和个性化图像美学评价的数据库。从本文的分析中可以看出，研究用户对图像的个性化美学感知需要借助用户的主观特性，但是现有工作很少将这两项研究内容进行结合分析。究其原因，是由于目前尚无相关的数据库可以同时标注用户的主观特性和其对图像的个性化美学评分(Ren等，2017)。因此，在未来的研究工作中，亟需开发出具有统一的用户主观特性和个性化图像美学评价数据库，通过该数据库可以更加深入地研究用户对图像审美感知的个性化评价问题。