基于构图规则的图像美学优化

Foundation item: Supported by the National Natural Science Foundation of China(61171142)

† 通信作者： 徐向民(1972-)，男，教授，博士生导师，主要从事人机交互、计算机视觉和EDA设计研究.E-mail: xmxu@scut.edu.cn

基于构图规则的图像美学优化*

王伟凝刘剑聪徐向民†姜怡孜王励

(华南理工大学 电子与信息学院, 广东 广州 510640)

摘要：随着数码相机和智能手机的普及，数字图像的获取越来越便捷.然而普通用户由于缺少专业摄影知识，拍摄的照片往往难以获得满意的效果.为此，文中提出了一种综合考虑图像主体与背景构图规则的图像自动美学优化方法，根据三分法则和视觉平衡法则，采用主体提取、区域分隔线检测、基于样例的图像修复方法、细缝裁减法、主体重置等方法，通过图像主体位置、大小及背景区域划分的调整对图像进行美化.实验结果表明，此方法能够在保护图像中的视觉不产生形变且保持图像信息不丢失的基础上，实现图像的构图美化.

关键词：图像增强；图像美学；构图优化；基于样例的图像修复；细缝裁减算法

基金项目：* 国家自然科学基金资助项目(61171142);广东省战略性新兴产业核心技术攻关项目(2011A010801005);广州市科技计划珠江新星项目(2012J2200010);华南理工大学中央高校基本科研业务费专项资金资助项目(2014ZZ0036)

作者简介：王伟凝(1975-),女,博士,副教授,主要从事图像处理与模式识别、图像情感分析、图像分类与检索、机器学习研究.E-mail: wnwang@scut.edu.cn

文章编号：1000-565X(2015)05-0051-08

中图分类号：TP391

doi:10.3969/j.issn.1000-565X.2015.05.009

生活中处处存在着美,美的事物能使人在感官上产生愉悦快乐的感觉,往往更能吸引人们的注意,影响人们的判断与选择等行为.人们每天接收的信息中有超过90%是通过视觉来获得的,故视觉美感是美学研究的重要课题.

随着相机和智能手机的普及与发展,数字图像的获取越来越便捷.但由于拍摄水平和拍摄环境等多种因素的影响,普通摄影者拍摄的照片常常不能满足人们的审美要求.对图像进行美化涉及到美学法则和构图布局方面的专业知识,十分复杂和耗时,普通用户难以完成便捷的图像美化处理.2005年,Hoening[1]在计算机科学领域提出了可计算美学的研究方向,推动了模拟人类感知的可计算美学决策的研究和应用发展.可计算图像美学是指让计算机模拟人类视觉及审美思维对图像进行可行的美学决策和相关处理的方法,其研究结果可以应用到融合主观感知的基于语义的图像检索、图像美学质量评估、图像的美学修正、摄影的美学预测、艺术作品风格分析、人机交互等方面[2-3].在图像美感自动评估与分类方面,Datta等[4]率先把图像视觉特征应用到图像美学评判中,实现了图像高低美感的分类和图像美感分数值的自动评估.

之后,学者们通过对大量图像的主观调查分析发现,在影响图像美感的色彩、光线、线条的众多因素中,构图被认为是一个最重要的因素[5].近年来,有学者提出了基于构图的图像自动美感增强方法,即基于修复法和图像重映射法的构图优化.基于修复法的构图优化中,Bhattacharya 等[6]提出了一种图像美化的构思,利用美学中的三分法则与视觉平衡法则改变图像中主体目标的位置,或对图像中风景天际线位置进行调整,获得更具视觉美感的图像,但该文没有给出具体的实现方法.对于有单个或多个前景对象的图像,Zhang等[7]对图像中的多个对象进行结构依赖关系分析,给出了同时调整前景对象及其依赖区域的位置的优化方法,然后用Photoshop软件手动实现图像美化.基于图像重映射方法的构图优化中,Liu等[8-10]结合三分法、视觉平衡法则等美学构图规则,提出了一种基于裁剪与网格变形的图像美化方法,将美学约束、图像裁剪与三角形网格变形算法相结合,在保持图像美感的基础上优化原始图像的布局.首先用三角形网格将图像划分成各个子区域,设计相关美学能量函数以及三角网格的约束条件用于指导网格变形,通过对某些子区域进行扩大、拉伸、变形和对某些子区域进行缩小、挤压来达到主体位置与大小的调整.该方法运算速度较快,可以较大程度地保留图像原来的结构.但当图像纹理较复杂时,会出现纹理变形.Guo等[11]对图像重映射算法中主体位置调整时出现的问题进行改进,利用图像相似性约束来保护图像的内容不被破坏.上述方法都只针对有主体的图像,从前景对象角度进行图像优化,忽略了更大面积的图像背景区域,不适用于主体不明显的图像.

为此,文中基于图像修复法,提出了一种综合考虑图像主体与背景区域布局的图像美化方法,采用了自适应的改进图像修复算法以兼顾算法的时间代价与修复效果，设计了主体与背景的一致性准则以保护图像的内容,在一定程度上减少美化后图像可能出现的不合理情况.

1图像构图法则与算法流程

构图是指将图像中涉及的各种元素进行有意义的安排和处理,突出画面的主题含义,使之主次分明,画面达到美的境界[12].在摄影领域,为获得具有美感的图像,专业摄影者在拍摄照片时都遵循一些常用的构图规则,文中采用两种主要的构图法则.

1.1三分构图法

三分构图法在摄影界久负盛名,将画面横向和纵向各分为3等份,形成一个井字格,三分构图法要求图像中的主体尽可能靠近4个交点中的一个.已有研究表明,人们对图像的注意力往往不是首先落在图像的中心,而是处于这4个交点上,这是近似符合黄金分割的位置,也是非常符合人类的视觉习惯[12].三分构图法示例如图1所示.

1.2视觉平衡法则

大部分照片所表现的空间都不是单一的,有明显的区域划分,例如天空和地面、天空和海面、公路和草坪等.区域分隔线是指这些不同空间的分界线.视觉平衡法则是一种适用于水平构图和垂直构图的法则,描述视觉美感高的图像的空间区域分布比重应遵循的规律.

图1三分法构图示例

Fig.1Example of composition by the rule of trisection

图2视觉平衡法则构图示例

Fig.2Examples of composition by the rule of visual balance

1.3图像构图美化算法流程

从普通用户日常摄影需求出发,结合上述图像美学构图法则,文中提出了一种基于主体调整与视觉平衡法则的图像美学优化方法,其流程图如图3所示.

本方法模块包括主体提取、主体尺寸优化、主体移除区域修复、区域视觉平衡尺寸调整、主体重置等模块,根据美学规则,通过对主体进行尺寸和位置上的调整以及对背景区域的尺寸调整来完成既有主体又有区域分割线图像的构图美化.此外,文中还对基于样例的图像修复算法进行了优化,采用了自适应的图像填补方法,以减少算法的计算时间,保证良好的视觉效果.

图3　基于构图优化的图像美学优化流程图

Fig.3Flowchart of image aesthetics enhancement through composition optimization

2主体优化与调整

主体往往是画面的视觉中心,在内容上占有主导地位,通过调整主体区域的大小和位置,能有效提升图像的美感.

2.1主体区域提取

主体是控制图像全局的焦点,一般具有较高的显著程度.文中利用显著区域检测与主体区域分割相结合的方法来检测图像主体.

文中采用一种基于Lab颜色空间的显著区域检测算法进行显著性检测[13],它利用图像的颜色和亮度特征计算显著性.对于图像I,其显著图S满足:

式中,Iu是图像所有像素的平均值,Iw是原图像高斯模糊(以消除纹理细节和噪音等的影响)后的图像.Iu和Iw都用Lab颜色空间表示,通过计算Iw和Iu的欧几里德距离来计算显著性.

在得到图像的显著性分布图后,还需要进行图像分割以提取主体区域.Mean-Shift分割算法是一种比较成熟的算法,它综合考虑了图像的空间信息和色彩信息,具有收敛速度快、分割效果好且鲁棒性强的特点.

文中采用Mean-Shift算法并结合显著图信息对图像进行主体区域提取.用Mean-Shift 算法对图像进行分割后,计算子区域k的平均显著性Sk,然后与整幅图像的平均显著性Su作比较,取显著性高的子区域作为主体.多次实验结果显示,当Sk>2Su时,分割得到的最大连通区域最接近图像主体.主体区域提取的具体步骤如图4所示.

图4主体区域提取的步骤

Fig.4Steps of subject region extraction

2.2主体尺寸优化

得到主体区域后,需要将主体的大小缩放到合适的比例.Liu等[9]通过对高美感图像主体大小的主观调查发现,显著区域大小与整体图像大小的比例为0.10、0.56或0.82时,图像美感较高.据此,文中以尺寸变化量最小为原则,保持纵横比例不变,调整原来主体的大小,使其与整体图像大小的比例为上述3个比例之一.

2.3区域修复

图像的主体区域移出后,需要对背景中的空缺区域进行修复.文中首先对基于样例的图像修复算法[14]进行优化,使其具有较高的图像修复速度和较好的修复效果.

文献[14]算法的主要思路为:确定待修复区域及其边界线后,计算边界线上每个像素点的优先权,找到优先权最大的像素点p,取以p为中心的n×n像素块ψp作为最先修复的待修复块;依次从图像中寻找最相似的像素块ψq作为最佳样例来替换待修复像素块ψp,重复上述步骤直至修复完毕.具体过程如下:

设原图像I分为已知区域Φ和待修复区域Ω,首先提取待修复区域Ω的边界线δΩ,对所有像素点∀p∈δΩ,计算其优先权F.

F(p)=C(p)D(p)

(2)

式中,C(p)是置信因子,D(p)是数据因子,

然后找到优先权最大的像素块ψp作为最先修复的待修复块.对Φ中的像素块进行计算,找到与ψp均方差最小的像素块ψq作为最佳样例,以之替换待修复像素块.

最后更新ψp中原来待修复区域的置信因子.重复执行以上步骤,直到Ω=Φ,即待修复区域全部填充完毕.

在文献[14]算法的基础上,文中对最佳样例的搜索半径、替换和修复块的大小等进行了优化.具体如下:

1)由于原算法在寻找最佳替换样例时是对整幅图像进行搜索,而最佳匹配块一般出现在目标区域附近,全图搜索会导致计算量增大和时间的耗费.为此,文中在搜索最佳替换样例时,设置了一个半径为R(取R=50)的搜索范围,以提高搜索速度.

图5不同尺寸替换块的修复效果

Fig.5Restoration effect of different replace window sizes

针对搜索半径及图像待填补区域占图像面积的比例r,对原修复算法和优化后的修复算法进行了测试(25幅图像,平均尺寸为400×300),计算了平均修复时间并评价修复效果,结果如表1所示.可以看出:搜索半径越小,图像修复时间越短,但修复效果越差;使用较小的替换半径可以在一定程度上改善修复效果.

文中设置了搜索半径R=50,替换块大小为5×5,大大减少了原算法的修复时间,且具有更好的修复效果.采用文中算法,主体移出后空缺区域的修复结果如图6所示.

表1不同搜索范围下两种算法的修复时间及修复效果

Table 1Restoration time and effect of two algorithms with different search ranges

修复算法R大小修复耗时/s搜索块替换块r=5%r=8%r=15%修复效果整图9×99×940.5661.2997.30较优优化前509×99×92.093.093.67较优309×99×90.470.750.82一般优化后509×95×55.247.758.23优

图6　优化前后的修复结果比较

Fig.6Comparison of restoration results before and after optimization

2.4主体重置

完成图像原主体移除区域的修复后,就可以进行主体重置,即计算主体质心和4个交点的距离,将缩放后的主体移动到最近的交点,主体重置效果如图7所示.

图7主体重置结果

Fig.7Result of subject retargeting

然而在实际重置中,会出现主体重置的位置与原图逻辑上不相符的情况.如图8(b)所示,如果单纯按三分法重置,则树木悬空在地面上方,不符合原图的逻辑关系,因此,文中引入一致性法则来约束主体位置重置.由于并非所有情况下的调整都会造成不合理情况,因此用户可自主选择是否采用此约束来进行构图优化.具体调整法则为:若检测到背景中有明显的水平/垂直分隔线,则先判断主体与水平/垂直分隔线相对位置的关系(如图9所示),并在重置中保持这种约束关系,图中圆圈代表主体,横线代表区域分隔线.图9(a)中主体的可调整范围限制在分隔线以下所有区域,而图9(e)中则相反;图9(b)-9(d)中主体必须要在保持与分隔线相切或相交的前提下再进行接近三分构图法则位置的调整.

图8　一致性法则调整前后的主体重置结果

Fig.8Results of subject retargeting with and without the rule of consistency

图9　主体与分隔线的关系

采用一致性法则约束的主体重置结果如图8(b)所示.

3基于区域平衡法则的图像美化

有些图像(如风光摄影等)中不存在明显的主体,但存在区域分割线,文中采用视觉区域平衡法则对此类具有明显垂直或水平布局的图像进行优化:检测出区域分隔线后,采用拉伸分隔线某一侧区域的方法来实现分隔线两侧的区域尺寸比例满足黄金分割比例.

3.1区域分隔线检测及拉伸区域选定

从上述结果可知:编号为1,4,5的故障模式，即齿条移动过位、齿面疲劳磨损、齿条断齿，属于关键故障灰类；编号为3,6的故障模式，即齿条移动发出异响、齿条移动不平稳，属于主要故障灰类；编号为2的故障模式，即漏油，属于次要故障灰类。

首先对灰度图像进行边缘检测,然后进行二值化,最后使用霍夫变换进行区域分隔线检测,检测的准则为:①分隔线要有连贯性,梯度信息明显;②分隔线两侧图像的差异性要足够大.文中以水平分隔线检测为例来说明算法的步骤:

(1)对原始图像的边缘二值图像进行霍夫变换,得到若干条直线,按长度排序找出其中较长的直线(文中取长度超过图像宽度或高度1/2的直线),对选出的直线分别计算其两侧区域的平均梯度的比值,选择比值最大的直线作为最佳分隔线,如图10所示.

(2)根据分隔线的水平位置计算上下两个区域的高度,按照黄金分割比例及变动尺寸最小的原则,选定不足或超出比例的一侧,计算出符合黄金分割比例的目标尺寸(高度),与原区域尺寸相减即得到需要拉伸的长度.

在区域拉伸的过程中,需要保持与原图尽可能的相似.如果直接进行简单的插值拉伸,则会导致图像中所有物体发生形变,达不到美化图像的效果.此外,待拉伸区域的显著物体(高能量点)和纹理复杂度会影响不同方法的拉伸效果,因此文中根据待拉伸区域的纹理复杂度选择基于细缝裁减算法[15]的区域拉伸方法或改进的基于样例的图像修复算法进行操作.

3.2基于细缝裁减算法的区域拉伸

当待优化区域的纹理复杂度较低时,文中采用基于细缝裁减算法[15]的区域拉伸方法进行区域拉伸,具体步骤如下:

(1)采用Sobel算子的梯度运算结果作为待拉伸区域的能量图,如图11(a)所示;

(2)在能量图中找出能量之和最小的路径,即低重要性像素线;

(3)重复步骤(2)多次,得到多条低重要性像素线,如图11(b)所示;

(4)在低重要性像素线的位置处插入多条像素线,插入值为与其相邻的两条像素线的平均值,进行图像拉伸;

(5)插入或删除像素线后,重复步骤(1)-(5),直至新的图像达到目标尺寸,如图11(e)所示.

对于上述步骤,文中做了如下改进:在得到一条低能量路径后,在此路径上提升能量图灰度值50,以减小下次低能量路径搜索时重复选择此路径中像素点的概率.多次实验结果表明,此改进能在计算低能量路径时更好地避开图像中的显著内容.为了保证拉伸后图像的宽高比例不发生变化,文中对另一维度也采用细缝裁减算法进行拉伸,结果如图11(f)所示.

该方法对总体纹理复杂度不高的待拉伸区域具有良好的拉伸效果,由于选择低能量路径进行复制,故可以保护图像中的显著物体不出现拉伸后的形变,从而保证图像质量.如图11(c)、 11(d)所示,细缝裁减法避开了图中的海鸥,没有引起海鸥的形变,同时拉伸了天空的尺寸,在保持与原图较大相似性的情况下,美化了图像的区域分布.

3.3基于样例修复算法的图像区域拉伸

当待优化区域的纹理复杂度较高时,文中采用基于样例的修复算法进行区域拉伸或缩小.

对于纹理复杂度较高的区域,由于区域中大部分地方的梯度较高,具有较高的能量,若使用细缝裁减算法,会导致纹理的模糊,效果不理想.而基于样例的修复算法是在已有的图像区域中,寻找相似的最佳像素块来对空缺区域进行填补,从而实现拉伸,故能较好地保证拉伸后图像的纹理质量.

图10　区域分隔线的提取

图11细缝裁减算法示例

Fig.11Examples of seam-carving algorithm

3.4两种拉伸方法的效果对比

对纹理复杂度高的图像区域,文中分别使用上述两种拉伸方法进行拉伸效果对比,结果如图12所示,可以看出细缝裁减算法拉伸后复杂纹理区域会产生模糊,而基于样例的图像修复方法则具有较好的纹理一致性.

图12　两种算法的修复效果对比

Fig.12Comparison of restoration effects between two algorithms

由于基于样例的图像修复方法较为复杂和耗时,因此对于纹理简单的区域(如天空等),文中采取细缝裁减算法进行拉伸,而对于纹理复杂的区域(如草地、树丛等),则采用基于样例的方法进行拉伸.通过设定合适的纹理复杂度阈值,可自适应地选择合适的方法实现区域优化.

4实验结果比较与分析

采用文中方法对一系列图像(有明显主体但无区域分隔的图像、既有区域分割线又有明显主体的图像)进行美化,结果图13所示.

对于一幅大小为480×320、主体区域约占10%的图像,在i5-2450M双核2.5GHz、内存4GB的计算机上运行文中算法,主体提取、主体调整修复、区域视觉平衡调整所需时间分别为7.32、8.34、3.72s.

图13　不同图像的美学优化结果

为了说明文中方法的有效性,对文中方法、文献[6,8]方法的实验结果进行了对比,结果见图14、15.如图14所示:文献[6]方法会对美化后图像产生挤压变形,但文中方法没有产生变形且较好地保持了图像的纹理效果;文献[6]方法仅仅对图像进行了三分法构图优化或视觉平衡调整,但文中方法结合主体三分法构图和视觉平衡调整进行优化,并对主体与区域分割线的位置关系进行了约束,以避免出现不合理的情况.

从图15可以看出:文献[8]方法具有较好的美化效果,但对海平面和海面波浪、沙滩、礁石等产生了扭曲;文中方法没有对背景产生扭曲.不过对于含有多主体的图像,文中方法只对面积最大的主体进行美化,而文献[8]方法可对多主体同时进行美化.

图14　文中方法与文献[6]方法的实验结果对比

Fig.14Comparison of experimental results between the proposed method and the method in reference[6]

图15　文中方法与文献[8]方法的实验结果对比

Fig.15Comparison of experimental results between the proposed method and the method in reference[8]

由于尚未见有关对图像构图优化或者变形算法好坏的评价方法,只能通过人的主观判断做出评价,因此笔者进行了一次问卷调查.共组织36人参与问卷调查,对图14、15的图像美化结果及原图像进行美感投票,结果显示,认为文中方法美化效果最好的占72.2%.

综合上述实验结果可知,文中方法具有以下优点:①结合了主体三分法则与区域视觉平衡法则进行图像构图美化,适用于有主体或区域分割线的各类图像美化;②文中对基于样例的图像修复算法进行了改进,降低了计算量,并在一定程度上提升了修复效果;③可以根据调整区域的纹理复杂度,自适应选择改进的基于样例的图像修复算法或细缝裁减法进行区域填补,既可以保持图像内容不丢失,处理速度更快,又可以保证修复后纹理的质量;④在主体重置过程中,对主体与区域分割线的关系进行了一定规则的约束,保证调整后的主体符合客观自然规律.

不过,文中方法也存在一定的局限性:①只能依照常用的构图方式对图像进行美化,不适用于一些个性化较强或者结构复杂的构图方式;②由于文中方法受制于主体检测与显著分割线检测的效果,因此对于背景复杂的图像,可能会因为主体或分割线提取不准确而导致修复效果不够理想;③对于多主体及分割线倾斜度较大的图像,文中方法不能进行有效的美化.

5结论

文中提出了一种基于主体调整与视觉平衡法则的图像美学优化方法,采用主体提取、区域分割线检测、基于样例的图像修复方法、细缝裁减法、主体重置等方法对图像进行构图优化处理,以获得增强图像美感的效果.实验结果表明,文中方法可有效地保护图像内容,在一定程度上减少美化后图像可能出现的不合理情况(如地面上的物体悬空等),为图像美学优化研究提出了新的思路.文中方法也适用于PC和Android平台,能为用户提供拍照后图像的即时构图美化,具有较高的实用性.

然而,文中方法的优化效果会受到图像主体检测和显著线检测算法的限制,对某些图像的处理效果不太好.同时,图像构图是一个比较复杂的问题,构图样式千变万化,除了三分构图法和视觉平衡法则外,还需要考虑别的构图法则或规律,如对角线法则、对称式构图、曲线构图等.基于更多不同的构图规律的图像构图美化是今后的研究方向.此外,图像的美感还与颜色的搭配和分布有关,今后还可以结合图像的色彩开展图像美化研究.

参考文献：

[1]Hoening F.Defining computational aesthetics [C]∥Proceedings of the First Eurographics Conference on Computational Aesthetics in Graphics,Visualization and Imaging.Aire-la-Ville:Eurographics Association Press,2005:13-18.

[2]王伟凝,蚁静缄,贺前华.可计算图像美学研究进展 [J].中国图象图形学报,2012,17(8):893-901.

Wang Wei-ning,Yi Jing-jian,He Qian-hua.Review for computational image aesthetics [J].Journal of Image and Graphics,2012,17(8):893-901.

[3]王伟凝,蚁静缄,徐向民,等.可计算的图像美学分类与评估 [J].计算机辅助设计与图形学学报,2014,26(7):1075-1083.

Wang Wei-ning,Yi Jing-jian,Xu Xiang-min,et al.Computational aesthetics of image classification and evaluation [J].Journal of Computer Aided Design and Computer Graphics,2014,26(7):1075-1083.

[4]Datta R,Joshi D,Li J,et al.Studying aesthetics in photographic images using a computational approach [C]∥Proceedings of 2006 European Conference on Computer Vision.Berlin/Heidelberg:Springer-Verlag,2006:288-301.

[5]Yao L,Suryanarayan P,Qiao M,et al.Oscar:on-site composition and aesthetics feedback through exemplars for photographers [J].International Journal of Computer Vision,2012,96(3):353-383.

[6]Bhattacharya S,Sukthankar R,Shah M.A framework for photo quality assessment and enhancement based on visual aesthetics [C]∥Proceedings of the 18th International Conference on Multimedia.New York:ACM,2010:271-280.

[7]Zhang F L,Wang M,Hu S M.Aesthetic image enhancement by dependence-aware object recomposition [J].IEEE Transactions on Multimedia,2013,15(7):1480-1490.

[8]Liu L G,Jin Y,Wu Q B.Realtime aesthetic image retargeting [C]∥Proceedings of the Sixth International Conference on Computational Aesthetics in Graphics,Visua-lization and Imaging.Aire-la-Ville:Eurographics Association Press,2010:1-8

[9]Liu L G,Chen R J,Wolf L,et al.Optimizing photo composition [J].Computer Graphics Forum,2010,29(2):469-478.

[10]Jin Y,Wu Q B,Liu L G.Aesthetic photo composition by optimal crop-and-warp [J].Computers & Graphics,2012,36(8):955-965.

[11]Guo Y W,Liu M,Gu T T,et al.Improving photo composition elegantly:considering image similarity during composition optimization [J].Computer Graphics Forum,2012,31(7):2193-2202.

[12]视觉新媒体.构图决定成败 [M].北京:机械工业出版社,2013.

[13]Achanta R,Hemami S,Estrada F,et al.Frequency-tuned salient region detection [C]∥Proceedings of 2009 IEEE Conference on Computer Vision and Pattern Recognition.Miami:IEEE,2009:1597-1604.

[14]Criminisi A,Pérez P,Toyama K.Region filling and object removal by exemplar-based image inpainting [J].IEEE Transactions on Image Processing,2004,13(9):1200-1212.

[15]Avidan S,Shamir A.Seam carving for content-aware ima-ge resizing [J].ACM Transactions on Graphics,2007,26(3):10-18.

Aesthetic Enhancement of Images Based on Photography

Composition Guidelines

WangWei-ningLiuJian-congXuXiang-minJiangYi-ziWangLi

(School of Electronic and Information Engineering,South China University of Technology,Guangzhou 510640,Guangdong,China)

Abstract:With the prevalence of digital cameras and smart phones, people can acquire digital images more and more conveniently. However, normal users are not satisfied with their photos constantly because they are not fami-liar with the professional knowledge of photography. In order to solve this problem, an approach of image aesthetic enhancement, which takes into consideration both the subject and the background layout of an image, is presented. According to the rules of trisection and visual balance, this approach retargets the subject and resizes the certain part of background in an image to enhance image aesthetic quality by means of subject extraction, region borderline detection, exemplar-based image inpainting, seam carving and subject retargeting. Experimental results show that the proposed approach can enhance the aesthetics of image composition without deforming the salient objects in an image and without losing any image information.

Key words: image enhancement;image aesthetics;composition optimization;exemplar-based image inpainting;seam-carving algorithm