基于图像颜色和纹理的审美信息测量

张 岩, 刘 哲, 周 颖

(沈阳师范大学 计算机与数学基础教学部, 沈阳 110034)

0 引 言

从信息论角度讲,美感是人通过视觉、听觉等感觉器官接收外部世界的美学信息,经过大脑的储存和加工,从而反映出客观美的各种形态和形象。审美认知就是人类获得美感的美学信息加工过程[1]。曾任国际实验美学协会主席的莱德(Helmut Leder)等提出审美认知包括认知特质和情绪特质2个要素,并将审美信息的处理过程划分为审美判断和审美情感2个阶段。2005年欧洲图形学会的第一届图形、视觉和图像的计算美学会议首次提出了计算美学的概念,其主要含义是利用机器模仿人类的审美过程,自主地感知美和认知美,并做出美感和情感等美学方面的评价[2]。从实验美学到计算美学,美学评价的研究从心理学领域发展到信息科学、认知科学、美学等多个领域的交叉融合阶段。美以及对美感的感受、把握、评价和表现作为一种重要的精神现象和社会现象,也被理性的思维方式深入分析[3]。

从认知科学的角度来看,人类视觉审美认知系统是一种多阶段、多层次、各司其职的信息传输系统[4]。美感来自审美信息的判断,具有逻辑性、规律性和严密性等特点,是审美认知过程中的重要理性阶段,是属于科学认知的一种特殊过程。一方面,审美信息广泛存在于自然界和人类社会的众多领域,具有多种多样的复杂形态;另一方面,美感形成又受到人对审美信息的感知能力和接受水平的影响[5]。虽然在人类社会审美实践的发展过程中,审美兴趣、审美修养和审美水平等受到一定社会背景、历史条件、文化时代、心理结构等的制约,但是审美判断在具有主观性和相对性的同时,也具有普遍性和客观性,其主要原因有2个:一是审美信息是普遍的和客观的,二是衡量和评价审美信息的标准和尺度是普遍的和客观的。计算美学的有关研究表明,来自直接人类观察的凝视信息通道数量与完全不依赖任何人类观察的计算美学度量之间存在明显的相关性[6]。从审美信息和审美信息的测量入手,研究通过审美判断产生美感的机制,是计算美学的主要内容[7]。

1 图像的熵和图像的梯度

1.1 图像的熵

熵是信息论创始人美国数学家申农(C.E.Shannon,1916—2001)提出的概念,用来度量事件出现的不确定性,是计量信息无序性的尺度。从审美信息角度讲,图像的熵就是指图像信息的熵,可以用来衡量图像的无序性和复杂性。图像的熵定义为图像灰度级集合的比特平均数,描述的是图像信息源的平均信息量。一般来说,图像越简单,图像熵的值越小;反之,图像熵的值越大。灰度图像的图像熵特征值计算公式如下[8]:

(1)

其中pi表示第i阶灰度的概率。

1.2 图像的梯度

图像的梯度指图像灰度的变化率。图像在(x,y)处的x方向和y方向上都存在梯度值,通常将梯度矢量的模称为梯度。图像的梯度能够反映图像细节反差程度和纹理变化特征。Tenengrad梯度是常用的计算梯度模型,其定义是像素点梯度的平方和,其计算公式如下[9]:

(2)

其中G(x,y)是像素点(x,y)处的梯度。

(3)

特征提取和算法选择是计算美学非常重要的2个环节。图像的熵和梯度是图像颜色和纹理的低层特征描述[10],是图像质量的基本评价指标。图像质量的评价是图像审美判断的基础和开端,图像质量的高低直接决定着审美判断的结果。

2 基于图像熵的审美信息测量

2.1 MATLAB图像熵的计算

选用MATLAB(matrix & laboratory)作为实验平台,自定义计算图像熵的函数imgentropy.m,程序代码如下:

function [res]=ImgEntropy(I)

%图像熵函数名为ImgEntropy,I表示图像,res表示图像熵值

I_gray=rgb2gray(I);%将图像转换成灰度图像

[row,col]=size(I_gray);%灰度级别0～255,size为256的矩阵

temp=zeros(256);%生成256*256的零矩阵

fori=1:row

forj=1:col

temp(I_gray(i,j)+1)=temp(I_gray(i,j)+1)+1;%统计当前灰度出现的次数

end

end

res=0.0;

fori=1:256

temp(i)=temp(i)/(row*col);%计算当前灰度值出现的概率

if temp(i)～=0.0

res=res-temp(i)*(log(temp(i))/log(2.0));

end

end

disp(res);

end

2.2 图像对比度的审美信息测量

对比度指的是一幅图像中明暗区域最亮的白和最暗的黑之间不同亮度的层级,即指一幅图像灰度反差的大小。差异范围越大代表对比越大,差异范围越小代表对比越小。灰度直方图是关于灰度级分布的函数,是对图像中灰度级分布的统计。灰度直方图是将数字图像中的所有像素,按照灰度值的大小,统计其出现的频率。利用MATLAB中直方图均衡法histeq来增强图像对比度[11],实验结果如图1所示。进一步利用MATLAB自定义函数imgentropy.m来计算图像熵,进行图像对比度增强前后的熵的比较。

(a) 原图对比度弱(b) 原图灰度直方图(c) 均衡后的图(d) 均衡后的灰度直方图

从实验结果来看,经过直方图均衡化后,图像的对比度明显增强了,视觉效果明显改善,图像质量得到提升。从实验结果分析来看,经过histeq均衡化后的图像直方图的灰度值范围明显扩大;经过histeq均衡化后的图像直方图趋于平坦,灰度级有所减少,表明灰度进行了合并;图像对比度增强前,其熵值为7.263 3,图像对比度增强后,其熵值为7.964 7,表明图像的熵值能够反映图像对比度的不同。在有相互参考图像的熵值计算方面,熵值表现出与对比度的审美评价一致的变化规律,即审美评价较好的对比度其熵值也较高。因此,图像熵可以作为一种图像对比度的普遍性审美判断的尺度。

需要说明的是,在获得大量图像熵的基础上,是否可以推断出具有审美普遍性的对比度所对应的熵值及其分布,从而给出符合普遍性审美的客观尺度熵,有待于进一步的研究。

2.3 图像色彩的审美信息测量

选取2组图像,一组是曝光不足和曝光正常的风景图像,如图2所示,另一组是曝光过度和曝光正常的树木图像,如图3所示。

(a) 曝光不足(b) 曝光正常

(a) 曝光过度(b) 曝光正常

利用MATLAB自定义函数imgentropy.m来计算图像熵,分别对2组图像进行熵值比较,结果见表1。

表1 不同曝光程度图像熵的比较

根据实验结果分析,在第1组风景图像中,曝光不足的图像熵值是7.426 3,曝光正常的图像熵值是7.646 7,与曝光不足的图像质量明显低于曝光正常的图像相对应,曝光不足的图像熵也同样低于曝光正常的图像熵;在第2组树木图像中,曝光过度的图像熵值是6.634 2,曝光正常的图像熵值是7.361 6,与曝光过度的图像质量明显低于曝光正常的图像相对应,曝光过度的图像熵值也同样低于曝光正常的图像熵值;对第1组和第2组中曝光正常的风景图像和树木图像进行比较,图像熵差值比较明显,风景图像的图像熵值高于树木图像的图像熵值,分析其原因是风景图像的色彩变化更加丰富,从审美经验能够判断风景图像的色彩质量高于树木图像,所以图像熵值可以作为图像色彩的审美评价的客观性和普遍性尺度。值得注意的是,曝光正常的树木图像的熵值低于曝光不足的风景图像的熵值,说明在无参考的情况下,曝光正常与否与图像熵没有绝对的关系。

3 基于图像梯度的审美信息测量

3.1 MATLAB图像梯度的计算

本文利用Tenengrad数学模型进行梯度的计算。以下为MATLAB平台计算梯度的自定义函数Ten.m的代码(阈值T取0)[12]。算法中利用Sobel卷积因子进行滤波。Sobel卷积因子包含2组3×3的矩阵模板,分别从横向和纵向对图像进行平面卷积,从而分别得出横向和纵向的亮度差分近似值[13]。代码中的Sx及Sy分别代表经横向和纵向边缘检测的图像灰度值。

function [res]=Ten(I)

%图像熵函数名为Ten,I表示图像,res表示图像梯度值

J=rgb2gray(I); %图像灰度化

Sx=[-1 -2 -1;0 0 0 ;1 2 1]; %生产sobel垂直梯度模板

Sy=Sx'; %生产sobel水平梯度模板

gradx=filter2(Sx,J); %利用sobel垂直梯度模板进行图像滤波

gradx=abs(gradx); %计算图像的sobel垂直梯度

grady=filter2(Sy,J); %利用sobel水平梯度模板进行图像滤波

grady=abs(grady); %计算图像的sobel水平梯度

grad=sqrt(gradx.*gradx+grady.*grady); %计算图像的sobel梯度

Ten=sum(grad(:)) %计算图像的梯度

3.2 图像纹理的审美信息测量

选取2组图像,一组是曝光不足和曝光正常的风景图像,如图2所示;另一组是曝光过度和曝光正常的树木图像,如图3所示。利用MATLAB自定义函数Ten.m来计算图像的梯度,分别对2组图像进行梯度值比较,结果见表2。考虑到梯度是以sum求和的计算方式得到,其值较大,所以以mean求平均值的计算方式得到梯度平均值,即用Ten=mean(grad(:))代替Ten=sum(grad(:))。

表2 不同曝光程度图像梯度的比较Table 2 Comparison of gradient of images with different exposure levels

根据实验结果分析,第1组风景图像曝光不足的图像梯度平均值是34.764 7,曝光正常的图像梯度平均值是49.120 5,与曝光不足的图像质量明显低于曝光正常的图像相对应,曝光不足的图像梯度平均值也同样低于曝光正常的图像梯度平均值;第2组树木图像曝光过度的图像梯度平均值是52.102 1,曝光正常的图像梯度平均值是75.053 5,与曝光过度的图像质量明显低于曝光正常的图像相对应,曝光过度的图像平均梯度值也同样低于曝光正常的图像梯度平均值;对第1组和第2组中曝光正常的风景图像和树木图像进行比较,图像梯度平均值差值比较明显,树木图像的图像梯度平均值高于风景图像的图像梯度平均值,分析其原因是树木图像的纹理更有变化层次,结构错落交替,从审美经验能够判断树木图像的纹理质量高于风景图像,因而图像梯度值可以作为图像纹理审美评价的客观性和普遍性尺度。值得注意的是,曝光正常的风景图像的梯度平均值低于曝光过度的树木图像的梯度平均值,说明在无参考的情况下,曝光正常与否与图像梯度没有绝对的关系。

4 结 论

从美学意义讲,图像颜色和图像纹理是美感形成的主要来源对象,也是审美认知判断图像质量的重要因素[14]。图像熵和图像梯度的算法和实验结果表明,图像熵与图像颜色指标相关,图像梯度与图像纹理指标相关。但是,图像熵和图像梯度并不能产生图像审美信息测量一致的结论,很可能的情况是,一个图像的图像熵值高而梯度值低,或者一个图像的图像熵值低而梯度值高,通过表3中的E排序和T排序的对照就可以发现图像审美信息测量结论的不一致性。因此,需要建立一个融合颜色和纹理的综合测量方法,本文采用图像熵与图像梯度向量矩阵级联的方式[15]。通过推演和测算,熵值和梯度向量的级联可以简化为计算熵值和梯度平均值的积,结果见表3。以熵值和梯度平均值的积作为指标,对100张数字图像进行审美测量,结果表明,审美信息测量的结论与人的审美判断结论具有相关性。因此,在融合颜色和纹理的审美信息测量时,E×T可以作为审美判断的综合性指标,并以此进行审美价值评价。需要说明的是,图像的熵和图像的梯度是不涉及内容特征的审美测量指标,可以应用于数字图像的审美测量,但是不能应用于绘画图像的审美评价,也不适用于产生方式不同的或者不同类别的图像的对比评价。

表3 不同曝光程度图像的熵与梯度之积的比较Table 3 Comparison of the product of entropy and gradient of images with different exposure levels

美感来源于审美主体的认知,审美主体是带着某种“图式”来加工组织感觉信息的。审美个体内在的审美图式就是审美认知的某种组织原则,通过特征匹配进行模式识别,将无序的形态信息转换为结构化的有序信息[16]。从这个意义上讲,图像熵和图像梯度的乘积E×T不仅是计算美学概念下的一个审美测量指标,也是认知科学概念下的一个审美图式。