基于基元相关性描述子的图像检索

吴 俊 刘胜蓝 冯 林, 于来行

1(大连理工大学创新创业学院 辽宁大连 116024)2(大连理工大学电子信息与电气工程学部控制科学与工程学院 辽宁大连 116024)3(大连理工大学电子信息与电气工程学部计算机科学与技术学院 辽宁大连 116024)(shuxuewujun@mail.dlut.edu.cn)



基于基元相关性描述子的图像检索

吴 俊1刘胜蓝2冯 林1,3于来行3

1(大连理工大学创新创业学院 辽宁大连 116024)2(大连理工大学电子信息与电气工程学部控制科学与工程学院 辽宁大连 116024)3(大连理工大学电子信息与电气工程学部计算机科学与技术学院 辽宁大连 116024)(shuxuewujun@mail.dlut.edu.cn)

图像检索系统性能很大程度上取决于提取的图像描述子，其中颜色差分直方图(color difference histogram, CDH)已经在图像检索中显示出了较好的性能.但是这种描述子仍然有一定的局限性：1)只考虑到了像素间颜色差分的整体分布；2)忽略像素间的空间位置分布.因此提出了1种新的基元相关性描述子(texton correlation descriptor, TCD)提取图像特征，并将其应用于图像检索系统中.具体提取过程分为3个步骤：1)利用图像底层特征(颜色和局部二值模式)检测一致性区域，选择图像中包含区分性信息的局部区域；2)提出颜色差分特征和基元频率特征分别描述图像像素间的对比度和空间位置信息，其中颜色差分特征融合了描述局部邻域的颜色差分相关性统计和全局颜色差分直方图，基元频率特征也融合了描述局部邻域的基元频率相关性和基元频率直方图；3)联合一致性区域中的这2种特征得到最后的TCD描述子.这种特征描述了图像中2种互相独立并互相补充的特性：对比度和空间位置关系，并同时考虑到了这2种特性在局部和全局区域中的描述，因此在图像检索实验中会有更好的性能.在图像数据集中的实验结果显示了TCD描述子的检索效果明显优于其他几种特征描述子，证实了TCD描述子在图像检索中的有效性和稳定性.

基元相关性描述子；一致性区域；颜色差分特征；基元频率特征；图像检索

近年来随着互联网和移动终端上图像数据的急剧增长，如何快速有效地从数据库中检索用户需要的图像已成为计算机视觉领域的热点问题.由于图像数据的多样性和复杂性，系统仍很难对图像描述的内容准确定位分析及检索.图像检索系统[1]大致可分成3类：基于文本、基于内容和基于语义[2].传统的基于文本的图像检索系统需要提前人工对所有图像进行标注，再利用文本检索技术查找对应的图像.但是这对于现实生活中的海量图像数据是不可能的，而且每个人对同一幅图像的理解标注也可能不同.另外，由于人工智能和视觉认知领域的局限性，基于语义的图像检索系统仍有一定的限制.目前应用最广泛的是基于内容的图像检索(CBIR)系统[3-6]，这种方式主要分成3步：1)分别提取查询图像样本和数据库图像的底层特征，如颜色、纹理和形状等；2)选择合适的相似性度量，评估查询样本与数据库各图像的相似性程度；3)利用相似性程度对数据库图像排序，并输出最接近查询样本的前N幅图像，即为检索结果.其中对图像底层特征描述的准确性和有效性很大程度上决定了图像检索系统的性能.

Fig. 1 The flow chart of image feature extraction.图1 图像特征提取流程图

目前图像底层特征主要集中在对图像的颜色、纹理和形状的1种或多种特征的描述，其中特征提取过程可分成3部分，如图1所示：

① 对图像进行预处理.通过图像降噪[7]和图像锐化技术[8]，减少噪声对图像信息的干扰并增强图像中的区分性信息；或者将彩色图像转化成灰度图像[9]，提取灰度图像信息.

② 检测图像中有区分性信息的区域.根据图像特征描述区域的不同，又可以分成图像的全局特征和局部特征.全局图像特征针对图像的所有区域进行描述，考虑图像中所有可能的相关信息.例如统计颜色信息的颜色直方图、统计纹理信息的局部二值模式(local binary pattern， LBP)[10-11]和统计边缘信息的方向梯度直方图(histogram of gradient, HOG)[12]等.而局部图像特征是只描述了图像中更具有区分信息的局部区域.Lowe[13]提出的尺度不变性特征变换特征(scale-invariant feature transform， SIFT)就是检测并描述尺度空间中感兴趣点附近局部邻域的特征.由于Gabor小波[14]具有与哺乳动物视觉感知细胞相似的特性，在图像分析中有着重要的作用.多尺度、多方向的Gabor滤波能描述不同分辨率下的局部图像方向信息，Serre等人[15]基于灵长类视觉皮层的分层视觉处理过程提出的HMAX模型中的S1层也是采用了Gabor滤波模拟人脑对图像的处理过程.其他一些有关图像局部特征提取方法的性能比较参考文献[16].

③ 对检测到的图像区域采用适当特征描述方法.其中基于直方图统计[17]的策略是最常用的特征描述方法，这种统计方法简单有效，在许多图像特征描述子中被广泛应用.但是由于只考虑像素在图像中的整体出现频率，而忽略了像素间的关系，限制了基于直方图统计特征描述子的性能.基于此，颜色矩(color moments)[18]、颜色相关图(color correlo-gram)[19]和颜色一致向量(color coherence vector)[20]被提出，同时得到图像像素的颜色分布信息和相互之间的空间位置相关性.此外，由于单一特征对图像信息描述的有限性，目前基于多特征融合的图像表示也受到了广泛的关注.BoC-BoF特征[21]就是融合了基于RootSift描述子的特征词袋和HSV颜色词袋中的边缘和颜色特征.基于底层特征综合分析算法(CAUC)[22]和分层融合颜色和形状算法[23]在图像检索中也取得了比较好的效果.Zhang等人[24]提出的图融合算法也同时考虑到了图像全局和局部特征，更有效地描述图像信息.

受人眼视觉感知对图像区域的选择机制启发，Liu等人[25]提出了微结构描述子(micro-structure descriptor， MSD).通过比较中心像素与周围邻居间的梯度方向关系检测图像中的局部微结构区域，再利用相关性统计原则描述此区域内像素间的空间关系.此外，多纹理直方图(multi-texton histogram, MTH)[26]和颜色差分直方图(color difference his-togram, CDH)[27]也是检测图像中显著性区域，即中心像素与周围邻居有相似颜色值或梯度方向的区域，再统计此区域内中心像素与邻居像素间的共生对，同时利用了共生矩阵和直方图的优势.可以看出像素间颜色差分信息能够很好地描述图像特征，并在图像检索实验中取得了比较好的效果.但是CDH仍然存在一些不足：1)CDH对于在图像中视觉感知一致的区域提取颜色差分性，只考虑到了这些区域内颜色差分的全局特征，而忽略了区域中的局部分布特性；2)CDH中的颜色差分性只提取了这些区域中心像素与周围邻居有相似特性时的差异性，即它们之间的颜色差分总和，而忽略了它们之间本身的相似性程度，即它们之间相似的个数或频率.

为了解决这些问题，本文提出了一种新的图像特征提取模型——基元相关性描述子(texton corr-elation descriptor, TCD).本文工作集中在特征提取过程中的后2步，即区域检测和该区域内特征的统计方法.首先，利用图像2种底层特征(颜色值和LBP纹理结构)，检测图像中一致性区域.在这些区域内的特征统计中，针对问题1，通过融合本文提出的颜色差分相关性统计方法和全局颜色差分直方图，描述了图像区域中结构的颜色差分信息；针对问题2，通过融合图像的基元频率相关性和频率直方图统计，描述了图像区域中结构的频率信息.

1 图像底层特征描述

1.1 HSV颜色空间与颜色量化

在图像处理中，颜色是重要的视觉属性，颜色空间的选择对图像特征向量的性能影响显著[28-29].目前已经有很多好的颜色空间模型，例如RGB，YIQ，Lab，HSV等.其中由于HSV颜色空间非常接近人眼对视觉感知的理解，在图像处理中得到了广泛的应用.在HSV颜色空间中，颜色被划分成3种元素：色调(hue)、饱和度(saturation)和亮度(value).由于HSV颜色空间是基于圆柱坐标系统提出的，色调值在0～360°之间变化，对应表示的颜色从红色到黄色、绿色、蓝绿色、蓝色，再到品红，再回到红色一直变化；饱和度和亮度值都是在0～1之间变化.

但是，对于1幅颜色图像，像素点的颜色属性有很多种可能，所以直接在此颜色空间中统计颜色特征会需要很大的计算量.为了减少计算量，选择更具有代表性的颜色特征，对颜色空间进行量化处理很有必要.在本文中，我们选择将HSV颜色空间等距量化到72类颜色区间，其中色调、饱和度和亮度分别被量化到8，3，3类，得到量化后的颜色图像每一像素点的取值为0～71.

1.2 局部二值模式(LBP)纹理检测

纹理也是图像的1个重要视觉属性，图像的纹理分析在计算机视觉和图像处理中受到广泛的应用.但是由于纹理基元的复杂性，目前还没有对图像纹理基元统一的定义.Julesz[30-31]的纹理基元理论认为纹理是有一些规则性的结构元素组成的.Ojala等人[10-11]提出的局部二值模式(LBP)就是基于这种假设提出的.

对于灰度图像中，假设中心像素点的灰度值为gc，取半径为R的P个邻居点，其中灰度值分别为g0,g1,…,gP-1.以中心像素灰度值作为阈值，与其周围邻居的灰度值作比较，得到中心点处的像素分布为

(1)

(2)

通过将得到的二进制数转化成十进制的LBP值，表示图像纹理的1种结构.即：

(3)

利用这种纹理检测方法，总共可能会产生2P中模式.为了得到其中更具区分性的纹理结构，Ojala等人提出“等价模式”的概念，即得到的二进制数再一次循环计算中01变化次数至多为2，否则称为“非等价模式”.如果取半径R=1，邻居数P为8，那么会有256种LBP模式.其中等价模式有58种，其他为非等价模式.

Fig. 2 The process of detecting image uniform regions.图2 图像一致性区域检测过程

2 基元相关性描述子TCD

在数字图像中相似的图像区域会有相似的局部结构，对这些区域提取特定结构的特征表示对图像检索有着很好的性能.这些基于结构化的方法都是以Julesz的纹理基元理论为基础提出的，即图像中的局部结构都是些有规则的，图像由这些规则性的局部结构组成.由于人眼对视觉感知一致性区域的敏感性，对有相似颜色和纹理结构的一致性区域的特征描述可以有效地提供图像的区分信息，提高图像检索的效果.

由于本文提取的一致性区域包括颜色和纹理相似性区域，用来分别提取图像对应的颜色HC和纹理特征信息HT.由于图像中这2种底层特征的显著性并不相同，本文对提取的加以权值得到最后的图像特征向量：

H=(α·HC,β·HT)，

(4)

其中,α和β(0≤α,β≤1)分别表示颜色和纹理特征所占的权重系数.

2.1 一致性区域检测

在图像检索系统中，检索效果很大程度上依赖于图像特征表示的性能.对图像中包含区分性信息的区域进行特征统计，能更好地提高图像特征向量的区分性.本文选择同时利用颜色和纹理检测图像中的特征一致性区域，如图2所示.首先分别利用颜色等距量化和局部二值模式(LBP)表示图像中像素点的底层特征，在HSV颜色空间中对图像颜色值等距量化，得到图像的量化颜色值图，同时计算灰度图像下的LBP阈值，采用“等价模式”策略下的LBP阈值，得到图像的LBP阈值图.然后利用3×3大小的窗口分别检测2幅底层特征图中的一致性区域.例如，对于量化颜色值图，比较图2中3×3窗口(为便于显示，图2中3×3窗口都是不重叠的，实际本文选择窗口依次滑动，考虑所有像素点在中心位置的可能性，图像边缘像素点除外)中心像素点与周围8个邻居像素点间的差异性，选择存在邻居像素点与中心像素点有相同量化颜色值的区域(即相邻像素点在HSV颜色空间中有相似的颜色特征).通过这种方法，分别检测出图像中的颜色和纹理一致性区域，在这些区域的3×3小邻域中，中心像素点与邻域像素点有非常相似的颜色或纹理特征.

利用图像底层特征对一致性区域的检测过程可分为4步：

1) 在HSV空间中等距量化各像素点颜色值，转化灰度图像，计算“等价模式”下LBP阈值图；

2) 利用3×3模块检测图像，依次滑动模块，检测图像中除边界区域外的所有像素点；

3) 选择中心像素点与邻居存在相似量化颜色值或LBP阈值的区域；

4) 分别得到原始图像的颜色和纹理一致性区域.

2.2 相关性统计

为了有效表示一致性区域中的图像特征，本文的基元相关性描述子TCD提出了1种新的统计策略：即基于颜色差分和基元频率的统计.对于这些特征一致性区域，可以通过2种互不相交的属性加以描述：即空间分布和对比度.其中空间分布是对一致性区域中周围邻居与中心像素的相似性分布，而对比度则是这些区域中周围邻居与中心像素的相似性程度.这2种特征属性是相互独立，并且相互补充的.为了提取这2种特征属性，本文提出2种统计策略(如图3所示)：1)基于颜色差分的特征统计，这种方法描述了邻域内中心像素点和周围邻居如果有相似底层特征时的相似性程度(颜色差分越小，说明与中心像素点越相似)；2)基于基元频率的特征统计，这种方法描述了邻域内周围邻居与中心像素点的基元结构相似的概率(概率越大，说明邻居中与中心像素点相似的个数越多).对图像中的特征区域同时提取这2种特征可以更好地描述图像信息，对图像检索系统提供更好的区分性能.

H1 and H2 represent color and texture feature HC and HTFig. 3 The process of TCD in uniform regions.图3 一致性区域中基元相关性统计流程图

假设彩色图像为f(x,y)，对应的底层特征图像为Tk(x,y)(k=1,2)，其中T1(x,y)∈{0,1,…,71}表示量化颜色值图，T2(x,y)∈{0,1,…,58}表示LBP阈值图.

首先统计图像一致性区域中的颜色差分特征.由于HSV颜色空间是基于圆柱坐标系统提出的，需要先转化成笛卡尔坐标系统H′S′V′，其中再利用笛卡儿坐标系中的欧氏距离计算像素间的颜色差.对于像素点gc=(xc,yc)和距离为D的第i个邻居gi=(xi,yi)的颜色差计算公式为

(5)

(6)

(7)

其中：

(8)

通过描述图像一致性区域中相邻像素点间有相似结构时的颜色差分与区域内总颜色差分的比值，可以提供此局部区域中像素间的对比度信息.因此本文提出的颜色差分相关性统计特征描述可定义为

(9)

Fig. 4 Two images which have the same color difference correlation.图4 颜色差分相关性相同的2幅图

(10)

但是由于这种直方图统计策略会忽略特征的空间位置关系，所以单一直方图也不能很好地描述图像颜色特征.为了同时利用图像的颜色差分相关性统计特征CH和颜色差分直方图特征CF的优势，本文利用1种相应的特征融合方法[32]，融合后的图像颜色差分特征为

(CFk(Tk(gc))+1).

(11)

CFk(Tk(gc))+CHk(Tk(gc))=

(12)

Fig. 5 The distinction of different patterns with their spatial structure correlation.图5 利用空间位置分布区分不同的结构模式

从式(12)可以看出，等号右侧第1项是一致性区域中相邻像素间的颜色差分在整幅图像中的全局出现概率；式(12)第2项是颜色差分相关性统计，即一致性区域中相邻像素间的颜色差分在该局部邻域内的出现概率.图4(a)(b)的颜色差分相关性统计结果相同，但是可以通过式(12)的第1项来区分这2幅图的特征.

(13)

(14)

(15)

(TFk(Tk(gc))+1).

(16)

其中，式(16)等号右侧第1项是图像结构的基元相关性统计，统计了一致性中相邻像素点有相同结构Tk的概率；第2项主要是基元直方图统计信息，描述了这些结构Tk的全局出现概率.利用这种特征融合的方法可以同时具备直方图和相关性统计策略的优势，避免其中的不足.式(16)还可写为

THk(Tk(gc))×TFk(Tk(gc))=

(17)

可以看出，式(17)等号右侧第1项是相关性统计的结果；第2项是局部邻域内2个有相同结构Tk的像素点相邻的概率，正是由于这1项，可以区分出图4所示的这2幅图像特征.

(18)

其中,H1和H2分别表示颜色和纹理特征基元统计特征HC和HT.根据这2种特征在图像检索应用中的性能赋以相应的权值得到本文最后的基元相关性描述子(TCD)特征向量(如式(4)所示).

3 实验与结果分析

3.1 实验设置

本文实验使用图像检索中常用的Corel图像数据集，使用2组数据集来评价本文算法的性能.一组为Corel-1000数据集，共有1 000幅图像，总共分为10类，包括非洲人、海滩、建筑、公交车、恐龙、象、鲜花、马、山和食物，每类包含100幅；另一组为Corel-10K数据集，共有10 000幅图像，总共分为100类，包括老虎、蔬菜、卡片等，每类包括100幅图像.此外，UKbench数据集也用来验证特征描述子的有效性，此数据集包含10 200幅图像，共分为2 550类(每类4幅图像).在检索中，本文选择将所有图像作为查询图像评估特征的性能.

本文采用查全率与查准率来验证特征提取模型在Corel-1000，Corel-10K，UKbench数据集中的有效性.首先对数据集中每幅图像分别作为查询样本进行图像检索，然后对每类图像检索得到的查全率和查准率求平均值.每个查询样本的查全率及查准率计算过程如下：

(19)

(20)

而对于UKbench数据集采用N-S得分[33](最高结果为4)检测特征描述子性能.

在检索过程中，图像之间的相似性是其提取的特征向量之间的相似性度量决定的.目前已经有很多对相似性度量方面的研究，在不同情况下会有不同的效果,所以对提取的特征向量选择合适的相似性度量是图像检索系统的关键一步.由于L1距离在图像区分中的有效性和高效性，本文选择L1距离作为图像间的相似性度量.

3.2 颜色空间和量化类数的选择

不同颜色空间、颜色量化类数的选择对本文提出的特征提取模型的有效性有重要的影响.本文实验对比不同的颜色空间(包括HSV，RGB，Lab这3种颜色空间)和量化策略对特征提取模型的影响.对比实验结果如表1所示，分别统计了这3种颜色空间中不同量化策略下在Corel-1000图像数据集中检索的平均查准率和查全率，检索过程中选择输出图像数目依次为10，20，30，40，50幅.HSV颜色空间等距量化类数从72～192维，RGB颜色空间等距量化类数从16～128维，Lab颜色空间等距量化类数从45～180维.从表1可以看出，本文的TCD特征提取模型在HSV颜色空间中的查准率最好.在返回20幅图像时检索结果能达到74.54%以上，而在其他2种颜色空间至多只能达到63.85%和64.52%.除此之外，可以看出在HSV颜色空间中随着颜色量化从72类增加到128类，查准率也有一定的提高，但是再增加到192类时检索查准率反而有所下降.随着颜色量化类数的增加，提取的特征维数也会增加.虽然查准率略有提升，但减慢了检索速度，因此本文选择72类量化颜色值.因此，虽然高维量化会对特征区分度有所提高，但并不是量化类数越高检索效果越好，过高反而会降低特征性能，还会延长检索的时间.因此本文选择在HSV颜色空间的基础上，并且在描述颜色一致性时，将像素点的颜色等距量化到72类.在描述纹理一致性区域时，采用59维局部二值模式(LBP)阈值.

Table 1 Retrieval Results of TCD in Different Categories in Corel-1000 Dataset

在TCD特征描述子中模型参数的选择也对其性能有较大的影响.图5是选择不同的α和β权值，在Corel-1000图像数据集中返回20幅图像时的检索结果.可以看出，当α=0.20和β=0.80时效果最好，当α增加或降低时，都会使得检索效果下降.因此，本文的TCD特征为H=(0.20·HC, 0.80·HT).

3.3 图像检索实验对比

在本节中本文通过与其他3种图像特征描述子颜色差分直方图(CDH)、微结构描述子(MSD)和多纹理直方图(MTH)相比较，证明了本文提出的基元相关性描述子(TCD)在图像特征描述中的优越性.表3是这4种特征描述子在Corel-1000图像数据集中每类图像的平均查准率和平均查全率的基元相关性描述子(TCD)在图像特征描述中的率(检索过程中选择输出图像数目为20幅).可以看出TCD描述子在公交车、恐龙和鲜花类都有很好的检索效果，其中在恐龙类中查准率最高，能达到99.75%；在非洲人、建筑、象和食物也有比较好的检索效果，明显高于其他3种特征描述子.但是在马和山类图像中检索效果略低于MSD描述子(检索查准率分别低1.05%和2.15%左右).在海滩类中的检索效果也低于CDH描述子(检索查准率低14.85%左右)，这是因为在海滩类图像中，图像的颜色特征区分性更为显著，类内纹理的差异性相对较大，这使得本文TCD描述子性能有所降低，而只着重于描述图像颜色差分的CDH描述子会有比较好的性能.

Table 2 The Selection of Model Parameters

从整体上看，本文的TCD描述子在Corel-1000图像数据集中的检索效果明显优于其他3种描述子.如图6所示，选择输出图像数目分别从10～100幅统计这4种特征描述子在Corel-1000和Corel-10K图像数据集中的平均查准率和查全率.从图6(a)可以看出，TCD描述子在输出20幅图像时的查准率能达到74.54%，而CDH，MSD，MTH描述子分别只有62.83%，68.44%，62.03%.而且随着输出图像数目的增加，TCD描述子的查准率虽有下降，但是也明显高于其他3种特征描述子.图6(b)中的结果是在Corel-10K图像数据集中这几种特征描述子的检索性能对比.可以看出，本文的TCD特征描述子的检索效果也明显优于其他的特征描述子.这证实了本文提出了TCD描述子在图像检索系统中有更优的性能和稳定性.

Fig. 6 The average retrieval performance comparison in Corel datasets.图6 在Corel图像数据集的特征描述子检索性能比较

UKbench图像数据集旨在评估特征描述子对图像物体空间变换的识别性能.表4给出了本文提出的TCD特征与CDH，MSD，MTH在此数据集中的检索结果.可以看出TCD在UKbench数据集中的N-S得分能达到3.36，比其他3种特征都高.此外，表4中也有其他一些文献提出的图像特征中在UKbench数据集中的检索效果，可以看出这些特征检索结果也均不超过3.36.因此，这证实了TCD特征对图像物体空间旋转的稳定性.

颜色差分直方图(CDH)、微结构描述子(MSD)和多纹理直方图(MTH)在图像检索应用中都已经取得了比较好的实验效果.其中CDH利用像素点间颜色值之间的欧氏距离来衡量图像区域的视觉感知差异性，同时考虑到了图像颜色和梯度方向特征的颜色差分特性以及特征之间的空间位置关系.虽然这种颜色差分能比较好地描述图像像素的对比度信息，但是由于没考虑到图像局部邻域内颜色差分特性和像素间的空间结构，在图像特征描述中也有一定的局限性.MSD通过定义有相似梯度方向的微结构元检测图像中的“潜在”颜色区域，再利用相关性统计策略提取图像特征.但是MSD过分重视图像的颜色特征，当图像间边缘方向非常接近而颜色差异较大时，图像MSD特征的差别就会较大，因此并不能对图像做出合理的区分.MTH是利用共生矩阵和直方图统计策略的优势，同时提取图像的颜色纹理信息.但是由于只考虑邻域内像素的空间分布，忽略了像素间的对比度信息.本文提出的TCD描述子同时考虑了图像一致性区域中像素间的对比度和空间位置分布信息，通过图像中像素点间颜色差分和频率特征分别描述这2种信息，然后用适当的权值平衡颜色和纹理一致性区域中的基元特征.因此，本文的TCD描述子会有更好的特征描述性能，在图像检索应用中能有更好的检索效果.

Table 3 Retrieval Results of Each Kind of Images in Corel-1000 Dataset

Table 4 The Performance Comparison of Different Image Representations in UKbench Dataset

表4 在UKbench数据集中各特征模型性能比较

4 结束语

本文提出了一种新的图像特征描述子基元相关性描述子(TCD),主要过程为：1)利用图像颜色和纹理检测图像中的一致性区域.2)利用像素点间的颜色差分特征描述对比度信息，其中颜色差分相关性和全局颜色差分直方图统计分别描述了图像局部邻域和全局中底层特征的颜色差分信息，二者的融合能同时利用这2种统计策略的优势，更好地描述图像中的对比度信息；利用基元频率特征描述图像像素的空间位置分布信息，其中也同时融合了图像底层特征的基元相关性和基元频率直方图统计.通过联合一致性区域像素间中的对比度和空间位置分布，能更好地描述图像信息.3)得到颜色和纹理一致性区域中的基元特征统计，并通过权值联合这2种特征得到最终的TCD特征向量.通过在Corel-1000，Corel-10K，UKbench数据集中的图像检索实验，也证实了本文TCD描述子在图像特征描述中的有效性和稳定性.

本文通过多特征融合提取图像一致性区域中的信息，对图像检索效果进一步提高.但是仍存在一定的局限性：1)多特征融合技术仍需进一步研究，提高图像检索准确率，同时降低特征维数；2)对图像空间信息有待进一步提高.此外，对人眼视觉感知还需进一步研究，借助视觉认知的机制更好地描述图像信息.

[1]Datta R, Joshi D, Li J, et al. Image retrieval: Ideas, influences, and trends of the new age[J]. ACM Computing Surveys, 2008, 40(2): Article No 5

[2]Liu Y, Zhang D, Lu G, et al. A survey of content-based image retrieval with high-level semantics[J]. Pattern Recognition, 2007, 40(1): 262-282

[3]Datta R, Li J, Wang J Z. Content-based image retrieval: Approaches and trends of the new age[C] //Proc of the 7th ACM SIGMM Int Workshop on Multimedia Information Retrieval. New York: ACM, 2005: 253-262

[4]Singhai N, Shandilya S K. A survey on: Content based image retrieval systems[J]. International Journal of Computer Applications, 2010, 4(2): 22-26

[5]ElAlami M E. A new matching strategy for content based image retrieval system[J]. Applied Soft Computing, 2014, 14: 407-418

[6]Bian W, Tao D. Biased discriminant euclidean embedding for content-based image retrieval[J]. IEEE Trans on Image Processing, 2010, 19(2): 545-554

[7]Buades A, Coll B, Morel J M. A review of image denoising algorithms, with a new one[J]. Multiscale Modeling & Simulation, 2005, 4(2): 490-530

[8]Ding F, Zhu G, Shi Y Q. A novel method for detecting image sharpening based on local binary pattern[C] //Proc of Digital-Forensics and Watermarking. Berlin: Springer, 2014: 180-191

[9]Song M, Tao D, Chen C, et al. Color to gray: Visual cue preservation[J]. IEEE Trans on Pattern Analysis and Machine Intelligence, 2010, 32(9): 1537-1552

[10]Ojala T, Pietikäinen M, Mäenpää T. Multiresolution gray-scale and rotation invariant texture classification with local binary patterns[J]. IEEE Trans on Pattern Analysis and Machine Intelligence, 2002, 24(7): 971-987

[11]Ojala T, Pietikäinen M, Mäenpää T. Gray scale and rotation invariant texture classification with local binary patterns[C] //Proc of the 6th European Conf on Computer Vision. Berlin: Springer, 2000: 404-420

[12]Dalal N, Triggs B. Histograms of oriented gradients for human detection[C] //Proc of 2005 IEEE Conf on Computer Vision and Pattern Recognition. Los Alamitos, CA: IEEE Computer Society, 2005: 886-893

[13]Lowe D G. Distinctive image features from scale-invariant keypoints[J]. International Journal of Computer Vision, 2004, 60(2): 91-110

[14]Jones J P, Palmer L A. An evaluation of the two-dimensional Gabor filter model of simple receptive fields in cat striate cortex[J]. Journal of neurophysiology, 1987, 58(6): 1233-1258

[15]Serre T, Wolf L, Bileschi S, et al. Robust object recognition with cortex-like mechanisms[J]. IEEE Trans on Pattern Analysis and Machine Intelligence, 2007, 29(3): 411-426

[16]Mikolajczyk K, Schmid C. A performance evaluation of local descriptors[J]. IEEE Trans on Pattern Analysis and Machine Intelligence, 2005, 27(10): 1615-1630

[17]Swain M J, Ballard D H. Color indexing[J]. International Journal of Computer Vision, 1991, 7(1): 11-32

[18]Stricker M A, Orengo M. Similarity of color images[C] //Proc of SPIE 2420. Bellingham: SPIE, 1995: 381-392

[19]Huang J, Kumar S R, Mitra M, et al. Image indexing using color correlograms[C] //Proc of 1997 IEEE Conf on Computer Vision and Pattern Recognition. Los Alamitos, CA: IEEE Computer Society, 1997: 762-768

[20]Pass G, Zabih R, Miller J. Comparing images using color coherence vectors[C] //Proc of the 4th ACM Int Conf on Multimedia. New York: ACM, 1997: 65-73

[21]Feng Jinli, Yang Hongju. Image retrieval method research based on BoC-BoF feature[J]. Computer Science, 2015, 42(4): 297-301

[22]Zhang Yongku, Li Yunfeng, Sun Jingguang. Image retrieval based on multi-feature fusion[J]. Journal of Computer Application, 2015, 35(2): 495-498

[23]Pan Yongsheng, Ji Xiaoping. New image retrieval method based on multiple feature fusion[J]. Science Technology and Engineering, 2014 (15): 219-223

[24]Zhang Shaoting, Yang Ming, Cour T, et al. Query specific fusion for image retrieval[C] //Proc of the 12th European Conf on Computer Vision. Berlin: Springer, 2012: 660-673

[25]Liu Guanghai, Li Zuoyong, Zhang Lei, et al. Image retrieval based on micro-structure descriptor[J]. Pattern Recognition, 2011, 44(9): 2123-2133

[26]Liu Guanghai, Zhang Lei, Hou Yingkun, et al. Image retrieval based on multi-texton histogram[J]. Pattern Recognition, 2010, 43(7): 2380-2389

[27]Liu Guanghai, Yang Jingyu. Content-based image retrieval using color difference histogram[J]. Pattern Recognition, 2013, 46(1): 188-198

[28]Singha M, Hemachandran K. Performance analysis of color spaces in image retrieval[J]. Assam University Journal of Science and Technology, 2011, 7(2): 94-104

[29]Xia Wan, Kuo C-C J. Color distribution analysis and quantization for image retrieval[C] //Proc of SPIE 2670. Bellingham: SPIE, 1996: 8-16

[30]Julesz B. Textons, the elements of texture perception, and their interactions[J]. Nature, 1981, 290(5802): 91-97

[31]Julesz B. Texton gradients: The texton theory revisited[J]. Biological Cybernetics, 1986, 54(4/5): 245-251

[32]Feng Lin, Wu Jun, Liu Shenglan, et al. Global correlation descriptor: A novel image representation for image retrieval[J]. Journal of Visual Communication and Image Representation, 2015, 33: 104-114

[33]Zhang Shaoting, Ming Yang, Cour T, et al. Query specific rank fusion for image retrieval[J]. IEEE Trans on Pattern Analysis and Machine Intelligence, 2015, 37(4): 803-815

[34]Jégou H, Douze M, Schmid C. Improving bag-of-features for large scale image search[J]. International Journal of Computer Vision, 2010, 87(3): 316-336

[35]Wengert C, Douze M, Jégou H. Bag-of-colors for improved image search[C] //Proc of the 19th ACM Int Conf on Multimedia. New York: ACM, 2011: 1437-1440

[36]Perronnin F, Liu Y, Sánchez J, et al. Large-scale image retrieval with compressed fisher vectors[C] //Proc of 2010 IEEE Conf on Computer Vision and Pattern Recognition. Piscataway, NJ: IEEE, 2010: 3384-3391

[37]Jégou H, Douze M, Schmid C, et al. Aggregating local descriptors into a compact image representation[C] //Proc of 2010 IEEE Conf on Computer Vision and Pattern Recognition. Piscataway, NJ: IEEE, 2010: 3304-3311

Wu Jun, born in 1993. Master candidate at Dalian University of Technology. His main research interests include pattern recognition and machine learning.

Liu Shenglan, born in 1984. PhD. Postdoctor at Dalian University of Technology. His main research interests include pattern recognition and machine learning.

Feng Lin, born in 1969. Professor and PhD supervisor at Dalian University of Technology. His main research interests include intelligent image processing, robotics, data mining, and embedded systems.

Yu Laihang, born in 1982. PhD candidate at Dalian University of Technology. His main research interests include image processing, data mining.

Image Retrieval Based on Texton Correlation Descriptor

Wu Jun1, Liu Shenglan2, Feng Lin1,3, and Yu Laihang3

1(School of Innovation and Entrepreneurship, Dalian University of Technology, Dalian, Liaoning 116024)2(SchoolofControlScienceandEngineering,FacultyofElectronicInformationandElectricalEngineering,DalianUniversityofTechnology,Dalian,Liaoning116024)3(SchoolofComputerScienceandTechnology,FacultyofElectronicInformationandElectricalEngineering,DalianUniversityofTechnology,Dalian,Liaoning116024)

The performance of content-based image retrieval (CBIR) depends to a great extent on the image feature descriptor. Among these descriptors, color difference histogram (CDH) has showed the great discriminative performance in CBIR. However, there are still some limitations in it: 1)only taking color difference of pixels in global region into account; 2)not considering the spatial structure among pixels. In this paper, to solve these problems, we propose a novel image representation, called texton correlation descriptor (TCD), which is applied to CBIR. First, we define uniform regions which contain discriminative information of images and then detect them by analyzing the relationship among low-level features (color value and local binary patterns) of pixels. Second, in order to character contrast and spatial structure information in uniform regions respectively, we propose the color difference feature which fuses color difference correlation and global color difference histogram, and texton frequency feature which fuses texton frequency correlation and texton frequency histogram. Finally, by combining these feature vectors, TCD not only characters two orthogonal properties: spatial structure and contrast, but also takes these properties in local and global uniform regions into account simultaneously so that TCD has better performance in CBIR. The experimental results show that the retrieval results of TCD is higher than that of other descriptors in image datasets, and thus demonstrate that TCD is more robust and discriminative in CBIR.

texton correlation descriptor (TCD); uniform regions; color difference feature; texton frequency feature; image retrieval

2015-08-10；

2016-03-22

国家自然科学基金项目(61173163,61370200)；中国博士后科学基金项目(ZX20150629) This work was supported by the National Natural Science Foundation of China (61173163, 61370200) and the China Postdoctoral Science Foundation (ZX20150629).

冯林(fenglin@dlut.edu.cn)

TP181