基于NSST和RI-LPQ的纹理图像检索

殷 明,王治成,于立萍

(合肥工业大学数学学院,合肥230009)

基于NSST和RI-LPQ的纹理图像检索

殷 明,王治成,于立萍

(合肥工业大学数学学院,合肥230009)

针对采用单一方法提取图像特征时检索率不高的问题,结合非下采样剪切波变换(NSST)统计特征和旋转不变的局部相位量化(RI-LPQ)原理,提出一种纹理图像检索方法。非下采样剪切波不仅具有方向选择性及平移不变性,而且可以对图像进行有效的稀疏表示,与传统小波相比,可有效捕捉图像的边缘轮廓等纹理信息,与非下采样轮廓波相比,具有更高的计算效率。利用广义高斯分布函数对图像NSST高频子带系数的统计特征进行分析,RI-LPQ描述算子直接提取图像特征,采用具有权重系数的相似性测度公式对Brodatz图像库进行纹理图像检索。实验结果表明,与传统小波和轮廓波的方法相比,NSST统计特征方法的平均检索率分别提高4.77%和1.44%,纹理图像检索方法的平均检索率分别提高7.36%和1.98%。

非下采样剪切波变换;广义高斯分布;纹理图像检索;旋转不变的局部相位量化;特征提取;特征融合

1 概述

随着多媒体技术和计算机网络的快速发展,大量数字图像和视频不断涌现,图像作为最基本且最为广泛的多媒体信息,已经被广泛应用于数字图书馆、医学图像管理、遥感图像处理等多个领域。如何快速、高效地从大规模的图像数据中检索出所需要的图像是一个具有重要意义的研究性课题[1]。基于内容的图像检索(Content Based Image Retrieval, CBIR)技术在进行海量数据检索时是一种非常有效的方法,而纹理特征则是描述图像的关键要素之一。纹理图像检索系统[2]主要是由特征提取和相似性测度2个基本部分组成,为了提高纹理图像检索率,需要将两者紧密结合。而多尺度变换域统计建模方法便于将特征提取和相似性测度有机结合起来,也有直接提取图像的空域特征进行纹理图像检索。

本文将旋转不变的局部相位量化(Rotation Invariant Local Phase Quantization,RI-LPQ)特征用于纹理图像检索,提出一种基于非下采样剪切波细节子带统计特征和旋转不变的局部相位量化特征的纹理图像检索方法。

2 背景介绍

20世纪90年代初,许多研究者开始研究使用小波变换进行纹理检索,通过提取小波细节子带的均值、方差等进行纹理检索。2002年,文献[3]提出基于离散小波变换域细节子带广义高斯分布建模的纹理检索方法,相似性测度采用由分布参数组成的具有闭式结构的 Kullback-Leibler距离(KLD)。2007年,文献[4]提出一种在基于离散小波变换域Laplacian混合建模的检索方法,其中模型参数有EM算法估计、相似性测度。在变换域上提出一种检索方法,将细节子带幅值建模为Weibull分布或Gammma分布,相似性测度采用KLD距离,获得较好的图像检索率。

但是传统小波变换方向选择性上只能使用水平、垂直、对角3个有限的方向去捕获边缘特征,不能有效表达图像的边缘几何特征。为了灵活地捕捉纹理图像丰富的方向信息,具有方向选择性和各向异性的多尺度几何方法迅速发展起来,多尺度几何分析方法相比于传统小波有效地提高了图像特征的刻画能力,通常的多尺度几何分析方法有:脊波(Ridgelet),曲线波(Curvelet),条带波(Bandelet),轮廓波(Contourlet),剪切波(Shearlet)等[5]。2007年,文献[6]提出利用广义高斯模型对Contourlet变换子带系数进行建模提取图像特征的方法,然后进行纹理检索。2011年,文献[7]在Curvelet域提出综合香农熵与频域子带能量特征的图像检索算法,用香农熵进行预分类,用频域子带能量特征进行相似性计算,获得了比较好的检索率。文献[8]在Contourlet变换域上提出一种基于方向子带系数的GGD混合建模的检索方法,Contourlet变换具有良好的多分辨率、局部化和多方向性等特性,有效提高了检索的性能。但是由于执行Contourlet变换过程中采用了下采样操作,因此Contourlet变换不具备平移不变性且子带存在混叠现象,这在一定程度上削弱了Contourlet变换的方向选择性。为了解决这一问题,文献[9]提出了具有平移不变性的非下采样Contourlet变换(Nonsubsampled Contourlet Transform,NSCT)。文献[10]提出以非下采样Contourlet变换不同子带和不同方向变换系数矩阵的均值和方差为特征向量,进行图像的检索,获得较好的检索率。2011年,文献[11]提出结合改进KLD度量的抗混叠轮廓波隐马尔科夫树(HMT)纹理图像检索方法,检索率有所提高。2013,文献[12]利用非下采样Contourlet变换,分别对低频子带系数和高频子带系数处理,提取尺度间和尺度内的纹理特征,并经过特征融合形成较好描述图像纹理信息的特征向量,取得较好的图像检索率,但是非下采样Contourlet变换运行时间较长且计算效率较低。

2007年,文献[13]提出一种新的多尺度几何分析工具——剪切波变换,它可以对图像进行稀疏表示且产生最优逼近。相较于Contourlet变换,虽然实现过程类似,但是剪切波变换时没有方向数目和支撑基尺寸大小的限制,而且剪切波实现过程具有更高效的计算效率,但由于剪切波离散化过程也采用了下采样操作,因此不具备平移不变性。非下采样剪切波不仅具有各向异性及方向选择性,而且具有平移不变性。因而非下采样剪切波比小波变换和Contourlet能更有效地捕捉图像的纹理信息,更适合纹理图像检索。旋转不变的局部相位量化(Rotation Invariant Local Phase Quantization,RI-LPQ)特征是一种纹理描述算子,具有较强的纹理描述效果。

3 非下采样剪切波

3.1 剪切波变换

非下采样剪切波变换(Nonsubsampled Shearlet Transform,NSST)由非下采样金字塔分解和剪切波滤波器组2个部分组成,具有方向敏感性、平移不变性及稳定性等许多优点,它是图像信号(如边缘轮廓)真正的二维稀疏表示。

合成小波[13]是通过经典仿射理论提出的一种有效解决几何和多分辨率分析这一综合问题而提出来的,当维数为2时,合成膨胀的仿射系统表示形式如下:

3.2 剪切波支撑基和小波支撑基的比较

剪切波变换[14]具有很好的局部化特性,剪切波变换使用类似梯形结构来逼近图像,每一个剪切波支撑大小近似为22j×2j、线方向斜率为2-jl(l为分解级数,j为尺度)的梯形结构,如图1(a)所示,具有方向性和各向异性,剪切波系数对于边缘有更稀疏的表达。而二维小波基是由一维小波基张量构成得到的支撑基缺乏方向性,不具有各向异性,只限于用大小近似为2j(j为尺度)的正方形支撑区间来逼近图像,不同大小变成的正方形对于不同的小波分辨率,当分辨率足够精细时,非零小波系数以指数形式增加,出现了大量不可忽略的系数,只能通过点来捕获图像边缘轮廓,不能稀疏地表示图像特征,如图1(b)所示。

图1 剪切波和小波支撑基

3.3 非下采样剪切波的离散化

非下采样剪切波变换的离散化[15]过程主要通过非下采样的金字塔滤波器组和剪切波滤波器实现。非下采样金字塔滤波器实现非下采样剪切波变换的多尺度剖分,图像经k级非下采样金字塔滤波器分解可以得到k+1个与原图像大小相同的子带图像。剪切滤波器完成非下采样剪切波变换的方向局部化,标准的剪切波变换中使用的剪切滤波器是在伪极化网格中通过窗函数的平移操作实现的,因为实现过程需要下采样,所以不具备平移不变性。非下采样剪切波变换把标准的剪切波滤波器从伪极化网格系统映射到笛卡尔坐标系统,通过傅里叶变换,可以直接通过二维卷积完成,避免了下采样操作,从而具有平移不变性。如图2所示 zoneplate图经过NSST变换两级分解,图2(a)是 zoneplate,图2(b)是得到的各级细节子带。非下采样剪切波不仅具有上述剪切波具有方向性和各向异性等优良特性,而且具有平移不变特性,能够更好地捕获图像信息。

图2 zoneplate图的NSST变换

4 广义高斯模型

在多尺度变换域上对细节子带系数采用零均值的广义高斯分布(Generalized Gaussian Distribution, GGD)建模已得到广泛应用[16]。经过多次实验发现,自然图像的非下采样剪切波细节子带系数的统计分布具有与小波系数类似的非高斯性,即基本上在零附近对称分布,在零点处形成一个尖峰,很长的拖尾。因此,本文采用零均值的GGD对非下采样剪切波细节子带进行建模。

广义高斯模型的概率分布函数为:

图3 D56的NSST子带系数统计信息

5 旋转不变的局部相位量化

5.1 局部相位量化

LPQ[17]是用来处理空间模糊图像纹理的描述算子,具有模糊不变性。图像的空间模糊可以表述为图像强度和一个点扩散函数(PSF)的卷积。在频域内,结果是一个乘积的形式G=F·H,其中,G,H,F分别代表模糊图像、原始图像和点扩散函数的离散傅里叶变换,从而频谱的相位关系可以表示为:∠G=∠F+∠H,当点扩散函数是中心对称函数时,它的傅里叶变换H总是实数,也就是∠H∈{0,π}。对于一个规则的点扩散函数的傅里叶变换H的形状近视为一个高斯或辛克函数,这至少保证在低频上H是定值,即∠H=0,使得∠G=∠F,从而说明该相位特征具有模糊不变性。

LPQ特征计算图像f(x)上每一像素点x=[x1,x2]T的邻域Nx的相位。局部光谱F(u,x)使用离散的STFT计算得到,其定义为:

其中,μ表示频率;LPQ分别在μ1=[a,0]T,μ2= [0,a]T,μ2=[a,a]T,μ2=[a,-a]T4个频率上计算傅里叶系数,a足够小时满足H(μi)＞0,图中的每个像素点可以用一个向量来表示:

傅里叶系数的相位信息由F(x)中每一个分量的实部和虚部的符号函数表示,然后进行量化:

5.2 旋转不变的局部相位量化实现步骤

为了进一步提高LPQ的性能,文献[18]提出了具有旋转不变的LPQ算子,旋转不变的局部相位量化(Rotation Invariant Local Phase Quantization,RILPQ)方法通过估算特征方向和计算特征方向LPQ特征2个步骤实现。

为了达到模糊不变的效果,仅考虑V(x)的相位。它是通过类似于式(5)中对G(x)操作得到信号虚部C(x)=lm{V(x)},特征方向可以通过量化系数得到,使用一个复数矩:

本文提取二进制描述算子,这里的过程类似于最初的局部量化相位,但是每一个局部邻域要旋转到方向特征的方向。这一操作实现可以通过定义特征方向频率系数完成:

对于旋转图片f′特征方向频率系数变为:

6 融合特征的相似性度量

6.1 基于广义高斯分布的相似性度量算法

6.2 RI-LPQ特征相似性度量

6.3 相似性度量的权值分配

图像的NSST统计特征和LPQ特征可能反映图像某一方面的特征,对图像特征的描述某种程度上具有一定的局限性。为了提高图像的检索性能,同时考虑图像的NSST统计特征和LPQ特征,将图像2种特征的相似性度量分配一定的权值,2幅图像pi和pj的相似性度量可以采用将式(7)和式(8)分配一定权重值,即:

其中,λ为加权系数且λ∈[0,1]。

7 算法步骤及实验结果分析

7.1 基于NSST特征和RI-LPQ的检索算法

算法步骤如下:

(1)依据非下采样剪切波原理,对纹理图像进行3层 NSST分解。其中,第 1层取 4个方向,第2层取8个方向,第3层取8个方向。

(2)对上述20个方向细节子带进行广义高斯建模,提取尺度参数α和形状参数β作为纹理图像的统计特征。

(3)运用RI-LPQ算子直接提取纹理图像特征。

(4)采用具有权重系数的相似性测度公式式(9),使得上述统计特征和RI-LPQ特征很好地融合在一起,进行纹理图像检索。

7.2 实验结果及分析

本文从 Brodatz图像库中选取不同自然图片24幅640×640大小的灰度纹理图像,将每一幅大小640×640图像不重叠地分割为25个128×128的灰度子图像,把这些子图放在一起就构成了一个具有600幅灰度纹理图像的实验数据库。为了验证本文纹理图像检索算法的性能,将利用上述600幅实验图像库进行以下2个实验进行比较。

7.2.1 检索性能比较

在实验中用到4种方法:(1)DT-CWT+GGD方法。采用文献[16]提出的使用双树复小波(DTCWT)和广义高斯模型提取图像特征,再用式(7)进行纹理图像检索。(2)Contourlet+GGD方法。采用文献[6]中提出的基于Contourlet变换和广义高斯模型提取图像纹理特征,再用式(7)进行纹理图像检索。(3)NSCT+GGD方法。利用文献[19]中的方法,采用非下采样Contourlet变换(NSCT)和广义高斯模型提取图像纹理特征,再用式(7)进行纹理图像检索。(4)NSST+GGD方法。本文所采用的方法之一即非下采样剪切波统计特征方法。

从表1中可以看到,利用非下采样剪切波能获得较好的图像检索率,平均检索率较DT-CWT+ GDD方法提高了4.77%,较Contourlet+GGD方法提高了1.14%,与NSCT+GGD相比检索率稍显不足,但NSCT+GGD计算复杂且运行时间比较长。

表1 不同方法的检索性能比较

7.2.2 运行时间比较

本文实验采用的计算机为2.53 GHz英特尔四核处理器,在Matlab 2009a环境下,使用多尺度几何分析对100幅128×128灰度纹理图像进行分解和提取统计特征的平均用时比较如表2所示。

表2 不同方法的运行时间比较

综合表1和表2可以看出,NSST统计特征方法具有比较好的检索效率和运算效率。

7.2.3 LBP与RI-LPQ的检索性能比较

对2种方法进行比较:(1)LBP方法:利用局部二值模式(LBP)提取特征,然后用欧氏距离进行纹理图像检索。(2)RI-LPQ:利用旋转不变的局部相位量化(RI-LPQ)算子提取特征,然后用欧氏距离进行图像检索。两者检索性能比较如表3所示。

表3 LBP和RI-LPQ纹理检索性能比较

从表3看出RI-LPQ比LBP具有较好的纹理图像检索性能,这是因为 RI-LPQ具有模糊旋转不变性。

由表4可以看出,单一地采用某一种方法获得的检索率稍低。这是因为某些纹理图像具有丰富的信息,单一特征难以对一幅图像进行较好的描述。比如本文所选图像D62,如果单独采用NSST边缘统计特征进行纹理检索,其平均检索率只有70.67%;单独采用局部相位量化LPQ算子提取特征进行纹理检索,也仅有77.00%的平均检索率,但是通过将2种特征分别进行相似性计算,然后将相似性计算结果进行归一化到[0,1],再使用具有权重系数的测度公式进行检索,得到图像的平均检索率为89.11%。

表4 权重系数λ取不同值时检索性能比较

8 结束语

本文在多尺度变换域统计建模的理论框架下,提出了基于非下采样剪切波边缘统计特征和旋转不变的局部相位量化的纹理图像检索方法。首先对纹理图像的非下采样剪切波的细节子带进行广义高斯建模,提取图像的尺度参数和形状参数作为边缘统计特征,并且用旋转不变的局部相位量化算子来提取这些参数作为图像的另一特征。然后采用具有权重系数的相似性测度公式,使得2种特征很好地融合在一起,更好地刻画图像的特征。实验结果表明,与分别使用单一方法相比,本文方法具有较好的检索效率。

[1] 姚雪彦.基于多尺度几何分析和LBP的图像检索技术研究[D].开封:河南大学,2011.

[2] 曲怀敬.基于 PDTDFB域混合建模的纹理图像检索[J].计算机辅助设计与图形学学报,2012,24(10): 1329-1336.

[3] Do M N,Vetterli M.Wavelet-based Texture Retrieval Using Generalized Gaussian Density and Kullback-Leibler Distance[J].IEEE Transactions on Image Processing,2002,11(2):146-158.

[4] Amin T,Zeytinoglu M,Guan L.Application of Laplacian Mixture Model to Image and Video Retrieval [J].IEEE Transactions on Multimedia,2007,9(7): 1416-1429.

[5] 焦李成,谭 山.图像的多尺度几何分析:回顾和展望[J].电子学报,2003,31(12):1975-1981.

[6] 杨家红,许灿辉,王耀南.基于Contourlet广义高斯模型的纹理图像检索[J].中国图象图形学报,2007,12 (4):691-694.

[7] 李 健,牛振山.基于曲波的纹理图像检索系统的设计与实现[J].计算机工程与科学,2011,33(3):62-66.

[8] Allili M S,Baaziz N.Contourlet-based Texture Retrieval Using a Mixture of Generalized Gaussian Distributions [C]//Proc.of Conference on Computer Analysis of Images and Patterns.Berlin,Germany:Springer,2011: 446-454.

[9] Zhou J,Cunha A L,Do M N.Nonsubsampled Contourlet Transform:Construction and Application in Enhancement [C]//Proc.of IEEE International Conference on Image Processing.[S.l.]:IEEE Press,2005:469-472.

[10] 刘明霞,侯迎坤,朱向彩,等.一种利用非下采样Contourlet变换的纹理检索方法[J].计算机应用, 2010,30(1):94-98.

[11] 尚赵伟,赵正辉,庞庆堃,等.基于NACT和HMT模型的纹理图像检索[J].计算机工程,2011,37(3): 204-206.

[12] 张瑜慧,胡学龙.基于非下采样Contourlet变换的纹理图像检索算法[J].扬州大学学报:自然科学版,2013, 16(1):46-49.

[13] Guo K,Labate D.Optimally Sparse Multidimensional Representation Using Shearlets[J].SIAM Journal on Mathematical Analysis,2007,39(1):298-318.

[14] 王 雷,李 彬,田联房.基于平移不变剪切波变换的医学图像融合[J].华南理工大学学报:自然科学版, 2011,39(12):145-152.

[15] Easley G,Labate D,Lim W Q.Sparse Directional Image Representations Using the Discrete Shearlet Transform [J].Applied and Computational Harmonic Analysis, 2008,25(1):25-46.

[16] Kwitt R,UhlA.LightweightProbabilistic Texture Retrieval[J].IEEE Transactions on Image Processing, 2010,19(1):241-253.

[17] Ojansivu V,Heikkilä J.Blur Insensitive Texture Classification Using Local Phase Quantization[M]// Elmoataz A,Lezoray O,Nouboud F,et al.Image and Signal Processing.Berlin,Germany:Springer,2008: 236-243.

[18] Ojansivu V,Rahtu E,Heikkila J.Rotation Invariant Local Phase Quantization for Blur Insensitive Texture Analysis[C]//Proc. of the 19th International Conference on Pattern Recognition.[S.l.]:IEEE Press, 2008:1-4.

[19] 马建忠,李海涛,胡地荣.无下采样轮廓波广义高斯纹理检索系统[J].信阳师范学院学报:自然科学版, 2010,23(4):606-609.

编辑 顾逸斐

参考文献

[1] Sarkar M,Leong T Y.Application of k-nearest NeighborsAlgorithm on BreastCancerDiagnosis Problem[C]//Proc.of American Medical Informatics Association Annual Symposium.Los Angeles,USA: IEEE Computer Society Press,2000:759-763.

[2] Procopiuc O,Agarwal P K,Arge L,et al.Bkd-tree:A Dynamic Scalable kd-tree[C]//Proc.of International Symposium on Spatial and Temporal Databases.Berlin, Germany:Springer,2003:46-65.

[3] Sankaranarayanan J,Samet H,Varshney A.A Fast All Nearest Neighbor Algorithm for Applications Involving Large Point-clouds[J].Computers&Graph,2007,31 (2):157-174.

[4] Connor M,Kumar P.Fast Construction of k-nearest Neighbor Graphs for Point Clouds[J].IEEE Transactions on Visualization&Computer Graphics, 2010,16(4):599-608.

[5] Dickerson M T,Drysdale R L S,Sack J R.Simple Algorithms for Enumerating Interpoint Distance and Finding k Nearest Neighbors[J].International Journal of Computational Geometry and Applications,1992,2(3): 221-239.

[6] Goodsell G.On Finding p-th Nearest Neighbors of Scattered Points in Two Dimensions for Small p[J]. Computer Aided Geometric Design,2000,17(4): 387-392.

[7] 周儒荣,张丽艳,苏 旭,等.海量散乱点的曲面重建算法研究[J].软件学报,2001,12(2):249-255.

[8] 熊邦书,何明一,余华璟.三维散乱数据的k个最近邻域快速搜索算法[J].计算机辅助设计与图形学学报, 2004,16(7):909-912.

[9] Piegl L A,Tiller W.Algorithm for Finding All k Nearest Neighbors[J].Computer-aided Design,2002,34(2): 167-172.

[10] 赵俭辉,龙成江,丁乙华,等.一种基于立方体小栅格的k邻域快速搜索算法[J].武汉大学学报:信息科学版,2009,34(5):615-618.

[11] 马 娟,方源敏,赵文亮,等.利用空间微分块与动态球策略的k邻域搜索算法研究[J].武汉大学学报:信息科学版,2011,36(3):358-362.

[12] 马骊溟,徐 毅,李泽湘.基于动态网格划分的散乱点k邻域快速搜索算法[J].计算机工程,2008,34(8): 10-11.

[13] 杨 军,林岩龙,王阳萍,等.大规模散乱点的k邻域快速搜索算法[J].中国图象图形学报,2013,18(4): 399-406.

[14] Jivani A G.The Novel k Nearest Neighbor Algorithm [C]//Proc.of International Conference on Computer Communicationand Informatics.Coimbatore,India: IEEE Computer Society Press,2013:1-4.

编辑 顾逸斐

Texture Image Retrieval Based on Nonsubsampled Shearlet Transform and Rotation Invariant Local Phase Quantization

YIN Ming,WANG Zhi-cheng,YU Li-ping
(School of Mathematics,Hefei University of Technology,Hefei 230009,China)

For a single method of extracting image feature retrieval defective,this paper proposes a combination of Nonsubsampled Shearlet Transform(NSST)statistical features and Rotation Invariant Local Phase Quantization(RILPQ)texture image retrieval method.NSST exhibits highly directional sensitivity and shift invariance,even it can be sparse representation of the image.In contrast,NSST acquires the natural texture and edge information with the traditional wavelet and has higher computational efficiently with nonsubsampled contourlet transform.This paper acquires the statistical features of the image NSST coefficients by Generalized Gaussian Distribution(GGD)function.Image features are directly extracted by RI-LPQ description operator.Texture images on the Brodatz image database are retrieved by the formula of similarity measure with weight coefficients.Experimental results show that average retrieval rate of NSST statistical features method is 4.77% and 1.44% higher than traditional wavelet method and Contourlet method respectively.The average retrieval rate of this paper method based on fused features is 7.36% and 1.98% higher than NSST method and RI-LPQ method respectively.

Nonsubsampled Shearlet Transform(NSST);Generalized Gaussian Distribution(GGD);texture image retrieval;Rotation Invariant Local Phase Quantization(RI-LPQ);feature extraction;feature fusion

1000-3428(2014)10-0258-06

A

TP391.41

10.3969/j.issn.1000-3428.2014.10.048

安徽省自然科学基金资助项目(1308085MA09);安徽省教育厅基金资助项目(2013AJZR0039);合肥工业大学博士专项科研基金资助项目(2012HGB0653)。

殷 明(1962-),男,教授、博士,主研方向:小波分析,图形图像处理;王治成,硕士研究生;于立萍,讲师、硕士。

2013-09-16

2013-11-17E-mail:ymhfut@126.com

中文引用格式:殷 明,王治成,于立萍.基于NSST和RI-LPQ的纹理图像检索[J].计算机工程,2014,40(10): 258-263,269.

英文引用格式:Yin Ming,Wang Zhicheng,Yu Liping.Texture Image Retrieval Based on Nonsubsampled Shearlet Transform and Rotation Invariant Local Phase Quantization[J].Computer Engineering,2014,40(10):258-263,269.