张长宏, 孙琦龙
(青海民族大学 计算机学院, 青海 西宁 810007)
一种图像快速综合检索方法
张长宏, 孙琦龙*
(青海民族大学 计算机学院, 青海 西宁 810007)
基于Sobel边缘检测算法处理图像,得到边缘图像以及灰度共生矩阵。将该矩阵的多个统计量记为描述图像的特征向量,并对图像进行检索。实验结果表明,该算法能够大幅缩减检索时间,并且对于纹理较为丰富的图像具有较好的检索效果。
图像检索; 阻塞直方图; Sobel算子; 灰度共生矩阵
基于内容的图像检索方法可根据内容的不同形式分为多种检测方法[1-2]。文中基于图像的色彩并有效结合影像的纹理特点阐述具体的检测方法。在单一基于色彩的检索方法中,颜色直方图方法具有运算速度快、存储空间要求低、图像的尺度及旋转变化不敏感等特点[3]。
在基于纹理特征的图像检索中,灰度共生矩阵因具有较好反映图像纹理特征的优点而得到广泛应用,但是具有计算量大的缺点[4]。针对该问题,文中提出了一种综合性图像检索方法。首先基于Sobel边缘检测算法处理图像,进行边缘图像的获取;然后基于上述处理进行灰度共生矩阵的获取;最后将该矩阵的多个统计量记为描述图像的特征向量,基于图像的特征向量对图像进行检索。实验表明,文中所提出的综合性算法运行速度快,对于纹理较为丰富的图像检索效果较理想。
1.1 图像分块与相似性计算
1.1.1 颜色空间的转换和量化
对比颜色空间模型HSV与RGB,前者更具有直观性,更贴近人们对颜色的主观意识[5-6],所以文中先把RGB转化成HSV颜色模型,再进行相关操作。在RGB空间中的任意一点的R(红),G(绿),B(蓝)值(都在区间[0,255])均可转换到HSV颜色空间中,得到与其相对应的H(色度),S(饱和度),V(亮度)的值,由此为RGB颜色空间模型到HSV颜色空间模型间的转换,其转换公式如下:
为了提高图像的检索效率,依据人的视觉特点,把H,S,V做不均匀间隔数值化,并把三者分别分成8份、3份和3份。然后把这3个分量合为一维矢量:
其中,取Qs=3和Qv=3,分别对应s与v的量化级数。代入式(4),获得G的对应直方图。
1.1.2 图像分块及改进
传统的全局直方图往往忽略了图像的空间分布信息,针对这一点,分块直方图[7]是对此的一种改进,传统的图像分块如图1所示。
图1 传统的图像分块示意图
图像被分成大小匀称的子块,并提取各块的颜色信息,因其本身信息容量的特征,在图像检索中提高了图像的检索准确性。
文中首先对图像采用的是4×4的分块方式,即将整幅图像均匀地分成16个子块,如图2所示。
P11P12P13P14P21P22P23P24P31P32P33P34P41P42P43P44
图2 文中采用的图像分块
通常情况下,人们主要对于图像的中间区域较为关注,若将图像分成较多的块数,有利于较准确地找到感兴趣的目标区域,但能扩大特征的存储容量和图像相似度的运算量,同时能把目标物体分割的十分散碎,而使检索性能下降。
文中算法所采取的分块就对此加以了改进,提出了一种矩形重叠分块的方法,即在16个子块的基础上,再分为9个重叠子块区域,它们分别为:
在文中提出的重叠分块法中,最终将图像分成9个子块区域,比4×4即16个子块所涵盖的信息内容更加丰富,即图像的中间区域子块E={P22,P23,P32,P33}的各子块P22,P23,P32,P33均被其它子块区域A、B、C、D、F、G、H、I分别重叠了4次,图像的上边缘B区域中的子块P12,P13,边缘H区域中的子块P42,P43,左边缘D区域中的子块P21,P31以及右边缘F区域的子块P24,P34分别被其它子块区域重叠了2次。
两幅图像间的相似性由颜色特征向量的距离来决定,用直方图相交法来计算对应分块之间的相似度:
Similarity(Qi,Ii)=∑cj=1min(Qij,Iij)
(5)
式中:Q----示例图像;
I----检索图像;
C----颜色的种类数,经过计算所得的结果越小,其相对应的视觉差异也就相应的越小。
然后利用式(5)分别计算每一个分块之间的相似度矩阵,以此得到最为相近的检索图像。
1.2 基于Sobel算子的边缘提取
Sobel边缘检测算子如下:
式(6)中fx和fy分别为:
(7)
Sobel算子的操作理论是对图像任意一个像素点周围灰度值之和,据此来确定τ,若S(i,j)>τ,则认为此像素点S(i,j)为边缘点。
Sobel边缘检测算子非常容易在空间中实现,它根据等待处理的像素点周围区域的像素点灰度求和的方法,并设定在图像周边部分有极限值情况进行的边缘检测。同时,对于噪声具有平滑处理的作用,保证了边缘信息的真实有效性,据此文中采用Sobel算子对图像的边缘进行检测。
1.3 灰度共生矩阵的获取
1.3.1 灰度共生矩阵
在θ方向、像元距离为d的一对像元使用灰度共生矩阵来表示,灰度值分别为i和j的出现频率,元素记为P(i,j|d,θ),在θ和d一定的情况下,简记为Pij。由此可知,该矩阵是对称的,其阶数大小由灰度级数目决定。元素值求解方法如下:
灰度共生矩阵法一般先构造0°、45°、90°和135°这4个方向上的特征矩阵,当进行纹理特征提取时,首先将灰度共生矩阵进行归一化,得到:
其中,R是归一化的常数,使d=1,当θ=0°或者θ=45°时,R=2Ny(Nx-1),当θ=45°或θ=135°时,R=2(Ny-1)(Nx-1)。
1.3.2 灰度共生矩阵的特征向量
前面已经对此种矩阵的使用做了说明,下面来对其特征向量的获取做一说明。从灰度共生矩阵中获取的纹理特征较多,由于计算量过大,文中只取其中的能量FASM、反差FCON、熵FENT、相关FCOR这4个特征,计算公式如下:
选择以上4个灰度共生矩阵中的纹理参数,同时构造0°、45°、90°和135°方向的能量、反差、熵以及相关。
1.4 纹理特征提取算法
在提取纹理特征[8-9]时,采用Sobel边缘检测算子和灰度共生矩阵相结合的方法,以此来提高图像的检索速度,从而缩减了在提取灰度共生矩阵的纹理特征时计算量大的缺点。首先采用Sobel算子获得边缘图像,在此基础上,提取其图像基本特征。具体步骤如下:
1)采用Sobel算子提取出边缘图像。核心问题是获取二值图像,对像素点周围进行相关运算,选取τ值,若S(i,j)>τ,则认为此像素点S(i,j)为边缘点,根据这点是否处在极值的状态来进行边缘检测。
2)应用灰度共生矩阵提取边缘图像的纹理特征。在得到的二值化的边缘图像后,构造并计算0°、45°、90°和135°这4个方向的灰度共生矩阵,然后取这4个灰度共生矩阵的对应项的和再取其平均值,作为待检索图像的综合的矩阵值。
3)特征向量的提取与处理。取上述矩阵中的能量FASM、反差FCON、熵FENT、相关FCOR这4个特征,由于这4个特征的物理意义以及它们的取值区间的差异,在使用欧式距离前,使用高斯归一法,先对这几个分量做相应处理。
4)进行图像的相似性度量。样本与数据库中对应的两个图像的近似程度求解公式为:
(15)
假若Similarity<τ,那么就判定该匹配成功。
1.5 综合检索
通过相关方法,对图像颜色特征进行提取,以此包含了图像的空间信息。可是子块的划分有的时候也不能有效地表达图像的空间信息,同时子块的大小和区域的划分也不可以随着图像的不同而改变。相对应的图像的纹理特征可以对图像的空间特征进行描述,所以文中结合颜色与纹理两方面特征来搜索图像。这种综合性方法首要问题是获取特征向量并归一处理,再将这两种特征结合起来进行检索。具体步骤如下:
1)构建测试集,以图库为范围。
2)使用直方图算法,获取图像颜色特征。
3)提取纹理特征,采用文中前面的算子方法和纹理算法步骤。
4)在进行综合特征获取过程中,为确保颜色与纹理特征向量在计算相似距离时具有相同的地位,前面在分别提取颜色和纹理特征时,已把相关特征做了相关处理,为适应不同的检索要求,文中采用的颜色特征向量的权重Wc和纹理特征向量的权重Wt分别为0.5,即算法权重比为1∶1。任一幅图像与查询图像Q的综合相似距离D(Q,i),计算公式如下:
(16)
查准率和查全率是目前进行基于内容的图像检索中最常用的评价标准,其计算公式如下:
(17)
(18)
文中的测试图片由Corel图片库中的1 000幅RGB彩色图像组成,共包括10个种类,每类图像各100幅,图像以JPEG文件格式存取。为了证明检索方法对图像旋转、平移、尺寸大小等变化的反应,有256×384和384×256两种尺寸供检索使用。为了测试文中所提出的算法的可行性,设计了如下的实验,即分别从这10种类型的图像中各随机抽取5幅图像作为检索的图像,总共进行50次的查询,两组检索实验如下:
实验1:测试单一的基于颜色特征的图像检索性能,即前面阐述的分块直方图算法。
实验2:单一测试基于纹理特征的检索,即文中基于Sobel边缘检测算子和灰度共生矩阵的算法性能。
实验3:测试综合颜色特征和纹理特征的图像检索性能,即文中提出的基于分块直方图和Sobel边缘检测算子与灰度共生矩阵结合的算法性能,并将前面两种检索效果进行对比。
获得的检索结果中第一幅图像都是示例图像,显示的都是从图像库中选出与示例图像最为接近的20幅图像,并按照检索的相似程度由高到低按顺序排列。
此方法既体现了图像的局部和整体信息,同时又涵盖了图像的空间信息,融合了图像的多种信息,适用的检索范围更加广泛,也取得了较好的检索效果。
描述了基于图像的颜色与纹理特征的综合性检索方法。此方法并没有通过人为设定加权来达到加强对中间目标区域的检索,既减少了人为因素对检索时的影响,也没有因为分得较多的子块而破坏了图像间的信息联系。经实验对比,该检索方法比传统的单一特征算法的搜索效果更为理想,充分说明了该算法的有效性和可行性,具有广泛的应用前景。
[1] 高美真,申艳梅.基于颜色直方图的图像检索技术[J].计算机应用与软件,2011,25(4):25-27.
[2]AkgülCB,RubinDL,NapelS,etal.Content-basedimageretrievalinradiology:currentstatusandfuturedirections[J].JournalofDigitalImaging,2011,24(2):208-222.
[3] 张恒博,欧宗瑛.一种基于颜色基元共生矩阵的图像检索方法[J].计算机工程,2012,33(14):171-173.
[4] 王向阳,杨红颖,郑宏亮,等.基于视觉权值的分块颜色直方图图像检索算法[J].自动化学报,2012,36(10):1489-1492.
[5] 朱焰炉,程昌秀,陈荣国,等.基于直方图的空间查询选择率估计研究[J].计算机科学,2011,37(12):125-129.
[6] 孙琦龙,张明亮.基于颜色特征的藏毯图像检索研究与实现[J].软件,2015(8):25-29.
[7] 林克正,张彩华,刘丕娥.基于分块主颜色匹配的图像检索[J].计算机工程,2010,36(13):186-188.
[8] 宋卫华.基于底层纹理特征的图像检索[J].长春工业大学学报:自然科学版,2014,35(2):135-138.
[9] 王杰.基于颜色和纹理特征的图像检索[D].重庆:重庆大学,2012.
A comprehensive image fast retrieval method
ZHANG Changhong, SUN Qilong*
(School of Computer Science and Technology, Qinghai Nationalities University, Xining 810007, China)
Sobel edge detection is applied to process images to get the image edges and gray level co-occurrence matrix. The statistic parameters of the matrix are taken as the image feature vectors for image retrieval. Experiment results indicate that the algorithm is effective to reduce retrieval time, and for abundant texture image detection.
image retrieval; blocked histogram; Sobel operator; gray-level co-occurrence matrix.
2017-03-20
青海省创新平台建设专项基金资助项目(2016-ZJ-Y04)
张长宏(1976-),男,汉族,青海乐都人,青海民族大学副教授,硕士,主要从事文本数据挖掘及可视分析方向研究,E-mail:zhangchhzgy@163.com. *通讯作者:孙琦龙(1970- ),男,汉族,青海西宁人,青海民族大学教授,硕士,主要从事数据库、软件工程方向研究,E-mail:2932792961@qq.com
10.15923/j.cnki.cn22-1382/t.2017.2.13
TP 391
A
1674-1374(2017)02-0174-05