李仲生+田小路
收稿日期:2013-05-28
基金项目:湖南省自然科学基金项目(13JJ6078);湖南省大学生研究性学习和创新性实验计划项目(湘教通[2012]402号)
作者简介:李仲生(1967—),男,湖南邵阳人,副教授,博士,研究方向:图像处理,粒计算,物联网。
通讯联系人,E-mail:zsli666@163.com
文章编号:1003-6199(2014)03-0097-04
摘 要:基于内容的图像检索CBIR是多媒体信息管理系统的重要组成部分。提出一种利用图像的颜色信息和空间信息提取图像特征的算法——同心圆区域划分法。经实验表明,该算法取得了较好的检索效果。
关键词:CBIR;颜色;空间;同心圆区域划分法
中图分类号:TP314 文献标识码:A
Implementation of the CBIR System Based on Color and Space Features
LI Zhong-sheng,TIAN Xiao-lu
(Department of Information Engineering, Shaoyang University, Shaoyang, Hunan 422000,China)
Abstract:CBIR (Content-Based Image Retrieval) is a significantly important component of multimedia information management systems. This paper provides a algorithm, the division of concentric circles-based method, that synthesizes the color and space information to extract features of image. It evidently improves the precision of retrieval and achieve better performance.
Key words:CBIR; color; space; the division of concentric circles-based method
1 引 言
目前,图像的检索工具有两种:一种是基于文本的高级语义查询,如Yahoo、baidu等;另一种是基于图像的底层内容的查询[1]。因为基于高级语义的关键词查询图像需要人工对图像库中的图像进行归纳和标注,图像检索结果也就完全依赖于人工标注的图像名称,编号,注释的信息,具有很强的主观性,因此对图像的查全率和查准率有着很大的影响,所以仅仅依靠基于高级语义的文本查询并不是最好的图像查询方法,CBIR (Content-Based Image Retrieval)是基于底层内容的图像检索,很好的克服了基于高层语义的关键字检索的主观性,具有很强的现实意义[2]。目前,国内外许多著名的科研机构和大学已经研发了多种CBIR原型,如IBM的QBIC系统、MIT的PhotoBook系统、哥伦比亚大学的VisualSEEK系统、EXalibur的Picasso系统[3-5]、中科院的MIRES系统等。现有的CBIR系统主要是依据图像的底层特征如颜色、纹理、形状以及对象的空间关系,建立图像的特征矢量,来表征图像[6-8]。因为与其他视觉特征相比,颜色特征对图像的旋转,平移,视角等变化不敏感,具有较强的鲁棒性,所以在所有的底层特征中,颜色无疑是最重要的底层特征。但是,如果忽略图像的其他底层特征而仅仅考虑颜色,必然会对图像的查全率和查准率有着很大的影响,本文提出的方法弥补了这一缺陷,并对重叠分块法进行了改进。
2 算 法
2.1 颜色空间的选取
任何颜色都可以用三基色(RGB)来表示。RGB颜色空间是一种常见的颜色表示法,但RGB颜色空间和人眼的心理感知差异很大。空间的相似并不代表实际颜色的相似。因此,为了使算法对于颜色距离的定义更加符合人眼的视觉特征,本文采用较能符合人眼感知特性的HSV颜色空间,即色调H(hue)、饱和度S(saturation)和亮度V(value)。其中H色调指的是光的颜色,不同频率的光呈现不同的颜色,如红、橙、黄、绿、青、蓝、紫。饱和度指的是颜色的纯度,即与颜色深浅程度有关。饱和度表示的颜色深浅,如:深红,淡红。在纯色光中白光的比例高低反映了饱和度就的高低;白光比例越高,饱和度就越低。亮度指的是光的明暗程度,对于颜色来说参入的白色就越多,颜色越亮。因为HSV颜色空间更符合人眼的心理感知特点,所以本文采用HSV颜色空间。
2.2 同心圆区域划分算法
在此部分,我们将对圆形区域划分的方法进行详细的介绍,并与重叠分块法进行比较,实验证明,本文方法有较高的检索率。
2.2.1 重叠分块算法
因为全局颜色直方图,无法包含图像的空间分布信息,也不能充分限制背景信息,所以有学者提出了重叠分块的方法,该方法根据重复次数的不同,能在一定程度上体现了中心位置的重要性。该方法通常是将图像分成n×n块,本文以3×3块为例,如图1所示:
然后再分别统计A,B,C,D四个区域的颜色直方图,其中A,B,C,D分别代表示例图的左上4块,右上4块,左下4块,右下4个块,即:
A={P11,P12,P21,P22}, B={P12,P13,P22,P23}
C={P21,P22,P31,P32}, D={P22,P23,P32,P33}
这样在提取颜色直方图时,每一小块重复的次数会不一样,如图1.1 所示,在一定程度上体现了中心位置的重要性,但其缺点在于求每个区域 A,B,C,D 的直方图时将处在边界位置的像素点和处在中心位置的像素点混为一起,仍不能充分体现中心位置的重要性。因此,本文提出了圆形区域分块法。
2.2.2 同心圆区域划分算法
人们在观察图像时,对图像各个部分的重视程度不一样,对于绝大多数图像而言,中间部分为图像的核心区域,但是无论何种形式的均匀分块算法都不可避免的将图像的核心部分划分在不同的块内,破坏了图像的完整性,也不能很好的限制图像的背景信息,从而降低图像检索的精确度。因此本文提出了一种同心圆区域划分法,这种算法不仅能更加充分的呈现对图像核心区域重要程度而且忽略了,而且能够更好的限制图像的背景信息,具体算法如下:
Step1.做图像的内切圆。 方法如下:以图像的对角线的相交点为圆心O,以矩形的宽长为直径R做矩形的内切圆。如图2方式的划分.
由图2可知,内切圆体现了图像的有意义的信息,而剩余的四个角为图像不重要的背景或者无关信息。这样做,既可以突出图像的有用信息,又可以忽略没意义的无用的背景信息。
Step2.将第一步所得的内切圆的半径R均分为N等份,每份的长度为r=1/n,以圆心O为共有圆心做N个同心圆。本文取n=3,如图2所示区域分别为ABC,且重要程度从A到C依次递减。进一步突出表达核心区域的信息。
Step3.对不同区域赋予不同的权重。本文权重如下: A区域为0.5,B区域 0.3,C区域 0.2。
Step4.将3个区域的颜色直方图结合各自权重顺序连接,构成最终的特征向量。
本文方法在一定程度上弥补了重叠分块的不足。保持了图像的完整性,突出了核心区域信息,在一定程度上限制了背景信息。进一步提高了图像的查准率。
2.2.3 彩色直方图的构造
首先对图像进行同心圆区域的划分,然后提取各区域的颜色直方图并计算出相应的权重。具体步骤如下:
Step1.如图2所示,对图像进行圆形区域的划分。统计出每个区域中边缘像素点的总数SN(i),其中 i =1, 2, 3,并计算出对应颜色值为k(k=0,1,2,…255)的像素个数Ni(k);
Step2.构造出每个区域相应的颜色直方图
Qi(k)=Ni(k)SN(i)(其中i=1,2,3
k=0,1,2,…,255) (1)
Step3.计算出相应区域的权重
Step4.将3个区域的颜色直方图结合各自权重顺序连接,共构成3×256=768维。
综上可知彩色同心圆区域划分直方图,综合了颜色和空间。这种算法不仅能更加充分的呈现对图像不同位置的不同重要程度,而且也避免了颜色对空间信息的丢失。
2.2.4 相似度的度量
本文综合运用彩色同心圆区域直方图和计算图像间内容的相似度,并进行图像检索。所采用的距离欧氏距离,即:
dEuc(xp,xq)=d2m(xp,xq)=
(∑ni=1|xp-xq|2)12(2)
这样,进行图像检索时,计算公式计算出数据库中的每幅图像p与示例图像q之间的相似度,然后按照相似度由大到小的顺序返回基于内容图像检索的查询结果。
3 实验比较
为了从整体上验证本文算法的有效性,以下给出本文算法的检索实验结果,并与经典的颜色直方图方法、math算法进行比较。在实验中,我们从Corel图像库中选取10类图像,每类图像随机抽取50幅图像作为示例图像,总共500次查询,在将每次查询的前20幅最相似图像作为检索结果。对于每类图像而言,计算其50次查询结果的查准率和查全率的平均值作为该类图像的平均查准率和平均查全率。表1给出了颜色直方图法、MTH和本文算法相对应的结果(1表示颜色直方图法,2表示MTH方法,3表示本文方法)。
表1 查全率查准率比较
实验结果表明,与传统的颜色直方图方法比较,本文算法无论是在查全率而是查准率上都有所提高,平均查全率中,以雪山类图为例,本文的算法高出颜色直方图格倍多。MTH算法在查全率上表现突出,与本文算法接近,但在查准率上本文算法有一定优势,其中大象图,本文算法高出了MTH算法30%以上。所有实验结果验证了本文算法的有效性。
4 总 结
颜色是重要的图像视觉的感知特性之一,因为常用的颜色直方图在统计图像颜色特征时,其丢失了颜色的空间分布信息,针对此缺点,本文提出了一种综合利用颜色特征、空间特征表示图像内容的图像相似性检索方法——彩色同心圆区域划分法。这种算法对重叠分块法和传统颜色直方图法的进行了改进,实验表明,与单独的基于颜色或者纹理特征相比该算法能较准确和高效的查找出用户所需要的彩色图像。
参考文献
[1] CHANG S K,YAN C W,DIMITROFF D C. An intelligent image database system[J]. IEEE Trans. on Software Eng. 1988, 14(5): 412-421.
[2] DATTA R,JNSHI D,LI J, et al. Image Retrieval: Ideas, Influences, and Trends of the New Age[J]. ACM Computing Surveys. 2008, 40(2):1-60.
[3] NIBLACK W,BARBER R,FLICKNER M, et al. The QBIC Project: Querying Image by Content Using Color, Texture and Shape[A]. SPIE Storage and Retrieval of Image and Video Data-base[C].1993.173-187.
[4] PENTLAND A,PICARD R,SCLAROFF S. Photobook: Content-Based Manipulation of Image Databases[A]. SPIE Storage and Retrieval for Image and Video Databases H[C].1994.34-47.
[5] YONG RUI, THOMAS S HUANG, SHIH-FU CHANG. Image Retrieval: Part, Present, and Future[J]. Journal of Visual Communication and Image Representation,1998,10(1):39-62.
[6] YOO HUN-WOO,JUNG SHE-HWAN. Extraction of Major Object Feature Using VQ Clustering for Content-based Image Retrieval[J]. Pattern Recognition. 2002, 35(2): 1115-1126.
[7] LIN HWEI-JEN, KAO YANG-TA. A Study of Shape-based Image Retrieval[J]. IEEE Computer. 2004,22(2): 645-662.
[8] YU HONPUG-HEATHER. Visual Image Retrieval on Compressed Domain with Q-Distance Image Signal Process[J]. International Journal of Computer Vision. 2000, 31(1): 134-149.
2.2.2 同心圆区域划分算法
人们在观察图像时,对图像各个部分的重视程度不一样,对于绝大多数图像而言,中间部分为图像的核心区域,但是无论何种形式的均匀分块算法都不可避免的将图像的核心部分划分在不同的块内,破坏了图像的完整性,也不能很好的限制图像的背景信息,从而降低图像检索的精确度。因此本文提出了一种同心圆区域划分法,这种算法不仅能更加充分的呈现对图像核心区域重要程度而且忽略了,而且能够更好的限制图像的背景信息,具体算法如下:
Step1.做图像的内切圆。 方法如下:以图像的对角线的相交点为圆心O,以矩形的宽长为直径R做矩形的内切圆。如图2方式的划分.
由图2可知,内切圆体现了图像的有意义的信息,而剩余的四个角为图像不重要的背景或者无关信息。这样做,既可以突出图像的有用信息,又可以忽略没意义的无用的背景信息。
Step2.将第一步所得的内切圆的半径R均分为N等份,每份的长度为r=1/n,以圆心O为共有圆心做N个同心圆。本文取n=3,如图2所示区域分别为ABC,且重要程度从A到C依次递减。进一步突出表达核心区域的信息。
Step3.对不同区域赋予不同的权重。本文权重如下: A区域为0.5,B区域 0.3,C区域 0.2。
Step4.将3个区域的颜色直方图结合各自权重顺序连接,构成最终的特征向量。
本文方法在一定程度上弥补了重叠分块的不足。保持了图像的完整性,突出了核心区域信息,在一定程度上限制了背景信息。进一步提高了图像的查准率。
2.2.3 彩色直方图的构造
首先对图像进行同心圆区域的划分,然后提取各区域的颜色直方图并计算出相应的权重。具体步骤如下:
Step1.如图2所示,对图像进行圆形区域的划分。统计出每个区域中边缘像素点的总数SN(i),其中 i =1, 2, 3,并计算出对应颜色值为k(k=0,1,2,…255)的像素个数Ni(k);
Step2.构造出每个区域相应的颜色直方图
Qi(k)=Ni(k)SN(i)(其中i=1,2,3
k=0,1,2,…,255) (1)
Step3.计算出相应区域的权重
Step4.将3个区域的颜色直方图结合各自权重顺序连接,共构成3×256=768维。
综上可知彩色同心圆区域划分直方图,综合了颜色和空间。这种算法不仅能更加充分的呈现对图像不同位置的不同重要程度,而且也避免了颜色对空间信息的丢失。
2.2.4 相似度的度量
本文综合运用彩色同心圆区域直方图和计算图像间内容的相似度,并进行图像检索。所采用的距离欧氏距离,即:
dEuc(xp,xq)=d2m(xp,xq)=
(∑ni=1|xp-xq|2)12(2)
这样,进行图像检索时,计算公式计算出数据库中的每幅图像p与示例图像q之间的相似度,然后按照相似度由大到小的顺序返回基于内容图像检索的查询结果。
3 实验比较
为了从整体上验证本文算法的有效性,以下给出本文算法的检索实验结果,并与经典的颜色直方图方法、math算法进行比较。在实验中,我们从Corel图像库中选取10类图像,每类图像随机抽取50幅图像作为示例图像,总共500次查询,在将每次查询的前20幅最相似图像作为检索结果。对于每类图像而言,计算其50次查询结果的查准率和查全率的平均值作为该类图像的平均查准率和平均查全率。表1给出了颜色直方图法、MTH和本文算法相对应的结果(1表示颜色直方图法,2表示MTH方法,3表示本文方法)。
表1 查全率查准率比较
实验结果表明,与传统的颜色直方图方法比较,本文算法无论是在查全率而是查准率上都有所提高,平均查全率中,以雪山类图为例,本文的算法高出颜色直方图格倍多。MTH算法在查全率上表现突出,与本文算法接近,但在查准率上本文算法有一定优势,其中大象图,本文算法高出了MTH算法30%以上。所有实验结果验证了本文算法的有效性。
4 总 结
颜色是重要的图像视觉的感知特性之一,因为常用的颜色直方图在统计图像颜色特征时,其丢失了颜色的空间分布信息,针对此缺点,本文提出了一种综合利用颜色特征、空间特征表示图像内容的图像相似性检索方法——彩色同心圆区域划分法。这种算法对重叠分块法和传统颜色直方图法的进行了改进,实验表明,与单独的基于颜色或者纹理特征相比该算法能较准确和高效的查找出用户所需要的彩色图像。
参考文献
[1] CHANG S K,YAN C W,DIMITROFF D C. An intelligent image database system[J]. IEEE Trans. on Software Eng. 1988, 14(5): 412-421.
[2] DATTA R,JNSHI D,LI J, et al. Image Retrieval: Ideas, Influences, and Trends of the New Age[J]. ACM Computing Surveys. 2008, 40(2):1-60.
[3] NIBLACK W,BARBER R,FLICKNER M, et al. The QBIC Project: Querying Image by Content Using Color, Texture and Shape[A]. SPIE Storage and Retrieval of Image and Video Data-base[C].1993.173-187.
[4] PENTLAND A,PICARD R,SCLAROFF S. Photobook: Content-Based Manipulation of Image Databases[A]. SPIE Storage and Retrieval for Image and Video Databases H[C].1994.34-47.
[5] YONG RUI, THOMAS S HUANG, SHIH-FU CHANG. Image Retrieval: Part, Present, and Future[J]. Journal of Visual Communication and Image Representation,1998,10(1):39-62.
[6] YOO HUN-WOO,JUNG SHE-HWAN. Extraction of Major Object Feature Using VQ Clustering for Content-based Image Retrieval[J]. Pattern Recognition. 2002, 35(2): 1115-1126.
[7] LIN HWEI-JEN, KAO YANG-TA. A Study of Shape-based Image Retrieval[J]. IEEE Computer. 2004,22(2): 645-662.
[8] YU HONPUG-HEATHER. Visual Image Retrieval on Compressed Domain with Q-Distance Image Signal Process[J]. International Journal of Computer Vision. 2000, 31(1): 134-149.
2.2.2 同心圆区域划分算法
人们在观察图像时,对图像各个部分的重视程度不一样,对于绝大多数图像而言,中间部分为图像的核心区域,但是无论何种形式的均匀分块算法都不可避免的将图像的核心部分划分在不同的块内,破坏了图像的完整性,也不能很好的限制图像的背景信息,从而降低图像检索的精确度。因此本文提出了一种同心圆区域划分法,这种算法不仅能更加充分的呈现对图像核心区域重要程度而且忽略了,而且能够更好的限制图像的背景信息,具体算法如下:
Step1.做图像的内切圆。 方法如下:以图像的对角线的相交点为圆心O,以矩形的宽长为直径R做矩形的内切圆。如图2方式的划分.
由图2可知,内切圆体现了图像的有意义的信息,而剩余的四个角为图像不重要的背景或者无关信息。这样做,既可以突出图像的有用信息,又可以忽略没意义的无用的背景信息。
Step2.将第一步所得的内切圆的半径R均分为N等份,每份的长度为r=1/n,以圆心O为共有圆心做N个同心圆。本文取n=3,如图2所示区域分别为ABC,且重要程度从A到C依次递减。进一步突出表达核心区域的信息。
Step3.对不同区域赋予不同的权重。本文权重如下: A区域为0.5,B区域 0.3,C区域 0.2。
Step4.将3个区域的颜色直方图结合各自权重顺序连接,构成最终的特征向量。
本文方法在一定程度上弥补了重叠分块的不足。保持了图像的完整性,突出了核心区域信息,在一定程度上限制了背景信息。进一步提高了图像的查准率。
2.2.3 彩色直方图的构造
首先对图像进行同心圆区域的划分,然后提取各区域的颜色直方图并计算出相应的权重。具体步骤如下:
Step1.如图2所示,对图像进行圆形区域的划分。统计出每个区域中边缘像素点的总数SN(i),其中 i =1, 2, 3,并计算出对应颜色值为k(k=0,1,2,…255)的像素个数Ni(k);
Step2.构造出每个区域相应的颜色直方图
Qi(k)=Ni(k)SN(i)(其中i=1,2,3
k=0,1,2,…,255) (1)
Step3.计算出相应区域的权重
Step4.将3个区域的颜色直方图结合各自权重顺序连接,共构成3×256=768维。
综上可知彩色同心圆区域划分直方图,综合了颜色和空间。这种算法不仅能更加充分的呈现对图像不同位置的不同重要程度,而且也避免了颜色对空间信息的丢失。
2.2.4 相似度的度量
本文综合运用彩色同心圆区域直方图和计算图像间内容的相似度,并进行图像检索。所采用的距离欧氏距离,即:
dEuc(xp,xq)=d2m(xp,xq)=
(∑ni=1|xp-xq|2)12(2)
这样,进行图像检索时,计算公式计算出数据库中的每幅图像p与示例图像q之间的相似度,然后按照相似度由大到小的顺序返回基于内容图像检索的查询结果。
3 实验比较
为了从整体上验证本文算法的有效性,以下给出本文算法的检索实验结果,并与经典的颜色直方图方法、math算法进行比较。在实验中,我们从Corel图像库中选取10类图像,每类图像随机抽取50幅图像作为示例图像,总共500次查询,在将每次查询的前20幅最相似图像作为检索结果。对于每类图像而言,计算其50次查询结果的查准率和查全率的平均值作为该类图像的平均查准率和平均查全率。表1给出了颜色直方图法、MTH和本文算法相对应的结果(1表示颜色直方图法,2表示MTH方法,3表示本文方法)。
表1 查全率查准率比较
实验结果表明,与传统的颜色直方图方法比较,本文算法无论是在查全率而是查准率上都有所提高,平均查全率中,以雪山类图为例,本文的算法高出颜色直方图格倍多。MTH算法在查全率上表现突出,与本文算法接近,但在查准率上本文算法有一定优势,其中大象图,本文算法高出了MTH算法30%以上。所有实验结果验证了本文算法的有效性。
4 总 结
颜色是重要的图像视觉的感知特性之一,因为常用的颜色直方图在统计图像颜色特征时,其丢失了颜色的空间分布信息,针对此缺点,本文提出了一种综合利用颜色特征、空间特征表示图像内容的图像相似性检索方法——彩色同心圆区域划分法。这种算法对重叠分块法和传统颜色直方图法的进行了改进,实验表明,与单独的基于颜色或者纹理特征相比该算法能较准确和高效的查找出用户所需要的彩色图像。
参考文献
[1] CHANG S K,YAN C W,DIMITROFF D C. An intelligent image database system[J]. IEEE Trans. on Software Eng. 1988, 14(5): 412-421.
[2] DATTA R,JNSHI D,LI J, et al. Image Retrieval: Ideas, Influences, and Trends of the New Age[J]. ACM Computing Surveys. 2008, 40(2):1-60.
[3] NIBLACK W,BARBER R,FLICKNER M, et al. The QBIC Project: Querying Image by Content Using Color, Texture and Shape[A]. SPIE Storage and Retrieval of Image and Video Data-base[C].1993.173-187.
[4] PENTLAND A,PICARD R,SCLAROFF S. Photobook: Content-Based Manipulation of Image Databases[A]. SPIE Storage and Retrieval for Image and Video Databases H[C].1994.34-47.
[5] YONG RUI, THOMAS S HUANG, SHIH-FU CHANG. Image Retrieval: Part, Present, and Future[J]. Journal of Visual Communication and Image Representation,1998,10(1):39-62.
[6] YOO HUN-WOO,JUNG SHE-HWAN. Extraction of Major Object Feature Using VQ Clustering for Content-based Image Retrieval[J]. Pattern Recognition. 2002, 35(2): 1115-1126.
[7] LIN HWEI-JEN, KAO YANG-TA. A Study of Shape-based Image Retrieval[J]. IEEE Computer. 2004,22(2): 645-662.
[8] YU HONPUG-HEATHER. Visual Image Retrieval on Compressed Domain with Q-Distance Image Signal Process[J]. International Journal of Computer Vision. 2000, 31(1): 134-149.