基于特征融合的唐卡图像检索技术研究

巫青山 向宇静 牛光学

摘 要：本文深入研究了唐卡图像的特征，并研究了适合唐卡的颜色、纹理、形状及多种特征融合的提取方法，并设计了基于特征融合的唐卡图像检索系统，最后得出结论：将唐卡图像的多特征融合后检索系统的准确性有一定了提高。

关键词：图像检索；特征提取；特征匹配；特征融合

“唐卡”，系藏文音译，用彩缎装裱后悬挂供奉的宗教卷轴画。唐卡艺术品种繁多，取材广泛涉及到宗教画、传记画、历史画、反映生活习俗的风俗画等，其特点图像人物画法复杂、颜色丰富、色彩分布相对匀称。唐卡艺术是千百年来藏民族在文化、历史发展中积累的重要遗产，具有独特的艺术风格和浓厚的宗教色彩，在经济、文化、宗教和社会各方面发挥着越来越大的作用[1]。越来越多的唐卡图像以电子的方式来存储、管理和传播，以满足人们对唐卡艺术的欣赏和查询。研究如何从唐卡图像库中快速并且准确地检索出用户所需要的唐卡图像具有重要意义。文献[2]已经实现基于内容的唐卡图像检索，没有考虑唐卡图像的纹理特征，只是将颜色特征和形状特征融合。本文在基于内容的图像检索技术基础之上，深入研究了唐卡图像的特征，并研究了适合唐卡的颜色、纹理、形状及多种特征融合的提取方法，设计了基于特征融合的唐卡图像检索系统。

1 唐卡图像颜色特征提取

颜色特征是人们识别事物的主要感知特征之一，是用于区别不同事物的最简单、最有效的方法。提取唐卡图像的颜色特征要考虑以下问题：颜色空间模型的选择、颜色特征的描述、颜色特征匹配等问题。

1.1 RGB颜色模型

RGB颜色模型是最常用的颜色模型，用由R（红）、G（绿）、B（蓝）三个分量组成的三维空间[3]中的点来表示一种颜色，所有颜色都可以由R、G、B三个变量组合而成，三个分量取值范围为0～1。原点（0，0，0）代表黑色，点（1，1，1）代表白色，从黑色到白色的对角线是图像的一条灰色线。

1.2 颜色特征描述

由于对图像进行旋转、放大或缩小等操作时颜色直方图具有不变性，因而颜色直方图是对颜色特征进行描述的最常用的一种方法。颜色直方图公式[3]：

其中L表示特征可取值的个数，k表示图像特征取值，N表示图像像素的总数，nk表示图像中具有特征值为k的像素的个数。

在利用直方图对颜色特征进行描述前，先要对颜色进行量化[4]。在本文中，我们首先将图像的颜色空间划分为13小个颜色区间的，然后再统计图像颜色落在每个小区间的像素数量，从而得到R、G、B三分量的颜色直方图。

1.3 颜色特征匹配

常见颜色特征匹配算法：直方图匹配法、直方图相交法、距离法、中心矩法等。根据1.2中提取的颜色直方图，本文采用直方图匹配法对颜色特征进行匹配，计算公式[3]如下：

其中Q（i）表示待检测图像的颜色直方图中第i个柱的值，K（i）表示提取图像库中图像的颜色直方图中第i个颜色柱的值，L柱的个数，W（i）表示权重。

2 唐卡图像纹理特征

纹理指从整体上看表面呈现出某种规律，可以看成相同的表面组成，但从局部上看表面呈现出杂乱无序。纹理也可理解为图像灰度在空间上的变化和反复[5]，是人们视觉系统对物体表面现象的感知。

2.1 Tamura纹理特征

Tamura纹理特征[7]是由Tamura等人提出，该算法的基础是人类视觉系统对纹理的感知，所有的纹理在视觉系统上都有意义，主要用粗糙度、对比度、方向度来描述图像的纹理特征。

（1）粗糙度：最基本的纹理特性，反映图像的纹理粒度的特性。计算粗糙度的步骤如下：

第一步：计算大小为2k×2k的图像中活动窗口中像素的平均强度值，計算公式[6]如下：

其中k=0、1、2、3、4、5，f（i，j）表示点（i，j）处的像素灰度值。

第二步：计算每个像素在水平方向上和垂直方向互不重叠的窗口之间的平均强度差，计算公式[6]如下：

第三步：取水平方向上和垂直方向上平均强度差值最大者，并作为当前像素的领域均值差值。

第四步：从多领域尺寸中设置一个最佳尺寸，并在L（代表领域尺寸个数）个领域均值差值中求得最大值，计算公式[6]如下：

第五步：计算整幅图像的灰度图像的纹理粗糙度F，其中m、n分别表示图像的宽和高，计算公式[6]如下：

（2）方向度：描述纹理的散布或集中方向，对图像纹理的全局描述。方向度在像素梯度的基础上求得的，其计算步骤如下：

第一：计算像素梯度，计算公式[6]如下：

其中Vh、Vv分别是通过图像卷积 所得的水平和垂直方向上的变化量。

第二步：设定域值D，先对θ进行离散化，统计域值D小于 —G—的像素数量并构造方向角局部边缘概率直方图。

第三步：采用二阶矩累积方法计算方向度，计算公式[6]如下：

其中δ表示直方图归一化系数，np为直方图中峰波的个数，p为峰波的值，ωp为峰波两侧之间距离，βp表示为峰波中心位置，H为直方图，β为量化后的方向角。

（3）对比度：用于统计像素亮度的分布，其大小由灰度级动态范围、直方图上黑白两部分两极化的程度、边缘锐化、重复模式的周期决定。对比度计算公式[6]如下： ，其中b=A/a2，A为四次矩，a为方差，n取8、4、2、1、1/2、1/4、1/8。

（4）在设定不同的阈值情况下，利用Tamura纹理特征提取唐卡示例图1的纹理值如下表1。

2.2 纹理特征匹配

依据2.1中利用Tamura算法提取唐卡图像在纹理特征上的粗糙度F、方向度M和对比度N三个分量，本文采用以下公式描述待检测图像的F、M、N三个分量与特征库中图像的F、M、N之间的关系。

其中（DF，DM，DN）、（KF，KM，KN）分别表示待检测图像和特征库中图像的纹理特征在粗糙度F、方向度M和对比度N上的值。α、β、γ分别表示在粗糙度F、方向度M和对比度N三个分量上的权重因子，表示所提取的纹理特征侧重与某一分量。Dist（F，M，N）的值表示两幅图像的纹理特征之间的差距。

3 唐卡图像形状特征

形状特征描述图像中目标形状的特点以及空间区域特点，并且不会因为外界因素的改变而变化。目前为止，形状特征还没有确切的定义[7]。本文采用边缘直方图描述唐卡图像的形状特征。

3.1 边缘直方图算法

⑴Canny算子思想.提取图像中目标的边缘特征采用Canny算子[8]。Canny算子通过设定的两个阈值来检测强边缘和弱边缘。设定高阈值为T1，低阈值为T2，图像中目标边缘上的任一点（x，y）的梯度幅值为M（x，y）。若M（x，y）>T1，则表明点（x，y）一定在图像中的目标边缘上；若M（x，y）

⑵边缘直方图算法。第一步：先将图像转化成灰度图像，再利用二维高斯函数对图像进行降噪。二维高斯函数公式[9]如下：

其中δ是信噪比参数，f?（x，y）表示待降噪的图像，f（x，y）代表降噪后的图像。

第二步：计算图像中各点处的梯度幅度和梯度方向。计算公式[9]如下：

第三步：将边缘梯度方向值进行量化成36份，即从-1800～1800量化到0～36，得到唐卡图像的边缘直方图2。

3.2 形状特征匹配

基于上述3.1中提取图像的边缘直方图，本文采用1.3中颜色特征匹配的方法对形状特征进行匹配。

本文通过基于特征融合的唐卡图像检索实验系统，并得出结论：唐卡图像的多特征融合后检索系统的准确性有一定了提高，同时增加了检索时间；若只针对唐卡图像的单一特征检索实验，在颜色特征、形状特征、纹理特征之中，颜色特征作为检索条件的准确性最高；分析只融合两种特征的实验结果发现：颜色特征作为检索条件的准确性最高，纹理特征其次，形状特征最低，这可能与提取特征的算法和参数设定有关。要想大幅度的提高唐卡图像检索系统的效率和准确性，今后研究需要建立一个与人感知更为贴近的唐卡图像特征模型，探索出一种更能表达和描述唐卡图像特征的方法，并且将唐卡图像的低层特征与高层特征相结合起来。

[参考文献]

[1]王维兰，唐仕喜，钱建军，粱弼.基于内容的唐卡图像数据库检索系统[J].湛江师范学院学报，2008，03：91-95.

[2]李晓杰.基于内容的唐卡图像检索技术研究[D].西北民族大学，2011.

[3]章毓晋.基于内容的视觉信息检索[M].北京：科学出版社，2003.