基于手绘的准规则斑图花型图案检索

张梦玉，张华熊

(浙江理工大学 信息学院，杭州 310018)

0 引 言

社会发展呈现出多元化趋势，人们对自己的衣着打扮也越来越追求个性化。传统的服饰图案，如人物、动物、植物等题材形式已经不能满足人们对个性化的要求。随着计算机技术的发展，基于计算机技术生成的非线性图形开始作为一种全新的服饰图案出现在了人们的视野中。其中最具代表性的图案是以准规则斑图[1-2]为主要题材形式的准规则斑图花型图案。

随着数量的增长，如何实现对准规则斑图花型图案进行检索，是一个非常重要的问题。准规则斑图花型图案因其构成形状多样、颜色信息丰富，很难找到合适的文字对其进行描述。同样，准规则斑图花型图案极低的重复性，导致使用相似的图案对其进行“以图搜图”的检索方式也相对困难。随着触摸设备和智能设备的普及，出现了一种全新的图像检索方式——基于手绘图的图案检索[3-4]。这种检索方式具有很强的实用性，人们在进行检索时不必被选取合适关键字、寻找相似图案等条件束缚，可以随时随地将自己看到的或是突然想到的图案，通过手机或是触摸输入设备描绘下来，根据手绘的图案进行检索，寻找自己需要的图案。这种检索方式能够很好的满足人们的个性化需要，也能够很好解决准规则斑图花型图案因其图案信息丰富而难以检索的困难。

因此，本文针对准规则斑图花型图案周期性构成的特点，提出了基于图案基元分割的手绘准规则斑图检索算法，并解决了传统检索方式难以适应于准规则斑图检索的问题。算法首先采用基元分割的方式，简化准规则斑图花型图案的特征信息；再通过阈值分割与边缘检测相结合的方式，缩小与手绘图之间的差距；最后使用HOG特征提取算法进行特征提取，并通过相似性度量，计算待检索图案与图案库中图案特征之间的距离，实现最终的检索。

1 算法流程

本文提出的算法流程如图1所示。主要步骤包括：准规则斑图花型图案的预处理、特征提取、相似度计算等过程。

图1 算法流程

本文的预处理过程主要采用了图案基元分割与边缘检测相结合的方式。在这一过程中以准规则斑图花型图案为对象，采用图案基元分割算法，简化图案特征，以局部代替整体；再使用阈值分割与Canny边缘检测算法进行边缘提取。通过图案预处理过程进一步缩小手绘图案与准规则斑图花型图案之间的差距，提高特征提取的准确性。

在手绘过程中，人们往往更重视对花型图案形状的描述，因此，在特征提取的过程中，本文采取了更注重描述物体形状的HOG特征提取算法进行提取，以便能够更好的表现准规则斑图花型图案的形状信息。

特征相似度计算主要使用相似性度量，来计算手绘图案与准规则斑图花型图案库中图案特征之间的距离。通过距离的大小判断图案库中与检索手绘图案的相似性，并实现最终的检索。

2 图案预处理

2.1 基元分割

由于准规则斑图花型图案构成的复杂性和多样性，还有人们绘画水平的限制，在手绘时往往很难将准规则斑图花型图案完整的描绘下来。另外，绘制完整的准规则斑图花型图案也是件耗时耗力的任务，若以这种形式进行图案检索是非常不方便的，违背了设计手绘图案检索算法的初衷。并且在实际应用中，人们绘制的手绘图案(如图2左下所示)往往只是将准规则斑图花型图案中的基本构成形状绘制出来。针对以上问题，为了能够更接近实际应用中人们的手绘习惯，同时减少后续处理中带来的无效计算损耗，提高检索准确性。因此，本文采用基元分割方法，通过准规则斑图花型图案的对称轴[5]及对应坐标来确定重复区域，从而实现基元分割；并将准规则斑图花型图案库中的图案统一进行了基元分割处理，基元分割效果如图2左上所示。

图2 准规则斑图花型图案基元分割及对应的手绘图案

2.2 阈值分割与边缘提取

本文采用迭代阈值分割与Canny边缘提取结合的方法，来减小基元分割图案中无关形状对检索的干扰，并拉近与手绘图之间的距离。预处理后的准规则斑图花型基元图案的效果如图3(b)所示。

由图可见，在预处理后的准规则斑图花型基元图案与图3(c)中的手绘图非常接近，并且相较于图3(a)，预处理效果图中少了许多无关线条，构成基元图案的主要形状更加突出。为后面特征提取以及检索的实现做好准备。

(a)原图 (b)预处理效果图 (c)手绘图

3 图案特征提取及相似性度量

在经过准规则斑图花型图案基元分割以及预处理过程后，若要想实现最终的检索，选取合适的特征提取算法也是至关重要的一步。由图3(c)中的手绘图案可以看出，形状是准规则斑图花型图案的主要特征信息，也是手绘图案中的关键。因此，特征提取算法选择了更注重描述形状信息的HOG特征提取算法。

为实现基于手绘图的准规则斑图花型图案检索，还需要比较检索手绘图案与图案库中图案的HOG特征之间的相似性。若I表示准规则斑图花型图案库中的图案，Q表示检索手绘图案，本文使用下式对两幅图的相似性进行度量：

(1)

式中，d(i)表示图案I与检索手绘图案Q之间的HOG特征相似度，n代表的是HOG特征提取的维度，图案的大小不同则维度n不同。由公式(1)可知，d(i)越小，两幅图案之间的相似度越高。

4 实验结果与分析

4.1 基于手绘轮廓图的准规则斑图花型图案检索结果

本节实验中所使用的准规则斑图花型图案库中共有391张图案，并将图案库中的图案分为3类：类别1主要构成形状为圆形；类别2主要构成形状为方形；类别3主要构成形状为多边形。其中类别1有146张、类别2有37张、类别3有83张。剩余的127张统一归类为其它。对准规则斑图花型图案进行分类，为下面判断手绘图的检索准确性提供了依据。

为了更好的展示基于手绘图的准规则斑图花型图案的检索性能，采用平均检索精度(Mean Average Precision, MAP)[6]来表示检索准确度。经过实验计算，采用本文方法进行基于手绘图的准规则斑图花型图案检索的平均检索精度达到了83.11%，最终检索结果如图4(b)所示。其中，图4(a)中为检索手绘图，图4(b)为相似度最高的10张图案，分别按照从左到右，从上到下的顺序排列。这里定义检索结果中与检索手绘图的主要构成形状相同即为正确检索结果。

(a)检索手绘图 (b)相似度排名前10的图案

可以看到手绘的图案往往只绘制出了主要的基元图案的形状，而在检索结果中的准规则斑图花型图案中，大多主要构成形状与手绘图案相同或相似，颜色和排列方式都呈现出较大的区别，充分证明本文基于手绘的准规则斑图花型图案检索的有效性。

4.2 不同特征提取算法对检索结果的影响

为了能够更直观地展示不同特征提取算法对检索结果的影响，在本节中设置了对比实验。将本文使用的HOG特征提取算法与几何不变矩、文献[7]中使用的深度网络特征提取算法进行对比，不同特征提取算法下的检索结果见表1。

表1 不同特征提取算法的平均检索精度

由表中数据可知，使用HOG特征提取算法进行特征提取时的检索准确度最高。HOG特征提取在对局部区域进行特征描述时，具有较大的优势。几何不变矩虽然也是注重描述图案形状特征的特征描述符，但其最终将图案特征总结为7个不变矩的形式，在对复杂形状进行描述时，可能会导致部分特征的丢失，导致检索结果出现较大的误差。文献[7]的检索结果要略高于使用几何不变矩作为特征提取算法时的检索结果，可见深度网络相较于传统算法确实具有更强的特征提取能力。但是，文献[7]中使用的深度网络进行特征提取的方法在检索结果上仍然落后于本文使用的HOG特征提取算法。主要原因可能是基元图案中特征信息被大量减少，过深的网络导致学习过于充分，以至于造成了特征的混淆，不管是主要构成形状还是无关形状都被一并学习了下来；其次，图案库中的图案数量过少也不能最大限度的发挥深度网络的优势，导致检索结果较差。

综上所述，HOG特征提取算法是适合于基元图案的特征提取，并且最终检索的平均检索精度达到了83.11%。

4.3 预处理过程对检索结果的影响

在实现手绘图案的检索过程中，图案的预处理过程也是必不可少的一环。由于手绘图案是黑白的二值图案，准规则斑图花型图案则是彩色图案，且准规则斑图花型图案中颜色丰富，一些相近的颜色常常容易构成形状的边界模糊。此时若直接使用准规则斑图花型图案进行形状特征提取，可能会导致提取到的形状特征产生较大的误差，并且会进一步影响检索结果的准确性。因此，为突出预处理过程的重要性，在本节进行了预处理过程对检索结果影响的对比实验，平均检索精度见表2。

表2 有无预处理过程时的平均检索精度

由表中数据可以看出，在使用几何不变矩和HOG特征提取算法时，预处理过程的有无还是会对检索结果产生一定的影响。在使用进行了预处理后的准规则斑图花型图案进行检索的结果要高于未进行预处理时的检索结果。手绘是通过轮廓来表示图案信息的，因此采用边缘检测的预处理方法能够更好地缩小手绘图与原准规则斑图花型图案之间的差距，并且还能有效减少无关特征信息的干扰，提高检索的准确度。

另外可以看到，使用文献[7]的方法进行检索实验时，平均检索精度似乎没有受到预处理过程的影响，相反未进行预处理的检索结果要高于进行预处理的检索结果。这可能是因为经过预处理后的边缘轮廓图特征信息减少，不利于深度网络进行充分的学习，进而导致检索效果下降。因此，如何既保证深度网络得到充分的学习，又不影响检索效果，是后续研究中需要重点关注的问题。

5 结束语

本文针对准规则斑图花型图案周期性的构成特点，提出使用基于图案对称性的基元分割的方法，有效地将复杂多样的准规则斑图花型图案，替换成仅包含主要构成形状的基元图案后，进行基于手绘轮廓图的准规则斑图花型图案检索。本文在继承了传统的手绘图检索的图案预处理、特征提取、特征相似度计算等过程的基础上，加入了针对准规则斑图花型图案周期性的基元分割。并通过实验证明了该方法的可行性，同时检索结果较为准确，平均检索精度达到了83.11%。