一种基于注意力机制的无监督商标检索方法

梁观术，曹江中，戴青云,2，黄云飞

（1.广东工业大学 信息工程学院，广东 广州510006；2.广东技术师范大学 广东省知识产权大数据重点实验室，广东 广州510665）

商标是一种重要的知识产权。随着商品经济的快速发展和知识产权保护意识的增强，无论是商标注册的申请量、商标注册审查量还是有效注册商标量的数目都在不断增加。截至2019年上半年，我国的有效注册商标量已达到2 274万件，近五年来，商标申请量多达2 643万件，而且每年以约500多万件的速度在增长。如何从海量的商标库中快速有效地查找感兴趣的商标是开展商标应用和保护的基础和关键。目前，主要的商标检索系统均采用关键字(文本)检索，但由于商标的主要信息载体是图像，简单的文字难以完整地描述商标图像，并且通过文本描述图像的过程中极易受到主观因素的影响，因此，基于关键字(文本)的商标检索效果并不理想。近年来，随着图像检索技术的发展，基于图像内容的商标检索方式也得到广泛关注。图像内容的特征表达是影响图像检索的关键，早期表达商标图像的特征主要基于颜色直方图(Color Histogram，CH)[1-2]、局部二值模式(Local Binary Patterns，LBP)[3-4]、通用搜索树(Generalized Search Trees，GST)[5]，视觉词袋(Bag of Visual Words，BOVW)[6]，尺度不变特征变换(Scale Invariant Feature Transform，SIFT)[7]，形状上下文(Shape Context，SC)[8]等。随着深度学习技术的发展，基于深度特征的图像检索正在被越来越多的学者研究，并且取得了较传统特征更好的效果[9]。Tursun[10]首次把深度神经网络运用于商标特征提取方法上，实验表明其效果明显优于传统的方法。在文献[10]的基础上，Perez等[11]通过两个神经网络分别学习商标的视觉和语义特征，取得了显著优于单神经网络模型的结果，实验也表明基于神经网络的特征提取效果优于传统的特征提取方法。

然而，目前大部分基于深度神经网络的商标特征提取方法都是使用有监督方法[10-11]。有监督的特征学习方法对数据要求过于严苛，数据必须带有标注，对于大规模的商标数据而言，标注数据是一项非常耗时的任务，甚至是一项无法完成的工作。因此，有监督的特征提取方法并不适合大规模商标检索。最近，Wu等[12]提出了一种无监督特征学习算法-实例区分，它能够自动学习类别间的视觉相似性，而不依赖数据标注信息，该方法已成功应用于无监督特征学习方面[12]。同时，商标图像中包含的内容并不一定具有同等重要性，例如以人脸为主体的商标，通常面部区域会得到更多关注；对于含有复杂背景的商标，则前景的信息更容易被关注。然而，大部分的商标特征提取方法在处理商标图像时，无法有区分性地关注一些重要信息。Bahdanau等[13]曾在机器翻译领域提出注意力机制，引起研究者的大量关注，最近，Woo等[14]以此为基础提出了通道和空间混合的注意力模型-卷积块注意力模型，并通过实验验证了卷积块注意力模型不仅能够增强训练网络的空间特征表达能力，而且能够区别出不同位置的重要性关系。

针对现有商标特征提取方法无法有效捕捉重点区域的关键信息和图像标注成本过高的问题，本文提出一种基于注意力机制的无监督商标图像检索方法。该方法基于实例区分算法，将注意力模块同时运用在神经网络的特征映射层的空间维度和通道维度上，通过对各个通道进行权重的分配以及对空间变换参数的学习，增强了无监督网络的特征表达能力，同时，使用噪声对比估计[15]逼近非参数softmax函数，该方法能够大大降低计算量，提高算法的学习速度[12]。实验表明本文提出的商标检索方法要优于基于传统设计特征的商标检索方法，甚至优于一些基于监督学习的商标检索方法。

本文的主要工作包括：(1)将实例区分方法运用在商标检索，解决了商标大数据特征学习时商标数据标注难的问题，节省了标注需要的资源和时间；(2) 将注意力机制融入实例区分算法，提高商标特征无监督学习网络的特征表达能力，解决了商标特征无区分性的问题。

1 注意力机制

注意力机制是模仿人类视觉机制的一种机器学习策略。在认知科学中，由于信息处理的瓶颈，人类会选择性地关注所见信息的一部分，同时忽略其他可见的信息。2014年，Bahdanau等[13]提出了注意力机制，并成功应用于机器翻译领域，目前注意力机制已经广泛地应用在自然语言处理[16]、推荐系统[17]、语音[18]和计算机视觉[19-20]等领域。按照原理来区分，注意力机制主要分为3种模型：通道注意力模型、空间注意力模型、通道和空间混合的注意力模型。通道注意力模型关注“什么”是有意义的，它通过建模各个特征通道的重要程度，使模型能够针对不同的任务增强或者抑制不同的通道。Hu等[21]基于此观点提出了压缩和激励网络(Squeeze-and-Excitation Networks，SENet)，建立了特征通道之间的相互依赖关系，使得网络能够从全局特征中选择更大价值的特征通道并屏蔽无用的通道。不同于无差别地考虑每一个图像区域，空间注意力模型更侧重于相关信息的位置，它通过学习空间变换参数，使输入信息在执行空间变换后依旧保留着关键部分。Laskar等[22]提出了一种针对实例检索任务的空间注意力模型，解决了对关键部分权重分配的问题，让模型注意力更集中于重要部分的内容。Max等[23]提出一个空间变换网络(Spatial Transformer Networks，STN)，该网络具有空间不变性，通过对特征映射层进行空间转换，能够把输入图像转换成理想的图像，是一种典型的空间注意力模型。空间和通道混合的注意力模型由Woo等[14]提出，在空间和通道上同时使用了全局池化和最大池化操作提升了注意力模型的效果，实现了注意力模块与卷积神经网络架构的无缝集成。

通道注意力使每个通道拥有不同的权重，但忽略了空间层面的变换；空间注意力解决了信息的空间变换问题，但无法区分各个通道的贡献大小。通道和空间混合的注意力模型不仅增强空间特征的表达能力，而且能够区别出不同位置的重要性关系，告诉网络关注“什么”和关注“哪里”[24]，综合了通道注意力模型和空间注意力模型的特点，本文所采用的卷积块注意力模型正是一种最具代表性的通道和空间混合的注意力模型。该注意力模型将通道、空间两个维度的注意力模块以先通道域后空间域的顺序进行组合，再与无监督网络融合，让网络根据损失函数自主地学习特征的权重，聚焦图像的关键特征，解决了传统商标特征提取方法在对图像进行处理时，捕捉重点区域的关键信息能力不足的问题，同时，在不显著增加计算量和参数量的前提下，该网络能够重点关注更有区分能力的特征，提高特征的表达能力。

通道和空间混合的注意力模型如图1所示[14]，对于通道注意力模块Mc而言，给定一个中间特征映射层f′∈Rc×h×w作为输入，其中，c代表每一层的通道数，h代表每个通道的高，w代表每个通道的宽，即通道对应的权重。同时使用平均和最大的并行池化操作，然后经过多层感知器，最后对这两个通道的特征使用sigmoid激活函数，得到通道注意力特征，具体计算公式为

其中， δ(·)是sigmoid激活函数，MLP(Multi-Layer Perceptron)代表多层感知器， AvgPool(f′)和 MaxPool(f′)代表对特征映射层f′进行平均池化和最大池化操作。

图1 通道和空间混合的注意力模块Fig.1 Channel and spatial mixed attention module

同理，对于空间注意力模块MS而言，给定1个中间特征映射层f′′∈Rc×h×w作为输入，同时使用平均和最大的并行池化进行压缩操作，得到2个特征，并将其按照通道维度拼接在一起，组合成1个二维的特征，最后对二维的特征进行卷积处理，确保最后得到的特征f′′′与原来输入的特征f′′在空间维度是一致的，具体过程见式(2)。

其中，f n×n是卷积核为n×n大小的卷积运算。中间特征映射层f′分别依次经过通道注意力模块和空间注意力模块的表达式为

其中， ⊗代表向量元素依次相乘(element-wise multiplication)。

Woo等[14]通过实验表明卷积块注意力模型比单通道注意力模块或者单空间注意力模块体现出更好的捕捉关键特征能力，同时，也验证了通道注意力模块或者空间注意力模块同时使用平均和最大的并行池化比单一平均池化操作丢失信息更少，效果更有优越性。图2显示了卷积块注意力模型的优点[14]，图2(a)为ResNet50的热力效果图，图2(b)为加入了注意力模块的ResNet50热力效果图，在热力图中，模型越感兴趣的区域，显示的温度越高，即红色的比重越大，对于不关注的区域，则显示的温度越低，即颜色向浅蓝色靠近，显然，图2(a)只对船桨部分进行了重点关注，图2(b)的网络则关注了物体更多的关键信息，如人物、河水、船只等。鉴于卷积块注意力模型在捕捉关键特征能力上的优势，本文将这种卷积块注意力模型运用于商标特征训练学习中。

图2 注意力机制效果示意图Fig.2 Attention mechanism schematic diagram

2 基于注意力机制的商标检索方法

为了解决传统无监督商标特征提取过程中对商标图像关键特征获取能力不足的问题，本文将注意力机制引入到实例区分算法，提出了一种基于注意力机制的无监督商标检索方法。该方法把注意力机制同时运用在神经网络特征映射层的空间维度和通道维度上，使网络学习到更多关键元素，聚焦于更多关键的特征，从而提高神经网络对商标特征的表达能力。此外，该方法不需要标注数据，同时解决了商标检索中的标注难题。实验结果表明，该方法的特征提取效果优于常用的商标特征提取方法，甚至优于一些有监督的特征提取方法。

2.1 实例区分

实例区分是一种无监督特征学习方法。它的学习任务和思想是通过在所有数据下最大化实例本身的后验概率，间接地训练神经网络的特征提取能力。具体地说，实例区分算法将每个图像的实例作为一个独立的类来处理，并训练一个分类器来区分不同的实例类，这种方法不需要任何标签信息，文献[12]在ImageNet的分类结果上通过实验表明了实例区分算法能够自动学习类别间的视觉相似性，而不依赖数据标注信息，该方法在无监督特征学习方面取得了成功应用。

实例区分算法的目标是学习一个无监督的嵌入函数v=fθ(x)，其中图片x来 源于图像数据，fθ(x)为神经网络学习的函数，旨在将图片X={x1,x2,···,xn}映射成特征V={v1,v2,···,vn}，在视觉上将相似的图像映射到靠近的位置。因此，实例区分的重点在于神经网络学习到较好的嵌入函数，将视觉相似的图像映射在接近的地方。

实例区分算法主要流程如图3所示，具体步骤为：

(1) 选取n张 图像X=[x1,x2,···,xn]；

(2)对无监督网络进行向前计算，提取图像特征V={v1,v2,···,vn}，并存储为该训练批次的特征；

(3)在特征内存记忆模块进行负样本采样，得到负样本s；

(4)使用对比噪声估计的方法对实例和负样本进行计算近似损失值；

(5)根据步骤(4)计算的损失值进行反向传播，更新参数；

(6)当训练阶段次数n＞120时，停止训练网络，否则返回步骤(2)。

步骤(4)的损失函数是最小化数据和噪声样本的负对数后验分布，具体如式(5)所示。

图3 实例区分方法主要流程图Fig.3 Main flow chart of Instance discrimination

其中，Pk是噪声分布，假设噪声分布为均匀分布时，Pk=1/K，Pd是真实样本的采样分布，s为采样样本的个数。h(i,v)和h(i,v′)为 样本的特征为v的后验概率以及负样本特征v′的后验概率，分别由式(6)、(7)计算得到。

其中，v i表示商标图片xi经过实例区分算法后的特征值，v j是代表负样本的特征，来源于商标特征内存记忆模块，Zi是归一化常数，可采用蒙洛卡罗方法进行估计， τ是温度参数，它的作用在于使得softmax函数在归一化后仍能处于合理的取值范围内，同时也是训练过程有效优化不可缺少的参数[25]。

实例区分算法还面临一个巨大的挑战，即类别数量就是整个数据集的大小，对于本文实验商标数据集而言，类别数量高达90多万，显然，简单地将无参数分类器扩展更多类是不可取的。为了解决这个挑战，Wu[12]通过使用对比噪声估计模块[15]来近似计算在softmax分类器下的交叉熵损失大小，并采用近端正则化方法来达到一个稳定的训练过程[26]，避免了在计算损失时，对商标数据库的全体数据进行遍历。同时，实例区分算法在噪声对比估计框架下，通过采样恒定的负样本的数量，避免了在大数据环境下计算量的爆炸性增长，实现了针对大规模数据集的快速检索功能，而其他的非监督方法难以解决大数据背景下的计算量问题，并且无法保证检索的精度。噪声对比估计在不降低表现的情况下将计算复杂度从O(n)降低到O(1)，使实例区分算法能够应用在大型商标的数据集上。

2.2 基于注意力机制的无监督商标检索方法

实例区分方法可以实现商标图像特征的无监督学习，在不需要任何标签信息的情况下，可学习得到图像显著的视觉相似性。然而实例区分方法无法有效地捕捉重点区域的关键信息，针对这个问题，本文提出了一种基于注意力机制的无监督商标检索方法。该方法在实例区分算法的基础上，引入基于卷积块的注意力模块，通过对各个通道进行加权处理以及对空间变换参数的学习，增强了无监督网络的特征表达能力，同时解决了商标图像关键信息获取和图像标注问题。该方法的流程如图4所示，整个方法包含3个关键模块，分别为注意力模块、无监督网络的训练模块和商标检索模块。注意力模块主要用于提高网络对输入图像关键信息的捕捉能力。以第1层卷积块和第2层卷积块为例，如图1所示。商标图像x经过第1层卷积块c onv1生成商标特征f1，作为注意力模块A1的输入，在注意力模块A1中，f1先经过一层卷积层c onv生成新的特征f1′，特征f1′然后依次经过空间注意力模块Mc和通道注意力模块Ms，根据式(1)～式(4)生成特征f1′′′，f1′′′加上原来特征f1得到注意力模块A1的特征F1，最后传输到下一层卷积块conv2。无监督网络的训练模块的主要目的是训练商标特征提取器，用于提取商标特征。该模块使用ResNet50[27]作为无监督网络，并使用噪声对比估计替代非参数分类器。如图4所示，c onv1～conv4表示残差网络的第1层卷积块至第4层卷积块，A1～A3表示第1层注意力模块至第3层注意力模块，其中注意力模块中 conv表示卷积层。训练网络时，首先，利用商标数据库M来训练带有注意力模块的ResNet50，通过反向传播算法不断优化权重来提高正例样本的概率，最后通过更新式(6)和式(7)来最小化式(5)的目标函数JN(θ)。商标检索模块主要是计算商标图像的相似性并排序输出检索结果。首先，将商标数据集M经过已训练好的商标特征提取器ResNet50进行特征提取，形成商标特征库，同样地，利用训练好的ResNet50网络提取检索图像的特征，最后将待检索商标的特征与商标特征库进行距离计算，并根据距离从小到大对商标库的商标图像进行排序，排序商标图像即为检索结果。提出方法的商标检索流程如算法1所示。

图4 基于注意力机制的商标检索框架图Fig.4 Framework of trademark retrieval method based on attention mechanism

算法1基于注意力机制的无监督商标检索方法

输入：检索图片I

输出:商标数据库中与I相似的图像序列R

Step1：训练基于注意力的特征提取网络

3 实验结果及分析

为了验证本文提出方法的有效性，本文在目前最大的公开商标数据集——METU商标数据集进行对比实验[10]。

3.1 数据集

METU商标数据集包含923 343张商标图像，其中包含1个含有417张商标图像的测试集，该测试集分为35组，每组包含10～15张商标。在本文实验中，商标的训练集和测试集均缩小至32×32。为了比较的公平性，本文采用与文献[10]相同的方式，用417张商标测试集来对比检索效果。

3.2 评测指标

本文使用归一化平均排名(Normalized Average Rank，NAR)[10]作为评测指标。该指标是一种衡量检索效果优劣的常用指标，其计算公式为

3.3 网络参数设置

本文使用实例区分作为无监督特征学习的算法，选取网络层数相对适中的ResNet50作为无监督学习网络[27]，ResNet引入残差结构，解决了深层网络梯度消失的问题，便于研究注意力机制与不同深度的残差网络结合的检索效果。在实验中，为了与文献[10]形成公平的对比，实验参数保持与文献[10]相同，学习率α 为0.003，从80个阶段(epoch)开始，每40个阶段衰减原来的0.1倍，式(8)中的温度参数τ 设置为0.07，式(5)中的负样本s为4 096，特征的维度为128，训练集批次为256，测试集批次为100。此外，算法1中的训练阶段为120，训练至该阶段的算法趋于收敛，满足对检索的需求。

3.4 实验结果对比及分析

为了验证提出方法的有效性，本文将提出的检索方法与目前常用的几种商标检索方法进行了对比实验，同时也研究了注意力机制对特征提取网络的影响。在对比实验中，加入注意力模块的实例区分方法为本文的方法，未加入注意力模块的实例区分方法记为ResNet50(RS)。

(1)与基于传统特征提取的检索方法对比。与文献[10]类似，本文选取了颜色直方图(CH)[28]、局部二值模式(LBP)[4]，通用搜索树(GIST)[29]、形状上下文(SC)[30]、尺度不变特征变换(SIFT)[7]、快速鲁棒特征(Speeded Up Robust Features，SURF)[31]、梯度方向直方图(Histogram of Oriented Gradient，HOG)[32]，方向限制尺度不变特征变换(Orientation-Restricted SIFT，OR-SIFT)等常用的特征进行对比检索[33]。这些方法在METU商标数据集上的测试结果来源于文献[10]，为了公平起见，本文方法所使用的验证数据集和评测指标与文献[10]保持一致。实验结果如表1所示。表1中NAR均值和标准差是通过35组实验中的NAR计算得来。由表1可以看出，本文所提出的方法对比传统的特征设计方法体现出更好的优越性，NAR均值为0.101，因为传统的特征提取方法缺少了对商标图像特性的考虑，对所有图像提取方法均一致，没有分配关键特征权重，而本文的方法在实例区分算法的基础上，引入注意力模块，能有效地捕捉商标图像中重点区域的关键信息，检索效果明显提升。

(2)与基于深度特征的商标检索方法对比。实验选取文献[10]和文献[34]中的有监督特征提取方法进行对比实验，其中包括在ImagNet上的预训练模型AlexNet[35]、GoogLeNet[36]、VggNet16[37]和ResNet[27]等主流的深度神经网络。此外，还选取文献[38]中VggNet16(Conv5)和ResNet50(Pool4)的有监督特征提取方法，该方法将NPU商标数据集作为训练集，通过对图像变换整体的学习，来增强网络的特征不变性。实验中，AlexNet(FC7)表示使用AlexNet的FC7进行提取特征，其他网络同理。对比实验结果如表2所示。从表2中可以看出，尽管本文的方法稍逊色于VggNet16(Pool5)、VggNet16(FC7)和ResNet50(Pool5)等有监督检索方法，但是本文的方法优于AlexNet(FC7)、GoogLeNet(77S1)、VggNet16(FC8)、ResNet50(FC1000)等有监督方法，并且优于未加入注意力模块的实例区分方法ResNet50(RS)。对比于AlexNet和GoogLeNet[37]，表明VggNet具有更广泛的感受野，捕获了更多的上下文信息，因此VggNet的检索效果比AlexNet和GoogLeNet更优，此外。本文的方法与残差网络(ResNet)的另外几种有监督方法对比，实验结果表明了使用同样的残差网络，本文无监督方法效果优于大部分的有监督方法。众所周知，无监督方法在前期工作中节省了大量人力和时间，不用标注即可训练网络。有监督方法对数据要求太苛刻，需要标注信息，对于具有庞大数据量的商标数据集来说，人工标注数据是一件困难的事，甚至可能是一项几乎无法完成的工作。因此，综合标注成本和检索效果来看，本文提出的方法整体上仍具有明显优势。

表1 与无监督商标检索方法对比结果Table 1 Comparison with unsupervised trademark retrieval methods

(3)注意力机制对残差网络的影响。为了研究注意力机制的有效性，本文使用了ResNet18、ResNet34和ResNet50 3种不同深度的残差网络进行实验，如图5所示。商标图像的分辨率为3 2×32，从ResNet18至ResNet50，随着残差网络的加深，NAR值逐渐降低，与之相比，当残差网络融合注意力机制模块后，随着网络深度的增加，NAR值降低的更加显著。说明了随着网络深度增大，注意力机制对提升残差网络的特征表达能力更加明显。

此外，为了具体证实注意力机制对商标检索的提升效果，本文也给出了4个待检索样本在METU商标数据集上检索到的前10个结果。如图6所示，每一行的第1张商标均为检索图像，第2张至第11张为商标检索排序结果，其中，第1、3、5、7行表示无注意力机制的无监督ResNet50模型的检索结果，第2、4、6、8行表示有注意力机制的无监督ResNet50模型的检索结果，其中红色框标识的商标图像是在无注意力机制时没有出现在前10个检索结果中。通过图6可以直观地看到，注意力机制能够有效地提升商标的检索结果。

表2 与有监督商标检索方法对比结果Table 2 Comparison with supervised trademark retrieval methods

图5 注意力机制对残差网络的影响Fig.5 Impact of attention mechanism on ResNet

图6 部分样本的商标检索结果Fig.6 Retrieval results of some trademark samples

4 结论

本文将注意力机制引入到实例区分算法，实现了利用深度神经网络进行商标特征无监督学习，提出了一种基于注意力机制的无监督商标检索方法，试图解决海量商标检索中当前存在的数据标注成本大和商标重点区域特征信息难提取的问题。该方法通过对各个通道进行权重的分配以及对空间变换参数的学习，增强了网络的特征表达能力。在公开的商标数据集上的对比实验表明本文的方法优于传统的商标检索方法，甚至超越一些有监督学习的商标检索方法，验证了提出方法的有效性。未来，我们将会考虑通过少量标注信息提升商标检索效果，研究注意力机制与弱监督学习结合的商标检索方法。