基于注意力自身线性融合的弱监督细粒度图像分类算法

陆鑫伟，余鹏飞，李海燕，李红松，丁文谦

（云南大学信息学院，昆明 650500）

（*通信作者电子邮箱lxw3405@163.com）

0 引言

近几年深度学习在计算机视觉领域取得了突破性的成就，被广泛应用于各种图像的分类识别任务。其中，细粒度图像分类是近年来计算机视觉领域一个非常热门的研究课题。细粒度图像分类旨在对特定对象类别，例如不同种类的鸟、狗、飞机、汽车等，进行更细致的子类别划分。与传统的图像分类问题相比，细粒度图像分类由于类间细微差异的区分甚小，内部变化非常微妙，因此图像细粒度分类难度更大，更具有挑战性。细粒度分类的研究算法上主要分为两大类［1］：一类是基于弱监督的算法，另一类是基于强监督的算法，后者非常依赖于人工标注的信息。其中最具代表的是Zhang 等［2］提出的Part R-CNN（Region-based Convolutional Neural Network）算法，首先通过Part R-CNN 使用自下而上的区域算法产生候选区，再利用R-CNN 对对象局部区域检测并评分，然后采用几何约束修正等对象局部区域定位得到特征表示，最后训练支持向量机（Support Vector Machine，SVM）分类器。数据集中目标对象姿态的变化会产生较大的类内方差，进而影响分类性能，对于姿态的干扰，Branson 等［3］提出了姿态归一化卷积神经网络（Convolutional Neural Network，CNN），对不同的输入图像定位检测局部区域后进行裁剪、对齐操作，得到不同层的卷积特征后，再连接成一个特征向量后训练SVM分类器。

强监督算法在一定程度上提高了分类精度，但其高度依赖于数据集本身的标注信息，对数据集的要求比较高。为此，有些学者提出了细粒度图像分类的弱监督算法。例如：Lin等［4］提出的双线性CNN 模型，该模型包括两个网络A 和B，其中网络A 用于定位物体，网络B 用于对定位物体进行特征提取，计算出不同空间位置的外积并采用平均池化得到双线性特征。外积捕获了特征通道的平移不变的成对关系，最后进行端到端的优化。Fu 等［5］提出循环注意卷积神经网络（Recurrent Attention Convolutional Neural Network，RA-CNN），使用APN（Attention Proposal Network）定位待识别对象的区分性区域，并在训练中使用排序损失函数和多尺度网络逐步且精确地聚焦到关键区域。Yu等［6］提 出HBP（Hierarchical Bilinear Pooling）模型，用一种可跨层的双线性池化算法来捕获层间部分特征的关系，同时集成多个跨层双线性特征形成分层双线性池化框架来增强模型的表示能力。Yang等［7］提出了一种自监督机制网络模型NTS-Net（Navigator-Teacher-Scrutinizer Network），采用多代理协作的学习算法，引入特征金字塔网络（Feature Pyramid Network，FPN）来强化学习，准确识别细粒度图像分类任务中的关键信息区域，使用改进的排序一致损失函数来提取出更多的信息区域。Hu 等［8］提出了WS-DAN（Weakly Supervised Data Augmentation Network）的算法，主要采用类中心损失函数在注意力模块上引入BAP（Bilinear Attention Pooling）机制，使得引导注意力区域的方式简单化，生成网络训练更加快捷。

上述算法主要通过定位到图像对象中的注意力区域，减少了图像背景的干扰，使得模型在执行分类任务时更加注意到这些具有判别性的区域［9-11］。通过对对象的特征提取得到的注意力区域块，虽然包含了部分细节特征，但是类内判别性差异甚微。因此本文通过采用Inception V3 网络以及深度分离卷积预测出注意力区域，提出了AABP（Attention-Attention Bilinear Pooling）网络将注意力定位到更加细微的判别性区域上，从而改进筛选定位关键区域后的特征提取算法，有效地减少全局特征和局部特征线性融合后，在分类时产生不断叠加的误差，有效地提高了分类算法的识别准确率。

1 基础网络

1.1 本文算法

本文首先对输入的原始图像进行预处理，裁剪到448×448 的像素尺寸，其后经过采用Inception V3 作为特征提取网络的特征映射模块得到特征区域，进一步在包含有深度可分卷积的注意映射模块中预测出一定的注意区域。生成的注意区域通过WS-DAN算法反馈回网络中，以此来增强数据。

第一阶段生成的注意区域和第二阶段生成的注意区域通过AABP 算法进行特征线性融合，最后与Ground Truth 作Loss计算。本文算法的总框图如图1所示。

图1 本文算法总框图Fig.1 General block diagram of the proposed algorithm

1.2 Inception V3

弱监督算法中往往需要定位到图像对象的局部特征，才能进一步提取注意力区域作为判别区域。细粒度分类的痛点在于对象信息位置的差异性，信息分布较为局部［12］，因此较大的卷积层不仅消耗计算资源更会产生过拟合的风险。Inception V3 在保证性能的前提下使用更小的核以及非对称方式减少参数，添加BN（Batch Normalization）层来解决梯度消失的问题。通过加载预训练的Inception V3网络，迁移学习到细粒度分类任务的数据集上进行训练。如图2所示［13］。

模型使用LSR（Label Smoothing Regularization）算法，训练时输出为Softmax层归一化的概率分布由式（1）表示：

对于每个训练输入的x，模型计算每个标签k的概率p，其中z是logits 或未归一化的对数概率，其单个交叉熵损失函数由式（2）所示：

训练集上单个输入x标签的实际概率分布经归一化后，由式（1）、（2）反推整个训练收敛时Softmax 正确分类的输入会无穷大，会导致训练结果的过拟合，为了防止最终的p（k）=1，在输出p（k）时附加一个参数ε产生新的q′(k)替换掉式（2）的q（k）计算损失，防止把模型预测值过分集中在概率较大的类别上，对小概率类别增加更多的关注，如下所示：

以鸟类图像细粒度分类为例，在Inception V3网络结构预训练之前将图像统一调整为229×229 像素，预训练的过程［14］如下所述：

1）首先输入299×299×3的图像，经过5个卷积和2个最大池化输出35×35×192 的结构，其次Inception V3 结构含有5 路卷积通道，分别对应InceptionA、B、C、D、E 结构，每种结构中包含一个平均池化或最大池化，其目的是对数据进行下采样。这样在张量传递的过程中不仅能减少计算参数还能减少数据维度避免过拟合；

2）InceptionA 使用了3 次，分别是Mixed_5b（图2 中简写为M_5b）、Mixed_5c、Mixed_5d将输入通道从192变为288；

图2 Inception V3模型结构Fig.2 Model structure of Inception V3

3）InceptionB使用了1次，在Mixed_6a中将35×35×288结构变为17×17×768，通道数增大到原来的2.7倍且空间维度减半；

4）InceptionC 使用了4 次，分别为Mixed_6b、Mixed_6c、Mixed_6d、Mixed_6e其输入和输出不变均为17×17×768；

5）InceptionD使用了1次，在Mixed_7a中将输入17×17×768变为8×8×1280，通道数增大到输入的1.7倍，空间维度减半；

6）InceptionE 使用了2 次，分别是Mixed_7b、Mixed_7c 中，将输入8×8×1 280变为固定输出8×8×2048；

7）最后经过8×8 的平均池化输出为1×1×2 048，之后dropout 层用于正则化降低过拟合风险，再经过全连接层和Softmax输出长度为200的特征映射。

Inception V3 网络优化算法采用RMSProp（Root Mean Square Prop）替代随机梯度下降（Stochastic Gradient Descent，SGD）对梯度计算了微分平方加权平均数，降低了损失函数在更新过程的摆动幅度，进一步加快函数的收敛。在上述流程中Inception V3 网络采用新的三种结构，即步骤2）、3）、4）所述，深层次的网络结构使用了较为丰富的卷积特征增加网络的感受野，融合了更多的尺度特征，使得输入为低分辨率的情况下同样能达到近乎高分辨率输入的准确率，增强网络的特征提取能力训练出高质量的网络。

Inception V3 网络特点之一就是分解大尺寸核的卷积：一是将大尺寸卷积核分解为小尺寸卷积核，二是非对称卷积的空间分解。以InceptionE 的网络为例，其结构如图3 所示，模型将一个较大的二维卷积拆成两个较小的一维卷积，如3×3卷积拆成1×3 和3×1 的两个卷积，将全连接层和一半卷积转化为稀疏连接，既节约了参数又加速运算减轻了过拟合，在增加网络深度的同时增加了一层非线性扩展模型表达能力［15］，节省训练成本。

图3 InceptionE网络结构Fig.3 Network structure of InceptionE

1.3 WS-DAN

在大多数深度学习模型的训练过程中，可以采用数据增强的方式来防止过拟合以改善模型的性能。本文在训练模型时采用WS-DAN 的数据增强算法，如图4 所示，区别于传统的镜像、翻转以及随机裁剪等数据增强算法［8］，WS-DAN 由生成的注意力区域两方面增强图像数据：第一部分可以分为注意力裁剪和注意力下沿两块内容，被应用到模型的训练过程中，使得模型更好地看到图像的细节特征和更多的主体部件；第二部分则是通过模型得到注意力区域，定位到目标主体，使得模型可以更近地观察到目标主体，避免了引入一些不可控的背景噪声，在模型的测试过程中提升模型的效率和验证出较高的分类性能。

图4 WS-DAN数据增强的算法Fig.4 Data augmentation method of WS-DAN

2 识别网络

通过上述算法选取预加载训练好的Inception V3 网络模型，迁移学习到细粒度图像分类任务中［16］，通过检测目标和定位对象的算法，提取出目标中的特征区域。Inception V3 网络提取特征图的过程类似于APN 结构［5］中的尺度网络，将提取出的特征图与输入图像的尺寸保持一致，不同的是识别出特征区域之后采用深度可分离卷积对特征区域操作得到注意力区域。具体操作如图5所示。

图5 注意力区域提取过程Fig.5 Process of attention region extraction

类比于预训练过程，使用InceptionE 中Mixed_7c 的网络结构输出得到j个特征映射F。为了防止在线性整流函数（Rectified Linear Unit，ReLU）处理之前数据过大导致网络不稳定，因此在作为注意力区域提取的深度可分离卷积过程中在两个卷积层之后分别添加BN 层，利用BatchNorm2d 函数进行数据归一化处理。公式如下所示：

对于输入的张量（N，C，H，W），输出保持尺寸不变，其中N表示输入图像数量，C表示通道数，H表示图像对应的高度，W表示图像对应的宽度，E[x]和Var(x)为输入数据的均值和方差，γ和β默认分别为1 和0 对输入进行线性变换，ϵ为防止分母为零的稳定性参数，默认为0.001。

2.1 注意力目标区域预测

输入图像I通过Inception V3 卷积操作得到特征图映射F∈Qj×h×w，其中h、w和j分别表示特征区域的高、宽（与输入一致）和通道数。之后通过卷积操作及注意映射得到注意区域Ai∈Qi×h×w，其中h、w和i分别表示特征区域的高、宽和通道数。Ai∈Qh×w表示输入图像主体的某一部分，例如鸟的头部等。注意力区域提取的过程中，对于Inception V3提取到的j个通道特征F采用尺寸为1×1的卷积核进行深度可分离卷积输出为i个通道注意力区域。如式（5）所示：

深度可分离卷积主要分为两个部分［17］。

第一部分为“Depthwise Conv”深度卷积，其卷积过程如图6 所示。对输入特征的每个通道单独做卷积操作，收集到对应每个通道的输出特征。

图6 Depthwise卷积过程Fig.6 Depthwise convolution process

第二部分为“Pointwise Conv”逐点卷积，其卷积过程如图7 所示。深度卷积所得到的每个通道的空间特征，通过逐点卷积操作将不同通道的特征区域结合起来，收集得到的每个特征点达到和标准卷积一样的效果。

图7 Pointwise卷积过程Fig.7 Pointwise convolution process

通过两部分的拆分降低了参数并压缩了计算量，两者结合的模型结构如图8所示。

图8 深度分离卷积模型结构Fig.8 Model structure of depthwise separable convolution

2.2 AABP结构

弱监督学习有两大难题：一是在没有标注信息仅有标签信息的情况下定位到特征区域［10］，上述的Inception V3结构已经很好地解决了这个问题；二是如何确定特征融合的方式将有效的信息区域进行融合，其关键在于确定了注意力区域后，模型网络能够将学习的特征更加集中到关键性的判别区域［18］。本文提出的注意力自身线性融合算法，可将模型注意力进一步集中到特征区域中愈加细微的部分。其模型结构如图9所示。

图9 注意力自身线性融合模型结构Fig.9 Model structure of AABP

AABP 算法本身是对BAP 算法的改进，BAP 算法采用标准卷积对特征图所提取出的注意力区域和特征图本身进行同位元素相乘，其目的是强化对局部关键性区域的学习，因此采用了全局特征和局部特征的融合方式，将注意力区域嵌入到全局特征中，最后级联得到特征融合矩阵。本文提出的基于注意力自身融合的机制，采用深度可分离卷积对特征图提取出更为集中的关键区域的注意力区域，得到的注意力区域对应自身进行同位元素相乘，得到线性融合后的对应强化后的注意力特征区域，通过全局平均池化操作得到最后的注意力特征矩阵。其目的是将注意力更加集中到局部区域的表征对象上来，更加细致地让模型结构去学习细微特征。通过自身融合的方式，一定程度上减少了网络模型对干扰信息（如背景）的学习，充分利用局部注意力特征所产生的判别性信息［19］，增强注意力与自身的空间联系，避免了与其他无关特征的联系，有效防止了过拟合的情况。

同一个输入对象得到的注意力区域通过同位元素对应相乘的方式进行自身线性融合。如式（6）所示：

其次通过全局平均池化的操作p(*)将线性融合后的注意力区域矩阵降维生成注意力特征向量ti∈Q1×i，如式（7）所示：

再将计算得到的i个注意力特征向量进行级联操作，得到注意力特征矩阵T∈Qi×i，如式（8）所示：

AABP 算法的特点在于由特征提取网络得到的注意力区域，自身进行线性融合，BAP 算法虽然能让有效信息更加丰富，但是其在特征融合的过程增加了一些不必要的信息干扰。AABP 通过与自身的注意力融合，保证其注意力更加集中到细微特征，通过最后的级联得到了一个仅仅包含注意力区域对象的特征融合矩阵，最终应用到训练网络中使得分类性能得到提升。

3 实验说明及分析

3.1 实验内容及数据集说明

本文实验选用在细粒度图像分类领域中最为经典和常用的CUB-200-2011 鸟类数据集［20］作为实验对象与其他主流算法进行比较。该数据集涵盖了200 种鸟的类别，包括5 994 张训练图像和5 794 张测试图像，除类别标签外，每个图像都会用1 个边界框、15 个局部位置关键点和312 个二进制属性进行进一步注释。作为弱监督学习的模型只需要用到标签信息就足够了。

同时还选取在细粒度图像分类领域中另外两个著名的数据集：Stanford Dogs［21］和飞行器细粒度觉分类（Fine-Grained Visual Classification of Aircraft，FGVC-Aircraft）［22］进行实验。Stanford Dogs 数据集包含来自世界各地的120种犬的图像，共有20 580张图像，由于大多数犬类与人类生活相互关联，导致犬类数据比鸟类数据集的背景干扰更加复杂，因此本次实验采用12 000张训练图像和8 580张测试图像。

FGVC-Aircraft 包含四种类型的标注：按照飞机生产商进行划分，可分为30个类别；按照系列进行划分，可分为70个类别；数据集的边界标注信息；按照类型进行划分，可分为100个类别。本次实验采用第四种划分方式进行实验，其中包含6 667张训练图像和3 333张测试图像。

实验采用的服务器硬件配置为i9 7900 的CPU，Geforce GTX 1080ti 11G 的两块显卡，16 GB 的内存。软件配置为Ubuntu 16.04 的操作系统，CUDA 10.1 的驱动，python 3.6 的语言环境，pytorch 1.4的深度学习框架。

本次实验的目的在于验证AABP 算法的可行性，并在此基础上训练出模型的最佳准确率。实验参数epochs 设为160，batch_size设为12，初始学习率设为0.001，每次输入图像的尺寸统一设定为448×448 像素，所需提取的注意力特征区域通道数i设为32。

3.2 训练测试结果及分析

训练时加载图像的设为448×448，测试输出时将图像尺寸设定为448×448 像素。图10 热力图效果对比展示了本文AABP 算法能够将注意力更加集中到更具判别力的特征区域，其中虚线黑框表示热力图中目标图像主体部分，而白色实框表示注意力集中中心的部分。图10 中分别选取绿纹霸鹟、漂泊信天翁和黑脚信天翁三种鸟类采用WS-DAN和本文算法对比。从图像的对比结果来看，三种鸟类的目标主体识别上差别不大，都能定位得到主体对象；但是在注意力特征区域定位上存在一些差异，在图10 中WS-DAN 会产生一些注意力集中偏差，例如在图10（a）和图10（b）中4 个角落上注意力热点以及图10（c）中海面上一些较浅的热力区域，这些注意力偏差是因为WS-DAN采用局部特征和全局特征融合而引起的。另外本文算法不仅能够过滤掉这些注意力偏差的影响，还能将注意力进一步集中到判别区域上来，例如从图10（a）的头部到眼睛、图10（b）的喙到喙的纹路、图10（c）的背部到头部。从三类鸟两算法对比，体现出本文算法强化注意力特征区域的能力。

图10 热力图效果对比Fig.10 Effect comparison of heat map

本文采用高性能的深度可分离卷积替换标准卷积，因此从特征图中提取出的注意力区域更加集中于所在区域的中心位置，其次WS-DAN 中的BAP 算法是对注意力区域和特征图进行同位元素相乘。从图10 可以看出WS-DAN 算法会将热力区域定位到一些和分类无关的、不必要的背景信息上，而本文的算法能够将这些干扰信息去除掉，减少了背景干扰信息对分类的影响。

然而依然存在个别鸟类识别效果较差情况，本文统计测试集中对应鸟类识别错误次数，如图11 所示，列出误识别次数较多的10种鸟类，选取最差的4类进行分析。其中，中贼鸥在测试集中错误识别高达6 次，其次是长尾贼鸥和北美安娜蜂鸟错误识别为5次，红喉北蜂鸟也错误识别4次。

以图11 这个结果作为讨论，在这种情况下分析发现，大量的误识别发生在同目同科同属不同种或者同目同科不同属不同种的鸟类之间。

图11 识别错误最多的前十种鸟类Fig.11 The first ten species of birds with many incorrect identifications

中贼鸥（拉丁学名：Stercorarius pomarinus）和长尾贼鸥（拉丁学名：Stercorarius longicaudus），都属于鸥形目贼鸥科贼鸥属，中贼鸥属于中贼鸥科，长尾贼鸥属于长尾贼鸥科，因此外形相似度较高，如图12 所示，上面为中贼鸥，下面为长尾贼鸥。通过图12（b）可以看出注意力中心集中在了中贼鸥的脖颈处，这是因为模型本身随机确定注意力中心造成的。虽然长尾贼鸥热力区域很好地集中在了头部关键位置，但是从图12（c）注意图中不难看出，由于图像中手的干扰使得手也成为注意力图的一部分，从而影响最终的分类。

图12 对比中贼鸥和长尾贼鸥错误识别结果Fig.12 Contrast error recognition results of pomarine jaeger and long tailed jaeger

安娜蜂鸟（拉丁学名：Calypte anna）如图13所示。两者同样包含了上述背景干扰的等问题，雄性安娜蜂鸟在图13（c）中注意图中包含了较浅粉色圆盘，而雌性安娜蜂鸟同样在图13（c）中分散了一部分注意力到红色的花卉上。由于蜂鸟的个体娇小，很容易在其活动中因为一些背景因素的干扰，引起注意力分散。背景因素影响是造成北美安娜蜂鸟分类精度差的次要原因，但究其主要原因则是同类个体之间存在一些明显差异。北美安娜蜂鸟雄性有明显的粉红色冠，而幼鸟和雌鸟头部却是绿色。

图13 对比北美安娜蜂鸟错误识别结果Fig.13 Comparison of error recognition results of Anna’s hummingbird

红喉北蜂鸟（拉丁学名：Archilochus colubris）如图14 所示，红喉北蜂鸟1，虽然能将注意力集中定位到红喉这一特征上，但原始图像本身质量较差，得到注意力图后影响其整体识别的正确率。其主要特征为：青铜绿背面、浅灰色的腹部和胸部以及绿色的侧面。红喉北蜂鸟2 由于个头较小，羽色与植物颜色相近，且背景虚化程度较深对其识别定位干扰较大。由于高频扇翅运动使得拍摄到的躯干模糊不清，虽然注意图能够定位到主体部分，但是在热力图上对判别区域的捕捉并不到位。另外北美安娜蜂鸟雌性和红喉北蜂鸟这两种鸟类之间存在的一些相似性造成两种鸟类之间出现错误识别的情况。

图14 对比红喉北蜂鸟错误识别结果Fig.14 Comparison of error recognition results of ruby throated hummingbird

进一步的分析发现，识别易受背景的干扰，如果背景干扰相对较少，识别度准确率相对较高。例如：朱红霸鹟（拉丁学名：Pyrocephalus）为雀形目，属于霸鹟科。朱红霸鹟有明亮的红冠，尾羽呈褐色。如图15 所示，图中的朱红霸鹟图像本身背景颜色单一，质量较好，且其姿态大多呈站姿状态变化差异不大，同类间差异不明显，通过注意力集中到喙、眼睛和背羽等关键性判别区域上，因而可以很好地注意到目标主体，进而做出准确的识别。

图15 朱红霸鹟的分类准确率高效果展示Fig.15 High accuracy effect with the classification of vermillion flycatcher

3.3 常用数据库识别率对比

表1展现了不同算法在鸟类数据集上分类准确率的结果比较。本文提出的注意力自身线性融合的算法能够有效地将模型的注意力集中到更加细致的判别性特征上，因此在鸟类数据上取得了相对较好的88.5%的分类准确率，略高于目前的主流算法，识别率虽然提高不大，但是通过自身融合的方式将计算量降低到WS-DAN原计算量的，有效地减少了计算量。

表1 不同算法在鸟类数据集上的分类准确率对比 单位：%Tab.1 Comparison of classification accuracy between different methods on birds dataset unit：%

表2展示了本文算法与WS-DAN在鸟类数据集上准确率的对比，与WS-DAN相比本文算法top1的准确率（pytorch实现）提升了0.23个百分点，top5的准确率提升0.19个百分点。

表2 本文算法与WS-DAN在鸟类数据集上的准确率对比 单位：%Tab.2 Accuracy comparison between the proposed algorithm with WS-DAN on birds dataset unit：%

表3展示了本文算法与WS-DAN在犬类数据集上准确率的对比，与WS-DAN相比本文算法top1的准确率（pytorch实现）提升了0.11个百分点，top5的准确率提升了0.05个百分点。

表3 本文算法与WS-DAN在犬类数据集上的准确率对比 单位：%Tab.3 Accuracy comparison between the proposed algorithm with WS-DAN on dogs dataset unit：%

表4展示了本文算法与WS-DAN在飞机数据集上准确率的对比，与WS-DAN相比本文算法top1的准确率（pytorch实现）提升了0.24个百分点，top5的准确率提升了0.09个百分点。

表4 本文算法与WS-DAN在飞机数据集上的准确率对比 单位：%Tab.4 Accuracy comparison between the proposed algorithm with WS-DAN on aircrafts dataset unit：%

4 结语

本文针对细粒度识别过程中的注意力机制，提出了一种基于注意力自身线性融合的识别网络。通过Inception V3 提取出的特征图通过深度可分离卷积操作得到注意力区域，再通过AABP 的算法将所得的注意力区域生成注意力特征矩阵放到模型中进行训练，使得模型将注意力更加集中到更具判别性的细微差异特征上。在细粒度图像数据库CUB-200-2011 鸟类数据集、Stanford Dogs、FGVC-Aircraft 进行了充分的实验，取得了较好的实验结果，并对错误分类情况进行了详细的分析，为下一步改进优化本文算法奠定了基础。在本文研究中只选择了Inception V3网络进行特征提取，没有测试其他主流的特征提取网络，其次在数据增强方面只采用了WSDAN 这一种办法。针对这两处局限性以及误识别样本情况的分析，在接下来的研究工作中，将进一步改进模型结构，使得本文算法更加完善。