基于迁移学习的图像分类方法研究

吴健　贾宏宇

摘 要：传统的图像分类方法需要消耗大量的时间，且分类效果相对较差。而基于迁移学习的图像分类方法可以较好地解决耗时长的问题。本文首先对图像分类的研究背景进行阐述，并介绍迁移学习的基本理论。然后着重介绍基于数据分布自适应的联合分布自适应算法，并将其应用于图像分类中，最后通过试验验证了该方法的有效性。

关键词：图像分类;迁移学习;联合分布

中图分类号：TP391.9文献标识码：A文章编号：1003-5168（2018）31-0020-03

Research on Image Classification Based on Transfer Learning

WU Jian1 JIA Hongyu2

（1.School of Electronic and Engineering and Automation， Jiangxi University of Science and Technology，Ganzhou Jiangxi 341000;2. School of Science， Jiangxi University of Science and Technology，Ganzhou Jiangxi 341000）

Abstract： Traditional image classification methods need a lot of time， and the classification effect is relatively poor. The image classification method based on transfer learning can solve the problem of time-consuming. Firstly， the research background of image classification was elaborated， and the basic theory of transfer learning was introduced. Then the joint distribution adaptive algorithm based on data distribution adaptive was introduced and applied to image classification. Finally， the effectiveness of this method was verified by experiments.

Keywords： image classification;transfer learning;joint distribution

遷移学习是将在某一个领域学习到的知识迁移到另一个领域，迁移的前提是这两个领域要有一定的相似性。迁移学习只需要对原来训练的方法进行少量修改，就能达到良好的图像分类效果。

1 迁移学习的基本理论

对于迁移学习，有两个基本概念，分别是域（Domain）和任务（Task）[1]。一个域D包括特征空间X和边际概率分布[PX]两个概念，其中[X=x1，…，xn]。给定原始域Ds，原始任务Ts，目标域Dt，目标任务Tt。迁移学习的目标是借助原始域（Ds）和原始任务（Ts）提高目标函数[fx]在目标域的分类效果。迁移学习常用的类型主要包括归纳迁移学习、直推式迁移学习[2]及无监督迁移学习[3]，它们之间的主要区别是源域（Ds）与目标域（Dt）、源任务（Ts）与目标任务（Tt）的相同或不同所引起的。

迁移学习的基本方法包括基于样本迁移、基于特征迁移、基于模型迁移、基于关系迁移。其中，基于特征和模型的迁移学习是研究的重点，这两种方法通常与深度神经网络结合起来使用。

2 基于数据分布自适应的迁移

2.1 边缘分布自适应

边缘分布自适应的主要思想是减小源域和目标域的边缘概率分布的距离，从而达到迁移学习的目的。边缘分布自适应方法是用源域概率[Pxs]和目标域概率[Pxt]之间的距离来计算两个领域之间的差异。用公式表示为：

[DISTANCEDs，Dt≈Pys|xs-Pyi|xi]            （1）

2.2 条件分布自适应

条件分布自适应就是减小源域[Ds]和目标域[Dt]之间的条件概率分布距离，从而实现迁移学习的目的。使用数学方法解释就是源域的条件概率减去目标域的条件概率，即

[DISTANCEDs，Dt≈Pxs-Pxt]         （2）

2.3 联合分布自适应

联合分布自适应（Joint Distribution Adaptation）就是既服从条件分布自适应，又服从边缘分布自适应，目的是减小源域和目标域二者分布的距离，即联合分布的距离[4]。联合分布自适应用公式来表示就是将源域与目标域的概率之差的绝对值加上源域与目标域的条件概率之差，公式为：

[DISTANCEDs，Dt≈Pxs-Pxt+Pys|xs-Pyt|xt]      （3）

3 试验

3.1 数据集准备

Caltech和Office是被广泛采用的2个基准数据集，用于评估可视化域适应算法。表1展示了Caltech和Office的具体情况。具体来说，主要有四个域，即C（Caltech-256）、A（Amazon）、W（Webcam）和D（DSLR）。通过随机选择两个不同的域作为源域和目标域，并构造4×3跨域对象数据集，即CA、CW、CD、AC、AW、AD、WA、WC、WD、DC、DA和DW。

3.2 算法实现

联合分布自适应算法的实现主要包括三个函数。第一个是联合分布自适应的主函数。此函数的输入参数分别是源矩阵特征[Xs]、源域标签向量[Ys]、目标特征矩阵[Xt]、目标域标签向量[Yt]以及选择结构。主函数的输出是此算法的最终精度、每次迭代后的精度列表及变换函矩阵A。第二个函数是为求得转换矩阵A和主函数中所需的经过转换后的数据矩阵Z。第三个函数是内核矩阵函数，其功能是通过输入的内核类型、源域和目标域共同组成的数据矩阵及内核的带宽求得内核矩阵K。在主函数中，要对转换过的整体数据矩阵Z进行归一化处理，以达到更高的分类性能。然后，通过Z求得源域的转换矩阵[Zs]和目标域的转换矩阵[Zt]。之后，将[Zs]通过MATLAB自带的fitcknn函数训练出KNN（K-nearest Neighbor Classification）模型，再将目标域的转换矩阵[Zt]利用KNN模型的预测功能，得到目标域的伪标签Y_tar_pseudo。最后，用整个目标域中伪标签与真实标签相等的结果的长度比上目标域中真实标签的长度，即可得到分类精度。在进行试验前，我们首先要将数据集加载到程序中，并对数据的特征进行归一化处理，再输入选择结构的参数即可运行得到图片分类的精度。

3.3 联合分布自适应方法与其他方法的比较

本节主要对基于联合分布自适应的图像分类方法与其他五种先进的图像分类方法进行比较。这五种方法分别是最近邻分类器（Nearest Neighbor Classifier，NN）、主成分分析（Principal Component Analysis，PCA）、测量流核法（Geodesic Flow Kernel，GFK）、迁移成分分析（Transfer Component Analysis，TCA）以及迁移子空间学习（Transfer Subspace Learning，TSL）。本文对联合分布自适应和上述的五种方法在相同数据集的情况下，分别作了12次圖像分类试验，试验的评价指标均为图像分类精度。试验结果见表2。

3.4 试验结果分析

为了更加直观地展示试验结果，将表2中的精度用频率分布直方图来表示（见图1）。从图1可以看出，JDA比其他五种方法的分类精度高，其平均分类精度为46.31%。

4 结语

本文研究的基于迁移学习的图像分类方法只需要在源域上进行特征标注，而无需在目标域上进行标注，减少了大量的重复劳动，且提高了分类精度。联合分布自适应中，数据的边缘分布和条件分布占同等地位。但实际上，在不同数据中，边缘分布和条件分布在联合分布中所占的比重是不同的，需要用更优的方法去调整不同分布的比重。因此，在将来的研究中需要对这方面继续改进。

参考文献：

[1] Pan S J， Yang Q. A Survey on Transfer Learning[J]. IEEE Transactions on Knowledge & Data Engineering， 2010（10）：1345-1359.

[2] Farajidavar N，Campos T D，Kittler J， et al. Transductive Transfer Learning for Action Recognition in Tennis Games[C]// IEEE International Conference on Computer Vision Workshops. 2011.

[3] Gopalan R， Chellappa R. Domain Adaptation for Object Recognition： An Unsupervised Approach[J]. Iccv， 2011（4）：999-1006.

[4] Long M， Wang J， Ding G， et al. Transfer Feature Learning with Joint Distribution Adaptation[C]// IEEE International Conference on Computer Vision. 2014.