一种图像分类中基于元学习的渐进式原型网络技术研究

杜刚　胡佳磊　姜晓媛　周小林　 张硕

摘  要： 分析了一种基于元学习的渐进式原形网络，只需要少量的图像样本，就可以完成模型的训练工作，并能快速识别新任务，具有极强的泛化能力.采用的渐进式训练策略，提升了模型的训练效率，降低了训练时间.

关键词： 渐进式原型网络; 深度学习; 元学习; 图像分类

中图分类号： TP 311    文献标志码： A    文章编号： 1000-5137（2022）02-0217-04

DU Gang， HU Jialei， JIANG Xiaoyuan， ZHOU Xiaolin， ZHANG Shuo

（School of Information Science and Technology， Fudan University， Shanghai 200433， China）

In this paper a progressive prototype network based on meta-learning was analyzed. With the proposed network only a few image samples were required to complete model training and new tasks could be quickly identified with outstanding generalization ability. The model training efficiency was improved and the training time was reduced dramatically by using the constructed progressive training strategy.

progressive prototype network; deep learning; meta-learning; image classification

0  引言

近些年，以深度学习为代表的机器学习算法在计算机视觉领域开始崭露头角并取得成功.然而，以深度学习为代表的人工智能技术仍然面临着诸如数据缺乏、模型泛化性能有限等局限与瓶颈.由于深度学习模型大多采用的是监督学习的模式，其在训练模型时需要大量的标注数据，在图像识别中，一些复杂的网络模型可能需要上百万张带有标签类别的图片.虽然随着大数据技术的发展，出现了一些诸如ImageNet的大型公开数据集，但是仍然缺乏例如医疗影像、稀有语言翻译、个人定制化教育、推荐系统等领域大规模的标注数据.此外，即使能够获得数据，高昂的人工标记样本成本同样制约了深度学习技术的应用.除此之外，深度学习模型的泛化能力仍然有限，当接到一个新的任务需求时，通常还是需要重新训练一个与之对应的新模型.

基于现有深度学习系统与人类在视觉识别能力上的差距，小样本学习应运而生，其旨在通过少量的标注样本，便能快速学习.其中，元学习逐渐成为小样本学习研究领域中主流的解决方案之一.

在此背景下，本文作者研究了一种基于元学习的渐进式原型网络图像分类模型.相对于传统的训练方案，随着迭代次数的不断增大，该模型的训练样本数有规律地渐进增长，模型的训练效率得到较大幅度的提升.该模型只需要少量的样本和时间进行训练，能快速准确地识别新任务，具有较强的泛化能力.

1  基于元学习的渐进式原型网络原理与实现

渐进式原型网络结构

设计由4个卷积模块堆叠而成的卷积神经网络作为特征提取模块，每个卷积模块由积层、批量归一化操作、ReLU激活函数以及最大池化层顺序构成.

渐进式原型网络，在对样本进行特征提取后，计算支持集中每个类别的原型特征表征.每个类别原型是支持集中该类别下所有样本特征的平均值，具体计算公式如下：

连续渐进式原型网络算法实现

数据增强

由图1，2可知，相较于原始训练模型，虽然漸进式原型网络在训练准确率上略有下降，但是测试准确率并未降低，且稳定在93%附近.图3显示：该网络完成训练过程所需要的时间更少.综合以上对比实验结果可知：相对于原始训练模型，使用基于元学习的渐进式增长模型在小样本分类任务上的训练效率有较大提升，同时模型的泛化性能下降的程度也在可以接受的范围内.

3  结 论

采用渐进式原型网络对Omniglot数据集进行渐进式增长训练，测试了元任务数量渐进增长情况下的模型性能变化，并在同等条件下与原始训练流程的模型进行了对比.实验结果表明：使用渐进式训练方法模型相较于原始模型，在小样本分类任务上的训练效率有所提升，同时只付出了训练准确率小幅度下降的代价.

参考文献：

[1]  LECUN Y， BENGIO Y， HINTON G. Deep [J]. Nature，2015，521（7553）：436-444.

[2]  WANG Y， YAO Q. Few⁃shot learning： survey [J/OL]. （2020-03-29） [2021-12-20]. https：// arxiv.org/abs/1904.05046v1.

[3]  VANSCHOREN J. Meta⁃learning： survey [J/OL]. （2018-10-08） [2022-01-08]. https：// arxiv.org/abs/1810.03548.

[4]  SIMONYAN K， ZISSERMAN A. Very deep convolutional networks for large⁃scale image recognition [J/OL]. （2015-04-10） [2021-01-12]. https：// arxiv.org/abs/1409.1556v1.

[5]  HOCHREITER S， YOUNGER A S， CONWELL P R. Learning to learn using gradient descent [C]// International Conference on Artificial Neural Networks. Berlin： Springer，2001：87-94.

（责任编辑：包震宇，顾浩然）