【笔记】关于N-Way K-Shot 分类问题的理解

• Time: 2019年10月27日
• Author：Veagau

在看讲Repitle的论文【On First-Order Meta-Learning Algorithm】时，实验环节对N-Way K-Shot分类问题的SetUp进行的描述引起了我的二度思考，以前对这个问题的理解感觉没摸透，以此为契机，重新思考得出了一种理解。

所谓N-Way K-Shot 分类问题就是指用少量样本构建分类任务的。主要应用于少样本学习（Few-Shot Learning）领域，样本数据不足的情况，后来逐渐延伸到元学习（Meta-Learning）领域。

元学习需要通过在大量的任务上进行学习，学习到泛化能力强大的模型算法，以快速适应新的任务，即学会学习。

因为元学习是以一个个的任务（如分类任务）作为自己的训练数据的，传统的基于大量数据的训练任务显然不适用于目前的研究（算力约束）。

从字面上理解，N-Way就是N-路或N-类，K-Shot就是K-次或K-个。

每次在构建分类任务时，从数据集里抽取N-类的数据，每一类数据由K-个样本构成。这样就形成了一个小型分类任务的数据集，实际上就是原始数据集的一次采样。

那这个小型分类任务的训练集和测试集具体是怎么划分的呢?

其实这个问题也是困扰我很久的，看了几篇文献都没明白。训练过程中用的是什么数据？测试过程中呢？直到我看到这篇论文中的描述：

If we are doing K-shot, N-way classication, then we sample tasks by selecting N classes from C and then selecting K + 1 examples for each class. We split these examples into a training set and a test set, where the test set contains a single example for each class.

其中关键的一点就是，在取数据时对于N类数据，每一类其实取了K+1个样本，而不是K个！

然后就是这个+1引出了我的理解。

以5-Way 5-Shot分类问题为例，在构建一个任务的数据集时的具体流程应该如下：

1. 从元数据集（Meta-dataset）中随机抽取5类（Way）样本，每一类样本随机抽取5+1个（Shot）实例

   元数据集：也就是整体数据集中，可以理解为传统的大型数据集，其中的数据类别>>N-Way，每一类的实例数量>>K-Shot.

2. 从这5类样本的6个实例中，每类样本随机抽取5个实例一起作为Training Set（→Support Set），每一类剩下的一个实例一起组成Testing Set（→Query Set）。

   由于元学习是以任务（Task）作为自己的训练数据的，即元学习的实际训练集和测试集是由一个个的Task组成的，所以为了进行区分，每个任务内部的训练集（Training Set）更名为支持集（Support Set）、测试集更名为查询集（Query Set）。

3. 训练：从Support Set中每一类随机选取一个实例，一起够成一组训练数据，输入到模型中，进行训练。

4. 测试：从Query Set中随机抽取一个实例，用模型判断其属于哪一类。

   这个判断过程其实可以视为一种查询过程，给定了支持集，只要让模型能够准确的查询到其属于支持集中的哪一类即可证明模型性能较好。

5. 重复几轮，最终得出该任务模型的准确率，实际上即是元学习参数确定的模型在该任务上的损失。

6. 损失梯度反向传播到元学习参数，对其进行更新，也即元学习过程。

图示如下：

Way 1 （C1）	Way 2 （C2）	Way3 （C3）	Way 4 （C4）	Way5 （C5）
C~11~	C~21~	C~31~	C~41~	C~51~	Support
C~12~	C~22~	C~32~	C~42~	C~52~	Support
C~13~	C~23~	C~33~	C~43~	C~53~	Support
C~14~	C~24~	C~34~	C~44~	C~54~	Support
C~15~	C~25~	C~35~	C~45~	C~55~	Support
C~16~	C~26~	C~36~	C~46~	C~56~	Query