论文题目：Domain-Adaptive Few-Shot Learning
论文地址：
https://
arxiv.org/abs/2003.0862
6
小样本学习（Few Shot Learning, FSL）在深度学习领域具有重要意义，在本文中小样本学习被当作一个迁移学习（源域和目标域之间进行迁移）问题。通常来说目标域的训练样本数量较少，而且与源域的领域不同。域自适应小样本学习（Domain-adaptive few-shot learning (DA-FSL），这意味着在目标类的样本很少的情况下，从源类训练的模型要适应新域和新的类别。
传统的域自适应问题是使用对抗学习策略让源域和目标域对齐（这里的对齐指的是全局数据层面的对齐），其全局分布会间接实现源域和目标域中类别层面的对齐。但是本文的域自适应问题来说，这是一个不必要的方面，因为目标类与源类不同。
因此，除了使用传统的域自适应方法，本文在嵌入特征之前引入新的损，以增强源/目标类的区分能力:
①通过对源域和目标域进行对齐，降低域之间的差异；
②每个类的分布没有对齐，但是源类和目标类仍然可以很好地分离。
Domain Adaptive Embedding
本文首先使用ResNet18及进行源域和目标域的特征提取，从而得到
![]() 和
![]() （512维的特征向量）,然后使用特征嵌入模块
（embedding module）来消除任何领域的特别信息（对齐源域和目标域）。
然后，为了进一步对齐文中使用域自适应损失（Domain adaptive loss）。Domain adaptive loss如下，其中
![]() 为交叉熵损失，
![]() 为特征表示
![]() 和 分类结果
![]() 的联合变量。因此能够对源域和目标域能够进行对齐。
但是上述Domain adaptive loss容易导致类别层次的过度对齐。为了解决这个问题，文中引入了一个域区分损失（Domain discriminative loss），使得每个域内的每个类的分布是不同的。Domain discriminative loss如下：
Prototypical Network
文中使用原型网络作为小样本学习模型的主要组件。（以源域为例，目标域同理）首先，作者从源域中选取支持集
![]() （support set）和查询集
![]() （query set），其中每个类均选择
![]() 个样本。因此类别
![]() 的原型
![]() 如下：
![]() 表示支持集
![]() 中属于类别
![]() 的样本。 因此原型网络能够产生查询样本
类别分布，通过计算样本嵌入
![]() 和类别
![]() 的原型
![]() 的欧式距离：
最后，通过通过随机梯度下降法最小化目标函数，其中
![]() 为真实标签：
原型网络的详细解释：小样本学习（few-shot learning）之--原形网络（Prototypical Networks）
Code:
dingmyu/DAPNgithub.com
| 
转播
