在迁移学习中，只有fine-tune和基于实例的迁移可用在小样本上吗，还有其他的小样本迁移方法吗？ 第1页
1
jindongwang 网友的相关建议:
你说的小样本迁移，指的是few-shot learning，还是目标域只有少量有标记数据的情况呢？
如果是few-shot learning，那这个领域已经很成熟了，可以直接用元学习方法来解。
如果是目标域只有很少量的有标记数据，那通常做法都是finetune，或者在finetune过程中加入一些控制机制，例如调节样本权重，动态调节学习率，加入课程学习等等。总的来说都是在finetune的大框架下进行的操作。
这是由于目标域小样本带来了过拟合问题，使得我们必须有针对性的设计学习策略。
所以你的问题的焦点就是如何减小过拟合现象。在这个方面，我们也做了一些工作，近期就会开源。主要思想是利用Transformer结构，插入adapter层，来避免过拟合。同时，我们采用了元学习和融合学习的方法进行小样本迁移，在语音识别任务取得了提高。
1
相关话题
从算法的角度来看，Elsagate 事件暴露出了「自动推荐」的哪些问题，该如何规避？有哪些定理在高维情况下与三维情况下培养出来的直觉不符？
在中小学阶段设置人工智能相关课程对于培养人工智能人才具有哪些意义？如何推进会比较有效？
高斯过程的kernel构成的矩阵为何叫协方差矩阵而不是相关系数矩阵？
如何理解空洞卷积（dilated convolution）？
AI领域的灌水之风如何破局？
对神经网络某一层做了小改进，效果却提升显著，可以发论文吗？
如何评价 NVIDIA 最新技术 5 秒训练 NERF？
神经网络的万能逼近定理已经发展到什么地步了？
机器学习中有哪些形式简单却很巧妙的idea？
前一个讨论
怎么才能有尤雨溪一半强，该怎么学习？
相关的话题
为什么谈论深度学习工具时，很少有人讨论matlab的神经网络工具包？先进的图像识别怎样改变 AV 产业？
如何看待KDD'21的文章，异质图神经网络的效果不如简单的GCN、GAT？
LSTM如何来避免梯度弥散和梯度爆炸？
2017年1月18日Facebook发行的PyTorch相比TensorFlow、MXNet有何优势？
即时战略游戏（比如 WAR3）的 AI 是怎样实现的？
2021 年各家大厂的 AI Lab 现状如何？
怎样从机器学习模型中获取知识？
如何看待在某度搜不到megengine官网？
如何激怒一位人工智能（机器学习、深度学习、强化学习等）爱好者？
为什么softmax很少会出现[0.5，0.5]？
请问一下，机器学习领域的联邦学习技术，目前看到最多的是微众银行，国内还有哪些顶级专家及机构和大学？
硕士方向，选择迁移学习还是自然语言处理？
学习python中的pandas有没有好的教程推荐？
你见过哪些“人工智障”?
怎么通过一维分布的随机样本推测原分布？
人工「神经网络」技术在信息处理上有何特点，工作原理是什么？
未来十年，AI 将可能与哪些产业结合应用？产生怎样的价值？
如何评价 2018 清华大学特等奖学金计算机大类（贵系、软院、姚班）无人通过一轮筛选？
联邦学习在机器学习领域有什么独立存在的价值?
什么是机器学习？
你见过哪些“人工智障”?
除了深度神经网络已经实现的特性以外，大脑还有哪些特性是值得机器学习领域借鉴的？
当初的生物热，和如今的全民CS全民AI，让你想到了什么？
机器学习算法进行分类时，样本极度不平衡，评估模型要看哪些指标？
计算机技术的进步与模拟运算，在未来真的可以解决磁约束核聚变技术中所有关键问题吗？
CVPR 2015 有什么值得关注的亮点？
caffe开发过程中使用了哪些工具？
有没有必要把机器学习算法自己实现一遍？
行为识别常用哪种特征提取？