在迁移学习中，只有fine-tune和基于实例的迁移可用在小样本上吗，还有其他的小样本迁移方法吗？ 第1页
1
jindongwang 网友的相关建议:
你说的小样本迁移，指的是few-shot learning，还是目标域只有少量有标记数据的情况呢？
如果是few-shot learning，那这个领域已经很成熟了，可以直接用元学习方法来解。
如果是目标域只有很少量的有标记数据，那通常做法都是finetune，或者在finetune过程中加入一些控制机制，例如调节样本权重，动态调节学习率，加入课程学习等等。总的来说都是在finetune的大框架下进行的操作。
这是由于目标域小样本带来了过拟合问题，使得我们必须有针对性的设计学习策略。
所以你的问题的焦点就是如何减小过拟合现象。在这个方面，我们也做了一些工作，近期就会开源。主要思想是利用Transformer结构，插入adapter层，来避免过拟合。同时，我们采用了元学习和融合学习的方法进行小样本迁移，在语音识别任务取得了提高。
1
相关话题
自动化的控制与检测领域中，有没有像机器学习、图像处理领域一样经典巧妙的算法？面试官如何判断面试者的机器学习水平？
如何评价基于游戏毁灭战士（Doom）的AI死亡竞赛大赛结果？
深度学习到底是「实验科学」还是「理论科学」？能否称为「算法」？
如何理解MCMC中的细致平稳条件？
人脑有海量的神经元（参数），那么人脑有没有「过拟合」行为？
为什么读论文最好打印出来读？
如何评价Yann LeCun 说的「要研究机器学习，本科应尽量多学物理和数学课」？
大四年级，完全没接触过高数，目前对机器学习产生浓厚兴趣，该如何学习数学？
在NLP当中，不同的评价指标，BLEU, METEOR, ROUGE和CIDEr的逻辑意义？
前一个讨论
怎么才能有尤雨溪一半强，该怎么学习？
相关的话题
在迁移学习中，只有fine-tune和基于实例的迁移可用在小样本上吗，还有其他的小样本迁移方法吗？怎么在家学习一些关于机器学习的知识?
关于材料计算，模拟，仿真什么区别?
如何看待 Richard Sutton 说的「人工智能中利用算力才是王道」？
Yoshua Bengio为什么能跟Hinton、LeCun相提并论？？
EM算法存在的意义是什么？
在CV/NLP/DL领域中，有哪些修改一行代码或者几行代码提升性能的算法？
如果你是面试官，你怎么去判断一个面试者的深度学习水平？
Word2vec 翻译到另一种语言，其向量空间之间的映射会不会是线性的？
GAN 真的创造了新的信息吗？
2019年NeurIPS有哪些糟糕的论文？
能否训练一个AI模型来预测房价，寻找投资机会挖掘价值洼地？
有监督和无监督学习都各有哪些有名的算法和深度学习？
机器学习系统MLSys中有哪些比较有前途的研究方向？
主动学习(Active learning)算法的原理是什么，有哪些比较具体的应用？
做底层 AI 框架和做上层 AI 应用，哪个对自己的学术水平（或综合能力）促进更大？
基于大数据的个人信用体系有没有可能被滥用？
如何评价CVPR2019程序主席Derek Hoiem的论点：计算机视觉只是记忆，不是智能？
使用pytorch时，训练集数据太多达到上千万张，Dataloader加载很慢怎么办?
如何评价Hinton组的新工作SimCLR?
有人说「真正的人工智能至少还要几百年才能实现」，真的是这样吗？
目前的人工智能离可以自己给自己写代码编程还有多远？
用生成模型做数据增强data augmentation时，如何从合成数据中筛选出质量较好的样本？
如果有第谷的数据，现在的机器学习，深度学习有办法学出开普勒三定律吗？
计算机视觉顶级会议论文中比较适合初学计算机视觉的人做的复现实验有哪些？
目前的人工智能离可以自己给自己写代码编程还有多远？
有哪些职业容易被人工智能替代？
请问机器学习中的预测与决策的区别是什么，他们的界限在哪里呢？
如何看待北京交通大学学生在 ATM 机内学习?
在机器学习模型的训练期间，大概几十分钟到几小时不等，大家都会在等实验的时候做什么？