在迁移学习中，只有fine-tune和基于实例的迁移可用在小样本上吗，还有其他的小样本迁移方法吗？ 第1页
1
jindongwang 网友的相关建议:
你说的小样本迁移，指的是few-shot learning，还是目标域只有少量有标记数据的情况呢？
如果是few-shot learning，那这个领域已经很成熟了，可以直接用元学习方法来解。
如果是目标域只有很少量的有标记数据，那通常做法都是finetune，或者在finetune过程中加入一些控制机制，例如调节样本权重，动态调节学习率，加入课程学习等等。总的来说都是在finetune的大框架下进行的操作。
这是由于目标域小样本带来了过拟合问题，使得我们必须有针对性的设计学习策略。
所以你的问题的焦点就是如何减小过拟合现象。在这个方面，我们也做了一些工作，近期就会开源。主要思想是利用Transformer结构，插入adapter层，来避免过拟合。同时，我们采用了元学习和融合学习的方法进行小样本迁移，在语音识别任务取得了提高。
1
相关话题
NLP文本分类的本质是不是其实是找相似，对于要分类的句子，在训练集里找最相似的句子？有没有必要把机器学习算法自己实现一遍？
因果推断（causal inference）是回归（regression）问题的一种特例吗？
现在tensorflow和mxnet很火，是否还有必要学习scikit-learn等框架？
因果推断（causal inference）是回归（regression）问题的一种特例吗？
CVPR 2019 有哪些值得关注的亮点？
在Auto ML的冲击下，ML算法人员是否会在前者成熟后失业的情况？
迁移学习入门，新手该如何下手？
深度学习到底是「实验科学」还是「理论科学」？能否称为「算法」？
神经网络，分类和回归问题，在网络结构上的区别是什么？分类比回归多一层softmax吗？诚心求教？
前一个讨论
怎么才能有尤雨溪一半强，该怎么学习？
相关的话题
医学生学习机器学习该如何入门？精确率、召回率、F1 值、ROC、AUC 各自的优缺点是什么？
对于多指标评价，BP神经网络评价和TOPSIS有什么区别呢？
如何评价AWS的图神经网络框架DGL？
NLP文本分类的本质是不是其实是找相似，对于要分类的句子，在训练集里找最相似的句子？
什么是机器学习？
使用pytorch时，训练集数据太多达到上千万张，Dataloader加载很慢怎么办?
深度学习调参有哪些技巧？
数据挖掘与数据分析的主要区别是什么？
机器学习包含哪些学习思想？
机器学习（machine learning）在经济学领域是否有应用前景？
为什么 Non-Convex Optimization 受到了越来越大的关注？
如何看待Capsule Network在NLP领域的潜力？
如果有第谷的数据，现在的机器学习，深度学习有办法学出开普勒三定律吗？
神经网络中 warmup 策略为什么有效；有什么理论解释么？
有监督和无监督学习都各有哪些有名的算法和深度学习？
能识别情绪的机器人可以算做有情感的机器人吗？
神经网络能否代替决策树算法？
你遇见过什么当时很有潜力但是最终没有流行的深度学习算法?
AI在网络安全领域（尤其是威胁检测领域），有什么好的应用场景？
机器学习算法进行分类时，样本极度不平衡，评估模型要看哪些指标？
在你做推荐系统的过程中都遇到过什么坑？
在迁移学习中，只有fine-tune和基于实例的迁移可用在小样本上吗，还有其他的小样本迁移方法吗？
计算机视觉和自然语言处理，哪个更具有发展前景呢，还是各有千秋呢？
如何看待Capsule Network在NLP领域的潜力？
联邦学习在机器学习领域有什么独立存在的价值?
如何证明对任意给定的正数e，存在M上的矩阵范数||A||，满足不等式||A||<=谱半径+e?
如何看待Geoffrey Hinton的言论，深度学习要另起炉灶，彻底抛弃反向传播？
如何评价B站UP主未明子宣称“知乎搞机器学习模拟拉康的程序员”具备“头脑上的悲剧”？
广告算法工程师的核心竞争力是什么？