在迁移学习中，只有fine-tune和基于实例的迁移可用在小样本上吗，还有其他的小样本迁移方法吗？ 第1页
1
jindongwang 网友的相关建议:
你说的小样本迁移，指的是few-shot learning，还是目标域只有少量有标记数据的情况呢？
如果是few-shot learning，那这个领域已经很成熟了，可以直接用元学习方法来解。
如果是目标域只有很少量的有标记数据，那通常做法都是finetune，或者在finetune过程中加入一些控制机制，例如调节样本权重，动态调节学习率，加入课程学习等等。总的来说都是在finetune的大框架下进行的操作。
这是由于目标域小样本带来了过拟合问题，使得我们必须有针对性的设计学习策略。
所以你的问题的焦点就是如何减小过拟合现象。在这个方面，我们也做了一些工作，近期就会开源。主要思想是利用Transformer结构，插入adapter层，来避免过拟合。同时，我们采用了元学习和融合学习的方法进行小样本迁移，在语音识别任务取得了提高。
1
相关话题
神经网络中 warmup 策略为什么有效；有什么理论解释么？除了深度神经网络已经实现的特性以外，大脑还有哪些特性是值得机器学习领域借鉴的？
如何评价 On Unifying Deep Generative Models 这篇 paper?
算法岗位真的需要顶会才能入场吗？
神经网络，分类和回归问题，在网络结构上的区别是什么？分类比回归多一层softmax吗？诚心求教？
人工智能和自动控制能在一起擦出什么样的火花？
AI在网络安全领域（尤其是威胁检测领域），有什么好的应用场景？
xgboost原理？
有哪些可以自学机器学习、深度学习、人工智能的网站？
如何看待指出 神经网络的训练罪魁祸首是退化一文？
前一个讨论
怎么才能有尤雨溪一半强，该怎么学习？
相关的话题
机器学习该怎么入门？神经网络，人工智能这块怎么入门？
目前强化学习在控制领域的应用有哪些？
怎么在家学习一些关于机器学习的知识?
医学生学习机器学习该如何入门？
各种机器学习算法的应用场景分别是什么（比如朴素贝叶斯、决策树、K 近邻、SVM、逻辑回归最大熵模型）？
学习机器学习应该看哪些书籍？
使用pytorch时，训练集数据太多达到上千万张，Dataloader加载很慢怎么办?
是不是并不是所有问题都适合用神经网络预测？
什么叫做泛函空间的大数定律？
如何评价生成模型框架 ZhuSuan?
机器学习系统MLSys中有哪些比较有前途的研究方向？
主题模型(topic model)到底还有没有用，该怎么用？
为何中国人迷恋吴恩达的机器学习课？
为什么做stacking之后，准确率反而降低了？
机器学习中如何识别图片中的手是手背还是手心？
如何用一句话证明自然语言处理很难？
编程达到什么水平才能编写出像caffe这样的深度学习框架？
怎样从机器学习模型中获取知识？
如何评价 DeepMind 在北京时间 19 年 1 月 25 日 2 点的《星际争霸 2》项目演示？
什么是反事实分析呀？
为什么做机器学习的很少使用假设检验？
如何看待指出 神经网络的训练罪魁祸首是退化一文？
为什么都说神经网络是个黑箱？
ICLR 2021 有什么值得关注的投稿？
机器学习中的优化理论，需要学习哪些资料才能看懂？
在中小学阶段设置人工智能相关课程对于培养人工智能人才具有哪些意义？如何推进会比较有效？
为什么新增特征有时候会对模型带来负面影响？
如果百年后深度学习最终有了公认的数学理论作为基础，能解释实验中的各类玄学，那这个理论会长什么样子？
特征工程中的「归一化」有什么作用？