在迁移学习中，只有fine-tune和基于实例的迁移可用在小样本上吗，还有其他的小样本迁移方法吗？ 第1页
1
jindongwang 网友的相关建议:
你说的小样本迁移，指的是few-shot learning，还是目标域只有少量有标记数据的情况呢？
如果是few-shot learning，那这个领域已经很成熟了，可以直接用元学习方法来解。
如果是目标域只有很少量的有标记数据，那通常做法都是finetune，或者在finetune过程中加入一些控制机制，例如调节样本权重，动态调节学习率，加入课程学习等等。总的来说都是在finetune的大框架下进行的操作。
这是由于目标域小样本带来了过拟合问题，使得我们必须有针对性的设计学习策略。
所以你的问题的焦点就是如何减小过拟合现象。在这个方面，我们也做了一些工作，近期就会开源。主要思想是利用Transformer结构，插入adapter层，来避免过拟合。同时，我们采用了元学习和融合学习的方法进行小样本迁移，在语音识别任务取得了提高。
1
相关话题
目前工业界常用的推荐系统模型有哪些？自然语言处理怎么最快入门？
未来十年，AI 将可能与哪些产业结合应用？产生怎样的价值？
CVPR 2015 有什么值得关注的亮点？
什么是反事实分析呀？
机器学习中的优化理论，需要学习哪些资料才能看懂？
如何评价 On Unifying Deep Generative Models 这篇 paper?
如何全面理解工程师红利？
什么是无监督学习？
深度学习应用在哪些领域让你觉得「我去，这也能行！」？
前一个讨论
怎么才能有尤雨溪一半强，该怎么学习？
相关的话题
图片上训的模型，怎么迁移视频上呢？机器学习系统MLSys中有哪些比较有前途的研究方向？
神经网络为什么可以（理论上）拟合任何函数？
在与 AlphaGo（包括 Master） 的对局中是否出现了一些人类历史上从未想到过的着法、技巧？
到了 2022 年，人工智能有哪些真正可落地的应用？
如何理解今年发表在JMLR上随机森林算法SPORF？
现在tensorflow和mxnet很火，是否还有必要学习scikit-learn等框架？
怎样计算两个服从高斯分布的向量乘积的期望？
KL散度衡量的是两个概率分布的距离吗？
超越人类的人工智能 (AI) 是否能够实现？
GAN的生成器是怎么产生图片的？
现在机器学习工业界和学术界的差别越来越大了吗？尽早实习和踏实科研各有什么利弊？
为什么 BERT 的 intermediate_size 这么大？
机器学习里面的流形都是怎么用的？
大四年级，完全没接触过高数，目前对机器学习产生浓厚兴趣，该如何学习数学？
怎么通过一维分布的随机样本推测原分布？
为什么交叉熵（cross-entropy）可以用于计算代价？
如何看待微软小冰写的诗？
机器学习系统MLSys中有哪些比较有前途的研究方向？
请问有没有基于实例的迁移学习的数据？
现在的人工智能是否走上了数学的极端？
如何正确理解小概率事件，以及概率和哲学的关系？
人工智能被高估了吗？
为什么CV能做到让一幅人脸图动了笑了，而NLP的text-style-transfer进展貌似一般？
深度学习方面还有什么Open Problem?
Python 如何画出漂亮的地图？
深度学习（机器学习）的下一步如何发展？
研究推荐系统要对NLP很了解吗？
除了深度神经网络已经实现的特性以外，大脑还有哪些特性是值得机器学习领域借鉴的？
语义网所谓的“本体”的具体例子是什么？