为什么小模型已经可以很好地拟合数据集了，换大模型效果却要比小模型好？ 第1页
1
tonyabracadabra 网友的相关建议:
说明传统的Rademacher complexity不适合于解释深度学习中over-parametrization的问题，推荐一篇有趣的文章（Towards Understanding the Role of Over-Parametrization in Generalization of Neural Networks），文中针对两层网路提出了一个新的capacity bound能随着hidden unit数量增加而降低，因此作者认为这可能可以解释为什么大网络有时候generalize得更好。
1
相关话题
为什么softmax很少会出现[0.5，0.5]？分类机器学习中，某一标签占比太大（标签稀疏），如何学习？
知识图谱+nlp，有什么适合硕士独自研究的方向？
如果你是面试官，你怎么去判断一个面试者的深度学习水平？
共轭是指 ‘先验分布与后验分布共轭“ ，还是指 "先验分布与似然函数共轭“？
如何理解 Swin Transformer 和 Vision Transformer不同任务上的差异？
我应该从计算机视觉回到做FPGA 吗？
如何比较Keras, TensorLayer, TFLearn ？
百度学术能否替代 Google 学术网站？有没有其他选择？
计算机视觉顶级会议论文中比较适合初学计算机视觉的人做的复现实验有哪些？
下一个讨论
attention跟一维卷积的区别是啥？
相关的话题
如何看待比 iPad 还大的史上最大芯片问世？ 功耗比电磁炉还高有什么用？为什么读论文最好打印出来读？
《人工智能训练师国家职业技能标准》发布，有哪些值得关注的信息？
新手如何入门pytorch？
是不是对于任意 n×n 大小的围棋棋盘，人类都赢不了 AlphaGo Zero 了？
我应该从计算机视觉回到做FPGA 吗？
什么是人工智能？人工智能、机器学习、深度学习三者之间有什么关系吗？
ICLR 2022有哪些值得关注的投稿？
如何看待北京交通大学学生在 ATM 机内学习?
Python中 __init__的通俗解释是什么？
请问人工神经网络中的activation function的作用具体是什么？为什么ReLu要好过于tanh和sigmoid function?
视觉Transformer如何优雅地避开位置编码？
TensorFlow的自动求导具体是在哪部分代码里实现的？
神经网络中 warmup 策略为什么有效；有什么理论解释么？
为什么都说神经网络是个黑箱？
自然语言处理怎么最快入门？
三位物理学家与陶哲轩发现的特征向量全新求解公式，会给机器学习领域带来怎样的变化？
如何看待谷歌研究人员提出的卷积正则化方法「DropBlock」？
领域自适应需要用到测试集数据，这样的方法有啥意义呢？
机器学习中有哪些形式简单却很巧妙的idea？
pytorch ddp训练中一个node fail，导致整个训练失败，有可能解决吗？
如何看待「机器学习不需要数学，很多算法封装好了，调个包就行」这种说法？
奇异值分解（SVD）有哪些很厉害的应用？
2022 年人工智能领域的发展趋势是什么？你都有哪些期待？
有监督和无监督学习都各有哪些有名的算法和深度学习？
当前深度学习理论基础薄弱是否意味着我们应该放弃深度学习应用(计算机视觉、自然语言处理)？
如何理解 natural gradient descent?
如何看待Geoffrey Hinton的言论，深度学习要另起炉灶，彻底抛弃反向传播？
基于深度学习的自然语言处理在 2016 年有哪些值得期待的发展？
怎样让机器有意识?