为什么小模型已经可以很好地拟合数据集了，换大模型效果却要比小模型好？ 第1页
1
tonyabracadabra 网友的相关建议:
说明传统的Rademacher complexity不适合于解释深度学习中over-parametrization的问题，推荐一篇有趣的文章（Towards Understanding the Role of Over-Parametrization in Generalization of Neural Networks），文中针对两层网路提出了一个新的capacity bound能随着hidden unit数量增加而降低，因此作者认为这可能可以解释为什么大网络有时候generalize得更好。
1
相关话题
机器学习中的机器是如何分辨哪些是有用的知识，哪些是没用的信息呢？现在的人工智能是否走上了数学的极端？
如何评价 Self-Normalizing Neural Networks 这篇论文?
如何理解Inductive bias？
深度学习（机器学习）的下一步如何发展？
写深度学习代码是先写model还是dataset还是train呢，有个一般化的顺序吗？
能否使用区块链的算力来解决深度学习训练？
KL散度衡量的是两个概率分布的距离吗？
如何看待Geoffrey Hinton的言论，深度学习要另起炉灶，彻底抛弃反向传播？
编写基于机器学习的程序，有哪些编写和调试的经验和窍门？
下一个讨论
attention跟一维卷积的区别是啥？
相关的话题
NLP领域，你推荐哪些综述性的文章？分类机器学习中，某一标签占比太大（标签稀疏），如何学习？
如何评价PyTorch 0.4.0？
阿里的TDM树深度模型为什么很少有人用，是有哪些问题吗？
ICLR 2021 有什么值得关注的投稿？
如何看待 Nervana 被 Intel 收购？
搞机器学习的生环化材是天坑吗？
为什么softmax很少会出现[0.5，0.5]？
cygwin和mingw选哪个？
CNN网络的pooling层有什么用？
pytorch 的高层库ignite怎么样？
如何评价Google提出的MLP-Mixer：只需要MLP就可以在ImageNet上达到SOTA？
如何评价B站UP主未明子宣称“知乎搞机器学习模拟拉康的程序员”具备“头脑上的悲剧”？
word2vec有什么应用？
有哪些深度学习效果不如传统方法的经典案例？
神经网络模型压缩好就业吗?
神经网络的损失函数为什么是非凸的?
如何评价Deepmind自监督新作BYOL？
当初的生物热，和如今的全民CS全民AI，让你想到了什么？
AlphaGo 与李世石的对战会推动人类的极限还是机器学习的进步和觉醒？
如何解决测试中充斥着大量训练集中没见过的样本类型模型将其识别成非我族类仍然保持测试集的高精度？
如何评价 DeepMind 的新工作 AlphaCode?
如何看待 Richard Sutton 说的「人工智能中利用算力才是王道」？
如何评价Sony新出的深度学习库NNabla？
adversarial training为什么会起作用？
能否对卷积神经网络工作原理做一个直观的解释？
插值和拟合最根本的区别是什么？机器学习为啥用拟合？？
UCLA 的朱松纯教授是一个什么样的人？
机器学习中有哪些形式简单却很巧妙的idea？
如何评价Yann LeCun 说的「要研究机器学习，本科应尽量多学物理和数学课」？