为什么小模型已经可以很好地拟合数据集了，换大模型效果却要比小模型好？ 第1页
1
tonyabracadabra 网友的相关建议:
说明传统的Rademacher complexity不适合于解释深度学习中over-parametrization的问题，推荐一篇有趣的文章（Towards Understanding the Role of Over-Parametrization in Generalization of Neural Networks），文中针对两层网路提出了一个新的capacity bound能随着hidden unit数量增加而降低，因此作者认为这可能可以解释为什么大网络有时候generalize得更好。
1
相关话题
如何评价 DeepMind 发表在 Nature 的论文公开无需人类棋谱的 AlphaGo Zero？机器学习该怎么入门？
阿里的TDM树深度模型为什么很少有人用，是有哪些问题吗？
有哪些优秀的深度学习入门书籍？需要先学习机器学习吗？
NLP领域，你推荐哪些综述性的文章？
面试官如何判断面试者的机器学习水平？
是不是对于任意 n×n 大小的围棋棋盘，人类都赢不了 AlphaGo Zero 了？
计算机视觉中video understanding领域有什么研究方向和比较重要的成果？
我应该从计算机视觉回到做FPGA 吗？
DL/ML 模型如何部署到生产环境中？
下一个讨论
attention跟一维卷积的区别是啥？
相关的话题
为什么说股票不能通过机器学习来预测？先进的图像识别怎样改变 AV 产业？
TVM 最新发布版本 0.3 有哪些亮点？
自监督学习（Self-supervised Learning）有什么比较新的思路？
深度学习在生物信息领域有什么应用？
2020到2021年小样本学习取得重大进展了吗？
如果有第谷的数据，现在的机器学习，深度学习有办法学出开普勒三定律吗？
有没有哪些人工的工作是无法被机器替代的？
深度学习调参有哪些技巧？
新手如何实现个简单AutoML框架。有参考的github开源项目介绍吗？
让人工智能去下路边街头的象棋残局会赢吗？
如何评价陈天奇的模块化深度学习系统NNVM？
在计算资源有限的情况下，有什么深度学习的选题可以推荐/避免？
如何评价陈天奇团队新开源的TVM？
用生成模型做数据增强data augmentation时，如何从合成数据中筛选出质量较好的样本？
领域自适应需要用到测试集数据，这样的方法有啥意义呢？
有哪些定理在高维情况下与三维情况下培养出来的直觉不符？
如何评价AWS的图神经网络框架DGL？
nlp有哪些值得完整实现一遍的算法?
《人工智能训练师国家职业技能标准》发布，有哪些值得关注的信息？
如何才能看得懂变分贝叶斯方法（Variational Bayesian）？
深度学习的多个loss如何平衡？
在文本分类任务中，有哪些论文中很少提及却对性能有重要影响的tricks？
如何系统学习机器学习？
如何评价李飞飞和李佳加盟谷歌？
如何简单理解贝叶斯决策理论（Bayes Decision Theory）？
有谁给解释一下流形以及流形正则化？
机器学习（machine learning）在经济学领域是否有应用前景？
什么叫做泛函空间的大数定律？
深度学习中，模型大了好还是小了好呢？