为什么小模型已经可以很好地拟合数据集了，换大模型效果却要比小模型好？ 第1页
1
tonyabracadabra 网友的相关建议:
说明传统的Rademacher complexity不适合于解释深度学习中over-parametrization的问题，推荐一篇有趣的文章（Towards Understanding the Role of Over-Parametrization in Generalization of Neural Networks），文中针对两层网路提出了一个新的capacity bound能随着hidden unit数量增加而降低，因此作者认为这可能可以解释为什么大网络有时候generalize得更好。
1
相关话题
如何看待 AI 方向 PhD 申请竞争过于激烈的现象？马上计算机研一，想问一下机器学习、深度学习…大家都是怎么入门的？
马上计算机研一，想问一下机器学习、深度学习…大家都是怎么入门的？
人是如何做黑盒优化的？
为什么deep lab v3起，输出不再接 DenseCRF了？
如何看待 AlphaFold 在蛋白质结构预测领域的成功？
各种机器学习算法的应用场景分别是什么（比如朴素贝叶斯、决策树、K 近邻、SVM、逻辑回归最大熵模型）？
如何评价 MSRA 最新的 Deformable Convolutional Networks？
word2vec有什么应用？
目标检测中的mAP是什么含义？
下一个讨论
attention跟一维卷积的区别是啥？
相关的话题
请解释下variational inference？要研究深度学习的可解释性（Interpretability），应从哪几个方面着手？
基于深度卷积神经网络进行人脸识别的原理是什么？
计算机视觉（cv）方向今年招聘情况怎么样?是否已经人才过剩?
有哪些解决完之后让你拍案叫绝的算法问题？
请问下大家训练 SimCSE 时, loss 有没有这样的情况?
CVPR 2015 有什么值得关注的亮点？
新手如何入门pytorch？
为什么谈论深度学习工具时，很少有人讨论matlab的神经网络工具包？
计算机视觉有多少分支？
有监督和无监督学习都各有哪些有名的算法和深度学习？
如何评价 On Unifying Deep Generative Models 这篇 paper?
nlp有哪些值得完整实现一遍的算法?
即时战略游戏（比如 WAR3）的 AI 是怎样实现的？
CPU和GPU跑深度学习差别有多大？
如何看待亚马逊的无人超市产品 Amazon Go?
为什么dropout正则化经常在视觉方面使用而不是其他？
机器学习包含哪些学习思想？
实验室一块GPU都没有怎么做深度学习？
要研究深度学习的可解释性（Interpretability），应从哪几个方面着手？
从算法的角度来看，Elsagate 事件暴露出了「自动推荐」的哪些问题，该如何规避？
深度学习在生物信息领域有什么应用？
机器学习，深度神经网络等方法是否是正确的方向？
如何评价周志华教授新提出的 Deep Forest 模型，它会取代当前火热的深度学习 DNN 吗？
迁移学习与fine-tuning有什么区别？
二分类问题，应该选择sigmoid还是softmax？
如何看待QQ邮箱翻译出他人的快递通知？
如何评价微软亚洲研究院提出的LightRNN？
现代人工神经网络是不是一个死胡同？这个技术是不是骗人的？
基于深度学习的自然语言处理在 2016 年有哪些值得期待的发展？