为什么小模型已经可以很好地拟合数据集了，换大模型效果却要比小模型好？ 第1页
1
tonyabracadabra 网友的相关建议:
说明传统的Rademacher complexity不适合于解释深度学习中over-parametrization的问题，推荐一篇有趣的文章（Towards Understanding the Role of Over-Parametrization in Generalization of Neural Networks），文中针对两层网路提出了一个新的capacity bound能随着hidden unit数量增加而降低，因此作者认为这可能可以解释为什么大网络有时候generalize得更好。
1
相关话题
人工智能在发展到极高的程度之后能否算得上是一种生命？迁移学习与fine-tuning有什么区别？
给男友配置一个适合做深度学习的电脑要多少钱？
去美国读CS博士，方向是机器人导航，视觉方面，推荐一下相关编程方面准备？还有相关算法需要学习哪些？
如何评价 NVIDIA 最新技术 5 秒训练 NERF？
神经网络能否代替决策树算法？
如何评价周志华教授新提出的 Deep Forest 模型，它会取代当前火热的深度学习 DNN 吗？
2018年了，MXNet 发展的如何了？
神经网络，分类和回归问题，在网络结构上的区别是什么？分类比回归多一层softmax吗？诚心求教？
2018年了，MXNet 发展的如何了？
下一个讨论
attention跟一维卷积的区别是啥？
相关的话题
统计模型和概率模型的区别是什么呢？如何评价 CVPR 2020的论文接收结果？有哪些亮点论文？
在CV/NLP/DL领域中，有哪些修改一行代码或者几行代码提升性能的算法？
如何理解今年发表在JMLR上随机森林算法SPORF？
请问应该怎样去学习图像识别和深度学习？
为什么做stacking之后，准确率反而降低了？
如果有第谷的数据，现在的机器学习，深度学习有办法学出开普勒三定律吗？
如何看待李国杰院士在科学网发文称，国内 AI 研究「顶不了天、落不了地」，该想想了？
NLP 中 prompt learning 有哪些可能的天生缺陷？目前有什么样的方法来解决这样的缺陷？
如何评价 马毅教授 的 NeurIPS 2020 中稿文章 MCR2 及 自称弄明白深度学习了？
Transformer是如何处理可变长度数据的？
如何评价 马毅教授 的 NeurIPS 2020 中稿文章 MCR2 及 自称弄明白深度学习了？
为什么Transformer适合做多模态任务？
多模态方面，有哪些牛组值得我们follow他们的工作？
现代人工神经网络是不是一个死胡同？这个技术是不是骗人的？
看完麻省理工博士胡渊鸣用代码实现「冰雪奇缘」后，自己陷入了深深的自卑，如何排解这种情绪？
为什么国家将加快人工智能研究生培养？又为什么很多研究生评论人工智能是个大坑呢？
贝叶斯深度学习是什么，和传统神经网络有何不同？
如何看待MXNet在CVPR2017上公布的gluon接口？
有没有必要把机器学习算法自己实现一遍？
机器学习中常常提到的正则化到底是什么意思？
怎样让机器有意识?
为什么有些学数学的看不惯甚至鄙视 Deep Learning？
实验室一块GPU都没有怎么做深度学习？
现代人工神经网络是不是一个死胡同？这个技术是不是骗人的？
神经网络训练多个epoch，写论文的时候可以取最好的效果那一个epoch作为结果吗？
CVPR 2019 有哪些值得关注的亮点？
如何评价华为天才少年钟钊团队成功开启了 AutoML 大规模商用的先河？什么是 AutoML？
机器学习中的优化理论，需要学习哪些资料才能看懂？
如何看待 Google 围棋 AI AlphaGo 击败欧洲围棋冠军？