为什么小模型已经可以很好地拟合数据集了，换大模型效果却要比小模型好？ 第1页
1
tonyabracadabra 网友的相关建议:
说明传统的Rademacher complexity不适合于解释深度学习中over-parametrization的问题，推荐一篇有趣的文章（Towards Understanding the Role of Over-Parametrization in Generalization of Neural Networks），文中针对两层网路提出了一个新的capacity bound能随着hidden unit数量增加而降低，因此作者认为这可能可以解释为什么大网络有时候generalize得更好。
1
相关话题
让人工智能去下路边街头的象棋残局会赢吗？如果人工智能迎来下一个寒冬，你认为会是卡在什么问题上？
如何评价基于游戏毁灭战士（Doom）的AI死亡竞赛大赛结果？
为什么Transformer适合做多模态任务？
如何看待知乎的AI答主「四十二」？人工智能有可能理解生命的意义是什么吗？
深度学习在信息安全的应用有哪些可以关注的人或论文？
xgboost原理？
为什么谈论深度学习工具时，很少有人讨论matlab的神经网络工具包？
为什么小模型已经可以很好地拟合数据集了，换大模型效果却要比小模型好？
2019年，计算机视觉领域，你推荐哪些综述性的文章？
下一个讨论
attention跟一维卷积的区别是啥？
相关的话题
石头和塑料袋对于计算机传感器的差别在于什么？为什么无人驾驶系统会依然存在对周围环境的误判？机器学习中常常提到的正则化到底是什么意思？
从应用的角度来看，深度学习怎样快速入门？
如何评价CUHK以及Yuanjun Xiong提出的Trajectory Convolution？
如何看待MXNet获得amazon官方支持首位？
机器学习中常常提到的正则化到底是什么意思？
医学生学习机器学习该如何入门？
有监督和无监督学习都各有哪些有名的算法和深度学习？
研一刚入学，从未接触过神经网络，python也是才开始学，现在导师要我做LSTM，我应该去学什么？
深度学习的多个loss如何平衡？
深度学习应用在哪些领域让你觉得「我去，这也能行！」？
数据挖掘与数据分析的主要区别是什么？
深度学习如何入门？
如何看待鄂维南院士等发起的机器学习联合研讨计划（c2sml.cn）？
基于深度学习的自然语言处理在 2016 年有哪些值得期待的发展？
2021年，ncnn发展的如何了？
如何激怒一位人工智能（机器学习、深度学习、强化学习等）爱好者？
要研究深度学习的可解释性（Interpretability），应从哪几个方面着手？
如何评价微软新出的自拍软件 Microsoft Selfie？
什么是人工智能？人工智能、机器学习、深度学习三者之间有什么关系吗？
CVPR 2015 有什么值得关注的亮点？
如何看待Meta（恺明）最新论文ViTDet：只用ViT做backbone（不使用FPN）的检测模型？
为什么CV能做到让一幅人脸图动了笑了，而NLP的text-style-transfer进展貌似一般？
为什么中文 NLP 数据集这么少？
为什么机器学习解决网络安全问题总是失败?
Domain Adaptation学术上有哪些方向，还有哪些可做的地方？
机器学习中使用正则化来防止过拟合是什么原理？
如何评价最近火热的对比学习，会引领预训练模型新的范式嘛?
目标检测中的mAP是什么含义？
如何评价Google Duplex（打电话AI）在特定领域已经通过了图灵测试？