为什么小模型已经可以很好地拟合数据集了，换大模型效果却要比小模型好？ 第1页
1
tonyabracadabra 网友的相关建议:
说明传统的Rademacher complexity不适合于解释深度学习中over-parametrization的问题，推荐一篇有趣的文章（Towards Understanding the Role of Over-Parametrization in Generalization of Neural Networks），文中针对两层网路提出了一个新的capacity bound能随着hidden unit数量增加而降低，因此作者认为这可能可以解释为什么大网络有时候generalize得更好。
1
相关话题
ICLR 2018 有什么值得关注的亮点？如何看待人工智能领域的很多专家认为「人工智能将对人类存亡造成威胁」的观点？
到了 2022 年，人工智能有哪些真正可落地的应用？
图片上训的模型，怎么迁移视频上呢？
在Lasso中，oracle property指的是什么性质？
如何评价MXNet发布的1.0版本？
如何评价余凯创立的horizon robotics？
如何评价周志华在微博对 AlphaGo 和机器学习技术的评论？
如何评价MSRA视觉组最新对spatial attention mechanism分析论文？
机器学习中有哪些形式简单却很巧妙的idea？
下一个讨论
attention跟一维卷积的区别是啥？
相关的话题
Python中 __init__的通俗解释是什么？如何看待在某度搜不到megengine官网？
深度学习方面还有什么Open Problem?
如何评价 NVIDIA 发布的 DGX-1？
从今年校招来看，机器学习等算法岗位应届生超多，竞争激烈，未来 3-5 年机器学习相关就业会达到饱和吗？
如何看待Geoffrey Hinton的言论，深度学习要另起炉灶，彻底抛弃反向传播？
深度学习做股票预测靠谱吗？
Batch Normalization 训练的时候为什么不使用 moving statistics？
能否把一个人的所有物理数据输入在一个模型里，然后计算他接下来的状态变化？
如何评价 Face++ 旷视科技最新出品的检测专用 backbone 网络 DetNet ？
主动学习（Active Learning）近几年的研究有哪些进展，现在有哪些代表性成果？
请问人工神经网络中的activation function的作用具体是什么？为什么ReLu要好过于tanh和sigmoid function?
为什么ViT里的image patch要设计成不重叠？
实验室只有1080的显卡，老师还想让发深度学习论文，也不给配置好的显卡怎么办？
如何评价第一局比赛 AlphaGo 战胜李世石？
人工智能相关的岗位薪酬状况如何？
是不是并不是所有问题都适合用神经网络预测？
如何看待KDD'21的文章，异质图神经网络的效果不如简单的GCN、GAT？
如何看待在某度搜不到megengine官网？
如何评价新Nature子刊Nature Machine Intelligence的出现？
如何评价阿里巴巴启动NASA计划？
MPI 在大规模机器学习领域的前景如何？
目前工业界常用的推荐系统模型有哪些？
阿里的TDM树深度模型为什么很少有人用，是有哪些问题吗？
实验室一块GPU都没有怎么做深度学习？
在做算法工程师的道路上，你掌握了什么概念或技术使你感觉自我提升突飞猛进？
如何评价余凯在朋友圈发表呼吁大家用 caffe、mxnet 等框架，避免使用 TensorFlow？
人工智能技术会不会最终赶上微积分的历史地位？
视觉算法的工业部署及落地方面的技术知识，怎么学？
深度学习两张3080ti和一张3090ti哪个好?