为什么小模型已经可以很好地拟合数据集了，换大模型效果却要比小模型好？ 第1页
1
tonyabracadabra 网友的相关建议:
说明传统的Rademacher complexity不适合于解释深度学习中over-parametrization的问题，推荐一篇有趣的文章（Towards Understanding the Role of Over-Parametrization in Generalization of Neural Networks），文中针对两层网路提出了一个新的capacity bound能随着hidden unit数量增加而降低，因此作者认为这可能可以解释为什么大网络有时候generalize得更好。
1
相关话题
未来 3~5 年内，哪个方向的机器学习人才最紧缺？为什么小模型已经可以很好地拟合数据集了，换大模型效果却要比小模型好？
机器学习中如何识别图片中的手是手背还是手心？
CVPR2022 有什么值得关注的论文 ?
ICLR 2019 有什么值得关注的亮点？
有什么深度学习数学基础书推荐？
如何系统学习机器学习？
如何评价最新的Octave Convolution？
支持向量机（SVM）是什么意思？
双非小硕一枚 能否从事机器学习?
下一个讨论
attention跟一维卷积的区别是啥？
相关的话题
为什么神经网络具有泛化能力？wasserstein 距离的问题?
GAN 真的创造了新的信息吗？
为什么现在不看好 CV 方向了呢?
要研究深度学习的可解释性（Interpretability），应从哪几个方面着手？
你所在的研究领域里，有哪些工作的结果虽然不是造假，但是是精挑细选出来的?
为什么softmax很少会出现[0.5，0.5]？
如果你是面试官，你怎么去判断一个面试者的深度学习水平？
因果推断会是下一个AI热潮吗？
学习python中的pandas有没有好的教程推荐？
deepmind发表的neural processes(神经过程)，这个是怎么实现的呢？
有哪些可以自学机器学习、深度学习、人工智能的网站？
2017年1月18日Facebook发行的PyTorch相比TensorFlow、MXNet有何优势？
机器学习该怎么入门？
自己学习深度学习时，有哪些途径寻找数据集？
如何评价 PyTorch 团队推出的推荐系统库 TorchRec？
实验室一块GPU都没有怎么做深度学习？
NLP文本分类的本质是不是其实是找相似，对于要分类的句子，在训练集里找最相似的句子？
有哪些职业容易被人工智能替代？
为何以范剑青老师的 Sure Independence Screening 为代表的筛选法没有流行呢？
现在机器学习工业界和学术界的差别越来越大了吗？尽早实习和踏实科研各有什么利弊？
为什么CV能做到让一幅人脸图动了笑了，而NLP的text-style-transfer进展貌似一般？
深度学习工作站中使用AMD的CPU会有问题吗？
类似AlphaGo一样的人工智能什么时候才可以击败RTS（如星际）顶级选手？
计算机视觉（cv）方向今年招聘情况怎么样?是否已经人才过剩?
深度学习中Attention与全连接层的区别何在？
要研究深度学习的可解释性（Interpretability），应从哪几个方面着手？
马上计算机研一，想问一下机器学习、深度学习…大家都是怎么入门的？
反馈控制理论在优化、机器学习等领域有哪些应用？
god bless us 为什么百度翻译是辛巴？