为什么小模型已经可以很好地拟合数据集了，换大模型效果却要比小模型好？ 第1页
1
tonyabracadabra 网友的相关建议:
说明传统的Rademacher complexity不适合于解释深度学习中over-parametrization的问题，推荐一篇有趣的文章（Towards Understanding the Role of Over-Parametrization in Generalization of Neural Networks），文中针对两层网路提出了一个新的capacity bound能随着hidden unit数量增加而降低，因此作者认为这可能可以解释为什么大网络有时候generalize得更好。
1
相关话题
deepmind发表的neural processes(神经过程)，这个是怎么实现的呢？2021年人工智能领域有哪些关键性进展和突破？
有哪些相见恨晚的 TensorFlow 小技巧？
如何看待多模态transformer，是否会成为多模态领域的主流？
现在的人工智能是否走上了数学的极端？
如何评价Google提出的MLP-Mixer：只需要MLP就可以在ImageNet上达到SOTA？
TensorFlow 有哪些令人难以接受的地方？
深度学习cnn中，怎么理解图像进行池化（pooling）后的平移不变性？
如何看UCBerkeley RISELab即将问世的Ray，replacement of Spark？
BERT模型可以使用无监督的方法做文本相似度任务吗？
下一个讨论
attention跟一维卷积的区别是啥？
相关的话题
如何通俗的解释交叉熵与相对熵？如何评价微软亚洲研究院提出的LightRNN？
NLP文本匹配问题的本质是不是 对于要预测的句子，遍历候选句子 从训练数据集里寻找最相似的pair？
为什么相比于计算机视觉(cv)，自然语言处理(nlp)领域的发展要缓慢？
DL/ML 模型如何部署到生产环境中？
如何看待swin transformer成为ICCV2021的 best paper？
有没有哪些人工的工作是无法被机器替代的？
如何看待人工智能领域的很多专家认为「人工智能将对人类存亡造成威胁」的观点？
如何评价基于游戏毁灭战士（Doom）的AI死亡竞赛大赛结果？
如何评价新Nature子刊Nature Machine Intelligence的出现？
2019年，计算机视觉领域，你推荐哪些综述性的文章？
Yann LeCun、Geoffrey Hinton或Yoshua Bengio能得图灵奖吗？
微软小冰测颜值是否比较准？为什么？
谈谈机器学习在网络安全领域的局限性，以及是否乐观？
为什么Transformer要用LayerNorm？
能否对卷积神经网络工作原理做一个直观的解释？
请问一下，机器学习领域的联邦学习技术，目前看到最多的是微众银行，国内还有哪些顶级专家及机构和大学？
如何看待Tensor Comprehensions？与TVM有何异同？
如何评价Deepmind自监督新作BYOL？
神经网络中的能量函数是如何定义的？
为什么nn的较大问题是会陷入局部最优时，不选用凸函数作为激活函数？
如何评价mixup: BEYOND EMPIRICAL RISK MINIMIZATION？
如何看待NIPS2017图灵奖得主贝叶斯网络之父Judea Pearl讲座无人问津？
深度学习有哪些好玩的案例？
如果百年后深度学习最终有了公认的数学理论作为基础，能解释实验中的各类玄学，那这个理论会长什么样子？
怎么通俗地理解张量？
graph convolutional network有什么比较好的应用task？
无人车为什么一定要用激光雷达做，双目视觉难道不行吗？
如何看待 Larrabee 之父 Tom Forsyth 重加入 Intel？英特尔为何下注独立显卡？
如果有第谷的数据，现在的机器学习，深度学习有办法学出开普勒三定律吗？