为什么小模型已经可以很好地拟合数据集了，换大模型效果却要比小模型好？ 第1页
1
tonyabracadabra 网友的相关建议:
说明传统的Rademacher complexity不适合于解释深度学习中over-parametrization的问题，推荐一篇有趣的文章（Towards Understanding the Role of Over-Parametrization in Generalization of Neural Networks），文中针对两层网路提出了一个新的capacity bound能随着hidden unit数量增加而降低，因此作者认为这可能可以解释为什么大网络有时候generalize得更好。
1
相关话题
计算机视觉顶级会议论文中比较适合初学计算机视觉的人做的复现实验有哪些？如何评价FAIR提出的MaskFeat：一种适用图像和视频分类的自监督学习方法？
如何评价 DeepMind 在北京时间 19 年 1 月 25 日 2 点的《星际争霸 2》项目演示？
现大二，准备做大学生创新创业项目计划 ，目前定的方向是深度学习+畜牧业／养殖业，有什么建议给我们吗？
AI（或者说神经网络/深度学习）能够实现科学（尤其是物理学）研究中提出假设这一步嘛？
在中文 NLP 等论文中，应该如何翻译 token 这个词？
如何理解空洞卷积（dilated convolution）？
什么是反事实分析呀？
深度学习有哪些好玩的案例？
如何评价旷视开源的YOLOX，效果超过YOLOv5?
下一个讨论
attention跟一维卷积的区别是啥？
相关的话题
如何评价余凯在朋友圈发表呼吁大家用 caffe、mxnet 等框架，避免使用 TensorFlow？什么是博弈机器学习？
基于大数据的个人信用体系有没有可能被滥用？
深度学习应用在哪些领域让你觉得「我去，这也能行！」？
如何看待Hinton的论文《Dynamic Routing Between Capsules》？
wav2vec中的30ms是怎么得来的?
机器学习里面的流形都是怎么用的？
如何评价Yann LeCun宣称『他已经做好放弃概率论的准备』？
因果推断会是下一个AI热潮吗？
在算力充沛，深度学习模型大行其道的今天，传统机器学习的未来在哪里？
求通俗解释下bandit老虎机到底是个什么东西？
如何评价CUHK以及Yuanjun Xiong提出的Trajectory Convolution？
CTC和Encoder-Decoder有什么关系?
DeepMind 研发的围棋 AI AlphaGo 是如何下棋的？
如何评价小米开源的移动端深度学习框架MACE？
物理专业的学生如何看待机器学习和大数据这些方向呢？
人工智能可以为人类找寻他们心目中的另一半吗?
2020到2021年小样本学习取得重大进展了吗？
如何看待谷歌公开 tensorflow 专用处理器 TPU?
深度学习中，模型大了好还是小了好呢？
人工智能可以为人类找寻他们心目中的另一半吗?
如何看待SQuAD比赛中，阿里、MSRA机器阅读理解准确率超越人类？
如何看待Transformer在CV上的应用前景，未来有可能替代CNN吗？
如何激怒一位人工智能（机器学习、深度学习、强化学习等）爱好者？
什么是机器学习？
有哪些令你印象深刻的魔改transformer？
如何评价Yann LeCun宣称『他已经做好放弃概率论的准备』？
如何评价AWS的图神经网络框架DGL？
我应该从计算机视觉回到做FPGA 吗？
如何评价浪潮发布的2457亿参数源1.0智能大模型？与GPT-3相比如何？处于AI模型领域什么水平？