如何看待timm作者发布ResNet新基准：ResNet50提至80.4，这对后续研究会带来哪些影响？ 第1页
1
SeptEnds 网友的相关建议:
让我比较惊讶的是他用了大批量+ LAMB 优化器 + 超多训练轮数。
在我以前的印象中，图像分类任务一般都是 SGD-M 效果最好，虽然初期收敛慢，但到大后期会爆发，泛化性能往往高于自适应学习率的优化器。类似地，以往大批量训练关注的重点一般是如何在保持泛化性能基本不变（或者略微变差）的情况下提升批量大小以缩短训练时间，而非提升泛化性能。假如去看一些 MLPerf 之类的基准，容易发现这些基准对收敛的判定是不够严格的，比标准训练策略的泛化性能一般要差一些，仅仅是追求极致的训练速度。
看来 LAMB 优化器是真的强，需要好好研究一下了。既能训 ResNet 又能训 BERT，你值得拥有。
hbxiong 网友的相关建议:
Tricks are all you need
1
相关话题
三维重建怎么入门？超越人类的人工智能 (AI) 是否能够实现？
日本东京大学用 AI 开发电极材料，实验次数降至千分之一，对此还有哪些值得关注？
如何诠释「懂你」？
2021 年，深度学习方面取得了哪些关键性进展？
如何评价马云的无人超市？
两台 AlphaGo 对决会和棋吗？
身为消费者，你对汽车人工智能有什么期待？
如何看待 CMU 新开设的 AI 专业？
国内外有哪些做小样本学习(Few-Shot Learning)的优秀团队？
下一个讨论
有哪些适合科研工作者的解压方式？
相关的话题
如何评价周志华在微博对 AlphaGo 和机器学习技术的评论？如何理解深度学习源码里经常出现的logits？
马斯克的星链计划会对 5G 产生重大威胁吗？
如何评价李飞飞和李佳加盟谷歌？
如何看待swin transformer成为ICCV2021的 best paper？
如何看待Jeff Dean&Hinton投到ICLR17的MoE的工作？
柯洁与 AlphaGo 三场皆负，对围棋今后的发展会有哪些影响？
现在tensorflow和mxnet很火，是否还有必要学习scikit-learn等框架？
为什么 AI 理解不了逻辑问题？
如何评价《最强大脑》第四季第一期中人机对战？
人工智能趋势下，孩子学习编程有哪些意义，对未来发展有好处吗？
特朗普发起贸易战，会对中国科技、电信、AI 等行业带来哪些影响？
如何评价微软亚洲研究院提出的LightRNN？
为什么身边的人都想学计算机，计算机真的有那么好吗？
2020年，多标签学习（multi-label）有了哪些新的进展？
AlphaGo 战胜李世石后，最让你害怕的是什么？
如何评价 PyTorch 团队推出的推荐系统库 TorchRec？
《星际穿越》中的机器人违反过机器人定律吗？
如何看待Yoav Goldberg 怒怼来自MILA的GAN for NLG的paper?
为什么 Stephen Hawking（史蒂芬·霍金）认为「人工智能或导致人类灭绝，应加以控制」？
人工智能，深度学习，是不是继生化环材之后的第五天坑?
在做算法工程师的道路上，你掌握了什么概念或技术使你感觉自我提升突飞猛进？
如何看待人工智能领域的很多专家认为「人工智能将对人类存亡造成威胁」的观点？
如何看待清华首个 AI 学生华智冰？
有什么事情是人工智能永远比不上人类的？
如何看待SIREN激活函数的提出？
AlphaGo 下棋的策略套路与人类策略有哪些相似吗？
日本“妻子机器人"上市，不要彩礼不要车房，大家怎么看待现实女性与机器女性？
人工智能（AI）会埋葬哪些职业？
深度学习在生物信息领域有什么应用？