如何看待timm作者发布ResNet新基准：ResNet50提至80.4，这对后续研究会带来哪些影响？ 第1页
1
SeptEnds 网友的相关建议:
让我比较惊讶的是他用了大批量+ LAMB 优化器 + 超多训练轮数。
在我以前的印象中，图像分类任务一般都是 SGD-M 效果最好，虽然初期收敛慢，但到大后期会爆发，泛化性能往往高于自适应学习率的优化器。类似地，以往大批量训练关注的重点一般是如何在保持泛化性能基本不变（或者略微变差）的情况下提升批量大小以缩短训练时间，而非提升泛化性能。假如去看一些 MLPerf 之类的基准，容易发现这些基准对收敛的判定是不够严格的，比标准训练策略的泛化性能一般要差一些，仅仅是追求极致的训练速度。
看来 LAMB 优化器是真的强，需要好好研究一下了。既能训 ResNet 又能训 BERT，你值得拥有。
hbxiong 网友的相关建议:
Tricks are all you need
1
相关话题
多模态方面，有哪些牛组值得我们follow他们的工作？AlphaGo 和人类棋手比起来谁消耗的资源更多？
如何看待谷歌研究人员提出的卷积正则化方法「DropBlock」？
现在的人工智能是否走上了数学的极端？
2021年深度学习哪些方向比较新颖，处于上升期或者朝阳阶段，没那么饱和，比较有研究潜力？
如何看待「2020福州人工智能围棋大赛」疑似众多队伍使用开源程序「KataGo」参赛？
Yoshua Bengio为什么能跟Hinton、LeCun相提并论？？
试以「Siri 已失去控制」为开头写一个故事？
大家都是在哪些网站找数据？
如何理解 Swin Transformer 和 Vision Transformer不同任务上的差异？
下一个讨论
有哪些适合科研工作者的解压方式？
相关的话题
分类机器学习中，某一标签占比太大（标签稀疏），如何学习？如何看待NLP领域最近比较火的prompt，能否借鉴到CV领域？
数学理论上可不可以绝对识别ps过的照片（可以作为法律证据的）？
如何看待End-to-End Object Detection with Transformers？
如何理解马云在世界人工智能大会上说的「保护哭喊的落后力量，一定会阻碍创新」？
是否有平台已经具备通过AI进行智能写作的能力？
如何评价Deepmind自监督新作BYOL？
为什么Python效率比node低，Python却被广泛运用在大数据人工智能？node为什么没有发展？
现在买车，要不要把「智能」作为影响购车决策的重要因素?
有什么算法能对一个长短不一的时间序列进行分类预测?
日本东京大学用 AI 开发电极材料，实验次数降至千分之一，对此还有哪些值得关注？
强化学习和自适应控制的关系是什么？
如何看待2021年秋招算法岗灰飞烟灭？
人工智能可以为人类找寻他们心目中的另一半吗?
如果让自动驾驶程序去跑F1，能跑赢顶尖车手吗？
如何看待0.5元可买到身份匹配的人脸数据？如何才能避免信息泄露？
计算机视觉中video understanding领域有什么研究方向和比较重要的成果？
机器人操作同样的电脑同人类对战星际争霸 2，与机器人与人进行围棋比赛，哪个难度更低？
为什么 VR 始终不能崛起呢？
计算机视觉（CV）的算法有哪些，具体都有哪些特点？
如何评价微软亚研院提出的把 Transformer 提升到了 1000 层的 DeepNet？
NIPS 2018 有什么值得关注的亮点？
如何评价最新的Octave Convolution？
人工智能会让未来的广告变成什么样子？
如何看待百度无人车， 三千多个场景，一万多个if？
如何用FPGA加速卷积神经网络(CNN)？
如何看待清华首个 AI 学生华智冰？
请问DeepMind和OpenAI身后的两大RL流派有什么具体的区别？
去美国读CS博士，方向是机器人导航，视觉方面，推荐一下相关编程方面准备？还有相关算法需要学习哪些？
如何看待timm作者发布ResNet新基准：ResNet50提至80.4，这对后续研究会带来哪些影响？