如何看待timm作者发布ResNet新基准：ResNet50提至80.4，这对后续研究会带来哪些影响？ 第1页
1
SeptEnds 网友的相关建议:
让我比较惊讶的是他用了大批量+ LAMB 优化器 + 超多训练轮数。
在我以前的印象中，图像分类任务一般都是 SGD-M 效果最好，虽然初期收敛慢，但到大后期会爆发，泛化性能往往高于自适应学习率的优化器。类似地，以往大批量训练关注的重点一般是如何在保持泛化性能基本不变（或者略微变差）的情况下提升批量大小以缩短训练时间，而非提升泛化性能。假如去看一些 MLPerf 之类的基准，容易发现这些基准对收敛的判定是不够严格的，比标准训练策略的泛化性能一般要差一些，仅仅是追求极致的训练速度。
看来 LAMB 优化器是真的强，需要好好研究一下了。既能训 ResNet 又能训 BERT，你值得拥有。
hbxiong 网友的相关建议:
Tricks are all you need
1
相关话题
为什么AI算法工程师要求C++?深度学习（机器学习）的下一步如何发展？
计算机图形学是否已经进入瓶颈期？
CVPR 2018 有什么值得关注的亮点？
有哪些比较好的机器学习，深度学习的网络资源可利用？
2020-2021年NLP有什么核心技术的更迭吗？或者有什么推动领域发展的paper吗？
在CV/NLP/DL领域中，有哪些修改一行代码或者几行代码提升性能的算法？
神经网络，人工智能这块怎么入门？
为什么Transformer要用LayerNorm？
迁移学习入门，新手该如何下手？
下一个讨论
有哪些适合科研工作者的解压方式？
相关的话题
如果有一天人类被AI取代，他们将以什么样的方式生活，娱乐，工作？脑机接口离实际应用还有多远？未来能否帮助障碍人士恢复生活能力？
如何看待人工智能领域的很多专家认为「人工智能将对人类存亡造成威胁」的观点？
计算机视觉顶级会议论文中比较适合初学计算机视觉的人做的复现实验有哪些？
如何评价傅盛的猎豹机器人之夜？
如何评价百度收购渡鸦科技？
自动驾驶能治首堵病吗？
能识别情绪的机器人可以算做有情感的机器人吗？
《星际穿越》中的机器人违反过机器人定律吗？
本科数学，目前在读计算机研一，毕业的时候想要应聘数据挖掘工程师，看了对数据挖掘工程师的招聘要求，感觉太宽泛了，希望能具体说一下现在应该准备哪些知识（算法？编程语言？其他？），谢谢！
「绝艺」成为中国国家围棋队指定训练 AI 后会有哪些影响？
能否把一个人的所有物理数据输入在一个模型里，然后计算他接下来的状态变化？
如何看待2019世界人工智能大会马云与埃隆马斯克的对话？
如何看待Transformer在CV上的应用前景，未来有可能替代CNN吗？
Transformer在工业界的应用瓶颈如何突破？
在CV/NLP/DL领域中，有哪些修改一行代码或者几行代码提升性能的算法？
有哪些结合医学、计算机、人工智能的研究领域？
三维重建怎么入门？
新智元提问：如何看待李飞飞高徒Karpathy加入特斯拉，主管人工智能部门？
如何评价 DeepMind 新提出的关系网络（Relation Network）？
为什么相比于计算机视觉(cv)，自然语言处理(nlp)领域的发展要缓慢？
FC 游戏《中国象棋》中，困难难度是真的在计算棋谱吗？
如何评价微软正在开发的人工智能编程软件 DeepCoder？
为什么现在不看好 CV 方向了呢?
现在互联网公司还有做特征工程的工作吗？
ICML 2018 有哪些值得关注的亮点?
为什么我用相同的模型，数据，超参，随机种子，在两台服务器会得到不同的结果？
三维重建怎么入门？
历史上有哪些曾经社会地位很高的职业由于科技的进步被淘汰？淘汰后的失业人员又是何去何从呢？
什么是meta-learning?