如何看待timm作者发布ResNet新基准：ResNet50提至80.4，这对后续研究会带来哪些影响？ 第1页
1
SeptEnds 网友的相关建议:
让我比较惊讶的是他用了大批量+ LAMB 优化器 + 超多训练轮数。
在我以前的印象中，图像分类任务一般都是 SGD-M 效果最好，虽然初期收敛慢，但到大后期会爆发，泛化性能往往高于自适应学习率的优化器。类似地，以往大批量训练关注的重点一般是如何在保持泛化性能基本不变（或者略微变差）的情况下提升批量大小以缩短训练时间，而非提升泛化性能。假如去看一些 MLPerf 之类的基准，容易发现这些基准对收敛的判定是不够严格的，比标准训练策略的泛化性能一般要差一些，仅仅是追求极致的训练速度。
看来 LAMB 优化器是真的强，需要好好研究一下了。既能训 ResNet 又能训 BERT，你值得拥有。
hbxiong 网友的相关建议:
Tricks are all you need
1
相关话题
如何评价何恺明、Ross Girshick组的自监督时空表征学习新作？深度学习有哪些好玩的案例？
如何评价清华大学沈向洋教授在快手讲课时说的「要避免传统社会语境里的偏见被带入AI」？
本科数学，目前在读计算机研一，毕业的时候想要应聘数据挖掘工程师，看了对数据挖掘工程师的招聘要求，感觉太宽泛了，希望能具体说一下现在应该准备哪些知识（算法？编程语言？其他？），谢谢！
CVPR2022 有什么值得关注的论文 ?
如何评价今年各科技企业举办的开发者大会？
人类被机器人统治的条件有哪些？
腾讯自己也做芯片，为什么还投资AI/DPU等初创公司？他们之间会不会成为下一个华为和寒武纪？
国内有哪些不错的CV(计算机视觉)团队?
如何评价 DeepMind 新提出的关系网络（Relation Network）？
下一个讨论
有哪些适合科研工作者的解压方式？
相关的话题
如何评价PyTorch 0.4.0？以目前 AI 的能力，可以在各行各业替代哪些方面的工作内容？
AlphaFold2 解决了蛋白质结构问题吗？DeepMind 解决这项生物学五十年难题有何重大意义？
当「虚拟数字人类」无限接近于拟人，会给我们的生活带来哪些影响？
如何看待由 AI 绘制的漫画《Phaedo》？
神经网络能否代替决策树算法？
钢琴一类乐器能否用穷举的方法写下所有可能的乐谱呢？
人工智能可以被认为是人类无性繁殖的一种形式吗？
如何评价谷歌大脑的EfficientNet？
深度学习底层开发对数学有哪些要求？
如何看待旷视科技新产品监视学生上课？
人脸识别哪家强？
清华首个虚拟学生华智冰演唱视频遭质疑，小冰回应称并非仅仅 AI 换脸，对此你怎么看？
如何评价CUHK以及Yuanjun Xiong提出的Trajectory Convolution？
AlphaGo 能战胜李世石吗？
除了深度神经网络已经实现的特性以外，大脑还有哪些特性是值得机器学习领域借鉴的？
超越人类的人工智能 (AI) 是否能够实现？
阿里巴巴达摩院发布 2022 十大科技趋势，今年的趋势预测有哪些亮点？
中信出版集团提问：如果《人类简史》和《未来简史》的作者尤瓦尔要举办一场读（记）者见面会邀请你去参加，你最想问他什么问题？
如何评价 NVIDIA 发布的 DGX-1？
人工智能在麻将领域能够战胜人类吗？
如何看UCBerkeley RISELab即将问世的Ray，replacement of Spark？
2021年，作为算法工程师的你们会在CV业务落地上用Transformer吗？
对于技术岗位而言，开发岗累还是算法岗累呢？
三维重建怎么入门？
深度学习中，模型大了好还是小了好呢？
自监督学习（Self-supervised Learning）有什么比较新的思路？
如何通俗易懂地讲解 Photoshop 中的「通道」概念？
深度学习领域有哪些瓶颈？
Deep Learning 的专家如此急缺，它难在何处？