如何看待timm作者发布ResNet新基准：ResNet50提至80.4，这对后续研究会带来哪些影响？ 第1页
1
SeptEnds 网友的相关建议:
让我比较惊讶的是他用了大批量+ LAMB 优化器 + 超多训练轮数。
在我以前的印象中，图像分类任务一般都是 SGD-M 效果最好，虽然初期收敛慢，但到大后期会爆发，泛化性能往往高于自适应学习率的优化器。类似地，以往大批量训练关注的重点一般是如何在保持泛化性能基本不变（或者略微变差）的情况下提升批量大小以缩短训练时间，而非提升泛化性能。假如去看一些 MLPerf 之类的基准，容易发现这些基准对收敛的判定是不够严格的，比标准训练策略的泛化性能一般要差一些，仅仅是追求极致的训练速度。
看来 LAMB 优化器是真的强，需要好好研究一下了。既能训 ResNet 又能训 BERT，你值得拥有。
hbxiong 网友的相关建议:
Tricks are all you need
1
相关话题
现代人工神经网络是不是一个死胡同？这个技术是不是骗人的？如何评价 Face++ 旷视科技最新出品的检测专用 backbone 网络 DetNet ？
如何理解attention中的Q,K,V？
如何理解Inductive bias？
在前沿科技领域，拥有话语权的中国企业有哪些，成果如何？
应该选择TensorFlow还是Theano？
人工智能 CV 岗位是不是现在供严重大于需？
自学深度学习是怎样一种体验？
NLP 中 prompt learning 有哪些可能的天生缺陷？目前有什么样的方法来解决这样的缺陷？
迁移学习入门，新手该如何下手？
下一个讨论
有哪些适合科研工作者的解压方式？
相关的话题
导盲犬一只训练成本高达22万，为什么不用相同的钱雇人为盲人导盲？有哪些未来人工智能的职位适合经济专业？
搞机器学习的生环化材是天坑吗？
AlphaGo 有没有「棋风」？它在下棋时会犯错吗？
如何评价 Exploring Simple Siamese Learning?
「绝艺」成为中国国家围棋队指定训练 AI 后会有哪些影响？
计算机在德州扑克比赛中可以战胜人类吗？
能否用AI控制枪械，实现自动寻找目标、瞄准、击发？
当前人工智能特别是深度学习最前沿的研究方向是什么？
如何评价《罗辑思维》第 115 期对谢熊猫君翻译的关于人工智能的文章的重新演绎？
人工智能可以解决人类难题吗？
如何看待上海某小学通过 AI 图像识别学生上课开小差并对学生进行评分？
Metaverse是什么？如何看待它？
AlphaGo 战胜李世石后，最让你害怕的是什么？
国内外有哪些做小样本学习(Few-Shot Learning)的优秀团队？
大家用resnet50在imagenet上面top1最高能到多少？
如何评价deepmind最新在nature上发表的论文《在人工网络中用网格样表征进行基于向量的导航》？
一些科学家们支持强人工智能理论的理由是什么？
FC 游戏《中国象棋》中，困难难度是真的在计算棋谱吗？
人是如何做黑盒优化的？
2019 年 8 月 9-11 日召开的华为开发者大会（HDC.2019）上有哪些值得关注的信息？
今天看到“人工智能没有欲望，只有人工智能管理人类社会才能实现大同社会”这句话，想听听大家怎么说？
如何评价Google Duplex（打电话AI）在特定领域已经通过了图灵测试？
国内 TOP10 CS 博士，该退学去做 RA 还是继续读呢？
中国崛起超越美国会不会成为一件无意义的事？
如果人工智能迎来下一个寒冬，你认为会是卡在什么问题上？
如何评价 DeepMind 于2016年9月12日公开的 AlphaGo 自战棋谱及3月人机大战解说？
如何评价微软的人工智能部门成立仅 1 年，现在有 8000 多员工？
2022 年人工智能领域的发展趋势是什么？你都有哪些期待？
为什么不训练黑猩猩来代替人民从事体力和简单重复操作呢？