如何看待timm作者发布ResNet新基准：ResNet50提至80.4，这对后续研究会带来哪些影响？ 第1页
1
SeptEnds 网友的相关建议:
让我比较惊讶的是他用了大批量+ LAMB 优化器 + 超多训练轮数。
在我以前的印象中，图像分类任务一般都是 SGD-M 效果最好，虽然初期收敛慢，但到大后期会爆发，泛化性能往往高于自适应学习率的优化器。类似地，以往大批量训练关注的重点一般是如何在保持泛化性能基本不变（或者略微变差）的情况下提升批量大小以缩短训练时间，而非提升泛化性能。假如去看一些 MLPerf 之类的基准，容易发现这些基准对收敛的判定是不够严格的，比标准训练策略的泛化性能一般要差一些，仅仅是追求极致的训练速度。
看来 LAMB 优化器是真的强，需要好好研究一下了。既能训 ResNet 又能训 BERT，你值得拥有。
hbxiong 网友的相关建议:
Tricks are all you need
1
相关话题
如何评价 PyTorch 团队推出的推荐系统库 TorchRec？防贪腐的治标之策，权宜之策听得太多了，但治本之策到底是什么？为何全世界都找不到治贪腐的终极解决方案？
人工智能可以作曲吗？
如何评价 DeepMind 的新工作 AlphaCode?
自动驾驶能治首堵病吗？
有哪些比较好的元学习（meta learning）领域的学习资源？
深度学习在无人驾驶汽车上面的运用有哪些？
图灵法则适用于未来人工智能吗？
各类科研领域中哪些公式，原理或定律的推出，用到了有趣的思维方式？
大家用resnet50在imagenet上面top1最高能到多少？
下一个讨论
有哪些适合科研工作者的解压方式？
相关的话题
普通FPGA工程师怎样向人工智能靠拢？如何看待Capsule Network在NLP领域的潜力？
当「虚拟数字人类」无限接近于拟人，会给我们的生活带来哪些影响？
普通FPGA工程师怎样向人工智能靠拢？
如果有第谷的数据，现在的机器学习，深度学习有办法学出开普勒三定律吗？
没有顶会的CV/NLP方向的博士生毕业出路在哪里？
神经网络为什么可以（理论上）拟合任何函数？
计算机图形学是否已经进入瓶颈期？
石黑浩的美女机器人如何评价？
无人车为什么一定要用激光雷达做，双目视觉难道不行吗？
如何看待 Google TPU？寒武纪芯片较之有哪些优势与不足？
如何评价 DeepMind 的新工作 AlphaCode?
相比于时下流行的机器学习方法（联接主义），传统的人工智能方法（符号主义）有什么独一无二的优势？
如何评价Momenta ImageNet 2017夺冠架构SENet?
AI领域的灌水之风如何破局？
什么是大模型？超大模型？Foundation Model？
怎样让机器有意识?
为什么在SGD中使用L1正则化很难获得稀疏性？
济南成功实施首例「人工心脏」植入手术，「人工心脏」相对于传统心脏移植有哪些优势？
Metaverse是什么？如何看待它？
现代的人工智能机器人是采用什么编程语言来写系统的？
CNN（卷积神经网络）、RNN（循环神经网络）、DNN（深度神经网络）的内部网络结构有什么区别？
如何评价Facebook AI提出的ResMLP，对比Google的MLP-Mixer?
有没有可能运用人工神经网络将一种编程语言的代码翻译成任意的另一种编程语言，而不经过人工设计的编译过程？
如何评价何凯明ResNet论文被引用10万次，顶几篇Nature正刊，够评院士吗？
我怀疑人类真的把人工智能当成傻子了，这才是最可怕的，是变局来临前的预兆，人类有什么资格看扁AI？
语音交互要解决哪些问题，才能摘掉“人工智障”的帽子?
如何走通企业数智化落地的“最后一公里”，让无人工厂不再纸上谈兵？
这一波人工智能泡沫将会怎么破灭？
目标检测中的mAP是什么含义？