如何看待timm作者发布ResNet新基准：ResNet50提至80.4，这对后续研究会带来哪些影响？ 第1页
1
SeptEnds 网友的相关建议:
让我比较惊讶的是他用了大批量+ LAMB 优化器 + 超多训练轮数。
在我以前的印象中，图像分类任务一般都是 SGD-M 效果最好，虽然初期收敛慢，但到大后期会爆发，泛化性能往往高于自适应学习率的优化器。类似地，以往大批量训练关注的重点一般是如何在保持泛化性能基本不变（或者略微变差）的情况下提升批量大小以缩短训练时间，而非提升泛化性能。假如去看一些 MLPerf 之类的基准，容易发现这些基准对收敛的判定是不够严格的，比标准训练策略的泛化性能一般要差一些，仅仅是追求极致的训练速度。
看来 LAMB 优化器是真的强，需要好好研究一下了。既能训 ResNet 又能训 BERT，你值得拥有。
hbxiong 网友的相关建议:
Tricks are all you need
1
相关话题
如何看待「经验只是法律大数据遗漏的碎片」这句话？为什么很少人用FFT加速CNN卷积层的运算？
为什么不训练黑猩猩来代替人民从事体力和简单重复操作呢？
普惠AI时代即将来临，开发者如何向AI开发转型？
如何评价《Science》封面文章《通过概率规划归纳的人类层次概念学习》?
基于人工智能参与者的《我的世界》游戏框架的演化与突破？
如果百年后深度学习最终有了公认的数学理论作为基础，能解释实验中的各类玄学，那这个理论会长什么样子？
我应该从计算机视觉回到做FPGA 吗？
没有顶会的CV/NLP方向的博士生毕业出路在哪里？
马斯克的星链计划会对 5G 产生重大威胁吗？
下一个讨论
有哪些适合科研工作者的解压方式？
相关的话题
如何看待英伟达禁止精视软件（GeForce）在数据中心使用？如何看待「经验只是法律大数据遗漏的碎片」这句话？
卷积神经网络中卷积核是如何学习到特征的？
AMD的CPU是否适合搭建深度学习主机？
如何评价 CVPR 2020的论文接收结果？有哪些亮点论文？
在实际工程系统中，MPC太复杂，难以做到realtime。因此都利用数据，MPC对比RL还有优势么?
如何用人工智能AI来学习围棋？
为什么我用相同的模型，数据，超参，随机种子，在两台服务器会得到不同的结果？
机器人有办法绕开人类为他们设定的三大原则并统治人类吗？
计算机在德州扑克比赛中可以战胜人类吗？
如何评价 2018 年度图灵奖颁发给三位深度学习之父？
用生成模型做数据增强data augmentation时，如何从合成数据中筛选出质量较好的样本？
机器学习能否用于综合评价？具体怎么操作？
如何看待李沐老师提出的「用随机梯度下降来优化人生」？
想做机器人，有什么好的发展方向？
普通FPGA工程师怎样向人工智能靠拢？
如何评价第10期UEC杯世界电脑围棋赛绝艺夺冠？
如何看待timm作者发布ResNet新基准：ResNet50提至80.4，这对后续研究会带来哪些影响？
如何进行图像模糊与清晰的分类？
最难被人工智能替代的职业是什么？
如何评价 MSRA 视觉组最新提出的 Deformable ConvNets V2？
如何评价MSRA最新的 Relation Networks for Object Detection？
你实践中学到的最重要的机器学习经验是什么？
如何看待在某度搜不到megengine官网？
ICLR 2019 有什么值得关注的亮点？
如何看待Transformer在CV上的应用前景，未来有可能替代CNN吗？
为什么yolov5从零开始训练（不在ImageNet上预训练）能够达到如此高的性能？
有哪些相见恨晚的 TensorFlow 小技巧？
如何将某个分布作为机器学习的特征？
如何评价MSRA最新的 Relation Networks for Object Detection？