如何看待timm作者发布ResNet新基准：ResNet50提至80.4，这对后续研究会带来哪些影响？ 第1页
1
SeptEnds 网友的相关建议:
让我比较惊讶的是他用了大批量+ LAMB 优化器 + 超多训练轮数。
在我以前的印象中，图像分类任务一般都是 SGD-M 效果最好，虽然初期收敛慢，但到大后期会爆发，泛化性能往往高于自适应学习率的优化器。类似地，以往大批量训练关注的重点一般是如何在保持泛化性能基本不变（或者略微变差）的情况下提升批量大小以缩短训练时间，而非提升泛化性能。假如去看一些 MLPerf 之类的基准，容易发现这些基准对收敛的判定是不够严格的，比标准训练策略的泛化性能一般要差一些，仅仅是追求极致的训练速度。
看来 LAMB 优化器是真的强，需要好好研究一下了。既能训 ResNet 又能训 BERT，你值得拥有。
hbxiong 网友的相关建议:
Tricks are all you need
1
相关话题
《硅谷》第六季两个 AI 把网络聊崩了的情况，现实中有可能发生吗？2019 年 8 月 9-11 日召开的华为开发者大会（HDC.2019）上有哪些值得关注的信息？
普通程序员如何正确学习人工智能方向的知识？
G7 忙着「秀」，有哪些值得注意的细节？
AI人工智能开发，如何入门?
如何看待语音合成等 AI 算法、无人机等被列入限制出口技术目录？
计算机视觉是否已经进入瓶颈期？
如果百年后深度学习最终有了公认的数学理论作为基础，能解释实验中的各类玄学，那这个理论会长什么样子？
AlphaGo 与李世石的第四局比赛中有哪些值得关注之处？
如何系统地自学 Python？
下一个讨论
有哪些适合科研工作者的解压方式？
相关的话题
如何评价谷歌提出的 Pix2Seq：将目标检测看成语言建模，效果超过 DETR？如何看待Geoffrey Hinton的言论，深度学习要另起炉灶，彻底抛弃反向传播？
观电影机械姬（Ex Machina）有何感触？
如何看待上海交大建成全国最强超算，碾压哈佛、剑桥等名校？
什么是蒙特卡罗 Dropout(Monte-Carlo Dropout)？
怎么选取训练神经网络时的Batch size?
如何激怒一位人工智能（机器学习、深度学习、强化学习等）爱好者？
人大理科试验班与南大AI选哪个?
一些科学家们支持强人工智能理论的理由是什么？
如何理解attention中的Q,K,V？
人工智能，深度学习，是不是继生化环材之后的第五天坑?
如何评价微软新出的自拍软件 Microsoft Selfie？
未来会不会出现一种科技能够改变甚至主宰人类？
有人说几十年之内就出现强人工智能，那我现在还有必要学习吗？
人工智能被高估了吗？
如何评价 AI 仅用 5.4 秒就能设计出和文献相同的化学反应途径，堪称化学界「AlphaGo」？
如何证明数据增强（Data Augmentation）有效性？
如何看待Jeff Dean&Hinton投到ICLR17的MoE的工作？
如何评价MXNet发布的1.0版本？
5-10年后，你觉得哪些科技会让我们“遗忘”现在的生活？
如何用一句话证明自然语言处理很难？
人工智能 CV 岗位是不是现在供严重大于需？
如何评价马云的无人超市？
计算机视觉是否已经进入瓶颈期？
如何评价Yann LeCun 说的「要研究机器学习，本科应尽量多学物理和数学课」？
计算机系学生应该怎样正确管理自己的电脑？
为何谷歌要卖掉表现优异的波士顿动力的机器人？
图片上训的模型，怎么迁移视频上呢？
计算机在德州扑克比赛中可以战胜人类吗？
如何看待马毅教授在国内评不上杰青？