百科问答小站 logo
百科问答小站 font logo



如何看待timm作者发布ResNet新基准:ResNet50提至80.4,这对后续研究会带来哪些影响? 第1页

  

user avatar   SeptEnds 网友的相关建议: 
      

让我比较惊讶的是他用了大批量+ LAMB 优化器 + 超多训练轮数。

在我以前的印象中,图像分类任务一般都是 SGD-M 效果最好,虽然初期收敛慢,但到大后期会爆发,泛化性能往往高于自适应学习率的优化器。类似地,以往大批量训练关注的重点一般是如何在保持泛化性能基本不变(或者略微变差)的情况下提升批量大小以缩短训练时间,而非提升泛化性能。假如去看一些 MLPerf 之类的基准,容易发现这些基准对收敛的判定是不够严格的,比标准训练策略的泛化性能一般要差一些,仅仅是追求极致的训练速度。

看来 LAMB 优化器是真的强,需要好好研究一下了。既能训 ResNet 又能训 BERT,你值得拥有。


user avatar   hbxiong 网友的相关建议: 
      

Tricks are all you need




  

相关话题

  如何看待Hinton的论文《Dynamic Routing Between Capsules》? 
  为什么 AI 理解不了逻辑问题? 
  未来有可能出现人工智能战略家吗?能不能让人工智能管理社会? 
  如何评价DALL-E模型的实现? 
  深度学习cnn中,怎么理解图像进行池化(pooling)后的平移不变性? 
  计算流体力学(CFD)里应用注意力机制(attention)是否可行? 
  如何采用进化的方法,在内存中创造智能体? 
  深度学习在生物信息领域有什么应用? 
  如何评价《王者荣耀》「绝悟」AI? 
  为什么硅谷的人在造火箭,搞人工智能,虚拟现实生物工程,而我们却在玩互联网? 

前一个讨论
2021 CCF 全国高性能计算学术年会(CCF HPC China 2021)有哪些值得期待的地方?
下一个讨论
有哪些适合科研工作者的解压方式?





© 2025-05-29 - tinynew.org. All Rights Reserved.
© 2025-05-29 - tinynew.org. 保留所有权利