如何看待timm作者发布ResNet新基准：ResNet50提至80.4，这对后续研究会带来哪些影响？ 第1页
1
SeptEnds 网友的相关建议:
让我比较惊讶的是他用了大批量+ LAMB 优化器 + 超多训练轮数。
在我以前的印象中，图像分类任务一般都是 SGD-M 效果最好，虽然初期收敛慢，但到大后期会爆发，泛化性能往往高于自适应学习率的优化器。类似地，以往大批量训练关注的重点一般是如何在保持泛化性能基本不变（或者略微变差）的情况下提升批量大小以缩短训练时间，而非提升泛化性能。假如去看一些 MLPerf 之类的基准，容易发现这些基准对收敛的判定是不够严格的，比标准训练策略的泛化性能一般要差一些，仅仅是追求极致的训练速度。
看来 LAMB 优化器是真的强，需要好好研究一下了。既能训 ResNet 又能训 BERT，你值得拥有。
hbxiong 网友的相关建议:
Tricks are all you need
1
相关话题
人工智能是否毁灭人类？视觉Transformer如何优雅地避开位置编码？
AMD的CPU是否适合搭建深度学习主机？
在哪里能找到各行业的分析研究报告？
有什么算法能对一个长短不一的时间序列进行分类预测?
哪些人工智能领域已经或者未来1-2年会实现盈利？
为什么多标签分类（不是多类分类）损失函数可以使用Binary Cross Entropy？
是不是对于任意 n×n 大小的围棋棋盘，人类都赢不了 AlphaGo Zero 了？
硕士方向，选择迁移学习还是自然语言处理？
如何看待2021年秋招算法岗灰飞烟灭？
下一个讨论
有哪些适合科研工作者的解压方式？
相关的话题
为什么yolov5从零开始训练（不在ImageNet上预训练）能够达到如此高的性能？如何看待最近一段时间旷视科技Face++、阿里、小米、京东、科大讯飞和地平线等相继在南京建立研发中心？
A*寻路是一种广度优先搜索？
《2050：未来议程》（2021） 问题2：在工业时代，人被异化为机器；在数字时代，还存在人的异化吗？
为什么美国如此反对中国留学生学习人工智能和量子技术？国内外这两种技术的发展现状如何？
有哪些深度学习效果不如传统方法的经典案例？
AI领域的灌水之风如何破局？
2021年，ncnn发展的如何了？
如何评价何恺明、Ross Girshick组的自监督时空表征学习新作？
如何客观评价科大讯飞这家公司？
能否用AI控制枪械，实现自动寻找目标、瞄准、击发？
为什么相比于计算机视觉(cv)，自然语言处理(nlp)领域的发展要缓慢？
面试官如何判断面试者的机器学习水平？
现在AI是不是不行？
在元宇宙世界中，我要怎么证明「我是我」？
特斯拉 AI 日推出人工智能训练计算机 DOJO 芯片，有哪些技术亮点？使用场景是怎样的？
为什么现在的CNN模型都是在GoogleNet、VGGNet或者AlexNet上调整的？
为什么计算注意力机制的时候不加偏置项？
如何去构建一家属于【我们自己】的公司（超级合作社）？
如何看待Hinton的论文《Dynamic Routing Between Capsules》？
AlphaGo 与李世石的第四局比赛中有哪些值得关注之处？
什么是meta-learning?
普通FPGA工程师怎样向人工智能靠拢？
机器学习中有哪些形式简单却很巧妙的idea？
至强CPU，都有哪些你不知道的小秘密？
你为什么认为完全人工智能可以实现？
上学和读书有什么区别?
如何评价《王者荣耀》「绝悟」AI?
如何评价浪潮发布的2457亿参数源1.0智能大模型？与GPT-3相比如何？处于AI模型领域什么水平？
如何评价deepmind最新在nature上发表的论文《在人工网络中用网格样表征进行基于向量的导航》？