如何看待timm作者发布ResNet新基准：ResNet50提至80.4，这对后续研究会带来哪些影响？ 第1页
1
SeptEnds 网友的相关建议:
让我比较惊讶的是他用了大批量+ LAMB 优化器 + 超多训练轮数。
在我以前的印象中，图像分类任务一般都是 SGD-M 效果最好，虽然初期收敛慢，但到大后期会爆发，泛化性能往往高于自适应学习率的优化器。类似地，以往大批量训练关注的重点一般是如何在保持泛化性能基本不变（或者略微变差）的情况下提升批量大小以缩短训练时间，而非提升泛化性能。假如去看一些 MLPerf 之类的基准，容易发现这些基准对收敛的判定是不够严格的，比标准训练策略的泛化性能一般要差一些，仅仅是追求极致的训练速度。
看来 LAMB 优化器是真的强，需要好好研究一下了。既能训 ResNet 又能训 BERT，你值得拥有。
hbxiong 网友的相关建议:
Tricks are all you need
1
相关话题
神经网络为什么可以（理论上）拟合任何函数？为什么百度无人车在国内这么多人黑？
anchor-free存在什么缺点？
我们处于人工智能的时代，还是人工智障的时代？
为什么图形学的会议siggraph的论文代码很少会开源？好像视觉如CVPR、ICCV开源的更多一些。
是不是对于任意 n×n 大小的围棋棋盘，人类都赢不了 AlphaGo Zero 了？
在做算法工程师的道路上，你掌握了什么概念或技术使你感觉自我提升突飞猛进？
如何评价李开复称「如果对AI取代人毫无作为，人类将面临灾难」?
阿里巴巴达摩院发布 2022 十大科技趋势，今年的趋势预测有哪些亮点？
现在什么职业最容易被人工智能取代？
下一个讨论
有哪些适合科研工作者的解压方式？
相关的话题
如何自学人工智能？三维重建怎么入门？
如何理解 inductive learning 与 transductive learning?
目前的人工智能可以打「颜值」分吗？
新智元提问：如何看待李飞飞高徒Karpathy加入特斯拉，主管人工智能部门？
研一刚入学，从未接触过神经网络，python也是才开始学，现在导师要我做LSTM，我应该去学什么？
深度学习和强化学习之间的差别有多大？
现在什么职业最容易被人工智能取代？
我们难道必须发展人工智能吗？
DeepMind 团队中有哪些厉害的人物和技术积累？
如何证明马尔科夫链一定会达到稳态？
三维重建怎么入门？
美本本校AI直博概率大吗？
如何理解空洞卷积（dilated convolution）？
如何理解 inductive learning 与 transductive learning?
OpenAI 首席科学家称 AI 或有点自主意识了，其中有哪些值得关注的信息？
deepmind发表的neural processes(神经过程)，这个是怎么实现的呢？
清华大学这样等级的学府为什么要与其他方合作进行“华智冰”这样恶劣的炒作？
如何评价李开复称「ICO 是最大的泡沫，可能导致 AI 泡沫破裂」?
神经网络为什么可以（理论上）拟合任何函数？
如何看待人工智能领域的很多专家认为「人工智能将对人类存亡造成威胁」的观点？
自学深度学习是怎样一种体验？
如何理解深度学习中的deconvolution networks？
如何理解 Graph Convolutional Network（GCN）？
如何评价通信工程很多导师都研究机器学习人工智能而不是传统的天线电磁场等方向?
迁移学习入门，新手该如何下手？
如何看待上海交大建成全国最强超算，碾压哈佛、剑桥等名校？
大数据听着很牛，实际上也很牛吗？
如何看待Rokid发布的语音AI芯片KAMINO18?
中国工程院院士邬贺铨称未来拍电影不用花钱请小鲜肉，用技术就可以画出来。这真的可以实现吗？难度有多大？