如何看待timm作者发布ResNet新基准：ResNet50提至80.4，这对后续研究会带来哪些影响？ 第1页
1
SeptEnds 网友的相关建议:
让我比较惊讶的是他用了大批量+ LAMB 优化器 + 超多训练轮数。
在我以前的印象中，图像分类任务一般都是 SGD-M 效果最好，虽然初期收敛慢，但到大后期会爆发，泛化性能往往高于自适应学习率的优化器。类似地，以往大批量训练关注的重点一般是如何在保持泛化性能基本不变（或者略微变差）的情况下提升批量大小以缩短训练时间，而非提升泛化性能。假如去看一些 MLPerf 之类的基准，容易发现这些基准对收敛的判定是不够严格的，比标准训练策略的泛化性能一般要差一些，仅仅是追求极致的训练速度。
看来 LAMB 优化器是真的强，需要好好研究一下了。既能训 ResNet 又能训 BERT，你值得拥有。
hbxiong 网友的相关建议:
Tricks are all you need
1
相关话题
如何看待Hinton的论文《Dynamic Routing Between Capsules》？为什么 AI 理解不了逻辑问题？
未来有可能出现人工智能战略家吗？能不能让人工智能管理社会？
如何评价DALL-E模型的实现？
深度学习cnn中，怎么理解图像进行池化（pooling）后的平移不变性？
计算流体力学（CFD）里应用注意力机制（attention）是否可行？
如何采用进化的方法，在内存中创造智能体？
深度学习在生物信息领域有什么应用？
如何评价《王者荣耀》「绝悟」AI?
为什么硅谷的人在造火箭，搞人工智能，虚拟现实生物工程，而我们却在玩互联网？
下一个讨论
有哪些适合科研工作者的解压方式？
相关的话题
民航客机距离完全不需要飞行员的自动驾驶还有多远？最难被人工智能替代的职业是什么？
2019 秋招的 AI 岗位竞争激烈吗？
如何评价 MSRA 最新的 Deformable Convolutional Networks？
怎样实现强人工智能?
从应用的角度来看，深度学习怎样快速入门？
如何理解深度学习中的deconvolution networks？
BERT模型可以使用无监督的方法做文本相似度任务吗？
AlphaGo 下棋的策略套路与人类策略有哪些相似吗？
有没有根据一张人物的立绘正面像，自动生成同风格各侧面角度像并自动衍生表情的软件啊？
如果有一天，医院里所有的医护人员都改由人工智能机器人来担任了，会发生什么事？
如果有一天，医院里所有的医护人员都改由人工智能机器人来担任了，会发生什么事？
为什么机器人研究了几十年，还是给人感觉没有太大进展？
如果有一天人类被AI取代，他们将以什么样的方式生活，娱乐，工作？
看了很多科幻电影，为什么每个人工智能都想成为人类呢？
一个人能否实现自己转动螺旋桨从而上天？实现需要什么条件？
如果将来想要造一个三次元人工智能美少女，需不需要很多生物知识？
是否有算法可以去除电影中的马赛克？
如何看待人工智能领域的很多专家认为「人工智能将对人类存亡造成威胁」的观点？
怎样让机器有意识?
如何评价深度学习之父Hinton发布的Capsule论文？
如何看待0.5元可买到身份匹配的人脸数据？如何才能避免信息泄露？
如何评价 MSRA 视觉组最新提出的 Deformable ConvNets V2？
深度学习中，模型大了好还是小了好呢？
IBM 重返消费级市场有哪些机会？
在实际工程系统中，MPC太复杂，难以做到realtime。因此都利用数据，MPC对比RL还有优势么?
如何评价 Google 在 2022 年 3 月公开的 Pathways 架构设计？
如何看待知乎的AI答主「四十二」？人工智能有可能理解生命的意义是什么吗？
对自己深度学习方向的论文有idea，可是工程实践能力跟不上，实验搞不定怎么办？
什么是大模型？超大模型？Foundation Model？