如何看待timm作者发布ResNet新基准：ResNet50提至80.4，这对后续研究会带来哪些影响？ 第1页
1
SeptEnds 网友的相关建议:
让我比较惊讶的是他用了大批量+ LAMB 优化器 + 超多训练轮数。
在我以前的印象中，图像分类任务一般都是 SGD-M 效果最好，虽然初期收敛慢，但到大后期会爆发，泛化性能往往高于自适应学习率的优化器。类似地，以往大批量训练关注的重点一般是如何在保持泛化性能基本不变（或者略微变差）的情况下提升批量大小以缩短训练时间，而非提升泛化性能。假如去看一些 MLPerf 之类的基准，容易发现这些基准对收敛的判定是不够严格的，比标准训练策略的泛化性能一般要差一些，仅仅是追求极致的训练速度。
看来 LAMB 优化器是真的强，需要好好研究一下了。既能训 ResNet 又能训 BERT，你值得拥有。
hbxiong 网友的相关建议:
Tricks are all you need
1
相关话题
金融学及金融从业者如何应对人工智能和大数据？在算力充沛，深度学习模型大行其道的今天，传统机器学习的未来在哪里？
如何看待 Uber 发生全球首例自动驾驶致死事件？
机器学习算法工程师如何自己接项目单干、并赚取比上班多得多的收入？
如何看待「原谅宝」？
法律是否可能被代码化？
有哪些值得推荐的人工智能领域的优质科普平台或渠道？
测试集在构造的时候需要人为控制其中应该正确的和应该错误的数据比例吗？
人工智能技术如何应用到相亲？
如何评价 MSRA 最新的 Deformable Convolutional Networks？
下一个讨论
有哪些适合科研工作者的解压方式？
相关的话题
如何看待MXNet获得amazon官方支持首位？如何评价DeepMind新提出的MuZero算法？
哪些经历让你体会到，科学技术真的提升了我们生活的幸福感？
什么是meta-learning?
如何看待滴滴章文嵩称，滴滴面临的问题比 AlphaGo 复杂 100 倍？
我们博物馆想要引入一些AI机器人，最好能和游客互动，能带游客参观和讲解文物历史知识的，有推荐的吗？
人工智能技术如何应用到相亲？
隐私计算、计算机视觉、自然语言处理三者中，哪个研究起来更有前途？
在文本分类任务中，有哪些论文中很少提及却对性能有重要影响的tricks？
我应该从计算机视觉回到做FPGA 吗？
AI人工智能开发，如何入门?
当前（2020年）机器学习中有哪些研究方向特别的坑？
有谁照着论文把 AlphaGo 重现出来了？
如何理解 Graph Convolutional Network（GCN）？
如何理解空洞卷积（dilated convolution）？
现大二，准备做大学生创新创业项目计划 ，目前定的方向是深度学习+畜牧业／养殖业，有什么建议给我们吗？
AI 20年内将会给我们的生活带来什么改变？
为什么很少人用FFT加速CNN卷积层的运算？
word2vec有什么应用？
A*寻路是一种广度优先搜索？
如何看待旷视确定香港上市？
结合深度学习的图像修复怎么实现？
是否有可能使用人工智能在高原、戈壁和沙漠中进行工业生产？
为什么神经网络具有泛化能力？
CVPR 2015 有什么值得关注的亮点？
如何评价谷歌推出1.6万亿参数超级语言模型Switch Transformer？
USC 大学教授、Pinscreen CEO Hao Li 是否存在论文造假、产品虚假宣传等问题？
机器狗送快递目前还有哪些瓶颈？
阿里巴巴的AI实力被低估了吗？
有哪些你看了以后大呼过瘾的数据分析书？