大家用resnet50在imagenet上面top1最高能到多少？ 第1页
1
maxsky-5 网友的相关建议:
因为大多数paper报的baseline都是100epoch+[30 60 90] step learning schedule的setting，也就是fb复现resnet时用的setting，具体见https://github.com/facebookarchive/fb.resnet.torch。
nas出现以后大家开始用一些更牛逼的training setting来训练自己的网络了，跑几百个epoch，cosine learning schedule，label smooth，mixup，auto augmentation等等，所以resnet50的结果也越来越高，具体可参考https://arxiv.org/pdf/1812.01187.pdf。
后面还有distill，unlabeled data等一堆技巧，关注Quoc V. Le，你就能拥有一切。[doge]
1
相关话题
如何评价谷歌用30亿数据训练的20亿参数ViT-G/14模型在 ImageNet 达到新的 SOTA？2020到2021年小样本学习取得重大进展了吗？
行为识别常用哪种特征提取？
为啥gan里面几乎不用pooling？
如何解读 Jeff Dean 等联合在 arXiv 上发布的用深度学习分析电子病历的论文？
如何评价 DeepMind 发表在 Nature 的论文公开无需人类棋谱的 AlphaGo Zero？
如何评价Kaiming He的Momentum Contrast for Unsupervised?
新手如何实现个简单AutoML框架。有参考的github开源项目介绍吗？
低分辨率图像相对于高分辨率图像在CNN中缺失了哪些特征？
如何评价最近火热的对比学习，会引领预训练模型新的范式嘛?
相关的话题
如何看待 Google 既可以作 Inference，又可以作 Training 的新一代 TPU？实验室一块GPU都没有怎么做深度学习？
在NLP上，CNN、RNN（认为LSTM等变体也是RNN）、最简单全连结MLP，三者相比，各有何优劣?
transformer 为什么使用 layer normalization，而不是其他的归一化方法？
如何看待Jeff Dean&Hinton投到ICLR17的MoE的工作？
如何理解空洞卷积（dilated convolution）？
物理专业的学生如何看待机器学习和大数据这些方向呢？
2020年，多标签学习（multi-label）有了哪些新的进展？
计算机视觉是否已经发展到可以自动识别车牌并扣费的程度？
深度学习attention机制中的Q,K,V分别是从哪来的？
请问一下，机器学习领域的联邦学习技术，目前看到最多的是微众银行，国内还有哪些顶级专家及机构和大学？
请问应该怎样去学习图像识别和深度学习？
为什么计算注意力机制的时候不加偏置项？
如何评价 CVPR2022 的审稿结果和录取情况？
视觉算法的工业部署及落地方面的技术知识，怎么学？
如何看待Tensor Comprehensions？与TVM有何异同？
如何看待timm作者发布ResNet新基准：ResNet50提至80.4，这对后续研究会带来哪些影响？
深度学习中，模型大了好还是小了好呢？
上学和读书有什么区别?
国内哪些公司在用caffe、torch、TensorFlow、paddle等框架，哪些在用自研框架？
分类机器学习中，某一标签占比太大（标签稀疏），如何学习？
2021 年，深度学习方面取得了哪些关键性进展？
什么是大模型？超大模型？Foundation Model？
2021年，作为算法工程师的你们会在CV业务落地上用Transformer吗？
为什么yolov5从零开始训练（不在ImageNet上预训练）能够达到如此高的性能？
如何评价FAIR提出的MaskFormer，在语义分割ADE20K上达到SOTA：55.6 mIoU？
如何评价微软亚研院提出的把 Transformer 提升到了 1000 层的 DeepNet？
2021年深度学习哪些方向比较新颖，处于上升期或者朝阳阶段，没那么饱和，比较有研究潜力？
如何评价微软正在开发的人工智能编程软件 DeepCoder？
深度学习调参有哪些技巧？