2021 年，深度学习方面取得了哪些关键性进展？ 第1页
1
xie-xu-dong-76 网友的相关建议:
不敢妄加评论，只是个人意见，GitHub上有人总结了2021 Amazing AI papers，我认为比较中肯，基本可以算是今年影响力比较大的论文集锦
我认为其一是Transformer攻占各个领域，尤其是Swin Transformer大杀四方；其二是各大研究机构的预训练大模型发布及其在下游任务的惊人性能，当然这也离不开self-supervised+transformer；其三就是大家都提到的MAE，当然还是离不开transformer；还有一个我认为比较重要的是基于NeRF的一系列工作也在今年开始爆发，包括CVPR best paper GIRAFFE，不过这方面工作主要还是集中在国外研究团队
1
相关话题
神经网络中 warmup 策略为什么有效；有什么理论解释么？为什么中文 NLP 数据集这么少？
想问下专业人士 OpenCv会被深度学习进一步取代吗进一步取代吗？
如何看待斯坦福博士生2prime陆一平关于新冠起源的一系列言论？
为什么做GPU计算，深度学习用amd显卡的很少，基本都nvidia？
Transformer在工业界的应用瓶颈如何突破？
自然语言处理怎么最快入门？
联邦学习在机器学习领域有什么独立存在的价值?
在文本分类任务中，有哪些论文中很少提及却对性能有重要影响的tricks？
如何看待在某度搜不到megengine官网？
相关的话题
能否对卷积神经网络工作原理做一个直观的解释？如何评价MSRA视觉组最新对spatial attention mechanism分析论文？
机器学习中有哪些形式简单却很巧妙的idea？
为什么最近几年 FPGA 变得越发受大家重视了？
预训练模型的训练任务在 MLM 之外还有哪些有效方式？
在迁移学习中，只有fine-tune和基于实例的迁移可用在小样本上吗，还有其他的小样本迁移方法吗？
2022 年，你希望过一个什么样的生活？
如何评价 On Unifying Deep Generative Models 这篇 paper?
中国和美国谁能成人工智能领域的领军者？
2021 年你拍到过「海拔最高」的照片是哪张？
如何评价谷歌用30亿数据训练的20亿参数ViT-G/14模型在 ImageNet 达到新的 SOTA？
西交利物浦大学（英国利物浦大学博士学位）全奖博士?
2021 的哪个瞬间让你觉得「我的青春结束了」？
所谓大数据分析，究竟要学什么？
如何看待Capsule Network在NLP领域的潜力？
在文本分类任务中，有哪些论文中很少提及却对性能有重要影响的tricks？
2021 年花得最值的一笔钱是什么？
如何看待Transformer在CV上的应用前景，未来有可能替代CNN吗？
如何评价第一局比赛 AlphaGo 战胜李世石？
如何理解MCMC中的细致平稳条件？
2017年1月18日Facebook发行的PyTorch相比TensorFlow、MXNet有何优势？
没有顶会的CV/NLP方向的博士生毕业出路在哪里？
图片上训的模型，怎么迁移视频上呢？
为什么softmax很少会出现[0.5，0.5]？
如何正确理解小概率事件，以及概率和哲学的关系？
目标检测中的mAP是什么含义？
如何看待旷视科技新产品监视学生上课？
机器学习以及贝叶斯统计里，关于近似intractable integral，大家都偏爱什么算法？
刷leetcode使用python还是c++？
是不是并不是所有问题都适合用神经网络预测？