2021 年，深度学习方面取得了哪些关键性进展？ 第1页
1
xie-xu-dong-76 网友的相关建议:
不敢妄加评论，只是个人意见，GitHub上有人总结了2021 Amazing AI papers，我认为比较中肯，基本可以算是今年影响力比较大的论文集锦
我认为其一是Transformer攻占各个领域，尤其是Swin Transformer大杀四方；其二是各大研究机构的预训练大模型发布及其在下游任务的惊人性能，当然这也离不开self-supervised+transformer；其三就是大家都提到的MAE，当然还是离不开transformer；还有一个我认为比较重要的是基于NeRF的一系列工作也在今年开始爆发，包括CVPR best paper GIRAFFE，不过这方面工作主要还是集中在国外研究团队
1
相关话题
为何以范剑青老师的 Sure Independence Screening 为代表的筛选法没有流行呢？如何评价 2018 清华大学特等奖学金计算机大类（贵系、软院、姚班）无人通过一轮筛选？
2019年CVPR有哪些糟糕的论文?
机器学习的解释模型存在嘛？
如何评价FAIR提出的MaskFeat：一种适用图像和视频分类的自监督学习方法？
为什么要压缩模型，而不是直接训练一个小的CNN？
wav2vec中的30ms是怎么得来的?
2021 年内娱偶像大面积塌房，我们还需要什么样的偶像？
天价片酬等乱象被整治后，影视作品的质量真的能提高吗？
2021 年你的「年度之歌」是哪首？为什么会选择这首歌？
相关的话题
2020年，多标签学习（multi-label）有了哪些新的进展？医学生学习机器学习该如何入门？
如何看待Geoffrey Hinton的言论，深度学习要另起炉灶，彻底抛弃反向传播？
有哪些利用搜索引擎（Search Engine）辅助自然语言处理任务（NLP）的论文？
AAAI 2022有哪些值得关注的方向？
目前（2017年）机器阅读技术发展得如何？能达到什么水平？有哪些应用？
只有正样本和未标签数据的机器学习怎么做？
有哪些人工智能上的事实，没有一定人工智能知识的人不会相信？
2021年深度学习在哪些应用上有实质进展？
究竟什么是损失函数 loss function?
除了深度神经网络已经实现的特性以外，大脑还有哪些特性是值得机器学习领域借鉴的？
2021 这一年关于旅行的最美好的记忆是什么？
深度学习在无人驾驶汽车上面的运用有哪些？
在网上买哪些年货更方便、性价比更高？
ICLR 2019 有什么值得关注的亮点？
在CV/NLP/DL领域中，有哪些修改一行代码或者几行代码提升性能的算法？
如何看待End-to-End Object Detection with Transformers？
Yann LeCun、Geoffrey Hinton或Yoshua Bengio能得图灵奖吗？
2021 年，深度学习方面取得了哪些关键性进展？
如何评价你的 2021 年？对 2022 年你有哪些规划？
对神经网络某一层做了小改进，效果却提升显著，可以发论文吗？
为什么softmax很少会出现[0.5，0.5]？
近几年有哪些关于机器学习中隐私（Privacy）和安全（Security）相关的研究值得关注?
如何理解MCMC中的细致平稳条件？
2021 年你最难忘的一次观影体验是什么？
如何计算CNN中batch normalization的计算复杂度（FLOPs）？
深度学习如何入门？
如何看待与评价 AAAI 2022 的录用结果？
如何评价 Face++ 旷视科技最新出品的检测专用 backbone 网络 DetNet ？
如何看待FAIR提出的8-bit optimizer：效果和32-bit optimizer相当？