2021 年，深度学习方面取得了哪些关键性进展？ 第1页
1
xie-xu-dong-76 网友的相关建议:
不敢妄加评论，只是个人意见，GitHub上有人总结了2021 Amazing AI papers，我认为比较中肯，基本可以算是今年影响力比较大的论文集锦
我认为其一是Transformer攻占各个领域，尤其是Swin Transformer大杀四方；其二是各大研究机构的预训练大模型发布及其在下游任务的惊人性能，当然这也离不开self-supervised+transformer；其三就是大家都提到的MAE，当然还是离不开transformer；还有一个我认为比较重要的是基于NeRF的一系列工作也在今年开始爆发，包括CVPR best paper GIRAFFE，不过这方面工作主要还是集中在国外研究团队
1
相关话题
人工「神经网络」技术在信息处理上有何特点，工作原理是什么？为什么softmax很少会出现[0.5，0.5]？
自学深度学习是怎样一种体验？
2021 年哪个瞬间让你感到「自己被深深爱着」？
adversarial training为什么会起作用？
为何以范剑青老师的 Sure Independence Screening 为代表的筛选法没有流行呢？
如何评价Hinton在加拿大多伦多大学关于用“capsule”作为下一代CNN的演讲？
如何看待End-to-End Object Detection with Transformers？
GAN的生成器是怎么产生图片的？
如何评价论文「Stochastic Training is Not Necessary ...」?
相关的话题
明年2022年的经济展望会比今年更负面吗？PRML为何是机器学习的经典书籍中的经典？
如何评价mixup: BEYOND EMPIRICAL RISK MINIMIZATION？
如何看待比 iPad 还大的史上最大芯片问世？ 功耗比电磁炉还高有什么用？
国内外有哪些做小样本学习(Few-Shot Learning)的优秀团队？
CVPR 2015 有什么值得关注的亮点？
为什么yolov5从零开始训练（不在ImageNet上预训练）能够达到如此高的性能？
基于计算机视觉从一张图片重建人体的三维网格，能否获取腰围、胸围、臂长、腿长等数据？
不觉得最大熵原理很奇怪吗？
近几年有哪些关于机器学习中隐私（Privacy）和安全（Security）相关的研究值得关注?
2021 年你最难忘的一次观影体验是什么？
如何评价微软机器翻译在 WMT2017 中英翻译达到「人类水平」？
机器学习中有哪些形式简单却很巧妙的idea？
深度学习的多个loss如何平衡？
机器学习到底是什么，如何使用这项技术？
什么是迁移学习 (Transfer Learning)？这个领域历史发展前景如何？
如何看待直播电商操盘手这一职业，最近这几年你都见过哪些新兴的职业？
为啥gan里面几乎不用pooling？
如何评价《Science》 公布的 2021 年度十大科学突破？
神经网络为什么可以（理论上）拟合任何函数？
国内 top2 高校研一在读，为什么感觉深度学习越学越懵?
现在的BERT等语言模型，最快训练要多久？
为什么 Bert 的三个 Embedding 可以进行相加？
你实践中学到的最重要的机器学习经验是什么？
有哪些关于机器学习的真相还鲜为人知？
自然语言处理怎么最快入门？
如何评价 MSRA 最新的 Deformable Convolutional Networks？
如何理解Inductive bias？
如何通俗易懂地讲解 Photoshop 中的「通道」概念？
Google 的神经网络生成图像 (Inceptionism) 是怎么做到的？