2021 年，深度学习方面取得了哪些关键性进展？ 第1页
1
xie-xu-dong-76 网友的相关建议:
不敢妄加评论，只是个人意见，GitHub上有人总结了2021 Amazing AI papers，我认为比较中肯，基本可以算是今年影响力比较大的论文集锦
我认为其一是Transformer攻占各个领域，尤其是Swin Transformer大杀四方；其二是各大研究机构的预训练大模型发布及其在下游任务的惊人性能，当然这也离不开self-supervised+transformer；其三就是大家都提到的MAE，当然还是离不开transformer；还有一个我认为比较重要的是基于NeRF的一系列工作也在今年开始爆发，包括CVPR best paper GIRAFFE，不过这方面工作主要还是集中在国外研究团队
1
相关话题
如何看待多模态transformer，是否会成为多模态领域的主流？为什么 larger batch size 对对比学习的影响比对监督学习的影响要大？
李航的统计学习方法，吴恩达的视频，关于机器学习的东西都看不懂是怎么回事？
因果推断（causal inference）是回归（regression）问题的一种特例吗？
如何看待谷歌研究人员提出的卷积正则化方法「DropBlock」？
Dirichlet Processes 是一个什么样的随机过程？
请问人工神经网络中的activation function的作用具体是什么？为什么ReLu要好过于tanh和sigmoid function?
新手如何实现个简单AutoML框架。有参考的github开源项目介绍吗？
2021 年你在旅行中拍过哪些难忘的人和景？
让人工智能去下路边街头的象棋残局会赢吗？
相关的话题
从应用的角度来看，深度学习怎样快速入门？参加kaggle竞赛是怎样一种体验？
测试集在构造的时候需要人为控制其中应该正确的和应该错误的数据比例吗？
如何评价「Patches are all you need」?
有哪些深度学习效果不如传统方法的经典案例？
如何看待swin transformer成为ICCV2021的 best paper？
计算机视觉和自然语言处理，哪个更具有发展前景呢，还是各有千秋呢？
神经网络分类训练后得到的是连续的数怎么离散？
K-means聚类算法中的K如何确定？
深度学习的多个loss如何平衡？
计算机视觉有多少分支？
2021 年，中国军队有哪些提气时刻？
如何看待微软小冰写的诗？
迁移学习入门，新手该如何下手？
人脸识别进小区合法吗？为什么要用人脸识别？
为什么国家将加快人工智能研究生培养？又为什么很多研究生评论人工智能是个大坑呢？
如何评价剑桥，腾讯， DeepMind以及港大团队新作 SimCTG ?
机器学习中的PR曲线一定会过（1，0）这个点吗？
机器学习如何才能避免「只是调参数」？
为什么我学过微积分、线性代数和概率论，还是看不懂机器学习？
如何评价 BERT 模型？
2021年你都学到了什么技术，明年又要为自己的梦想学点啥？
如何正确理解小概率事件，以及概率和哲学的关系？
只有正样本和未标签数据的机器学习怎么做？
什么是机器学习？
普通FPGA工程师怎样向人工智能靠拢？
c4.5为什么使用信息增益比来选择特征？
生成对抗网络的毕设怎么上手？
机器学习以及贝叶斯统计里，关于近似intractable integral，大家都偏爱什么算法？
如何看待NLP领域最近比较火的prompt，能否借鉴到CV领域？