如何评价最近火热的对比学习，会引领预训练模型新的范式嘛? 第1页
1
chen-jia-yu-65-36 网友的相关建议:
引用lecun的一张图，谈一谈对CV和NLP中无监督预训练的看法
lecun通过Low dim -> High dim、Discrete -> Continuous和Less uncertainty -> More uncertainty三个维度来表示CV和NLP中不同无监督方法的位置。文本是离散的，不确定性低，维度低；而图像是连续的，不确定性高，维度高。模态的不同，导致了无监督的处理方式上的不同。
NLP任务因为确定性更高，生成式无监督预训练方法可以非常好进行预测(如BERT)，而由于CV任务不确定性更高，导致需要设计更自由灵活的方法，对比方法相比于生成方法自由度更高，可能更加适合CV任务作为无监督预训练方法。
猜测未来NLP领域生成式和判别式会出现并存的局面，sentence级别任务倾向于使用判别式，word级别任务倾向于使用生成式。而CV领域判别式会占主导地位，一方面由于图像是二维的，生成式计算量会更庞大，另一方面判别式的自由度会更高一些。
欢迎关注Smarter，构建CV世界观，输出优质内容
欢迎加入Smarter交流群，添加微信「cjy094617」，备注「学校-方向」即可
1
相关话题
pytorch ddp训练中一个node fail，导致整个训练失败，有可能解决吗？为什么opencv使用BRG模式读入图像？
实验室一块GPU都没有怎么做深度学习？
如何评价最新的Octave Convolution？
KL散度衡量的是两个概率分布的距离吗？
深度神经网络（DNN）是否模拟了人类大脑皮层结构？
实体提取任务中使用BERT-CRF时，CRF根据数据统计可以得到转移概率，为啥还要训练呢？
为什么这么多 NLP 大牛硕士毕业去企业不留在学术界？
如何评价 NVIDIA 发布的 DGX-1？
如何看待Transformer在CV上的应用前景，未来有可能替代CNN吗？
前一个讨论
如何系统地学习数据挖掘？
相关的话题
Bert中的词向量各向异性具体什么意思啊？计算机视觉中video understanding领域有什么研究方向和比较重要的成果？
ICLR 2019 有什么值得关注的亮点？
机器学习里面的流形都是怎么用的？
神经网络中，bias有什么用，为什么要设置bias，当加权和大于某值时，激活才有意义？
TensorFlow 有哪些令人难以接受的地方？
视觉Transformer如何优雅地避开位置编码？
word2vec 相比之前的 Word Embedding 方法好在什么地方？
自学深度学习是怎样一种体验？
自己学习深度学习时，有哪些途径寻找数据集？
请问下大家训练 SimCSE 时, loss 有没有这样的情况?
如何评价 DeepMind 发表在 Nature 的论文公开无需人类棋谱的 AlphaGo Zero？
2022 年人工智能领域的发展趋势是什么？你都有哪些期待？
深度学习应用在哪些领域让你觉得「我去，这也能行！」？
如何理解今年发表在JMLR上随机森林算法SPORF？
国内做NLP业务的香侬科技值得去吗？
CNN（卷积神经网络）、RNN（循环神经网络）、DNN（深度神经网络）的内部网络结构有什么区别？
对自己深度学习方向的论文有idea，可是工程实践能力跟不上，实验搞不定怎么办？
GAN:固定训练好的判别器网络，去指导训练生成器为什么不可以？
为什么 larger batch size 对对比学习的影响比对监督学习的影响要大？
如何看待 ICLR2021 的拒稿被评为 ACL2021 的 Best Paper?
行人轨迹预测有哪些有效的方法和普遍的base方法？或者public dataset?
如果人工智能迎来下一个寒冬，你认为会是卡在什么问题上？
2019年，计算机视觉领域，你推荐哪些综述性的文章？
为什么deep lab v3起，输出不再接 DenseCRF了？
如何判断两个Deep Learning 数据集的数据分布是否一致？
为什么yolov5从零开始训练（不在ImageNet上预训练）能够达到如此高的性能？
如何评价MSRA视觉组最新对spatial attention mechanism分析论文？
做中文 NLP 的时候，大家为啥不用拼音？
2022 年初，你认为哪项成果代表了现在人工智能的最高水平？