如何理解 Swin Transformer 和 Vision Transformer不同任务上的差异？ 第1页
1
网友的相关建议:
基于个人经验说个，vit的方案在疏松的数据上不行，比如sketch、colormap。
以前只是基于猜想，前段时间做了实验测试。16x16和直接的projection对于大部分自然数据的确是足够的，但是有些数据就是不够。具体可以拿16x16的格子对着数据比较。如果格子间的内容数据几乎差不多，那么就很依赖来自位置的global推理了，对数据增强和数据量都有要求。我猜flower可能就有这样的情况。而imagenet-skhtch的sketch不够稀疏，去掉shade可能就不一样了（似乎又可以搞篇文章）。
另外数据任务对global和local任务要求的情况也有关，但是这个衡量起来就比较难说清楚了。
我自己用的解决方法是，conv downsampling取代projection，然后配合数据稠密化，效果就好了。
xiaohuzc 网友的相关建议:
在大规模数据集上训练，应该vit的优势可能会显现出来，毕竟swin只是一种local attention net，理论上建模效果会比vit这种global attention net要差一些。
1
相关话题
为什么有些学数学的看不惯甚至鄙视 Deep Learning？大三电子类专业要分流，大家能给个建议吗?
UCLA 的朱松纯教授是一个什么样的人？
图片上训的模型，怎么迁移视频上呢？
人工智能的意义和价值是什么？
结合深度学习的图像修复怎么实现？
如何看待MXNet在CVPR2017上公布的gluon接口？
能否使用区块链的算力来解决深度学习训练？
2020到2021年小样本学习取得重大进展了吗？
贝叶斯深度学习是什么，和传统神经网络有何不同？
前一个讨论
在长城汽车工作是种怎样的体验？
下一个讨论
结合深度学习的图像修复怎么实现？
相关的话题
上学和读书有什么区别?深度学习中，模型大了好还是小了好呢？
目前，人工智能语音在说中文时的语气感觉上还比较机械，怎样使人工智能语音的语气更自然一些？
如何评价谷歌用30亿数据训练的20亿参数ViT-G/14模型在 ImageNet 达到新的 SOTA？
深度学习中有哪些数据增强方法？
目前有哪些比较成功的人工智能应用？
OpenAI 发布文字生成图像工具 DALL·E 2，它的画作水平如何？从技术角度如何评价它的能力？
如何评价Facebook AI提出的ResMLP，对比Google的MLP-Mixer?
为什么多标签分类（不是多类分类）损失函数可以使用Binary Cross Entropy？
现在互联网公司还有做特征工程的工作吗？
为什么要压缩模型，而不是直接训练一个小的CNN？
计算机视觉是否已经进入瓶颈期？
为什么都说神经网络是个黑箱？
如何看待在某度搜不到megengine官网？
为什么谈论深度学习工具时，很少有人讨论matlab的神经网络工具包？
当前（2020年）机器学习中有哪些研究方向特别的坑？
能否搜索某视频的其中一帧画面？或者通过一张图片搜索此图来自哪个视频？
当前（2020年）机器学习中有哪些研究方向特别的坑？
一个完整的Pytorch深度学习项目代码，项目结构是怎样的？
如何评价 On Unifying Deep Generative Models 这篇 paper?
OpenCV已经将图像处理(识别)的算法写成函数了,那我们还有必要去学习这些算法不?
如何评价MSRA最新的 Relation Networks for Object Detection？
什么是meta-learning?
神经网络的万能逼近定理已经发展到什么地步了？
能否搜索某视频的其中一帧画面？或者通过一张图片搜索此图来自哪个视频？
如何看待End-to-End Object Detection with Transformers？
迁移学习与fine-tuning有什么区别？
行为识别常用哪种特征提取？
行人轨迹预测有哪些有效的方法和普遍的base方法？或者public dataset?
中科院某所研一新生，小样本学习、数据融合、强化学习、图神经网络、资源受限的计算这几个方向选哪个更好？