如何理解 Swin Transformer 和 Vision Transformer不同任务上的差异？ 第1页
1
网友的相关建议:
基于个人经验说个，vit的方案在疏松的数据上不行，比如sketch、colormap。
以前只是基于猜想，前段时间做了实验测试。16x16和直接的projection对于大部分自然数据的确是足够的，但是有些数据就是不够。具体可以拿16x16的格子对着数据比较。如果格子间的内容数据几乎差不多，那么就很依赖来自位置的global推理了，对数据增强和数据量都有要求。我猜flower可能就有这样的情况。而imagenet-skhtch的sketch不够稀疏，去掉shade可能就不一样了（似乎又可以搞篇文章）。
另外数据任务对global和local任务要求的情况也有关，但是这个衡量起来就比较难说清楚了。
我自己用的解决方法是，conv downsampling取代projection，然后配合数据稠密化，效果就好了。
xiaohuzc 网友的相关建议:
在大规模数据集上训练，应该vit的优势可能会显现出来，毕竟swin只是一种local attention net，理论上建模效果会比vit这种global attention net要差一些。
1
相关话题
多模态方面，有哪些牛组值得我们follow他们的工作？CVPR 2019 有哪些值得关注的亮点？
深度学习火热兴起后，隐马尔可夫模型（HMM）还有何独到之处，是不是几乎可被深度学习模型给替代了？
计算机视觉顶尖期刊和会议有哪些？
当前深度学习理论基础薄弱是否意味着我们应该放弃深度学习应用(计算机视觉、自然语言处理)？
如何评价最近火热的对比学习，会引领预训练模型新的范式嘛?
假如我穿越到2017年第一个提出了Transformer、BERT等模型，我可以保送到清华北大吗？
如何评价Google发布的第二代深度学习系统TensorFlow?
如果有第谷的数据，现在的机器学习，深度学习有办法学出开普勒三定律吗？
为什么 Bert 的三个 Embedding 可以进行相加？
前一个讨论
在长城汽车工作是种怎样的体验？
下一个讨论
结合深度学习的图像修复怎么实现？
相关的话题
如何评价MXNet发布的1.0版本？为什么CV能做到让一幅人脸图动了笑了，而NLP的text-style-transfer进展貌似一般？
2021 年，深度学习方面取得了哪些关键性进展？
目标检测中的mAP是什么含义？
如何评价Facebook AI提出的ResMLP，对比Google的MLP-Mixer?
CVPR 2019 有哪些值得关注的亮点？
为什么Bert中的CLS在未fine tune时作为sentence embedding性能非常糟糕？
如何看待旷视科技新产品监视学生上课？
普通FPGA工程师怎样向人工智能靠拢？
搞机器学习的生环化材是天坑吗？
如何看待Meta（恺明）最新论文ViTDet：只用ViT做backbone（不使用FPN）的检测模型？
如何看待Meta（恺明）最新论文ViTDet：只用ViT做backbone（不使用FPN）的检测模型？
Domain Adaptation学术上有哪些方向，还有哪些可做的地方？
如何看待FAIR提出的8-bit optimizer：效果和32-bit optimizer相当？
神经网络的损失函数为什么是非凸的?
如何理解 Swin Transformer 和 Vision Transformer不同任务上的差异？
AI（或者说神经网络/深度学习）能够实现科学（尤其是物理学）研究中提出假设这一步嘛？
有哪些优秀的深度学习入门书籍？需要先学习机器学习吗？
自学深度学习是怎样一种体验？
如何理解 Swin Transformer 和 Vision Transformer不同任务上的差异？
自学深度学习是怎样一种体验？
如何评价最新的Octave Convolution？
用生成模型做数据增强data augmentation时，如何从合成数据中筛选出质量较好的样本？
计算机图形学是否已经进入瓶颈期？
在计算机视觉任务中，运用Transformer和Non-local有何本质区别？
如何看待华为 4 月 25 日发布的盘古智能大模型？在这个行业处于什么水平？
什么是大模型？超大模型？Foundation Model？
现大二，准备做大学生创新创业项目计划 ，目前定的方向是深度学习+畜牧业／养殖业，有什么建议给我们吗？
AI 有可能代替人类从事数学研究吗？
如何看待MXNet获得amazon官方支持首位？