如何理解 Swin Transformer 和 Vision Transformer不同任务上的差异？ 第1页
1
网友的相关建议:
基于个人经验说个，vit的方案在疏松的数据上不行，比如sketch、colormap。
以前只是基于猜想，前段时间做了实验测试。16x16和直接的projection对于大部分自然数据的确是足够的，但是有些数据就是不够。具体可以拿16x16的格子对着数据比较。如果格子间的内容数据几乎差不多，那么就很依赖来自位置的global推理了，对数据增强和数据量都有要求。我猜flower可能就有这样的情况。而imagenet-skhtch的sketch不够稀疏，去掉shade可能就不一样了（似乎又可以搞篇文章）。
另外数据任务对global和local任务要求的情况也有关，但是这个衡量起来就比较难说清楚了。
我自己用的解决方法是，conv downsampling取代projection，然后配合数据稠密化，效果就好了。
xiaohuzc 网友的相关建议:
在大规模数据集上训练，应该vit的优势可能会显现出来，毕竟swin只是一种local attention net，理论上建模效果会比vit这种global attention net要差一些。
1
相关话题
应届硕士毕业生如何拿到知名互联网公司算法岗（机器学习、数据挖掘、深度学习） offer？PyTorch中在反向传播前为什么要手动将梯度清零？
如何看待2021年秋招算法岗灰飞烟灭？
OpenAI 发布文字生成图像工具 DALL·E 2，它的画作水平如何？从技术角度如何评价它的能力？
国内 top2 高校研一在读，为什么感觉深度学习越学越懵?
如何评价Facebook AI提出的ResMLP，对比Google的MLP-Mixer?
如何看待Meta（恺明）最新论文ViTDet：只用ViT做backbone（不使用FPN）的检测模型？
深度学习图像处理什么时候用到GPU？
为什么强大的 MXNet 一直火不起来？
想问下专业人士 OpenCv会被深度学习进一步取代吗进一步取代吗？
前一个讨论
在长城汽车工作是种怎样的体验？
下一个讨论
结合深度学习的图像修复怎么实现？
相关的话题
有没有一些图像处理新手可以练习的项目？因果推断会是下一个AI热潮吗？
如何看待NLP领域最近比较火的prompt，能否借鉴到CV领域？
实体提取任务中使用BERT-CRF时，CRF根据数据统计可以得到转移概率，为啥还要训练呢？
如何评价微软亚研院提出的把 Transformer 提升到了 1000 层的 DeepNet？
为什么Transformer要用LayerNorm？
当前深度学习理论基础薄弱是否意味着我们应该放弃深度学习应用(计算机视觉、自然语言处理)？
机器学习小白来提问：关于联邦学习FedAVG和FedSGD的问题？
如何看待周志华等人的新书《机器学习理论导引》？
为什么这么多 NLP 大牛硕士毕业去企业不留在学术界？
nlp有哪些值得完整实现一遍的算法?
2021年，作为算法工程师的你们会在CV业务落地上用Transformer吗？
计算机视觉有多少分支？
究竟什么是损失函数 loss function?
迁移学习与fine-tuning有什么区别？
如何评价「Patches are all you need」?
新智元提问：如何看待李飞飞高徒Karpathy加入特斯拉，主管人工智能部门？
深度学习领域有哪些瓶颈？
如何看待MXNet获得amazon官方支持首位？
想问下专业人士 OpenCv会被深度学习进一步取代吗进一步取代吗？
为什么Bert中的CLS在未fine tune时作为sentence embedding性能非常糟糕？
现代人工神经网络是不是一个死胡同？这个技术是不是骗人的？
如何看待timm作者发布ResNet新基准：ResNet50提至80.4，这对后续研究会带来哪些影响？
2022 年人工智能领域的发展趋势是什么？你都有哪些期待？
有什么深度学习数学基础书推荐？
为什么计算注意力机制的时候不加偏置项？
当前深度学习理论基础薄弱是否意味着我们应该放弃深度学习应用(计算机视觉、自然语言处理)？
深度学习底层开发对数学有哪些要求？
Graph Attention Network的本质是什么？
PyTorch中在反向传播前为什么要手动将梯度清零？