如何理解 Swin Transformer 和 Vision Transformer不同任务上的差异？第1页

网友的相关建议:

基于个人经验说个，vit的方案在疏松的数据上不行，比如sketch、colormap。

以前只是基于猜想，前段时间做了实验测试。16x16和直接的projection对于大部分自然数据的确是足够的，但是有些数据就是不够。具体可以拿16x16的格子对着数据比较。如果格子间的内容数据几乎差不多，那么就很依赖来自位置的global推理了，对数据增强和数据量都有要求。我猜flower可能就有这样的情况。而imagenet-skhtch的sketch不够稀疏，去掉shade可能就不一样了（似乎又可以搞篇文章）。

另外数据任务对global和local任务要求的情况也有关，但是这个衡量起来就比较难说清楚了。

我自己用的解决方法是，conv downsampling取代projection，然后配合数据稠密化，效果就好了。

xiaohuzc 网友的相关建议:

在大规模数据集上训练，应该vit的优势可能会显现出来，毕竟swin只是一种local attention net，理论上建模效果会比vit这种global attention net要差一些。

如何理解 Swin Transformer 和 Vision Transformer不同任务上的差异？的其他答案点击这里

相关话题

  如何看待FAIR提出的8-bit optimizer：效果和32-bit optimizer相当？
  如何评价Deepmind自监督新作BYOL？
  神经网络中 warmup 策略为什么有效；有什么理论解释么？
  pytorch 分布式计算你们都遇到过哪些坑/bug？
  如何评价《State Estimation for Robotics》？
  机器学习能否用于综合评价？具体怎么操作？
  2020到2021年小样本学习取得重大进展了吗？
  人工智能会是泡沫吗？
  如何评价 Kaiming He 在 ICCV 2017 上拿下双 Best 的 paper？
  新手如何实现个简单AutoML框架。有参考的github开源项目介绍吗？

如何理解 Swin Transformer 和 Vision Transformer不同任务上的差异？ 第1页

相关话题

前一个讨论

下一个讨论

相关的话题

如何理解 Swin Transformer 和 Vision Transformer不同任务上的差异？第1页