如何理解 Swin Transformer 和 Vision Transformer不同任务上的差异？ 第1页
1
网友的相关建议:
基于个人经验说个，vit的方案在疏松的数据上不行，比如sketch、colormap。
以前只是基于猜想，前段时间做了实验测试。16x16和直接的projection对于大部分自然数据的确是足够的，但是有些数据就是不够。具体可以拿16x16的格子对着数据比较。如果格子间的内容数据几乎差不多，那么就很依赖来自位置的global推理了，对数据增强和数据量都有要求。我猜flower可能就有这样的情况。而imagenet-skhtch的sketch不够稀疏，去掉shade可能就不一样了（似乎又可以搞篇文章）。
另外数据任务对global和local任务要求的情况也有关，但是这个衡量起来就比较难说清楚了。
我自己用的解决方法是，conv downsampling取代projection，然后配合数据稠密化，效果就好了。
xiaohuzc 网友的相关建议:
在大规模数据集上训练，应该vit的优势可能会显现出来，毕竟swin只是一种local attention net，理论上建模效果会比vit这种global attention net要差一些。
1
相关话题
有哪些比较好的机器学习，深度学习的网络资源可利用？结合深度学习的图像修复怎么实现？
如何评价微软机器翻译在 WMT2017 中英翻译达到「人类水平」？
如何证明数据增强（Data Augmentation）有效性？
ICLR 2021 有什么值得关注的投稿？
深度学习两张3080ti和一张3090ti哪个好?
人工智能相关的岗位薪酬状况如何？
wav2vec中的30ms是怎么得来的?
马上计算机研一，想问一下机器学习、深度学习…大家都是怎么入门的？
TensorFlow 中 padding 的 SAME 和 VALID 两种方式有何异同？
前一个讨论
在长城汽车工作是种怎样的体验？
下一个讨论
结合深度学习的图像修复怎么实现？
相关的话题
计算成像(computational photography)方向的就业前景如何？2022 年人工智能领域的发展趋势是什么？你都有哪些期待？
经过足够长的时间， AlphaGo 的棋谱能收敛到一张上吗？
NLP领域，你推荐哪些综述性的文章？
如何看待timm作者发布ResNet新基准：ResNet50提至80.4，这对后续研究会带来哪些影响？
如何评价贾扬清离职 Facebook？
如何看待NLP领域最近比较火的prompt，能否借鉴到CV领域？
2021 年，深度学习方面取得了哪些关键性进展？
Domain Adaptation学术上有哪些方向，还有哪些可做的地方？
AlphaGo 与李世石的对战会推动人类的极限还是机器学习的进步和觉醒？
无人车为什么一定要用激光雷达做，双目视觉难道不行吗？
旷视(Face++)完成C轮1亿美元融资，是否说明旷视已经进入独角兽阵营？
如何直观地解释 backpropagation 算法？
AMD的CPU是否适合搭建深度学习主机？
如何评价VOLO: Vision Outlooker for Visual Recognition？
视觉算法的工业部署及落地方面的技术知识，怎么学？
如果有第谷的数据，现在的机器学习，深度学习有办法学出开普勒三定律吗？
如何评价FAIR提出的MaskFeat：一种适用图像和视频分类的自监督学习方法？
如何评价 Face++ 旷视科技最新出品的检测专用 backbone 网络 DetNet ？
深度学习中，模型大了好还是小了好呢？
深度学习中有哪些数据增强方法？
能否使用区块链的算力来解决深度学习训练？
如何看待阿里巴巴提出的 FashionAI 比赛？
围棋AI为什么没有下出同局？
为什么很少人用FFT加速CNN卷积层的运算？
如何评价哈工大的左旺孟老师？
算法岗位真的需要顶会才能入场吗？
如何评价 On Unifying Deep Generative Models 这篇 paper?
如何评价最近火热的对比学习，会引领预训练模型新的范式嘛?
有没有根据一张人物的立绘正面像，自动生成同风格各侧面角度像并自动衍生表情的软件啊？