如何理解 Swin Transformer 和 Vision Transformer不同任务上的差异？ 第1页
1
网友的相关建议:
基于个人经验说个，vit的方案在疏松的数据上不行，比如sketch、colormap。
以前只是基于猜想，前段时间做了实验测试。16x16和直接的projection对于大部分自然数据的确是足够的，但是有些数据就是不够。具体可以拿16x16的格子对着数据比较。如果格子间的内容数据几乎差不多，那么就很依赖来自位置的global推理了，对数据增强和数据量都有要求。我猜flower可能就有这样的情况。而imagenet-skhtch的sketch不够稀疏，去掉shade可能就不一样了（似乎又可以搞篇文章）。
另外数据任务对global和local任务要求的情况也有关，但是这个衡量起来就比较难说清楚了。
我自己用的解决方法是，conv downsampling取代projection，然后配合数据稠密化，效果就好了。
xiaohuzc 网友的相关建议:
在大规模数据集上训练，应该vit的优势可能会显现出来，毕竟swin只是一种local attention net，理论上建模效果会比vit这种global attention net要差一些。
1
相关话题
如何评价 NVIDIA 发布的 DGX-1？如何评价CVPR2019程序主席Derek Hoiem的论点：计算机视觉只是记忆，不是智能？
CNN（卷积神经网络）、RNN（循环神经网络）、DNN（深度神经网络）的内部网络结构有什么区别？
为什么做GPU计算，深度学习用amd显卡的很少，基本都nvidia？
如何评价FAIR提出的ConvNeXt：CNN匹敌Swin Transformer?
如何评价谷歌推出1.6万亿参数超级语言模型Switch Transformer？
2021年了，如何评价微软亚研提出的对偶学习（Dual Learning）？
如何评价MSRA最新的 Relation Networks for Object Detection？
CVPR2022 有什么值得关注的论文 ?
基于计算机视觉从一张图片重建人体的三维网格，能否获取腰围、胸围、臂长、腿长等数据？
前一个讨论
在长城汽车工作是种怎样的体验？
下一个讨论
结合深度学习的图像修复怎么实现？
相关的话题
强化学习和自适应控制的关系是什么？卷积神经网络如果将池化层去除，与神经网络的区别还大么？
全连接层的作用是什么？
PyTorch中在反向传播前为什么要手动将梯度清零？
视觉Transformer如何优雅地避开位置编码？
如何评价 MSRA 视觉组最新提出的 Deformable ConvNets V2？
深度学习中有哪些数据增强方法？
如何看待NLP领域最近比较火的prompt，能否借鉴到CV领域？
PyTorch中在反向传播前为什么要手动将梯度清零？
机器人抓取时怎么定位的？用什么传感器来检测？
全连接层的作用是什么？
机器学习，深度神经网络等方法是否是正确的方向？
如何理解 Swin Transformer 和 Vision Transformer不同任务上的差异？
三维重建怎么入门？
神经网络中，bias有什么用，为什么要设置bias，当加权和大于某值时，激活才有意义？
大家用resnet50在imagenet上面top1最高能到多少？
如何评价最新的Octave Convolution？
为什么 larger batch size 对对比学习的影响比对监督学习的影响要大？
研一，在学机器学习和深度学习，为什么感觉越学越不会，怎么解决这个问题？
假如我穿越到2017年第一个提出了Transformer、BERT等模型，我可以保送到清华北大吗？
深度学习方面还有什么Open Problem?
如何评价 Face++ 旷视科技最新出品的检测专用 backbone 网络 DetNet ？
联邦学习在机器学习领域有什么独立存在的价值?
Transformer在工业界的应用瓶颈如何突破？
TensorFlow的自动求导具体是在哪部分代码里实现的？
如何评价 2018 年度图灵奖颁发给三位深度学习之父？
视觉算法的工业部署及落地方面的技术知识，怎么学？
深度学习对图像的处理，为什么大多基于RGB，而没有其他色彩空间，比如HSV？
LSTM如何来避免梯度弥散和梯度爆炸？
梯度下降法的神经网络容易收敛到局部最优，为什么应用广泛？