如何理解 Swin Transformer 和 Vision Transformer不同任务上的差异？ 第1页
1
网友的相关建议:
基于个人经验说个，vit的方案在疏松的数据上不行，比如sketch、colormap。
以前只是基于猜想，前段时间做了实验测试。16x16和直接的projection对于大部分自然数据的确是足够的，但是有些数据就是不够。具体可以拿16x16的格子对着数据比较。如果格子间的内容数据几乎差不多，那么就很依赖来自位置的global推理了，对数据增强和数据量都有要求。我猜flower可能就有这样的情况。而imagenet-skhtch的sketch不够稀疏，去掉shade可能就不一样了（似乎又可以搞篇文章）。
另外数据任务对global和local任务要求的情况也有关，但是这个衡量起来就比较难说清楚了。
我自己用的解决方法是，conv downsampling取代projection，然后配合数据稠密化，效果就好了。
xiaohuzc 网友的相关建议:
在大规模数据集上训练，应该vit的优势可能会显现出来，毕竟swin只是一种local attention net，理论上建模效果会比vit这种global attention net要差一些。
1
相关话题
如何评价 Kaiming 团队新作 Masked Autoencoders (MAE)？如何评价 MSRA 最新的 Deformable Convolutional Networks？
无人车为什么一定要用激光雷达做，双目视觉难道不行吗？
如何解决图神经网络（GNN）训练中过度平滑的问题？
如何评价Facebook AI提出的ResMLP，对比Google的MLP-Mixer?
什么是人工智能？人工智能、机器学习、深度学习三者之间有什么关系吗？
如何看待旷视科技新产品监视学生上课？
多模态训练，怎么解决不同模态之间差异的问题？
transformer中的Q,K,V到底是什么？
究竟什么是损失函数 loss function?
前一个讨论
在长城汽车工作是种怎样的体验？
下一个讨论
结合深度学习的图像修复怎么实现？
相关的话题
现代人工神经网络是不是一个死胡同？这个技术是不是骗人的？卷积神经网络（CNN）的结构设计都有哪些思想？
计算机视觉顶尖期刊和会议有哪些？
机器学习中有哪些形式简单却很巧妙的idea？
深度学习的多个loss如何平衡？
物理专业的学生如何看待机器学习和大数据这些方向呢？
如何评价 Self-Normalizing Neural Networks 这篇论文?
如何评价 DeepMind 公司？
cv/nlp等方向的就业困难是全球性的吗？
有什么深度学习数学基础书推荐？
如何看待 Nervana 被 Intel 收购？
人是如何做黑盒优化的？
自监督学习（Self-supervised Learning）有什么比较新的思路？
什么时候对数据进行[0,1]归一化，什么时候[-1,1]归一化，二者分别在什么场景？
刚进算法团队，大牛们讨论高深的 cv 术语和算法，如何才能听懂？
GPU 与 CPU 比较，为什么说 GPU 更适合深度学习？
在计算机视觉任务中，运用Transformer和Non-local有何本质区别？
深度学习对图像的处理，为什么大多基于RGB，而没有其他色彩空间，比如HSV？
如何评价mixup: BEYOND EMPIRICAL RISK MINIMIZATION？
如何评价Yann LeCun 说的「要研究机器学习，本科应尽量多学物理和数学课」？
把某人的 DNA 序列作为输入，正面照片作为输出，丢到深度神经网络里面学习，可行吗？
如何评价 DeepMind 发表在 Nature 的论文公开无需人类棋谱的 AlphaGo Zero？
如何评价Kaiming He的Momentum Contrast for Unsupervised?
如何评价 NVIDIA 最新技术 5 秒训练 NERF？
如何评价剑桥，腾讯， DeepMind以及港大团队新作 SimCTG ?
pytorch ddp训练中一个node fail，导致整个训练失败，有可能解决吗？
为什么谈论深度学习工具时，很少有人讨论matlab的神经网络工具包？
如何评价谷歌推出1.6万亿参数超级语言模型Switch Transformer？
多模态方面，有哪些牛组值得我们follow他们的工作？
为什么神经网络具有泛化能力？