如何理解 Swin Transformer 和 Vision Transformer不同任务上的差异？ 第1页
1
网友的相关建议:
基于个人经验说个，vit的方案在疏松的数据上不行，比如sketch、colormap。
以前只是基于猜想，前段时间做了实验测试。16x16和直接的projection对于大部分自然数据的确是足够的，但是有些数据就是不够。具体可以拿16x16的格子对着数据比较。如果格子间的内容数据几乎差不多，那么就很依赖来自位置的global推理了，对数据增强和数据量都有要求。我猜flower可能就有这样的情况。而imagenet-skhtch的sketch不够稀疏，去掉shade可能就不一样了（似乎又可以搞篇文章）。
另外数据任务对global和local任务要求的情况也有关，但是这个衡量起来就比较难说清楚了。
我自己用的解决方法是，conv downsampling取代projection，然后配合数据稠密化，效果就好了。
xiaohuzc 网友的相关建议:
在大规模数据集上训练，应该vit的优势可能会显现出来，毕竟swin只是一种local attention net，理论上建模效果会比vit这种global attention net要差一些。
1
相关话题
如何评价Google发布的第二代深度学习系统TensorFlow?深度学习在生物信息领域有什么应用？
科研时，想到一个idea，其实现的结果一定要比前人的评估指标高才能发表吗？
医学生学习机器学习该如何入门？
编程达到什么水平才能编写出像caffe这样的深度学习框架？
基于深度学习的自然语言处理在 2016 年有哪些值得期待的发展？
基于计算机视觉从一张图片重建人体的三维网格，能否获取腰围、胸围、臂长、腿长等数据？
机器学习小白来提问：关于联邦学习FedAVG和FedSGD的问题？
如何评价最近火热的对比学习，会引领预训练模型新的范式嘛?
实验室只有1080的显卡，老师还想让发深度学习论文，也不给配置好的显卡怎么办？
前一个讨论
在长城汽车工作是种怎样的体验？
下一个讨论
结合深度学习的图像修复怎么实现？
相关的话题
DL框架的未来发展，TensorFlow/MXNet/PyTorch, 选哪个？物理专业的学生如何看待机器学习和大数据这些方向呢？
计算机视觉是否已经进入瓶颈期？
现代人工神经网络是不是一个死胡同？这个技术是不是骗人的？
为什么相比于计算机视觉(cv)，自然语言处理(nlp)领域的发展要缓慢？
为什么做GPU计算，深度学习用amd显卡的很少，基本都nvidia？
为什么yolov5从零开始训练（不在ImageNet上预训练）能够达到如此高的性能？
百度在深度学习上使用Xilinx FPGA?
为什么Transformer适合做多模态任务？
如何看待人工智能领域的很多专家认为「人工智能将对人类存亡造成威胁」的观点？
2021年深度学习哪些方向比较新颖，处于上升期或者朝阳阶段，没那么饱和，比较有研究潜力？
目前有哪些比较成功的人工智能应用？
除了深度学习，机器学习领域近年来还有什么热点吗？
如何看待 2014 年以来计算机视觉（Computer Vision）界创业潮？
目标检测算法中Two-stage算法速度慢,到底在哪里?
为啥gan里面几乎不用pooling？
数字图像处理的工作是用传统算法更多还是用深度学习更多?
给男友配置一个适合做深度学习的电脑要多少钱？
2021年，ncnn发展的如何了？
深度学习做股票预测靠谱吗？
坐标日本，计算机视觉专攻。有英文交流氛围浓厚的研究室推荐吗？
为什么做GPU计算，深度学习用amd显卡的很少，基本都nvidia？
新智元提问：如何看待李飞飞高徒Karpathy加入特斯拉，主管人工智能部门？
如何评价FAIR提出的MaskFeat：一种适用图像和视频分类的自监督学习方法？
三维重建 3D reconstruction 有哪些实用算法？
请解释下variational inference？
为什么Bert中的CLS在未fine tune时作为sentence embedding性能非常糟糕？
如何评价 MSRA 最新的 Deformable Convolutional Networks？
如何评价CUHK以及Yuanjun Xiong提出的Trajectory Convolution？
如何看待旷视科技新产品监视学生上课？