如何理解 Swin Transformer 和 Vision Transformer不同任务上的差异？ 第1页
1
网友的相关建议:
基于个人经验说个，vit的方案在疏松的数据上不行，比如sketch、colormap。
以前只是基于猜想，前段时间做了实验测试。16x16和直接的projection对于大部分自然数据的确是足够的，但是有些数据就是不够。具体可以拿16x16的格子对着数据比较。如果格子间的内容数据几乎差不多，那么就很依赖来自位置的global推理了，对数据增强和数据量都有要求。我猜flower可能就有这样的情况。而imagenet-skhtch的sketch不够稀疏，去掉shade可能就不一样了（似乎又可以搞篇文章）。
另外数据任务对global和local任务要求的情况也有关，但是这个衡量起来就比较难说清楚了。
我自己用的解决方法是，conv downsampling取代projection，然后配合数据稠密化，效果就好了。
xiaohuzc 网友的相关建议:
在大规模数据集上训练，应该vit的优势可能会显现出来，毕竟swin只是一种local attention net，理论上建模效果会比vit这种global attention net要差一些。
1
相关话题
目标检测中的mAP是什么含义？如何看待鄂维南院士等发起的机器学习联合研讨计划（c2sml.cn）？
要研究深度学习的可解释性（Interpretability），应从哪几个方面着手？
Resnet是否只是一个深度学习的trick？
如何评价微软机器翻译在 WMT2017 中英翻译达到「人类水平」？
如何评价微软亚研院提出的把 Transformer 提升到了 1000 层的 DeepNet？
计算机视觉和自然语言处理，哪个更具有发展前景呢，还是各有千秋呢？
搞机器学习的生环化材是天坑吗？
如何看待Meta（恺明）最新论文ViTDet：只用ViT做backbone（不使用FPN）的检测模型？
如何评价CUHK以及Yuanjun Xiong提出的Trajectory Convolution？
前一个讨论
在长城汽车工作是种怎样的体验？
下一个讨论
结合深度学习的图像修复怎么实现？
相关的话题
机器学习中的机器是如何分辨哪些是有用的知识，哪些是没用的信息呢？如何评价 DeepMind 发表在 Nature 上的使用深度强化学习对托卡马克等离子体进行磁控制？
旷视(Face++)完成C轮1亿美元融资，是否说明旷视已经进入独角兽阵营？
ICLR 2021 有什么值得关注的投稿？
有什么算法能对一个长短不一的时间序列进行分类预测?
AI领域的灌水之风如何破局？
Batch normalization和Instance normalization的对比？
如何评价 DeepMind 在星际中的失利，以及 OpenAI 在 Dota 上的成功？
如何评价Kaiming He的Momentum Contrast for Unsupervised?
人工智能相关的岗位薪酬状况如何？
Yann LeCun、Geoffrey Hinton或Yoshua Bengio能得图灵奖吗？
transformer中的Q,K,V到底是什么？
2019年CVPR有哪些糟糕的论文?
如何评价Momenta ImageNet 2017夺冠架构SENet?
NIPS 2018 有什么值得关注的亮点？
自己学习深度学习时，有哪些途径寻找数据集？
如何评价何恺明等 arxiv 新作 Rethinking ImageNet Pre-training？
CVPR2022 有什么值得关注的论文 ?
如果用机器学习的理论来理解人的行为，会有什么发现？
在算力充沛，深度学习模型大行其道的今天，传统机器学习的未来在哪里？
如何理解深度学习源码里经常出现的logits？
如何评价 Self-Normalizing Neural Networks 这篇论文?
如何评价Sony新出的深度学习库NNabla？
深度学习对图像的处理，为什么大多基于RGB，而没有其他色彩空间，比如HSV？
迁移学习入门，新手该如何下手？
2020-2021年NLP有什么核心技术的更迭吗？或者有什么推动领域发展的paper吗？
验证集loss上升，准确率却上升该如何理解？
Word2vec 翻译到另一种语言，其向量空间之间的映射会不会是线性的？
目标检测算法中Two-stage算法速度慢,到底在哪里?
如何评价CVPR2019程序主席Derek Hoiem的论点：计算机视觉只是记忆，不是智能？