为什么ViT里的image patch要设计成不重叠？ 第1页
1
xiaohuzc 网友的相关建议:
其实这个问题，本身可能没有想象的那么复杂，最开始肯定考虑输入是pixel的，可是计算量承受不起，那就把图像分成patch。
网友的相关建议:
题主的concern是对的，切分-投影的做法确实很直接地兼容Transformer框架，不过这种方法确实有一定问题：
1、如果认为translation invariant是很重要的先验，那这种方法显然不满足这一性质；
2、对patch内部的空间结构信息有破坏，像素结构在上层（随着attention）逐渐丢失。
关于后一点，通过修改网络结构向Transformer block里补充像素结构已经被实验证实是有益的，例如华为诺亚实验室的TNT：
1
相关话题
如何评价mixup: BEYOND EMPIRICAL RISK MINIMIZATION？如何评价Facebook AI提出的ResMLP，对比Google的MLP-Mixer?
大家用resnet50在imagenet上面top1最高能到多少？
使用pytorch时，训练集数据太多达到上千万张，Dataloader加载很慢怎么办?
2021年，作为算法工程师的你们会在CV业务落地上用Transformer吗？
如何直观地解释 backpropagation 算法？
我决定进军期货市场，您有什么建议吗？
请问机器学习中的预测与决策的区别是什么，他们的界限在哪里呢？
如何看待swin transformer成为ICCV2021的 best paper？
ICLR 2019 有什么值得关注的亮点？
下一个讨论
如何看待中山大学2021年本科大类招生？
相关的话题
ICLR 2021 有什么值得关注的投稿？图片上训的模型，怎么迁移视频上呢？
深度学习在信息安全的应用有哪些可以关注的人或论文？
如何看UCBerkeley RISELab即将问世的Ray，replacement of Spark？
Dirichlet Processes 是一个什么样的随机过程？
为什么Transformer适合做多模态任务？
如何评价Google提出的MLP-Mixer：只需要MLP就可以在ImageNet上达到SOTA？
算法工程师的落地能力具体指的是什么？
机器人抓取时怎么定位的？用什么传感器来检测？
如何系统学习机器学习？
算法岗位真的需要顶会才能入场吗？
有人说「真正的人工智能至少还要几百年才能实现」，真的是这样吗？
pytorch 的高层库ignite怎么样？
为什么熵值最大的分布状态是正态分布而不是均匀分布？
如何看待 Alex Smola 加入 Amazon？
深度学习在生物信息领域有什么应用？
attention跟一维卷积的区别是啥？
在机器学习模型的训练期间，大概几十分钟到几小时不等，大家都会在等实验的时候做什么？
如何评价Momenta ImageNet 2017夺冠架构SENet?
神经网络中的能量函数是如何定义的？
超越人类的人工智能 (AI) 是否能够实现？
学习机器学习应该看哪些书籍？
机器学习，数据挖掘在研究生阶段大概要学些什么？
机器学习中如何识别图片中的手是手背还是手心？
如何评价AWS的图神经网络框架DGL？
全连接层的作用是什么？
如何激怒一位人工智能（机器学习、深度学习、强化学习等）爱好者？
神经网络的损失函数为什么是非凸的?
cygwin和mingw选哪个？
如何看待百度无人车， 三千多个场景，一万多个if？