为什么ViT里的image patch要设计成不重叠？ 第1页
1
xiaohuzc 网友的相关建议:
其实这个问题，本身可能没有想象的那么复杂，最开始肯定考虑输入是pixel的，可是计算量承受不起，那就把图像分成patch。
网友的相关建议:
题主的concern是对的，切分-投影的做法确实很直接地兼容Transformer框架，不过这种方法确实有一定问题：
1、如果认为translation invariant是很重要的先验，那这种方法显然不满足这一性质；
2、对patch内部的空间结构信息有破坏，像素结构在上层（随着attention）逐渐丢失。
关于后一点，通过修改网络结构向Transformer block里补充像素结构已经被实验证实是有益的，例如华为诺亚实验室的TNT：
1
相关话题
如何评价 DeepMind 的新工作 AlphaCode?如何评价Google提出的MLP-Mixer：只需要MLP就可以在ImageNet上达到SOTA？
如何评价Hinton在加拿大多伦多大学关于用“capsule”作为下一代CNN的演讲？
结合深度学习的图像修复怎么实现？
能否用具体的例子解释一下 (Model-based) Structural Estimation？
如何评价哈工大的左旺孟老师？
谷歌翻译原理是什么，从语言A到B，中间是否要翻译成中介语言C（如英语）？
如何看待人工智能领域的很多专家认为「人工智能将对人类存亡造成威胁」的观点？
低分辨率图像相对于高分辨率图像在CNN中缺失了哪些特征？
新手如何入门pytorch？
下一个讨论
如何看待中山大学2021年本科大类招生？
相关的话题
如何看待马毅老师深度学习第一性原理的文章在 ICML 四个审稿人一致接收的情况下被 AC 拒了？如何评价微软机器翻译在 WMT2017 中英翻译达到「人类水平」？
计算成像(computational photography)方向的就业前景如何？
为什么小模型已经可以很好地拟合数据集了，换大模型效果却要比小模型好？
机器学习中的PR曲线一定会过（1，0）这个点吗？
为什么Transformer要用LayerNorm？
皮尔逊系数为什么要中心化？中心化之后有什么好处？
为什么做机器学习的很少使用假设检验？
2019年CVPR有哪些糟糕的论文?
写深度学习代码是先写model还是dataset还是train呢，有个一般化的顺序吗？
如何看待 Uber 发生全球首例自动驾驶致死事件？
计算机视觉中video understanding领域有什么研究方向和比较重要的成果？
深度学习领域有哪些瓶颈？
深度学习（机器学习）的下一步如何发展？
为什么在实际的kaggle比赛中，GBDT和Random Forest效果非常好？
现代人工神经网络是不是一个死胡同？这个技术是不是骗人的？
隐马尔可夫模型在金融领域应用前景如何？
共轭是指 ‘先验分布与后验分布共轭“ ，还是指 "先验分布与似然函数共轭“？
如何比较Keras, TensorLayer, TFLearn ？
怎样衡量一个机器学习工程师对算法的掌握程度？
Resnet是否只是一个深度学习的trick？
如何评价生成模型框架 ZhuSuan?
面试官如何判断面试者的机器学习水平？
现在互联网公司还有做特征工程的工作吗？
如何评价 2018 清华大学特等奖学金计算机大类（贵系、软院、姚班）无人通过一轮筛选？
如何理解空洞卷积（dilated convolution）？
CVPR 2015 有什么值得关注的亮点？
为什么说深度学习没有理论基础?
行人轨迹预测有哪些有效的方法和普遍的base方法？或者public dataset?
如何评价哈工大的左旺孟老师？