为什么ViT里的image patch要设计成不重叠？ 第1页
1
xiaohuzc 网友的相关建议:
其实这个问题，本身可能没有想象的那么复杂，最开始肯定考虑输入是pixel的，可是计算量承受不起，那就把图像分成patch。
网友的相关建议:
题主的concern是对的，切分-投影的做法确实很直接地兼容Transformer框架，不过这种方法确实有一定问题：
1、如果认为translation invariant是很重要的先验，那这种方法显然不满足这一性质；
2、对patch内部的空间结构信息有破坏，像素结构在上层（随着attention）逐渐丢失。
关于后一点，通过修改网络结构向Transformer block里补充像素结构已经被实验证实是有益的，例如华为诺亚实验室的TNT：
1
相关话题
c4.5为什么使用信息增益比来选择特征？为什么deep lab v3起，输出不再接 DenseCRF了？
计算机视觉和自然语言处理，哪个更具有发展前景呢，还是各有千秋呢？
如何看待旷视科技新产品监视学生上课？
计算机视觉顶级会议论文中比较适合初学计算机视觉的人做的复现实验有哪些？
如何看待北京交通大学学生在 ATM 机内学习?
何恺明目前的学术成果是否够得上计算机视觉领域历史第一人？
如何才能看得懂变分贝叶斯方法（Variational Bayesian）？
在Lasso中，oracle property指的是什么性质？
国内有哪些不错的CV(计算机视觉)团队?
下一个讨论
如何看待中山大学2021年本科大类招生？
相关的话题
CVPR 2018 有什么值得关注的亮点？为什么opencv使用BRG模式读入图像？
大三电子类专业要分流，大家能给个建议吗?
NLP 中 prompt learning 有哪些可能的天生缺陷？目前有什么样的方法来解决这样的缺陷？
对于透明物体的三维重建有什么好方法吗？
有没有一些图像处理新手可以练习的项目？
如何评价哈工大的左旺孟老师？
计算机视觉有多少分支？
是否有可能使用人工智能在高原、戈壁和沙漠中进行工业生产？
计算机如何理解图像?
为什么说深度学习没有理论基础?
Jacobian矩阵和Hessian矩阵的作用是什么？
如何理解深度学习源码里经常出现的logits？
强化学习和自适应控制的关系是什么？
人工「神经网络」技术在信息处理上有何特点，工作原理是什么？
AAAI 2022有哪些值得关注的方向？
机器学习中有哪些形式简单却很巧妙的idea？
为什么C4.5决策树能处理连续特征，ID3树不能处理连续特征？
OpenCV已经将图像处理(识别)的算法写成函数了,那我们还有必要去学习这些算法不?
深度学习和强化学习之间的差别有多大？
计算机视觉顶级会议论文中比较适合初学计算机视觉的人做的复现实验有哪些？
有哪些关于机器学习的真相还鲜为人知？
到了 2022 年，人工智能有哪些真正可落地的应用？
如何看待Hinton的论文《Dynamic Routing Between Capsules》？
如何对用户进行聚类分析？
隐私计算、计算机视觉、自然语言处理三者中，哪个研究起来更有前途？
神经网络中，bias有什么用，为什么要设置bias，当加权和大于某值时，激活才有意义？
硕士方向，选择迁移学习还是自然语言处理？
2019年CVPR有哪些糟糕的论文?
用生成模型做数据增强data augmentation时，如何从合成数据中筛选出质量较好的样本？