为什么ViT里的image patch要设计成不重叠？ 第1页
1
xiaohuzc 网友的相关建议:
其实这个问题，本身可能没有想象的那么复杂，最开始肯定考虑输入是pixel的，可是计算量承受不起，那就把图像分成patch。
网友的相关建议:
题主的concern是对的，切分-投影的做法确实很直接地兼容Transformer框架，不过这种方法确实有一定问题：
1、如果认为translation invariant是很重要的先验，那这种方法显然不满足这一性质；
2、对patch内部的空间结构信息有破坏，像素结构在上层（随着attention）逐渐丢失。
关于后一点，通过修改网络结构向Transformer block里补充像素结构已经被实验证实是有益的，例如华为诺亚实验室的TNT：
1
相关话题
如何评价论文「Stochastic Training is Not Necessary ...」?如何评价何恺明、Ross Girshick组的自监督时空表征学习新作？
机器学习如何才能避免「只是调参数」？
为什么我用相同的模型，数据，超参，随机种子，在两台服务器会得到不同的结果？
深度学习图像处理什么时候用到GPU？
GAN 真的创造了新的信息吗？
mxnet的并行计算为什么这么牛，是什么原理？
迁移学习与fine-tuning有什么区别？
学习机器学习应该看哪些书籍？
如何评价 PyTorch 团队推出的推荐系统库 TorchRec？
下一个讨论
如何看待中山大学2021年本科大类招生？
相关的话题
数据挖掘、机器学习、自然语言处理这三者是什么关系？这几个怎么入门啊？《人工智能训练师国家职业技能标准》发布，有哪些值得关注的信息？
MPI 在大规模机器学习领域的前景如何？
大四年级，完全没接触过高数，目前对机器学习产生浓厚兴趣，该如何学习数学？
为什么谈论深度学习工具时，很少有人讨论matlab的神经网络工具包？
谈谈机器学习在网络安全领域的局限性，以及是否乐观？
如何评价mixup: BEYOND EMPIRICAL RISK MINIMIZATION？
Learning To Rank的pair wise方法如何得到全局排序结果呢？
反馈控制理论在优化、机器学习等领域有哪些应用？
如何评价Google最新提出的gMLP：MLP模型在CV和NLP任务上均取得较好的效果？
TensorFlow 有哪些令人难以接受的地方？
为什么计算注意力机制的时候不加偏置项？
如何看待与评价 AAAI 2022 的录用结果？
如何评价Facebook AI提出的ResMLP，对比Google的MLP-Mixer?
计量经济学是不是过时了？
如何评价Google最新提出的gMLP：MLP模型在CV和NLP任务上均取得较好的效果？
研一刚入学，从未接触过神经网络，python也是才开始学，现在导师要我做LSTM，我应该去学什么？
只有正样本和未标签数据的机器学习怎么做？
用于数据挖掘的聚类算法有哪些，各有何优势？
计算机视觉顶级会议论文中比较适合初学计算机视觉的人做的复现实验有哪些？
华为应届顶尖博士年薪百万，读博是不是有希望了？
视觉Transformer如何优雅地避开位置编码？
凸分析和凸优化有什么推荐的教材吗？
三门问题(蒙提霍尔悖论)变种，如果主持人不知道哪个门是汽车随便蒙门打开正好是羊这时观众还需要换门吗？
如何看待Geoffrey Hinton的言论，深度学习要另起炉灶，彻底抛弃反向传播？
为什么nlp没有像cv四小龙一样的创业公司？
为什么nn的较大问题是会陷入局部最优时，不选用凸函数作为激活函数？
基于计算机视觉从一张图片重建人体的三维网格，能否获取腰围、胸围、臂长、腿长等数据？
你所在的研究领域里，有哪些工作的结果虽然不是造假，但是是精挑细选出来的?
广告算法工程师的核心竞争力是什么？