在计算机视觉任务中，运用Transformer和Non-local有何本质区别？ 第1页
1
shaohuali 网友的相关建议:
3年后再看non-local NN，原来 non-local block = transformer layer (single head) - FFN - positional encoding啊！
[1] 证明了FFN(即MLP)的重要性。这可能解释了为什么几层Non-local layer叠起来提升不大。我自己的实验证明positional encoding对分割任务是有提升的。另外很多transformer for cv的paper都证明multi head表现的比single head更好。
[1] Attention is Not All You Need: Pure Attention Loses Rank Doubly Exponentially with Depth. arXiv:2103.03404.
ai-hardcore 网友的相关建议:
女王:求求题主放过我，我可不敢有什么政绩。。。
1
相关话题
如何评价mixup: BEYOND EMPIRICAL RISK MINIMIZATION？计算机视觉是否已经发展到可以自动识别车牌并扣费的程度？
全连接层的作用是什么？
如何看待旷视科技新产品监视学生上课？
为什么这么多 NLP 大牛硕士毕业去企业不留在学术界？
在计算机视觉任务中，运用Transformer和Non-local有何本质区别？
有哪些人工智能上的事实，没有一定人工智能知识的人不会相信？
消融实验是什么？
计算机如何理解图像?
为什么要压缩模型，而不是直接训练一个小的CNN？
下一个讨论
电脑怎样执行编程语言的？
相关的话题
有哪些有趣的图形学(CG)和计算机视觉(CV)相结合的应用的例子？大家用resnet50在imagenet上面top1最高能到多少？
transformer中的Q,K,V到底是什么？
PyTorch中在反向传播前为什么要手动将梯度清零？
机器视觉为什么不用手机的镜头，而要用那么大的工业相机？
如何评价谷歌用30亿数据训练的20亿参数ViT-G/14模型在 ImageNet 达到新的 SOTA？
CVPR 2018 有什么值得关注的亮点？
计算流体力学（CFD）里应用注意力机制（attention）是否可行？
如何看待阿里巴巴提出的 FashionAI 比赛？
低分辨率图像相对于高分辨率图像在CNN中缺失了哪些特征？
如何看待Transformer在CV上的应用前景，未来有可能替代CNN吗？
为什么Transformer适合做多模态任务？
视觉Transformer如何优雅地避开位置编码？
2021年深度学习哪些方向比较新颖，处于上升期或者朝阳阶段，没那么饱和，比较有研究潜力？
机器人抓取时怎么定位的？用什么传感器来检测？
AAAI 2022有哪些值得关注的方向？
三维重建怎么入门？
如何评价Google提出的MLP-Mixer：只需要MLP就可以在ImageNet上达到SOTA？
深度学习图像处理什么时候用到GPU？
坐标日本，计算机视觉专攻。有英文交流氛围浓厚的研究室推荐吗？
如何评价微软提出的无监督视觉模型BEiT：ImageNet达到88.6，ADE20K达到57.0？
如何评价旷视开源的YOLOX，效果超过YOLOv5?
计算机视觉顶级会议论文中比较适合初学计算机视觉的人做的复现实验有哪些？
如何评价Facebook AI提出的ResMLP，对比Google的MLP-Mixer?
消融实验是什么？
如何理解 Swin Transformer 和 Vision Transformer不同任务上的差异？
刚进算法团队，大牛们讨论高深的cv术语和算法，如何才能听懂？
人工智能 CV 岗位是不是现在供严重大于需？
如何评价微软提出的无监督视觉模型BEiT：ImageNet达到88.6，ADE20K达到57.0？
如何评价FAIR团队最新推出的RegNet？