在计算机视觉任务中，运用Transformer和Non-local有何本质区别？ 第1页
1
shaohuali 网友的相关建议:
3年后再看non-local NN，原来 non-local block = transformer layer (single head) - FFN - positional encoding啊！
[1] 证明了FFN(即MLP)的重要性。这可能解释了为什么几层Non-local layer叠起来提升不大。我自己的实验证明positional encoding对分割任务是有提升的。另外很多transformer for cv的paper都证明multi head表现的比single head更好。
[1] Attention is Not All You Need: Pure Attention Loses Rank Doubly Exponentially with Depth. arXiv:2103.03404.
ai-hardcore 网友的相关建议:
女王:求求题主放过我，我可不敢有什么政绩。。。
1
相关话题
CVPR 2019 有哪些值得关注的亮点？如何评价 Kaiming 团队新作 Masked Autoencoders (MAE)？
何恺明目前的学术成果是否够得上计算机视觉领域历史第一人？
车辆工程&计算机视觉？
如何评价旷视开源的YOLOX，效果超过YOLOv5?
为啥gan里面几乎不用pooling？
如何评价《State Estimation for Robotics》？
如何理解Inductive bias？
国内有哪些不错的CV(计算机视觉)团队?
为什么opencv使用BRG模式读入图像？
下一个讨论
电脑怎样执行编程语言的？
相关的话题
计算机视觉是否已经发展到可以自动识别车牌并扣费的程度？如何看待NLP领域最近比较火的prompt，能否借鉴到CV领域？
如何看待在某度搜不到megengine官网？
计算机视觉是否已经发展到可以自动识别车牌并扣费的程度？
有没有根据一张人物的立绘正面像，自动生成同风格各侧面角度像并自动衍生表情的软件啊？
2021年，作为算法工程师的你们会在CV业务落地上用Transformer吗？
如何评价哈工大的左旺孟老师？
如何评价微软亚研院提出的把 Transformer 提升到了 1000 层的 DeepNet？
如何看待Transformer在CV上的应用前景，未来有可能替代CNN吗？
transformer 为什么使用 layer normalization，而不是其他的归一化方法？
adversarial training为什么会起作用？
2021 年，深度学习方面取得了哪些关键性进展？
有没有一些图像处理新手可以练习的项目？
如何评价 NVIDIA 最新技术 5 秒训练 NERF？
国内有哪些不错的CV(计算机视觉)团队?
如何看待FAIR提出的8-bit optimizer：效果和32-bit optimizer相当？
多模态方面，有哪些牛组值得我们follow他们的工作？
如何看待Transformer在CV上的应用前景，未来有可能替代CNN吗？
视觉Transformer如何优雅地避开位置编码？
2019年，计算机视觉领域，你推荐哪些综述性的文章？
深度学习attention机制中的Q,K,V分别是从哪来的？
深度学习领域，你心目中 idea 最惊艳的论文是哪篇？
西交利物浦大学（英国利物浦大学博士学位）全奖博士?
深度学习中Attention与全连接层的区别何在？
Domain Adaptation学术上有哪些方向，还有哪些可做的地方？
以目前的计算机视觉技术能否对一张二维的人体全身照进行3D重建？
如何看待NLP领域最近比较火的prompt，能否借鉴到CV领域？
如何通俗易懂地讲解 Photoshop 中的「通道」概念？
如何评价「Patches are all you need」?
计算机视觉中video understanding领域有什么研究方向和比较重要的成果？