在计算机视觉任务中，运用Transformer和Non-local有何本质区别？ 第1页
1
shaohuali 网友的相关建议:
3年后再看non-local NN，原来 non-local block = transformer layer (single head) - FFN - positional encoding啊！
[1] 证明了FFN(即MLP)的重要性。这可能解释了为什么几层Non-local layer叠起来提升不大。我自己的实验证明positional encoding对分割任务是有提升的。另外很多transformer for cv的paper都证明multi head表现的比single head更好。
[1] Attention is Not All You Need: Pure Attention Loses Rank Doubly Exponentially with Depth. arXiv:2103.03404.
ai-hardcore 网友的相关建议:
女王:求求题主放过我，我可不敢有什么政绩。。。
1
相关话题
基于计算机视觉从一张图片重建人体的三维网格，能否获取腰围、胸围、臂长、腿长等数据？如何评价Google最新提出的gMLP：MLP模型在CV和NLP任务上均取得较好的效果？
如何看待Transformer在CV上的应用前景，未来有可能替代CNN吗？
cv/nlp等方向的就业困难是全球性的吗？
如何评价哈工大的左旺孟老师？
Transformer是如何处理可变长度数据的？
如何理解 Swin Transformer 和 Vision Transformer不同任务上的差异？
计算机如何理解图像?
2020年，多标签学习（multi-label）有了哪些新的进展？
何恺明目前的学术成果是否够得上计算机视觉领域历史第一人？
下一个讨论
电脑怎样执行编程语言的？
相关的话题
做底层 AI 框架和做上层 AI 应用，哪个对自己的学术水平（或综合能力）促进更大？深度学习图像处理什么时候用到GPU？
如何评价Kaiming He团队的MoCo v3？
如何评价CVPR2019程序主席Derek Hoiem的论点：计算机视觉只是记忆，不是智能？
车辆工程&计算机视觉？
能否搜索某视频的其中一帧画面？或者通过一张图片搜索此图来自哪个视频？
如何评价何恺明等 arxiv 新作 Rethinking ImageNet Pre-training？
计算机视觉（CV）的算法有哪些，具体都有哪些特点？
消融实验是什么？
如何评价FAIR团队最新推出的RegNet？
如何看待2021年秋招算法岗灰飞烟灭？
2021年人工智能领域有哪些关键性进展和突破？
如何看待阿里巴巴提出的 FashionAI 比赛？
计算机视觉和自然语言处理，哪个更具有发展前景呢，还是各有千秋呢？
车辆工程&计算机视觉？
我应该从计算机视觉回到做FPGA 吗？
在计算机视觉任务中，运用Transformer和Non-local有何本质区别？
如何评价旷视开源的YOLOX，效果超过YOLOv5?
UCLA 的朱松纯教授是一个什么样的人？
一张图片怎么用matlab 把颜色反相，就是红的部分变成绿的，蓝的部分变成黄的？
人脸识别进小区合法吗？为什么要用人脸识别？
为什么Transformer适合做多模态任务？
如何评价谷歌大脑的EfficientNet？
行人轨迹预测有哪些有效的方法和普遍的base方法？或者public dataset?
如何评价谷歌提出的 Pix2Seq：将目标检测看成语言建模，效果超过 DETR？
为什么opencv使用BRG模式读入图像？
深度学习对图像的处理，为什么大多基于RGB，而没有其他色彩空间，比如HSV？
深度学习中，模型大了好还是小了好呢？
人工智能 CV 岗位是不是现在供严重大于需？
如何评价VOLO: Vision Outlooker for Visual Recognition？