在计算机视觉任务中，运用Transformer和Non-local有何本质区别？ 第1页
1
shaohuali 网友的相关建议:
3年后再看non-local NN，原来 non-local block = transformer layer (single head) - FFN - positional encoding啊！
[1] 证明了FFN(即MLP)的重要性。这可能解释了为什么几层Non-local layer叠起来提升不大。我自己的实验证明positional encoding对分割任务是有提升的。另外很多transformer for cv的paper都证明multi head表现的比single head更好。
[1] Attention is Not All You Need: Pure Attention Loses Rank Doubly Exponentially with Depth. arXiv:2103.03404.
ai-hardcore 网友的相关建议:
女王:求求题主放过我，我可不敢有什么政绩。。。
1
相关话题
计算机视觉顶级会议论文中比较适合初学计算机视觉的人做的复现实验有哪些？行人轨迹预测有哪些有效的方法和普遍的base方法？或者public dataset?
深度学习（机器学习）的下一步如何发展？
如何看待多模态transformer，是否会成为多模态领域的主流？
如何评价 MSRA 视觉组最新提出的 Deformable ConvNets V2？
如何评价 MSRA 视觉组最新提出的 Deformable ConvNets V2？
为什么Transformer要用LayerNorm？
为什么要压缩模型，而不是直接训练一个小的CNN？
如何评价谷歌用30亿数据训练的20亿参数ViT-G/14模型在 ImageNet 达到新的 SOTA？
为什么有的 Vision Transformer 中的 key 不需要 bias ？
下一个讨论
电脑怎样执行编程语言的？
相关的话题
transformer 为什么使用 layer normalization，而不是其他的归一化方法？如何评价MSRA视觉组最新对spatial attention mechanism分析论文？
如何看待旷视科技新产品监视学生上课？
能否搜索某视频的其中一帧画面？或者通过一张图片搜索此图来自哪个视频？
如何评价何恺明、Ross Girshick组的自监督时空表征学习新作？
如何评价MSRA最新的 Relation Networks for Object Detection？
以目前的计算机视觉技术能否对一张二维的人体全身照进行3D重建？
如何看待swin transformer成为ICCV2021的 best paper？
Domain Adaptation学术上有哪些方向，还有哪些可做的地方？
如何看待 2014 年以来计算机视觉（Computer Vision）界创业潮？
坐标日本，计算机视觉专攻。有英文交流氛围浓厚的研究室推荐吗？
计算机视觉中video understanding领域有什么研究方向和比较重要的成果？
在计算机视觉任务中，运用Transformer和Non-local有何本质区别？
机器视觉为什么不用手机的镜头，而要用那么大的工业相机？
如何看待swin transformer成为ICCV2021的 best paper？
Batch normalization和Instance normalization的对比？
华为应届顶尖博士年薪百万，读博是不是有希望了？
计算成像(computational photography)方向的就业前景如何？
如何评价谷歌提出的 Pix2Seq：将目标检测看成语言建模，效果超过 DETR？
如何看待马毅教授在国内评不上杰青？
计算机视觉和自然语言处理，哪个更具有发展前景呢，还是各有千秋呢？
深度学习对图像的处理，为什么大多基于RGB，而没有其他色彩空间，比如HSV？
如何评价李飞飞和李佳加盟谷歌？
为啥gan里面几乎不用pooling？
如何看待FAIR提出的8-bit optimizer：效果和32-bit optimizer相当？
隐私计算、计算机视觉、自然语言处理三者中，哪个研究起来更有前途？
怎么形象理解embedding这个概念？
学习SLAM需要哪些预备知识？
坐标日本，计算机视觉专攻。有英文交流氛围浓厚的研究室推荐吗？
为什么相比于计算机视觉(cv)，自然语言处理(nlp)领域的发展要缓慢？