在计算机视觉任务中，运用Transformer和Non-local有何本质区别？ 第1页
1
shaohuali 网友的相关建议:
3年后再看non-local NN，原来 non-local block = transformer layer (single head) - FFN - positional encoding啊！
[1] 证明了FFN(即MLP)的重要性。这可能解释了为什么几层Non-local layer叠起来提升不大。我自己的实验证明positional encoding对分割任务是有提升的。另外很多transformer for cv的paper都证明multi head表现的比single head更好。
[1] Attention is Not All You Need: Pure Attention Loses Rank Doubly Exponentially with Depth. arXiv:2103.03404.
ai-hardcore 网友的相关建议:
女王:求求题主放过我，我可不敢有什么政绩。。。
1
相关话题
怎么形象理解embedding这个概念？在CV/NLP/DL领域中，有哪些修改一行代码或者几行代码提升性能的算法？
Batch normalization和Instance normalization的对比？
如何看待多模态transformer，是否会成为多模态领域的主流？
如何看待旷视确定香港上市？
如何评价最新的Octave Convolution？
2021年人工智能领域有哪些关键性进展和突破？
为什么图形学的会议siggraph的论文代码很少会开源？好像视觉如CVPR、ICCV开源的更多一些。
如何评价 CVPR2022 的审稿结果和录取情况？
当前深度学习理论基础薄弱是否意味着我们应该放弃深度学习应用(计算机视觉、自然语言处理)？
下一个讨论
电脑怎样执行编程语言的？
相关的话题
如何评价Google最新提出的gMLP：MLP模型在CV和NLP任务上均取得较好的效果？Pytorch有什么节省显存的小技巧？
华为年薪百万的应届博士到底有多厉害？
如何评价MSRA视觉组最新对spatial attention mechanism分析论文？
机器学习中如何识别图片中的手是手背还是手心？
Pytorch有什么节省显存的小技巧？
大家用resnet50在imagenet上面top1最高能到多少？
为啥gan里面几乎不用pooling？
2021年人工智能领域有哪些关键性进展和突破？
adversarial training为什么会起作用？
2021年深度学习哪些方向比较新颖，处于上升期或者朝阳阶段，没那么饱和，比较有研究潜力？
行为识别常用哪种特征提取？
如何评价Google最新提出的gMLP：MLP模型在CV和NLP任务上均取得较好的效果？
如何评价Deepmind自监督新作BYOL？
如何评价Facebook AI提出的ResMLP，对比Google的MLP-Mixer?
如何评价「Patches are all you need」?
如何看待旷视确定香港上市？
为什么ViT里的image patch要设计成不重叠？
如何看待旷视 detection 组组长俞刚跳槽腾讯 PCG 光影研究室?
如何理解Inductive bias？
2021年人工智能领域有哪些关键性进展和突破？
无人车为什么一定要用激光雷达做，双目视觉难道不行吗？
如何评价哈工大的左旺孟老师？
Batch normalization和Instance normalization的对比？
cv/nlp等方向的就业困难是全球性的吗？
在计算机视觉任务中，运用Transformer和Non-local有何本质区别？
UCLA 的朱松纯教授是一个什么样的人？
计算机视觉中video understanding领域有什么研究方向和比较重要的成果？
如何看待Transformer在CV上的应用前景，未来有可能替代CNN吗？
为啥gan里面几乎不用pooling？