在计算机视觉任务中，运用Transformer和Non-local有何本质区别？ 第1页
1
shaohuali 网友的相关建议:
3年后再看non-local NN，原来 non-local block = transformer layer (single head) - FFN - positional encoding啊！
[1] 证明了FFN(即MLP)的重要性。这可能解释了为什么几层Non-local layer叠起来提升不大。我自己的实验证明positional encoding对分割任务是有提升的。另外很多transformer for cv的paper都证明multi head表现的比single head更好。
[1] Attention is Not All You Need: Pure Attention Loses Rank Doubly Exponentially with Depth. arXiv:2103.03404.
ai-hardcore 网友的相关建议:
女王:求求题主放过我，我可不敢有什么政绩。。。
1
相关话题
有哪些比较好的机器学习、数据挖掘、计算机视觉的订阅号、微博或者是论坛？怎么形象理解embedding这个概念？
如果用机器学习的理论来理解人的行为，会有什么发现？
如何看待Transformer在CV上的应用前景，未来有可能替代CNN吗？
车辆工程&计算机视觉？
为什么有些学数学的看不惯甚至鄙视 Deep Learning？
Pytorch有什么节省显存的小技巧？
计算机视觉是否已经进入瓶颈期？
CV方向多模态融合有哪些好的paper？
三维重建 3D reconstruction 有哪些实用算法？
下一个讨论
电脑怎样执行编程语言的？
相关的话题
深度学习中Attention与全连接层的区别何在？如何评价FAIR提出的MaskFeat：一种适用图像和视频分类的自监督学习方法？
如何评价Momenta ImageNet 2017夺冠架构SENet?
在CV/NLP/DL领域中，有哪些修改一行代码或者几行代码提升性能的算法？
怎么形象理解embedding这个概念？
如何看待Meta（恺明）最新论文ViTDet：只用ViT做backbone（不使用FPN）的检测模型？
行人轨迹预测有哪些有效的方法和普遍的base方法？或者public dataset?
如何评价Google提出的MLP-Mixer：只需要MLP就可以在ImageNet上达到SOTA？
深度学习对图像的处理，为什么大多基于RGB，而没有其他色彩空间，比如HSV？
如何评价Facebook AI提出的ResMLP，对比Google的MLP-Mixer?
如何评价Deepmind自监督新作BYOL？
目标检测算法中Two-stage算法速度慢,到底在哪里?
为什么要压缩模型，而不是直接训练一个小的CNN？
深度学习attention机制中的Q,K,V分别是从哪来的？
隐私计算、计算机视觉、自然语言处理三者中，哪个研究起来更有前途？
如何评价FAIR提出的MaskFormer，在语义分割ADE20K上达到SOTA：55.6 mIoU？
为什么图形学的会议siggraph的论文代码很少会开源？好像视觉如CVPR、ICCV开源的更多一些。
2021年，作为算法工程师的你们会在CV业务落地上用Transformer吗？
Batch normalization和Instance normalization的对比？
为啥gan里面几乎不用pooling？
如何看待旷视科技新产品监视学生上课？
为什么计算注意力机制的时候不加偏置项？
计算机图形学是否已经进入瓶颈期？
如何看待旷视科技新产品监视学生上课？
计算机视觉有多少分支？
视觉算法的工业部署及落地方面的技术知识，怎么学？
大家用resnet50在imagenet上面top1最高能到多少？
2020到2021年小样本学习取得重大进展了吗？
如何评价谷歌推出1.6万亿参数超级语言模型Switch Transformer？
为什么相比于计算机视觉(cv)，自然语言处理(nlp)领域的发展要缓慢？