在计算机视觉任务中，运用Transformer和Non-local有何本质区别？ 第1页
1
shaohuali 网友的相关建议:
3年后再看non-local NN，原来 non-local block = transformer layer (single head) - FFN - positional encoding啊！
[1] 证明了FFN(即MLP)的重要性。这可能解释了为什么几层Non-local layer叠起来提升不大。我自己的实验证明positional encoding对分割任务是有提升的。另外很多transformer for cv的paper都证明multi head表现的比single head更好。
[1] Attention is Not All You Need: Pure Attention Loses Rank Doubly Exponentially with Depth. arXiv:2103.03404.
ai-hardcore 网友的相关建议:
女王:求求题主放过我，我可不敢有什么政绩。。。
1
相关话题
机器学习中如何识别图片中的手是手背还是手心？2019年，计算机视觉领域，你推荐哪些综述性的文章？
机器学习中如何识别图片中的手是手背还是手心？
为什么nlp没有像cv四小龙一样的创业公司？
大三电子类专业要分流，大家能给个建议吗?
如何评价mixup: BEYOND EMPIRICAL RISK MINIMIZATION？
何恺明目前的学术成果是否够得上计算机视觉领域历史第一人？
PyTorch中在反向传播前为什么要手动将梯度清零？
如何理解 Swin Transformer 和 Vision Transformer不同任务上的差异？
cv/nlp等方向的就业困难是全球性的吗？
下一个讨论
电脑怎样执行编程语言的？
相关的话题
为什么ViT里的image patch要设计成不重叠？行为识别常用哪种特征提取？
CVPR 2019 有哪些值得关注的亮点？
如何评价谷歌用30亿数据训练的20亿参数ViT-G/14模型在 ImageNet 达到新的 SOTA？
机器学习中如何识别图片中的手是手背还是手心？
如何评价微软亚研院提出的把 Transformer 提升到了 1000 层的 DeepNet？
大三电子类专业要分流，大家能给个建议吗?
如何看待在某度搜不到megengine官网？
如何看待 Nervana 被 Intel 收购？
如何看待2021年秋招算法岗灰飞烟灭？
如何看待Transformer在CV上的应用前景，未来有可能替代CNN吗？
如何评价FAIR提出的MaskFormer，在语义分割ADE20K上达到SOTA：55.6 mIoU？
在计算机视觉任务中，运用Transformer和Non-local有何本质区别？
为什么图形学的会议siggraph的论文代码很少会开源？好像视觉如CVPR、ICCV开源的更多一些。
Transformer中的Mask矩阵已经有顺序了，能去掉position embedding吗?
学习两年多，感觉SLAM太难了，大家对此有什么想法？
transformer 为什么使用 layer normalization，而不是其他的归一化方法？
为什么 BERT 的 intermediate_size 这么大？
消融实验是什么？
如何理解Inductive bias？
如何看待多模态transformer，是否会成为多模态领域的主流？
PyTorch中在反向传播前为什么要手动将梯度清零？
为什么nlp没有像cv四小龙一样的创业公司？
西交利物浦大学（英国利物浦大学博士学位）全奖博士?
计算成像(computational photography)方向的就业前景如何？
Pytorch有什么节省显存的小技巧？
计算机视觉顶级会议论文中比较适合初学计算机视觉的人做的复现实验有哪些？
如何看待 AI 换脸软件「ZAO」的爆火？
哪些人工智能领域已经或者未来1-2年会实现盈利？
做底层 AI 框架和做上层 AI 应用，哪个对自己的学术水平（或综合能力）促进更大？