在计算机视觉任务中，运用Transformer和Non-local有何本质区别？ 第1页
1
shaohuali 网友的相关建议:
3年后再看non-local NN，原来 non-local block = transformer layer (single head) - FFN - positional encoding啊！
[1] 证明了FFN(即MLP)的重要性。这可能解释了为什么几层Non-local layer叠起来提升不大。我自己的实验证明positional encoding对分割任务是有提升的。另外很多transformer for cv的paper都证明multi head表现的比single head更好。
[1] Attention is Not All You Need: Pure Attention Loses Rank Doubly Exponentially with Depth. arXiv:2103.03404.
ai-hardcore 网友的相关建议:
女王:求求题主放过我，我可不敢有什么政绩。。。
1
相关话题
刚进算法团队，大牛们讨论高深的 cv 术语和算法，如何才能听懂？计算机视觉顶级会议论文中比较适合初学计算机视觉的人做的复现实验有哪些？
如何评价Kaiming He团队的MoCo v3？
2020年，多标签学习（multi-label）有了哪些新的进展？
如何评价旷视开源的YOLOX，效果超过YOLOv5?
华为年薪百万的应届博士到底有多厉害？
如何理解Inductive bias？
PyTorch中在反向传播前为什么要手动将梯度清零？
神经网络中 warmup 策略为什么有效；有什么理论解释么？
如何看待Meta（恺明）最新论文ViTDet：只用ViT做backbone（不使用FPN）的检测模型？
下一个讨论
电脑怎样执行编程语言的？
相关的话题
深度学习图像处理什么时候用到GPU？多模态方面，有哪些牛组值得我们follow他们的工作？
如何评价 NVIDIA 最新技术 5 秒训练 NERF？
为什么现在不看好 CV 方向了呢?
没有顶会的CV/NLP方向的博士生毕业出路在哪里？
Transformer中的Mask矩阵已经有顺序了，能去掉position embedding吗?
如果用机器学习的理论来理解人的行为，会有什么发现？
如何看待Transformer在CV上的应用前景，未来有可能替代CNN吗？
如何评价微软提出的无监督视觉模型BEiT：ImageNet达到88.6，ADE20K达到57.0？
如何评价谷歌大脑的EfficientNet？
为什么有些学数学的看不惯甚至鄙视 Deep Learning？
机器视觉为什么不用手机的镜头，而要用那么大的工业相机？
计算成像(computational photography)方向的就业前景如何？
如何看待谷歌研究人员提出的卷积正则化方法「DropBlock」？
计算机视觉有多少分支？
有哪些比较好的机器学习、数据挖掘、计算机视觉的订阅号、微博或者是论坛？
如何评价谷歌用30亿数据训练的20亿参数ViT-G/14模型在 ImageNet 达到新的 SOTA？
如何评价CVPR2019程序主席Derek Hoiem的论点：计算机视觉只是记忆，不是智能？
目标检测算法中Two-stage算法速度慢,到底在哪里?
Transformer是如何处理可变长度数据的？
transformer中的Q,K,V到底是什么？
如果用机器学习的理论来理解人的行为，会有什么发现？
如何评价CUHK以及Yuanjun Xiong提出的Trajectory Convolution？
机器学习中如何识别图片中的手是手背还是手心？
如何评价谷歌大脑的EfficientNet？
如何评价FAIR提出的MaskFeat：一种适用图像和视频分类的自监督学习方法？
2020年，多标签学习（multi-label）有了哪些新的进展？
如何评价mixup: BEYOND EMPIRICAL RISK MINIMIZATION？
如何评价 Kaiming He 在 ICCV 2017 上拿下双 Best 的 paper？
为什么很少人用FFT加速CNN卷积层的运算？