在计算机视觉任务中，运用Transformer和Non-local有何本质区别？ 第1页
1
shaohuali 网友的相关建议:
3年后再看non-local NN，原来 non-local block = transformer layer (single head) - FFN - positional encoding啊！
[1] 证明了FFN(即MLP)的重要性。这可能解释了为什么几层Non-local layer叠起来提升不大。我自己的实验证明positional encoding对分割任务是有提升的。另外很多transformer for cv的paper都证明multi head表现的比single head更好。
[1] Attention is Not All You Need: Pure Attention Loses Rank Doubly Exponentially with Depth. arXiv:2103.03404.
ai-hardcore 网友的相关建议:
女王:求求题主放过我，我可不敢有什么政绩。。。
1
相关话题
隐私计算、计算机视觉、自然语言处理三者中，哪个研究起来更有前途？如何看待旷视确定香港上市？
如何评价最近火热的对比学习，会引领预训练模型新的范式嘛?
一张图片怎么用matlab 把颜色反相，就是红的部分变成绿的，蓝的部分变成黄的？
有哪些令你印象深刻的魔改transformer？
机器视觉为什么不用手机的镜头，而要用那么大的工业相机？
中国人工智能图像识别技术的开创者是谁？
深度学习中，模型大了好还是小了好呢？
如何理解Inductive bias？
旷视(Face++)完成C轮1亿美元融资，是否说明旷视已经进入独角兽阵营？
下一个讨论
电脑怎样执行编程语言的？
相关的话题
transformer中的Q,K,V到底是什么？如何评价mixup: BEYOND EMPIRICAL RISK MINIMIZATION？
计算机视觉（cv）方向今年招聘情况怎么样?是否已经人才过剩?
PyTorch中在反向传播前为什么要手动将梯度清零？
深度学习中Attention与全连接层的区别何在？
有哪些比较好的机器学习、数据挖掘、计算机视觉的订阅号、微博或者是论坛？
transformer 为什么使用 layer normalization，而不是其他的归一化方法？
如何评价 Face++ 旷视科技最新出品的检测专用 backbone 网络 DetNet ？
如何看待与评价 AAAI 2022 的录用结果？
Batch normalization和Instance normalization的对比？
如何评价Google最新提出的gMLP：MLP模型在CV和NLP任务上均取得较好的效果？
视觉算法的工业部署及落地方面的技术知识，怎么学？
有哪些令你印象深刻的魔改transformer？
如何评价Google最新提出的gMLP：MLP模型在CV和NLP任务上均取得较好的效果？
计算机视觉（CV）的算法有哪些，具体都有哪些特点？
transformer 为什么使用 layer normalization，而不是其他的归一化方法？
三维重建怎么入门？
Transformer是如何处理可变长度数据的？
在计算机视觉任务中，运用Transformer和Non-local有何本质区别？
全连接层的作用是什么？
行人轨迹预测有哪些有效的方法和普遍的base方法？或者public dataset?
如何看待End-to-End Object Detection with Transformers？
三维重建 3D reconstruction 有哪些实用算法？
何恺明目前的学术成果是否够得上计算机视觉领域历史第一人？
如何评价MSRA视觉组最新对spatial attention mechanism分析论文？
transformer 为什么使用 layer normalization，而不是其他的归一化方法？
如何看待马毅教授在国内评不上杰青？
大家用resnet50在imagenet上面top1最高能到多少？
为什么opencv使用BRG模式读入图像？
我应该从计算机视觉回到做FPGA 吗？