为什么计算注意力机制的时候不加偏置项？ 第1页
1
mlxue-xi 网友的相关建议:
1）注意力机制是需要计算目标item和序列中每一个item的，指数形式下增加bias，没有意义。
2）softmax权重分配存在赢者通吃，极其容易饱和，增加bias将加剧现象。所以在推荐中常常改为sigmoid函数，让权重平滑。
3）其次，增加参数，增大学习难度。
并非所有的设计都要遵循大众设计，遵循公式，要思考这样的因子可以不加吗，不加会不会更好，是不是原来的就也不需要加，加了为啥好，为啥不好。今天还看到了一篇论文在序列中加了零向量，那么在目标与序列完全无关的时候，模型attened到这个零向量即可，不会强制关注这个序列，不会引入额外的噪声。很巧妙的设计思路，当然这样的设计思路是来源于业务的理解，不是所有的业务都需要这样处理。因此，学会在合适的场景做合适的设计修改，往往产生不错的return。
tylin98 网友的相关建议:
女王:求求题主放过我，我可不敢有什么政绩。。。
1
相关话题
如何评价2020年计算机视觉顶会CVPR投稿量破万的现象？为什么 Bert 的三个 Embedding 可以进行相加？
行人轨迹预测有哪些有效的方法和普遍的base方法？或者public dataset?
如何评价旷视开源的YOLOX，效果超过YOLOv5?
word2vec 相比之前的 Word Embedding 方法好在什么地方？
2020到2021年小样本学习取得重大进展了吗？
现在的BERT等语言模型，最快训练要多久？
验证集loss上升，准确率却上升该如何理解？
2020年，多标签学习（multi-label）有了哪些新的进展？
目标检测算法中Two-stage算法速度慢,到底在哪里?
下一个讨论
男方家境不好真的不能嫁嘛？?
相关的话题
如何评价MSRA视觉组最新对spatial attention mechanism分析论文？如何看待Hinton的论文《Dynamic Routing Between Capsules》？
如何评价 DeepMind 发表在 Nature 的论文公开无需人类棋谱的 AlphaGo Zero？
普通FPGA工程师怎样向人工智能靠拢？
深度学习在信息安全的应用有哪些可以关注的人或论文？
如何评价沐神他们写的《动手学深度学习》这本书？
为什么有的论文放出训练好的模型和测试脚本，但不开源训练代码？
有人说「真正的人工智能至少还要几百年才能实现」，真的是这样吗？
怎么选取训练神经网络时的Batch size?
目前有哪些比较成功的人工智能应用？
如何评价Momenta ImageNet 2017夺冠架构SENet?
如何评价周志华教授新提出的 Deep Forest 模型，它会取代当前火热的深度学习 DNN 吗？
在文本分类任务中，有哪些论文中很少提及却对性能有重要影响的tricks？
新手如何实现个简单AutoML框架。有参考的github开源项目介绍吗？
如何判断两个Deep Learning 数据集的数据分布是否一致？
在算力充沛，深度学习模型大行其道的今天，传统机器学习的未来在哪里？
NLP 中 prompt learning 有哪些可能的天生缺陷？目前有什么样的方法来解决这样的缺陷？
请问一下，机器学习领域的联邦学习技术，目前看到最多的是微众银行，国内还有哪些顶级专家及机构和大学？
如何看待timm作者发布ResNet新基准：ResNet50提至80.4，这对后续研究会带来哪些影响？
一个完整的Pytorch深度学习项目代码，项目结构是怎样的？
深度学习的多个loss如何平衡？
计算机视觉（cv）方向今年招聘情况怎么样?是否已经人才过剩?
Domain Adaptation学术上有哪些方向，还有哪些可做的地方？
如何看待旷视科技新产品监视学生上课？
机器学习中的机器是如何分辨哪些是有用的知识，哪些是没用的信息呢？
搞机器学习的生环化材是天坑吗？
如何看待谷歌研究人员提出的卷积正则化方法「DropBlock」？
计算机视觉研一，只学过Python基础，目前代码能力很差，要不要换导师，不换的话如何毕业？
经过足够长的时间， AlphaGo 的棋谱能收敛到一张上吗？
如何看待 Daniel Povey 离开 JHU 后加入小米？