为什么计算注意力机制的时候不加偏置项？ 第1页
1
mlxue-xi 网友的相关建议:
1）注意力机制是需要计算目标item和序列中每一个item的，指数形式下增加bias，没有意义。
2）softmax权重分配存在赢者通吃，极其容易饱和，增加bias将加剧现象。所以在推荐中常常改为sigmoid函数，让权重平滑。
3）其次，增加参数，增大学习难度。
并非所有的设计都要遵循大众设计，遵循公式，要思考这样的因子可以不加吗，不加会不会更好，是不是原来的就也不需要加，加了为啥好，为啥不好。今天还看到了一篇论文在序列中加了零向量，那么在目标与序列完全无关的时候，模型attened到这个零向量即可，不会强制关注这个序列，不会引入额外的噪声。很巧妙的设计思路，当然这样的设计思路是来源于业务的理解，不是所有的业务都需要这样处理。因此，学会在合适的场景做合适的设计修改，往往产生不错的return。
tylin98 网友的相关建议:
女王:求求题主放过我，我可不敢有什么政绩。。。
1
相关话题
三维重建 3D reconstruction 有哪些实用算法？如何评价Facebook AI提出的ResMLP，对比Google的MLP-Mixer?
如何评价Google提出的MLP-Mixer：只需要MLP就可以在ImageNet上达到SOTA？
cv/nlp等方向的就业困难是全球性的吗？
BERT可以用于文本聚类吗?
为什么学习深度学习感觉无法入门？
石头和塑料袋对于计算机传感器的差别在于什么？为什么无人驾驶系统会依然存在对周围环境的误判？
为何感觉“知识蒸馏”这几年没有什么成果？
在NLP当中，不同的评价指标，BLEU, METEOR, ROUGE和CIDEr的逻辑意义？
编程达到什么水平才能编写出像caffe这样的深度学习框架？
下一个讨论
男方家境不好真的不能嫁嘛？?
相关的话题
大二就中 CVPR/ICCV/ECCV/NIPS 是一种怎样的体验？LSTM如何来避免梯度弥散和梯度爆炸？
阿里的TDM树深度模型为什么很少有人用，是有哪些问题吗？
为什么Transformer适合做多模态任务？
ICLR 2021 有什么值得关注的投稿？
2021 年了，机器/深度学习还有哪些坑比较好挖？
CVPR2022 有什么值得关注的论文 ?
为什么 Siri 听懂了我的话，还是不能做出有效的回答或准确的操作？
如何直观地解释 backpropagation 算法？
如何看待多模态transformer，是否会成为多模态领域的主流？
如何评价Kaiming He的Momentum Contrast for Unsupervised?
消融实验是什么？
华为应届顶尖博士年薪百万，读博是不是有希望了？
如何看待马毅教授在国内评不上杰青？
为什么GAT能够实现Inductive learning，而GCN不行？
如何理解深度学习中的deconvolution networks？
如何评价何恺明、Ross Girshick组的自监督时空表征学习新作？
如何评价mixup: BEYOND EMPIRICAL RISK MINIMIZATION？
新智元提问：如何看待李飞飞高徒Karpathy加入特斯拉，主管人工智能部门？
Batch normalization和Instance normalization的对比？
Batch Normalization 训练的时候为什么不使用 moving statistics？
基于对比学习(Contrastive Learning)的文本表示模型【为什么】能学到语义【相似】度？
NLP领域，你推荐哪些综述性的文章？
如何看待人工智能领域的很多专家认为「人工智能将对人类存亡造成威胁」的观点？
深度学习在信息安全的应用有哪些可以关注的人或论文？
Domain Adaptation学术上有哪些方向，还有哪些可做的地方？
如何评价Hinton组的新工作SimCLR?
如何评价小米开源的移动端深度学习框架MACE？
如何评价Google最新提出的gMLP：MLP模型在CV和NLP任务上均取得较好的效果？
如何评价 CVPR 2020的论文接收结果？有哪些亮点论文？