为什么计算注意力机制的时候不加偏置项？ 第1页
1
mlxue-xi 网友的相关建议:
1）注意力机制是需要计算目标item和序列中每一个item的，指数形式下增加bias，没有意义。
2）softmax权重分配存在赢者通吃，极其容易饱和，增加bias将加剧现象。所以在推荐中常常改为sigmoid函数，让权重平滑。
3）其次，增加参数，增大学习难度。
并非所有的设计都要遵循大众设计，遵循公式，要思考这样的因子可以不加吗，不加会不会更好，是不是原来的就也不需要加，加了为啥好，为啥不好。今天还看到了一篇论文在序列中加了零向量，那么在目标与序列完全无关的时候，模型attened到这个零向量即可，不会强制关注这个序列，不会引入额外的噪声。很巧妙的设计思路，当然这样的设计思路是来源于业务的理解，不是所有的业务都需要这样处理。因此，学会在合适的场景做合适的设计修改，往往产生不错的return。
tylin98 网友的相关建议:
女王:求求题主放过我，我可不敢有什么政绩。。。
1
相关话题
如何看待 Nervana 被 Intel 收购？机器视觉为什么不用手机的镜头，而要用那么大的工业相机？
2021年深度学习哪些方向比较新颖，处于上升期或者朝阳阶段，没那么饱和，比较有研究潜力？
计算机视觉顶级会议论文中比较适合初学计算机视觉的人做的复现实验有哪些？
计算机视觉中video understanding领域有什么研究方向和比较重要的成果？
NLP领域，你推荐哪些综述性的文章？
视觉Transformer如何优雅地避开位置编码？
如何评价 NVIDIA 发布的 DGX-1？
2020到2021年小样本学习取得重大进展了吗？
除了深度学习，机器学习领域近年来还有什么热点吗？
下一个讨论
男方家境不好真的不能嫁嘛？?
相关的话题
TVM 最新发布版本 0.3 有哪些亮点？如何评价谷歌提出的 Pix2Seq：将目标检测看成语言建模，效果超过 DETR？
隐私计算、计算机视觉、自然语言处理三者中，哪个研究起来更有前途？
如何评价 DeepMind 在星际中的失利，以及 OpenAI 在 Dota 上的成功？
如何看待MXNet在CVPR2017上公布的gluon接口？
CVPR2022 有什么值得关注的论文 ?
假如我穿越到2017年第一个提出了Transformer、BERT等模型，我可以保送到清华北大吗？
石头和塑料袋对于计算机传感器的差别在于什么？为什么无人驾驶系统会依然存在对周围环境的误判？
为什么计算注意力机制的时候不加偏置项？
百度学术能否替代 Google 学术网站？有没有其他选择？
如果有第谷的数据，现在的机器学习，深度学习有办法学出开普勒三定律吗？
如何评价哈工大的左旺孟老师？
如何看待2021年秋招算法岗灰飞烟灭？
如何看待NLP领域最近比较火的prompt，能否借鉴到CV领域？
为什么小模型已经可以很好地拟合数据集了，换大模型效果却要比小模型好？
CVPR2022 有什么值得关注的论文 ?
adversarial training为什么会起作用？
如何评价贾扬清离职 Facebook？
硕士方向，选择迁移学习还是自然语言处理？
如何看待Transformer在CV上的应用前景，未来有可能替代CNN吗？
如何评价最近火热的对比学习，会引领预训练模型新的范式嘛?
国内较强的NLP高校实验室有哪些？
pytorch dataloader数据加载占用了大部分时间，各位大佬都是怎么解决的？
从应用的角度来看，深度学习怎样快速入门？
深度学习图像处理什么时候用到GPU？
大二就中 CVPR/ICCV/ECCV/NIPS 是一种怎样的体验？
为什么 larger batch size 对对比学习的影响比对监督学习的影响要大？
2021年深度学习哪些方向比较新颖，处于上升期或者朝阳阶段，没那么饱和，比较有研究潜力？
Word2vec 翻译到另一种语言，其向量空间之间的映射会不会是线性的？
怎么选取训练神经网络时的Batch size?