为什么计算注意力机制的时候不加偏置项？ 第1页
1
mlxue-xi 网友的相关建议:
1）注意力机制是需要计算目标item和序列中每一个item的，指数形式下增加bias，没有意义。
2）softmax权重分配存在赢者通吃，极其容易饱和，增加bias将加剧现象。所以在推荐中常常改为sigmoid函数，让权重平滑。
3）其次，增加参数，增大学习难度。
并非所有的设计都要遵循大众设计，遵循公式，要思考这样的因子可以不加吗，不加会不会更好，是不是原来的就也不需要加，加了为啥好，为啥不好。今天还看到了一篇论文在序列中加了零向量，那么在目标与序列完全无关的时候，模型attened到这个零向量即可，不会强制关注这个序列，不会引入额外的噪声。很巧妙的设计思路，当然这样的设计思路是来源于业务的理解，不是所有的业务都需要这样处理。因此，学会在合适的场景做合适的设计修改，往往产生不错的return。
tylin98 网友的相关建议:
女王:求求题主放过我，我可不敢有什么政绩。。。
1
相关话题
图片上训的模型，怎么迁移视频上呢？在NLP当中，不同的评价指标，BLEU, METEOR, ROUGE和CIDEr的逻辑意义？
基于深度卷积神经网络进行人脸识别的原理是什么？
有哪些令你印象深刻的魔改transformer？
如何看待Jeff Dean&Hinton投到ICLR17的MoE的工作？
BERT模型可以使用无监督的方法做文本相似度任务吗？
深度学习如何入门？
准研一，导师NLP方向，导师接下了一个项目让我跟着手工标数据，请问是不是在PUA我?
2021 年，深度学习方面取得了哪些关键性进展？
研究推荐系统要对NLP很了解吗？
下一个讨论
男方家境不好真的不能嫁嘛？?
相关的话题
一个完整的Pytorch深度学习项目代码，项目结构是怎样的？现在tensorflow和mxnet很火，是否还有必要学习scikit-learn等框架？
如何评价deepmind最新在nature上发表的论文《在人工网络中用网格样表征进行基于向量的导航》？
基于对比学习(Contrastive Learning)的文本表示模型【为什么】能学到语义【相似】度？
基于对比学习(Contrastive Learning)的文本表示模型【为什么】能学到语义【相似】度？
机器学习包含哪些学习思想？
为什么 Bert 的三个 Embedding 可以进行相加？
图片上训的模型，怎么迁移视频上呢？
视觉Transformer如何优雅地避开位置编码？
为什么计算注意力机制的时候不加偏置项？
有哪些人工智能上的事实，没有一定人工智能知识的人不会相信？
计算商品embedding然后平均得到用户embedding，会不会存在这种问题？
2021年，ncnn发展的如何了？
大家用resnet50在imagenet上面top1最高能到多少？
有哪些令你印象深刻的魔改transformer？
旷视(Face++)完成C轮1亿美元融资，是否说明旷视已经进入独角兽阵营？
迁移学习入门，新手该如何下手？
现在的人工智能是否走上了数学的极端？
在实际工程系统中，MPC太复杂，难以做到realtime。因此都利用数据，MPC对比RL还有优势么?
Facebook 的人工智能实验室 (FAIR) 有哪些厉害的大牛和技术积累？
如何评价 BERT 模型？
多模态训练，怎么解决不同模态之间差异的问题？
什么是meta-learning?
如何用一句话证明自然语言处理很难？
DL/ML 模型如何部署到生产环境中？
为什么现在不看好 CV 方向了呢?
深度学习应用在哪些领域让你觉得「我去，这也能行！」？
为什么计算注意力机制的时候不加偏置项？
行为识别常用哪种特征提取？
为什么CV能做到让一幅人脸图动了笑了，而NLP的text-style-transfer进展貌似一般？