为什么计算注意力机制的时候不加偏置项？ 第1页
1
mlxue-xi 网友的相关建议:
1）注意力机制是需要计算目标item和序列中每一个item的，指数形式下增加bias，没有意义。
2）softmax权重分配存在赢者通吃，极其容易饱和，增加bias将加剧现象。所以在推荐中常常改为sigmoid函数，让权重平滑。
3）其次，增加参数，增大学习难度。
并非所有的设计都要遵循大众设计，遵循公式，要思考这样的因子可以不加吗，不加会不会更好，是不是原来的就也不需要加，加了为啥好，为啥不好。今天还看到了一篇论文在序列中加了零向量，那么在目标与序列完全无关的时候，模型attened到这个零向量即可，不会强制关注这个序列，不会引入额外的噪声。很巧妙的设计思路，当然这样的设计思路是来源于业务的理解，不是所有的业务都需要这样处理。因此，学会在合适的场景做合适的设计修改，往往产生不错的return。
tylin98 网友的相关建议:
女王:求求题主放过我，我可不敢有什么政绩。。。
1
相关话题
如何评价余凯在朋友圈发表呼吁大家用 caffe、mxnet 等框架，避免使用 TensorFlow？华为应届顶尖博士年薪百万，读博是不是有希望了？
为什么VAE-GAN的训练很容易发生梯度爆炸，如何避免？
深度学习attention机制中的Q,K,V分别是从哪来的？
batchsize=1时可以用BN吗?
现有的编程语言当中，哪些和自然语言更接近？
当前（2020年）机器学习中有哪些研究方向特别的坑？
把某人的 DNA 序列作为输入，正面照片作为输出，丢到深度神经网络里面学习，可行吗？
数字图像处理的工作是用传统算法更多还是用深度学习更多?
2020年，多标签学习（multi-label）有了哪些新的进展？
下一个讨论
男方家境不好真的不能嫁嘛？?
相关的话题
神经网络中 warmup 策略为什么有效；有什么理论解释么？如何看待 AI 换脸软件「ZAO」的爆火？
神经网络为什么可以（理论上）拟合任何函数？
行为识别常用哪种特征提取？
NLP领域，你推荐哪些综述性的文章？
GPU 与 CPU 比较，为什么说 GPU 更适合深度学习？
如何评价 CVPR2022 的审稿结果和录取情况？
如何评价剑桥，腾讯， DeepMind以及港大团队新作 SimCTG ?
ICLR 2021 有什么值得关注的投稿？
Facebook 的人工智能实验室 (FAIR) 有哪些厉害的大牛和技术积累？
目前有哪些比较成功的人工智能应用？
如何看待2021年秋招算法岗灰飞烟灭？
Domain Adaptation学术上有哪些方向，还有哪些可做的地方？
有哪些优秀的深度学习入门书籍？需要先学习机器学习吗？
如何用自然语言处理判断一句话是否符合中文口语习惯？
为什么 Bert 的三个 Embedding 可以进行相加？
为什么 Google 翻译只重算法不重语言学的语法结构和规则？
深度学习领域有哪些瓶颈？
如何评价MSRA视觉组最新对spatial attention mechanism分析论文？
注意力机制是如何学习到模型所应注意的区域的？
为什么Transformer适合做多模态任务？
NLP领域，你推荐哪些综述性的文章？
如何评价最新的Octave Convolution？
为啥gan里面几乎不用pooling？
应届硕士毕业生如何拿到知名互联网公司算法岗（机器学习、数据挖掘、深度学习） offer？
AAAI 2022有哪些值得关注的方向？
如何评价mixup: BEYOND EMPIRICAL RISK MINIMIZATION？
搞机器学习的生环化材是天坑吗？
2022 年人工智能领域的发展趋势是什么？你都有哪些期待？
GPU 与 CPU 比较，为什么说 GPU 更适合深度学习？