为什么计算注意力机制的时候不加偏置项？ 第1页
1
mlxue-xi 网友的相关建议:
1）注意力机制是需要计算目标item和序列中每一个item的，指数形式下增加bias，没有意义。
2）softmax权重分配存在赢者通吃，极其容易饱和，增加bias将加剧现象。所以在推荐中常常改为sigmoid函数，让权重平滑。
3）其次，增加参数，增大学习难度。
并非所有的设计都要遵循大众设计，遵循公式，要思考这样的因子可以不加吗，不加会不会更好，是不是原来的就也不需要加，加了为啥好，为啥不好。今天还看到了一篇论文在序列中加了零向量，那么在目标与序列完全无关的时候，模型attened到这个零向量即可，不会强制关注这个序列，不会引入额外的噪声。很巧妙的设计思路，当然这样的设计思路是来源于业务的理解，不是所有的业务都需要这样处理。因此，学会在合适的场景做合适的设计修改，往往产生不错的return。
tylin98 网友的相关建议:
女王:求求题主放过我，我可不敢有什么政绩。。。
1
相关话题
人工智能领域有哪些精妙的数学原理？为什么现在不看好 CV 方向了呢?
如何评价Facebook AI提出的ResMLP，对比Google的MLP-Mixer?
为什么有的论文放出训练好的模型和测试脚本，但不开源训练代码？
做底层 AI 框架和做上层 AI 应用，哪个对自己的学术水平（或综合能力）促进更大？
2021 年了，TensorFlow 和 PyTorch 两个深度学习框架地位又有什么变化吗？
如何评价 CVPR 2020的论文接收结果？有哪些亮点论文？
《失控玩家》中的游戏有可能实现出来吗？
如何评价Yann LeCun宣称『他已经做好放弃概率论的准备』？
为什么deep lab v3起，输出不再接 DenseCRF了？
下一个讨论
男方家境不好真的不能嫁嘛？?
相关的话题
2019年，计算机视觉领域，你推荐哪些综述性的文章？研究推荐系统要对NLP很了解吗？
深度神经网络（DNN）是否模拟了人类大脑皮层结构？
如何评价 NVIDIA 发布的 DGX-1？
如何评价Yann LeCun宣称『他已经做好放弃概率论的准备』？
2021年，作为算法工程师的你们会在CV业务落地上用Transformer吗？
如何看待MXNet获得amazon官方支持首位？
在计算机视觉任务中，运用Transformer和Non-local有何本质区别？
如何评价 Face++ 旷视科技最新出品的检测专用 backbone 网络 DetNet ？
2021 年，深度学习方面取得了哪些关键性进展？
如何评价 Kaiming He 在 ICCV 2017 上拿下双 Best 的 paper？
如何评价 2018 年度图灵奖颁发给三位深度学习之父？
如何看待 Google 既可以作 Inference，又可以作 Training 的新一代 TPU？
如何评价何恺明、Ross Girshick组的自监督时空表征学习新作？
什么是蒙特卡罗 Dropout(Monte-Carlo Dropout)？
Domain Adaptation学术上有哪些方向，还有哪些可做的地方？
DL/ML 模型如何部署到生产环境中？
机器学习小白来提问：关于联邦学习FedAVG和FedSGD的问题？
如何通俗易懂地讲解 Photoshop 中的「通道」概念？
如何评价微软亚研院提出的把 Transformer 提升到了 1000 层的 DeepNet？
如何看待Hinton的论文《Dynamic Routing Between Capsules》？
在做算法工程师的道路上，你掌握了什么概念或技术使你感觉自我提升突飞猛进？
能否对卷积神经网络工作原理做一个直观的解释？
为什么交叉熵（cross-entropy）可以用于计算代价？
自然语言处理怎么最快入门？
如何评价余凯在朋友圈发表呼吁大家用 caffe、mxnet 等框架，避免使用 TensorFlow？
能否使用区块链的算力来解决深度学习训练？
如何评价《State Estimation for Robotics》？
2019年NeurIPS有哪些糟糕的论文？
如何理解 Swin Transformer 和 Vision Transformer不同任务上的差异？