百科问答小站 logo
百科问答小站 font logo



为什么有的 Vision Transformer 中的 key 不需要 bias ? 第1页

  

user avatar   donglixp 网友的相关建议: 
      

加和不加从结果上是等价的,BEiT在实现中去掉是为了fp16训练过程中数值稳定。

Both (i.e., with or without key.bias) are equivalent in terms of calculation results. They are canceled by the softmax function.

Softmax(q,k) = exp(q.weight * key.weight + q.bias * key.weight + q.weight * key.bias + q.bias * key.bias) / Z

Because the query is the same over all the keys, so the term (q.weight * key.bias + q.bias * key.bias) remains the same across all the keys, which in turn can be cancelled without affecting the softmax results.

exp(a)/(exp(a)+ exp(b)) == exp(a+C)/(exp(a+C)+ exp(b+C))


user avatar   tylin98 网友的相关建议: 
      

女王:求求题主放过我,我可不敢有什么政绩。。。




  

相关话题

  如何看待2016.6.2百度显卡吧两位大吧主被百度下台? 
  AlphaGo 与李世石的第四局比赛中有哪些值得关注之处? 
  当我们在电脑按下ctrl+c,剪切板储存了哪些信息? 
  电脑外接 USB,当需要拔出 USB 设备时,直接物理性拔出与「安全退出硬件并弹出媒体」有何差别? 
  为什么有的 Vision Transformer 中的 key 不需要 bias ? 
  如何看待亚马逊智能音箱劝主人自杀的新闻? 
  如何看待 Richard Sutton 说的「人工智能中利用算力才是王道」? 
  为什么不开发 Linux 上的傻瓜式桌面? 
  一个脑洞:理论上,是否有可能用一根棍子记录无限多的信息? 
  如何看待 2022 年秋招算法岗竞争如此激烈? 

前一个讨论
为什么Transformer适合做多模态任务?
下一个讨论
20 年前的今天,中国正式加入世贸组织,20 年来为我们带来了哪些变化?





© 2025-05-25 - tinynew.org. All Rights Reserved.
© 2025-05-25 - tinynew.org. 保留所有权利