百科问答小站 logo
百科问答小站 font logo



Transformer中的Mask矩阵已经有顺序了,能去掉position embedding吗? 第1页

  

user avatar   tylin98 网友的相关建议: 
      

@乎不知 邀,很好的问题!在Transformer中引入位置表示,正是由于self-attention是一个permutation equivariant的操作。而在decoder端的self-attention并不是permutation equivariant的(参见论文arxiv.org/abs/1908.1177 的Proposition 1)。正如你所说,mask的引入实质上是一种变相的位置表示,从这个角度来看,它的功能和绝对位置表示是有重叠的。当然能否去掉位置表示,我觉得是任务相关的,我知道有两篇论文有(实验性地)讨论过在语言建模(纯decoder结构)任务上去掉位置编码的情况:

1、这篇论文的实验表明去掉vanilla Transformer的position encoding反而能在语言建模上提升性能。

2、这篇Schmidhuber组的作品,实验部分也表明在语言建模中去掉位置表示效果要更好(见Table 3):

当然,我觉得这种结论还是得辩证地看,因为这两篇似乎都仅仅将位置编码加在输入端,这早已被认为不是一个很好的实践,因为显然经过几层attention模块以后这种位置表示的内容就会慢慢丢失。因此一些工作是明确将绝对位置表示加在每一层的,例如Al-Rfou et al., 2018,以及Universal Transformers 等等 。欢迎讨论。




  

相关话题

  现在tensorflow和mxnet很火,是否还有必要学习scikit-learn等框架? 
  深度学习attention机制中的Q,K,V分别是从哪来的? 
  如何评价剑桥,腾讯, DeepMind以及港大团队新作 SimCTG ? 
  如何看待谷歌研究人员提出的卷积正则化方法「DropBlock」? 
  如何看待在某度搜不到megengine官网? 
  如何评价 DeepMind 发表在 Nature 上的使用深度强化学习对托卡马克等离子体进行磁控制? 
  2020-2021年NLP有什么核心技术的更迭吗?或者有什么推动领域发展的paper吗? 
  如何评价DALL-E模型的实现? 
  请问下大家训练 SimCSE 时, loss 有没有这样的情况? 
  如何评价「Patches are all you need」? 

前一个讨论
为什么历史上很多伟人对女性有偏见,如叔本华,孔子,是由于女性本身的生理上问题还是性格上的劣性?
下一个讨论
35 岁以上的 IT 开发工作者都去哪里了?





© 2025-04-24 - tinynew.org. All Rights Reserved.
© 2025-04-24 - tinynew.org. 保留所有权利