百科问答小站 logo
百科问答小站 font logo



Transformer中的Mask矩阵已经有顺序了,能去掉position embedding吗? 第1页

  

user avatar   tylin98 网友的相关建议: 
      

@乎不知 邀,很好的问题!在Transformer中引入位置表示,正是由于self-attention是一个permutation equivariant的操作。而在decoder端的self-attention并不是permutation equivariant的(参见论文arxiv.org/abs/1908.1177 的Proposition 1)。正如你所说,mask的引入实质上是一种变相的位置表示,从这个角度来看,它的功能和绝对位置表示是有重叠的。当然能否去掉位置表示,我觉得是任务相关的,我知道有两篇论文有(实验性地)讨论过在语言建模(纯decoder结构)任务上去掉位置编码的情况:

1、这篇论文的实验表明去掉vanilla Transformer的position encoding反而能在语言建模上提升性能。

2、这篇Schmidhuber组的作品,实验部分也表明在语言建模中去掉位置表示效果要更好(见Table 3):

当然,我觉得这种结论还是得辩证地看,因为这两篇似乎都仅仅将位置编码加在输入端,这早已被认为不是一个很好的实践,因为显然经过几层attention模块以后这种位置表示的内容就会慢慢丢失。因此一些工作是明确将绝对位置表示加在每一层的,例如Al-Rfou et al., 2018,以及Universal Transformers 等等 。欢迎讨论。




  

相关话题

  计算机视觉是否已经进入瓶颈期? 
  NLP 方向在国内清北读博还是国外? 
  国内外有哪些做小样本学习(Few-Shot Learning)的优秀团队? 
  如何看待Capsule Network在NLP领域的潜力? 
  Resnet是否只是一个深度学习的trick? 
  如何评价 On Unifying Deep Generative Models 这篇 paper? 
  联邦学习在机器学习领域有什么独立存在的价值? 
  不觉得最大熵原理很奇怪吗? 
  新智元提问:如何看待李飞飞高徒Karpathy加入特斯拉,主管人工智能部门? 
  大牛Bengio 团队最新的研究和我自己之前的研究成果重复了,应该怎么办? 

前一个讨论
为什么历史上很多伟人对女性有偏见,如叔本华,孔子,是由于女性本身的生理上问题还是性格上的劣性?
下一个讨论
35 岁以上的 IT 开发工作者都去哪里了?





© 2025-06-05 - tinynew.org. All Rights Reserved.
© 2025-06-05 - tinynew.org. 保留所有权利