百科问答小站 logo
百科问答小站 font logo



attention跟一维卷积的区别是啥? 第1页

  

user avatar   cartus 网友的相关建议: 
      

拿NLP中序列建模来做个例子,有几点区别:

  1. Context Window:因为一维卷积需要指定窗口的大小,比如图中,就是每次只看3个词。而且attention,这里是self-attention,他的context window是“无限”的,无限是指序列的长度是多少,窗口的大小就是多少,因为attention权重的计算涉及到一个序列里面所有的词。如上图所示,句子有5个词,窗口大小就是5. 所以一维卷积是“local”的,attention可以说是“global”的。
  2. Time Complexity:这个其实也是刚才的窗口大小不同导致的,因为一维卷积只看k个词(窗口大小为k),如果序列长度为n,那么复杂度就是kn。而attention因为在每个位置,每个词的权重计算都要考虑到所有的词,所以复杂度就是n^2.
  3. Dynamic Weights: 和二维卷积一样,一维卷积的权重是不变的,就是不会随着在序列位置中的变化而改变,但是attention不一样,每个位置的权重都是不一样的,attention scores(weights)是由dot-product计算出来的,具体地, softmax(qk/d^1/2).

但由于self-attention复杂度高,对长序列建模效果没有那么好,所以对一维卷积有很多改进的工作,比如上图的Pay Less Attention with Lightweight and Dynamic Convolutions (ICLR19, FAIR)1。还有比较新的Time-aware Large Kernel Convolutions (TaLK)2。

在NMT,LM等任务上的效果都能和attention-based模型扳手腕。基本上就从动态权重和动态窗口大小上面对一维卷积进行改进,而另一方面又有一些对attention的改进工作,比如将无限窗口限制一下,或者层次化一下,有太多文章这里就不赘述了。

Ref:

1.arxiv.org/abs/1901.1043

2.arxiv.org/abs/2002.0318




  

相关话题

  如果科技真的以人为本,那为什么网页大都用白色作为底色,而不是绿色? 
  普通人和大师的差距在哪? 
  电影《阿凡达》中的纳美人文明究竟是高等还是低等? 
  高斯过程的kernel构成的矩阵为何叫协方差矩阵而不是相关系数矩阵? 
  如何看待高通下两代旗舰 SoC 都将交给台积电代工? 
  把宗教哲学(佛道思想)和理论物理相统一是否合适? 
  简单解释一下sparse autoencoder, sparse coding和restricted boltzmann machine的关系? 
  如何看待锤子科技515发布会公然作假:使用苹果系统,而非锤子系统演示所谓TNT的部分功能? 
  如何看待A.O.史密斯AI-LINK全联全控智能物联?会对生活产生哪些影响? 
  AI(或者说神经网络/深度学习)能够实现科学(尤其是物理学)研究中提出假设这一步嘛? 

前一个讨论
为什么小模型已经可以很好地拟合数据集了,换大模型效果却要比小模型好?
下一个讨论
因果推断(causal inference)是回归(regression)问题的一种特例吗?





© 2025-06-26 - tinynew.org. All Rights Reserved.
© 2025-06-26 - tinynew.org. 保留所有权利