百科问答小站 logo
百科问答小站 font logo



attention跟一维卷积的区别是啥? 第1页

  

user avatar   cartus 网友的相关建议: 
      

拿NLP中序列建模来做个例子,有几点区别:

  1. Context Window:因为一维卷积需要指定窗口的大小,比如图中,就是每次只看3个词。而且attention,这里是self-attention,他的context window是“无限”的,无限是指序列的长度是多少,窗口的大小就是多少,因为attention权重的计算涉及到一个序列里面所有的词。如上图所示,句子有5个词,窗口大小就是5. 所以一维卷积是“local”的,attention可以说是“global”的。
  2. Time Complexity:这个其实也是刚才的窗口大小不同导致的,因为一维卷积只看k个词(窗口大小为k),如果序列长度为n,那么复杂度就是kn。而attention因为在每个位置,每个词的权重计算都要考虑到所有的词,所以复杂度就是n^2.
  3. Dynamic Weights: 和二维卷积一样,一维卷积的权重是不变的,就是不会随着在序列位置中的变化而改变,但是attention不一样,每个位置的权重都是不一样的,attention scores(weights)是由dot-product计算出来的,具体地, softmax(qk/d^1/2).

但由于self-attention复杂度高,对长序列建模效果没有那么好,所以对一维卷积有很多改进的工作,比如上图的Pay Less Attention with Lightweight and Dynamic Convolutions (ICLR19, FAIR)1。还有比较新的Time-aware Large Kernel Convolutions (TaLK)2。

在NMT,LM等任务上的效果都能和attention-based模型扳手腕。基本上就从动态权重和动态窗口大小上面对一维卷积进行改进,而另一方面又有一些对attention的改进工作,比如将无限窗口限制一下,或者层次化一下,有太多文章这里就不赘述了。

Ref:

1.arxiv.org/abs/1901.1043

2.arxiv.org/abs/2002.0318




  

相关话题

  物理专业的学生如何看待机器学习和大数据这些方向呢? 
  如何看待罗永浩开通推特账号? 
  为什么安卓的手机越用越慢,刷机也不行,是 CPU 老化吗? 
  如何看待Kaggle最新比赛Zillow禁止中国居民参加第二轮? 
  可以在学量子力学之前直接看固体物理吗? 
  理论物理在哪些方面促进了数学的发展? 
  2019 年 2 月 21 日召开的三星 S10 发布会上,有哪些亮点和槽点? 
  如何评价 11 月 17 日华为发布 WATCH GT3 系列?有哪些亮点和不足? 
  如何看待华为回应美国制裁:「没有伤痕累累,哪来皮糙肉厚,英雄自古多磨难」? 
  请问有没有基于实例的迁移学习的数据? 

前一个讨论
为什么小模型已经可以很好地拟合数据集了,换大模型效果却要比小模型好?
下一个讨论
因果推断(causal inference)是回归(regression)问题的一种特例吗?





© 2025-04-24 - tinynew.org. All Rights Reserved.
© 2025-04-24 - tinynew.org. 保留所有权利