深度学习attention机制中的Q,K,V分别是从哪来的？ 第1页
1
huo-hua-de-41 网友的相关建议:
Q,K,V思想最早应该是来自于Memory Networks。
准确说Memory Networks并不只是一个模型，而是一套思路，使用外部的一个memory来存储长期记忆信息，因为当时RNN系列模型使用final state 存储的信息，序列过长就会遗忘到早期信息。
甚至，我觉得Memory Networks的思想后面启发了self-attention和transformer。最重要的就是提出了query - key - value思想，当时的该模型聚焦的任务主要是question answering，先用输入的问题query检索key-value memories，找到和问题相似的memory的key，计算相关性分数，然后对value embedding进行加权求和，得到一个输出向量。这后面就衍生出了self-attention里的Q，K，V表示，在self-attention里的把X映射到QKV。
具体的实现呢，邱老师的讲座里说的很清楚了。QKV是输入的X乘上Wq, Wk, Wv三个矩阵得到的。全用X不是不可以，但参数太少，影响模型容量。
1
相关话题
如何评价贾扬清离职 Facebook？有没有可能运用人工神经网络将一种编程语言的代码翻译成任意的另一种编程语言，而不经过人工设计的编译过程？
Bert中的词向量各向异性具体什么意思啊？
如何评价周志华教授新提出的 Deep Forest 模型，它会取代当前火热的深度学习 DNN 吗？
神经网络为什么可以（理论上）拟合任何函数？
如何看待NVIDIA 即将开源的DLA？
行人轨迹预测有哪些有效的方法和普遍的base方法？或者public dataset?
为什么Bert中的CLS在未fine tune时作为sentence embedding性能非常糟糕？
resnet（残差网络）的F（x）究竟长什么样子？
如何评价何恺明等 arxiv 新作 Rethinking ImageNet Pre-training？
相关的话题
搞机器学习的生环化材是天坑吗？机器学习中如何识别图片中的手是手背还是手心？
如何看待Tensor Comprehensions？与TVM有何异同？
如何理解 Swin Transformer 和 Vision Transformer不同任务上的差异？
人工智能退潮期来了吗？
如何评价 NVIDIA 发布的 DGX-1？
计算机视觉中video understanding领域有什么研究方向和比较重要的成果？
如何评价 7 月 31 日一流科技开源的深度学习框架 OneFlow？
如何评价 Kaiming 团队新作 Masked Autoencoders (MAE)？
如何系统学习机器学习？
做底层 AI 框架和做上层 AI 应用，哪个对自己的学术水平（或综合能力）促进更大？
如何评价余凯创立的horizon robotics？
应该选择TensorFlow还是Theano？
谷歌翻译原理是什么，从语言A到B，中间是否要翻译成中介语言C（如英语）？
从应用的角度来看，深度学习怎样快速入门？
以目前的计算机视觉技术能否对一张二维的人体全身照进行3D重建？
如何评价 2018 年度图灵奖颁发给三位深度学习之父？
如何评价Momenta ImageNet 2017夺冠架构SENet?
如何评价openai的新工作DALL·E?
如何看待人工智能领域的很多专家认为「人工智能将对人类存亡造成威胁」的观点？
attention跟一维卷积的区别是啥？
自监督学习（Self-supervised Learning）有什么比较新的思路？
如何看待 NIPS 2018 submission达到近 5000 篇？
如何看待KDD'21的文章，异质图神经网络的效果不如简单的GCN、GAT？
神经网络能否代替决策树算法？
人工智能在生活中的应用都有哪些？
什么时候对数据进行[0,1]归一化，什么时候[-1,1]归一化，二者分别在什么场景？
在CV/NLP/DL领域中，有哪些修改一行代码或者几行代码提升性能的算法？
全连接层的作用是什么？
如何理解空洞卷积（dilated convolution）？