深度学习attention机制中的Q,K,V分别是从哪来的？ 第1页
1
huo-hua-de-41 网友的相关建议:
Q,K,V思想最早应该是来自于Memory Networks。
准确说Memory Networks并不只是一个模型，而是一套思路，使用外部的一个memory来存储长期记忆信息，因为当时RNN系列模型使用final state 存储的信息，序列过长就会遗忘到早期信息。
甚至，我觉得Memory Networks的思想后面启发了self-attention和transformer。最重要的就是提出了query - key - value思想，当时的该模型聚焦的任务主要是question answering，先用输入的问题query检索key-value memories，找到和问题相似的memory的key，计算相关性分数，然后对value embedding进行加权求和，得到一个输出向量。这后面就衍生出了self-attention里的Q，K，V表示，在self-attention里的把X映射到QKV。
具体的实现呢，邱老师的讲座里说的很清楚了。QKV是输入的X乘上Wq, Wk, Wv三个矩阵得到的。全用X不是不可以，但参数太少，影响模型容量。
1
相关话题
如何评价微软亚洲研究院提出的LightRNN？为什么小模型已经可以很好地拟合数据集了，换大模型效果却要比小模型好？
transformer 为什么使用 layer normalization，而不是其他的归一化方法？
如何看待多模态transformer，是否会成为多模态领域的主流？
如何评价MSRA最新的 Relation Networks for Object Detection？
对神经网络某一层做了小改进，效果却提升显著，可以发论文吗？
如何评价剑桥，腾讯， DeepMind以及港大团队新作 SimCTG ?
用生成模型做数据增强data augmentation时，如何从合成数据中筛选出质量较好的样本？
《失控玩家》中的游戏有可能实现出来吗？
UCLA 的朱松纯教授是一个什么样的人？
相关的话题
深度学习和强化学习之间的差别有多大？AMD 开源高性能机器智能库MIopen是否可以和cuDNN抗衡？
人工智能可以解决人类难题吗？
消融实验是什么？
如何评价 2018 年度图灵奖颁发给三位深度学习之父？
深度学习在生物信息领域有什么应用？
如何评价微软亚洲研究院提出的LightRNN？
CNN（卷积神经网络）、RNN（循环神经网络）、DNN（深度神经网络）的内部网络结构有什么区别？
卷积神经网络（CNN）的结构设计都有哪些思想？
为什么我用相同的模型，数据，超参，随机种子，在两台服务器会得到不同的结果？
有没有根据一张人物的立绘正面像，自动生成同风格各侧面角度像并自动衍生表情的软件啊？
NTIRE2017夺冠的EDSR去掉了Batch Normalization层就获得了提高为什么？
如何看待多模态transformer，是否会成为多模态领域的主流？
神经网络中 warmup 策略为什么有效；有什么理论解释么？
ICLR 2022有哪些值得关注的投稿？
如何评价deepmind最新在nature上发表的论文《在人工网络中用网格样表征进行基于向量的导航》？
如何将某个分布作为机器学习的特征？
transformer中的Q,K,V到底是什么？
多任务学习中loss多次backward和loss加和后backward有区别吗？
如何理解Inductive bias？
为什么现在很多人不看好商汤科技？
word2vec有什么应用？
除了深度学习，机器学习领域近年来还有什么热点吗？
PyTorch中在反向传播前为什么要手动将梯度清零？
CVPR2022 有什么值得关注的论文 ?
计算机视觉（cv）方向今年招聘情况怎么样?是否已经人才过剩?
2021年，ncnn发展的如何了？
batchsize=1时可以用BN吗?
神经网络中 warmup 策略为什么有效；有什么理论解释么？
为什么很少人用FFT加速CNN卷积层的运算？