深度学习attention机制中的Q,K,V分别是从哪来的？ 第1页
1
huo-hua-de-41 网友的相关建议:
Q,K,V思想最早应该是来自于Memory Networks。
准确说Memory Networks并不只是一个模型，而是一套思路，使用外部的一个memory来存储长期记忆信息，因为当时RNN系列模型使用final state 存储的信息，序列过长就会遗忘到早期信息。
甚至，我觉得Memory Networks的思想后面启发了self-attention和transformer。最重要的就是提出了query - key - value思想，当时的该模型聚焦的任务主要是question answering，先用输入的问题query检索key-value memories，找到和问题相似的memory的key，计算相关性分数，然后对value embedding进行加权求和，得到一个输出向量。这后面就衍生出了self-attention里的Q，K，V表示，在self-attention里的把X映射到QKV。
具体的实现呢，邱老师的讲座里说的很清楚了。QKV是输入的X乘上Wq, Wk, Wv三个矩阵得到的。全用X不是不可以，但参数太少，影响模型容量。
1
相关话题
现有的编程语言当中，哪些和自然语言更接近？如何理解今年发表在JMLR上随机森林算法SPORF？
大牛Bengio 团队最新的研究和我自己之前的研究成果重复了，应该怎么办？
为什么ViT里的image patch要设计成不重叠？
如何看待百度无人车， 三千多个场景，一万多个if？
CPU和GPU跑深度学习差别有多大？
如何看待Transformer在CV上的应用前景，未来有可能替代CNN吗？
如何评价MSRA视觉组最新对spatial attention mechanism分析论文？
如何判断两个Deep Learning 数据集的数据分布是否一致？
计算机视觉顶尖期刊和会议有哪些？
相关的话题
为什么softmax很少会出现[0.5，0.5]？为什么 MobileNet、ShuffleNet 在理论上速度很快，工程上并没有特别大的提升？
NLP文本匹配问题的本质是不是 对于要预测的句子，遍历候选句子 从训练数据集里寻找最相似的pair？
如何评价 Self-Normalizing Neural Networks 这篇论文?
AMD的CPU是否适合搭建深度学习主机？
如何评价 2018 年度图灵奖颁发给三位深度学习之父？
如何评价周志华教授新提出的 Deep Forest 模型，它会取代当前火热的深度学习 DNN 吗？
二分类问题，应该选择sigmoid还是softmax？
如何看待 Nervana 被 Intel 收购？
深度学习对图像的处理，为什么大多基于RGB，而没有其他色彩空间，比如HSV？
什么是蒙特卡罗 Dropout(Monte-Carlo Dropout)？
如何评价Google最新提出的gMLP：MLP模型在CV和NLP任务上均取得较好的效果？
transformer 为什么使用 layer normalization，而不是其他的归一化方法？
计算商品embedding然后平均得到用户embedding，会不会存在这种问题？
什么时候对数据进行[0,1]归一化，什么时候[-1,1]归一化，二者分别在什么场景？
计算机视觉顶级会议论文中比较适合初学计算机视觉的人做的复现实验有哪些？
神经网络为什么可以（理论上）拟合任何函数？
什么时候对数据进行[0,1]归一化，什么时候[-1,1]归一化，二者分别在什么场景？
如果百年后深度学习最终有了公认的数学理论作为基础，能解释实验中的各类玄学，那这个理论会长什么样子？
如何看待指出 神经网络的训练罪魁祸首是退化一文？
如何评价 DeepMind 新提出的关系网络（Relation Network）？
神经网络中，bias有什么用，为什么要设置bias，当加权和大于某值时，激活才有意义？
如何理解空洞卷积（dilated convolution）？
Pytorch有什么节省显存的小技巧？
究竟什么是损失函数 loss function?
当前（2020年）机器学习中有哪些研究方向特别的坑？
验证集loss上升，准确率却上升该如何理解？
在推荐系统中，如何较好的采用深度学习方法获取用户长短期兴趣？
国内哪些公司在用caffe、torch、TensorFlow、paddle等框架，哪些在用自研框架？
为什么Transformer适合做多模态任务？