transformer中的Q,K,V到底是什么？ 第1页
1
zhaomingming0617 网友的相关建议:
Q:查询向量
K:表示被查询信息与其他信息的相关性的向量
V:表示被查询信息的向量
输入向量为：x， 1xm向量
Q = x * Wq K = x * Wk V = x * Wv x对应信息V的注意力权重 与 Q*K.tranpose 成正比 等于说：x的注意力权重，由x自己来决定，所以叫自注意力。 Wq,Wk,Wv会根据任务目标更新变化，保证了自注意力机制的效果。 以下是点乘自注意力机制的公式 llllllllllll-6 网友的相关建议:
哈哈，突然想到了一个很形象的解释方法：
你有一个问题Q，然后去搜索引擎里面搜，搜索引擎里面有好多文章，每个文章V有一个能代表其正文内容的标题K，然后搜索引擎用你的问题Q和那些文章V的标题K进行一个匹配，看看相关度（QK --->attention值），然后你想用这些检索到的不同相关度的文章V来表示你的问题，就用这些相关度将检索的文章V做一个加权和，那么你就得到了一个新的Q'，这个Q'融合了相关性强的文章V更多信息，而融合了相关性弱的文章V较少的信息。这就是注意力机制，注意力度不同，重点关注（权值大）与你想要的东西相关性强的部分，稍微关注（权值小）相关性弱的部分。
1
相关话题
深度学习应用在哪些领域让你觉得「我去，这也能行！」？神经网络训练多个epoch，写论文的时候可以取最好的效果那一个epoch作为结果吗？
卷积神经网络如果将池化层去除，与神经网络的区别还大么？
在NLP上，CNN、RNN（认为LSTM等变体也是RNN）、最简单全连结MLP，三者相比，各有何优劣?
中科院某所研一新生，小样本学习、数据融合、强化学习、图神经网络、资源受限的计算这几个方向选哪个更好？
如何评价Google提出的MLP-Mixer：只需要MLP就可以在ImageNet上达到SOTA？
BERT模型可以使用无监督的方法做文本相似度任务吗？
如果美国禁用 Tensorflow 和 Pytorch 对中国的人工智能有何影响？
注意力机制是如何学习到模型所应注意的区域的？
有没有可能运用人工神经网络将一种编程语言的代码翻译成任意的另一种编程语言，而不经过人工设计的编译过程？
下一个讨论
想自学编程怎样下手？
相关的话题
请问应该怎样去学习图像识别和深度学习？如何看待MXNet在CVPR2017上公布的gluon接口？
什么时候对数据进行[0,1]归一化，什么时候[-1,1]归一化，二者分别在什么场景？
为什么神经网络具有泛化能力？
为什么ViT里的image patch要设计成不重叠？
为什么Transformer要用LayerNorm？
如何看待阿里巴巴提出的 FashionAI 比赛？
如何评价微软亚研院提出的把 Transformer 提升到了 1000 层的 DeepNet？
NLP 中 prompt learning 有哪些可能的天生缺陷？目前有什么样的方法来解决这样的缺陷？
谷歌翻译原理是什么，从语言A到B，中间是否要翻译成中介语言C（如英语）？
scikit-learn, tensorflow, pytorch真的只需要查下API，不需要学吗?
如何解决图神经网络（GNN）训练中过度平滑的问题？
大家推荐一下，哪些学校的导师有在做量化交易、股票预测的？
如何比较Keras, TensorLayer, TFLearn ？
请问下大家训练 SimCSE 时, loss 有没有这样的情况?
有没有必要把机器学习算法自己实现一遍？
word2vec有什么应用？
深度学习方面的科研工作中的实验代码有什么规范和写作技巧？如何妥善管理实验数据？
为什么计算注意力机制的时候不加偏置项？
为什么 Google 翻译只重算法不重语言学的语法结构和规则？
关于tensorflow中的滑动平均？
2019年NeurIPS有哪些糟糕的论文？
如何评价 Exploring Simple Siamese Learning?
实体提取任务中使用BERT-CRF时，CRF根据数据统计可以得到转移概率，为啥还要训练呢？
机器学习如何才能避免「只是调参数」？
为什么 Bert 的三个 Embedding 可以进行相加？
如何评价 DeepMind 新提出的关系网络（Relation Network）？
如何看待 Google 围棋 AI AlphaGo 击败欧洲围棋冠军？
Batch Normalization 训练的时候为什么不使用 moving statistics？
是不是并不是所有问题都适合用神经网络预测？