transformer中的Q,K,V到底是什么？ 第1页
1
zhaomingming0617 网友的相关建议:
Q:查询向量
K:表示被查询信息与其他信息的相关性的向量
V:表示被查询信息的向量
输入向量为：x， 1xm向量
Q = x * Wq K = x * Wk V = x * Wv x对应信息V的注意力权重 与 Q*K.tranpose 成正比 等于说：x的注意力权重，由x自己来决定，所以叫自注意力。 Wq,Wk,Wv会根据任务目标更新变化，保证了自注意力机制的效果。 以下是点乘自注意力机制的公式 llllllllllll-6 网友的相关建议:
哈哈，突然想到了一个很形象的解释方法：
你有一个问题Q，然后去搜索引擎里面搜，搜索引擎里面有好多文章，每个文章V有一个能代表其正文内容的标题K，然后搜索引擎用你的问题Q和那些文章V的标题K进行一个匹配，看看相关度（QK --->attention值），然后你想用这些检索到的不同相关度的文章V来表示你的问题，就用这些相关度将检索的文章V做一个加权和，那么你就得到了一个新的Q'，这个Q'融合了相关性强的文章V更多信息，而融合了相关性弱的文章V较少的信息。这就是注意力机制，注意力度不同，重点关注（权值大）与你想要的东西相关性强的部分，稍微关注（权值小）相关性弱的部分。
1
相关话题
BERT模型可以使用无监督的方法做文本相似度任务吗？如何看待多模态transformer，是否会成为多模态领域的主流？
如何评价Google最新提出的gMLP：MLP模型在CV和NLP任务上均取得较好的效果？
2021年深度学习在哪些应用上有实质进展？
如何评价微软提出的无监督视觉模型BEiT：ImageNet达到88.6，ADE20K达到57.0？
为什么nlp没有像cv四小龙一样的创业公司？
注意力机制是如何学习到模型所应注意的区域的？
如何理解attention中的Q,K,V？
pytorch ddp训练中一个node fail，导致整个训练失败，有可能解决吗？
如何评价微软提出的无监督视觉模型BEiT：ImageNet达到88.6，ADE20K达到57.0？
下一个讨论
想自学编程怎样下手？
相关的话题
GPU 与 CPU 比较，为什么说 GPU 更适合深度学习？图片上训的模型，怎么迁移视频上呢？
计算机视觉顶级会议论文中比较适合初学计算机视觉的人做的复现实验有哪些？
如何评价谷歌提出的 Pix2Seq：将目标检测看成语言建模，效果超过 DETR？
resnet（残差网络）的F（x）究竟长什么样子？
pytorch ddp训练中一个node fail，导致整个训练失败，有可能解决吗？
对自己深度学习方向的论文有idea，可是工程实践能力跟不上，实验搞不定怎么办？
如何看待timm作者发布ResNet新基准：ResNet50提至80.4，这对后续研究会带来哪些影响？
如何评价剑桥，腾讯， DeepMind以及港大团队新作 SimCTG ?
如何评价旷视开源的YOLOX，效果超过YOLOv5?
如何评价 2021 年 12 月新改版的知识引擎 magi.com？
学生网络用知识蒸馏损失去逼近教师网络，如何提高学生网络的准确率？
从应用的角度来看，深度学习怎样快速入门？
2020到2021年小样本学习取得重大进展了吗？
LSTM如何来避免梯度弥散和梯度爆炸？
多模态训练，怎么解决不同模态之间差异的问题？
深度学习中有哪些数据增强方法？
如何比较Keras, TensorLayer, TFLearn ？
如何评价Hinton组的新工作SimCLR?
scikit-learn, tensorflow, pytorch真的只需要查下API，不需要学吗?
老师给了一个神经网络的程序，他之前是跑通了的，但是我迭代几十次或者一百多次就报错。这个怎么解决?
没有顶会的CV/NLP方向的博士生毕业出路在哪里？
为什么中文 NLP 数据集这么少？
如何看待NVIDIA 即将开源的DLA？
请问有哪些法律和计算机领域结合的例子？
老师给了一个神经网络的程序，他之前是跑通了的，但是我迭代几十次或者一百多次就报错。这个怎么解决?
CVPR 2018 有什么值得关注的亮点？
如何评价「Patches are all you need」?
为什么这么多 NLP 大牛硕士毕业去企业不留在学术界？
卷积神经网络如果将池化层去除，与神经网络的区别还大么？