transformer中的Q,K,V到底是什么？ 第1页
1
zhaomingming0617 网友的相关建议:
Q:查询向量
K:表示被查询信息与其他信息的相关性的向量
V:表示被查询信息的向量
输入向量为：x， 1xm向量
Q = x * Wq K = x * Wk V = x * Wv x对应信息V的注意力权重 与 Q*K.tranpose 成正比 等于说：x的注意力权重，由x自己来决定，所以叫自注意力。 Wq,Wk,Wv会根据任务目标更新变化，保证了自注意力机制的效果。 以下是点乘自注意力机制的公式 llllllllllll-6 网友的相关建议:
哈哈，突然想到了一个很形象的解释方法：
你有一个问题Q，然后去搜索引擎里面搜，搜索引擎里面有好多文章，每个文章V有一个能代表其正文内容的标题K，然后搜索引擎用你的问题Q和那些文章V的标题K进行一个匹配，看看相关度（QK --->attention值），然后你想用这些检索到的不同相关度的文章V来表示你的问题，就用这些相关度将检索的文章V做一个加权和，那么你就得到了一个新的Q'，这个Q'融合了相关性强的文章V更多信息，而融合了相关性弱的文章V较少的信息。这就是注意力机制，注意力度不同，重点关注（权值大）与你想要的东西相关性强的部分，稍微关注（权值小）相关性弱的部分。
1
相关话题
如何评价 DeepMind 发表在 Nature 的论文公开无需人类棋谱的 AlphaGo Zero？机器学习中的机器是如何分辨哪些是有用的知识，哪些是没用的信息呢？
如何开发一个自己的 TensorFlow？
计算机视觉和自然语言处理，哪个更具有发展前景呢，还是各有千秋呢？
NLP领域，你推荐哪些综述性的文章？
2021年深度学习哪些方向比较新颖，处于上升期或者朝阳阶段，没那么饱和，比较有研究潜力？
如何评价2020年计算机视觉顶会CVPR投稿量破万的现象？
如何看待多模态transformer，是否会成为多模态领域的主流？
为什么相比于计算机视觉(cv)，自然语言处理(nlp)领域的发展要缓慢？
为什么Bert中的CLS在未fine tune时作为sentence embedding性能非常糟糕？
下一个讨论
想自学编程怎样下手？
相关的话题
为什么图形学的会议siggraph的论文代码很少会开源？好像视觉如CVPR、ICCV开源的更多一些。基于深度学习的自然语言处理在 2016 年有哪些值得期待的发展？
自己学习深度学习时，有哪些途径寻找数据集？
2020-2021年NLP有什么核心技术的更迭吗？或者有什么推动领域发展的paper吗？
梯度下降法的神经网络容易收敛到局部最优，为什么应用广泛？
DeepMind 团队中有哪些厉害的人物和技术积累？
如何评价DALL-E模型的实现？
scikit-learn, tensorflow, pytorch真的只需要查下API，不需要学吗?
深度学习中，模型大了好还是小了好呢？
为什么学习深度学习感觉无法入门？
深度学习中，模型大了好还是小了好呢？
Word2vec 翻译到另一种语言，其向量空间之间的映射会不会是线性的？
为什么CV能做到让一幅人脸图动了笑了，而NLP的text-style-transfer进展貌似一般？
如何看待SIREN激活函数的提出？
请问刘知远老师提供的网易新闻标注数据集开源吗？
面试官如何判断面试者的机器学习水平？
NLP文本分类的本质是不是其实是找相似，对于要分类的句子，在训练集里找最相似的句子？
现在的人工智能是否走上了数学的极端？
如果不按套路下棋是不是就能赢 Alpha Go 了？
视觉Transformer如何优雅地避开位置编码？
如何计算CNN中batch normalization的计算复杂度（FLOPs）？
行人轨迹预测有哪些有效的方法和普遍的base方法？或者public dataset?
如何看待Keras正式从TensorFlow中分离？
如何评价FAIR提出的ConvNeXt：CNN匹敌Swin Transformer?
如何评价哈工大的左旺孟老师？
为什么yolov5从零开始训练（不在ImageNet上预训练）能够达到如此高的性能？
Domain Adaptation学术上有哪些方向，还有哪些可做的地方？
深度学习做股票预测靠谱吗？
学生网络用知识蒸馏损失去逼近教师网络，如何提高学生网络的准确率？
如何评价余凯创立的horizon robotics？