transformer中的Q,K,V到底是什么？ 第1页
1
zhaomingming0617 网友的相关建议:
Q:查询向量
K:表示被查询信息与其他信息的相关性的向量
V:表示被查询信息的向量
输入向量为：x， 1xm向量
Q = x * Wq K = x * Wk V = x * Wv x对应信息V的注意力权重 与 Q*K.tranpose 成正比 等于说：x的注意力权重，由x自己来决定，所以叫自注意力。 Wq,Wk,Wv会根据任务目标更新变化，保证了自注意力机制的效果。 以下是点乘自注意力机制的公式 llllllllllll-6 网友的相关建议:
哈哈，突然想到了一个很形象的解释方法：
你有一个问题Q，然后去搜索引擎里面搜，搜索引擎里面有好多文章，每个文章V有一个能代表其正文内容的标题K，然后搜索引擎用你的问题Q和那些文章V的标题K进行一个匹配，看看相关度（QK --->attention值），然后你想用这些检索到的不同相关度的文章V来表示你的问题，就用这些相关度将检索的文章V做一个加权和，那么你就得到了一个新的Q'，这个Q'融合了相关性强的文章V更多信息，而融合了相关性弱的文章V较少的信息。这就是注意力机制，注意力度不同，重点关注（权值大）与你想要的东西相关性强的部分，稍微关注（权值小）相关性弱的部分。
1
相关话题
马上计算机研一，想问一下机器学习、深度学习…大家都是怎么入门的？深度学习领域，你心目中 idea 最惊艳的论文是哪篇？
OpenAI 发布文字生成图像工具 DALL·E 2，它的画作水平如何？从技术角度如何评价它的能力？
图片上训的模型，怎么迁移视频上呢？
如何看待Capsule Network在NLP领域的潜力？
adversarial training为什么会起作用？
人工智能领域有哪些精妙的数学原理？
在NLP上，CNN、RNN（认为LSTM等变体也是RNN）、最简单全连结MLP，三者相比，各有何优劣?
TensorFlow 有哪些令人难以接受的地方？
为什么不能有把中文想法直接转换成电脑程序的编程呢？
下一个讨论
想自学编程怎样下手？
相关的话题
2017年1月18日Facebook发行的PyTorch相比TensorFlow、MXNet有何优势？CVPR 2019 有哪些值得关注的亮点？
能否把一个人的所有物理数据输入在一个模型里，然后计算他接下来的状态变化？
为什么要压缩模型，而不是直接训练一个小的CNN？
如何进行图像模糊与清晰的分类？
注意力机制是如何学习到模型所应注意的区域的？
验证集loss上升，准确率却上升该如何理解？
如何看待阿里巴巴提出的 FashionAI 比赛？
Transformer是如何处理可变长度数据的？
为什么现在的CNN模型都是在GoogleNet、VGGNet或者AlexNet上调整的？
目前，人工智能语音在说中文时的语气感觉上还比较机械，怎样使人工智能语音的语气更自然一些？
如何看待SIREN激活函数的提出？
为什么Bert中的CLS在未fine tune时作为sentence embedding性能非常糟糕？
为什么ViT里的image patch要设计成不重叠？
为什么Bert中的CLS在未fine tune时作为sentence embedding性能非常糟糕？
隐私计算、计算机视觉、自然语言处理三者中，哪个研究起来更有前途？
如何用一句话证明自然语言处理很难？
生成式对抗网络GAN有哪些最新的发展，可以实际应用到哪些场景中？
研究推荐系统要对NLP很了解吗？
如何评价各种关联因素分析算法,尤其是在算法效果对比方面?
NLP文本分类的本质是不是其实是找相似，对于要分类的句子，在训练集里找最相似的句子？
医学生学习机器学习该如何入门？
如何评价Deepmind自监督新作BYOL？
pytorch 的高层库ignite怎么样？
如何评价PyTorch 0.4.0？
如何评价Momenta ImageNet 2017夺冠架构SENet?
自然语言处理怎么最快入门？
如何看待NIPS2017图灵奖得主贝叶斯网络之父Judea Pearl讲座无人问津？
想问下专业人士 OpenCv会被深度学习进一步取代吗进一步取代吗？
为什么都说神经网络是个黑箱？