transformer中的Q,K,V到底是什么？ 第1页
1
zhaomingming0617 网友的相关建议:
Q:查询向量
K:表示被查询信息与其他信息的相关性的向量
V:表示被查询信息的向量
输入向量为：x， 1xm向量
Q = x * Wq K = x * Wk V = x * Wv x对应信息V的注意力权重 与 Q*K.tranpose 成正比 等于说：x的注意力权重，由x自己来决定，所以叫自注意力。 Wq,Wk,Wv会根据任务目标更新变化，保证了自注意力机制的效果。 以下是点乘自注意力机制的公式 llllllllllll-6 网友的相关建议:
哈哈，突然想到了一个很形象的解释方法：
你有一个问题Q，然后去搜索引擎里面搜，搜索引擎里面有好多文章，每个文章V有一个能代表其正文内容的标题K，然后搜索引擎用你的问题Q和那些文章V的标题K进行一个匹配，看看相关度（QK --->attention值），然后你想用这些检索到的不同相关度的文章V来表示你的问题，就用这些相关度将检索的文章V做一个加权和，那么你就得到了一个新的Q'，这个Q'融合了相关性强的文章V更多信息，而融合了相关性弱的文章V较少的信息。这就是注意力机制，注意力度不同，重点关注（权值大）与你想要的东西相关性强的部分，稍微关注（权值小）相关性弱的部分。
1
相关话题
马上计算机研一，想问一下机器学习、深度学习…大家都是怎么入门的？如何评价FAIR提出的ConvNeXt：CNN匹敌Swin Transformer?
多模态方面，有哪些牛组值得我们follow他们的工作？
word2vec有什么应用？
要研究深度学习的可解释性（Interpretability），应从哪几个方面着手？
NLP 方向在国内清北读博还是国外？
Graph Attention Network的本质是什么？
如何看待 TI7 上与 Dendi solo 的 OpenAI？
如何评价Google提出的MLP-Mixer：只需要MLP就可以在ImageNet上达到SOTA？
《人工智能训练师国家职业技能标准》发布，有哪些值得关注的信息？
下一个讨论
想自学编程怎样下手？
相关的话题
机器之心提问：如何评价Facebook Training ImageNet in 1 Hour这篇论文?谈谈机器学习在网络安全领域的局限性，以及是否乐观？
Transformer是如何处理可变长度数据的？
Yann LeCun、Geoffrey Hinton或Yoshua Bengio能得图灵奖吗？
神经网络的损失函数为什么是非凸的?
不觉得最大熵原理很奇怪吗？
adversarial training为什么会起作用？
目标检测算法中Two-stage算法速度慢,到底在哪里?
计算机视觉中，目前有哪些经典的目标跟踪算法？
使用强化学习解决实际问题时常常避不开环境模拟或者使用离线强化学习算法，两者分别有什么优缺点？
什么时候对数据进行[0,1]归一化，什么时候[-1,1]归一化，二者分别在什么场景？
实验室一块GPU都没有怎么做深度学习？
如何评价 DeepMind 在星际中的失利，以及 OpenAI 在 Dota 上的成功？
有没有必要把机器学习算法自己实现一遍？
如果不按套路下棋是不是就能赢 Alpha Go 了？
pytorch dataloader数据加载占用了大部分时间，各位大佬都是怎么解决的？
在中文 NLP 等论文中，应该如何翻译 token 这个词？
2021年，作为算法工程师的你们会在CV业务落地上用Transformer吗？
为什么 Siri 听懂了我的话，还是不能做出有效的回答或准确的操作？
用 TensorFlow 可以做什么有意思的事情？
用生成模型做数据增强data augmentation时，如何从合成数据中筛选出质量较好的样本？
多模态方面，有哪些牛组值得我们follow他们的工作？
不觉得最大熵原理很奇怪吗？
是不是并不是所有问题都适合用神经网络预测？
2019 秋招的 AI 岗位竞争激烈吗？
如何用一句话证明自然语言处理很难？
自学深度学习是怎样一种体验？
如何理解空洞卷积（dilated convolution）？
数字图像处理的工作是用传统算法更多还是用深度学习更多?
目标检测算法中Two-stage算法速度慢,到底在哪里?