transformer中的Q,K,V到底是什么？ 第1页
1
zhaomingming0617 网友的相关建议:
Q:查询向量
K:表示被查询信息与其他信息的相关性的向量
V:表示被查询信息的向量
输入向量为：x， 1xm向量
Q = x * Wq K = x * Wk V = x * Wv x对应信息V的注意力权重 与 Q*K.tranpose 成正比 等于说：x的注意力权重，由x自己来决定，所以叫自注意力。 Wq,Wk,Wv会根据任务目标更新变化，保证了自注意力机制的效果。 以下是点乘自注意力机制的公式 llllllllllll-6 网友的相关建议:
哈哈，突然想到了一个很形象的解释方法：
你有一个问题Q，然后去搜索引擎里面搜，搜索引擎里面有好多文章，每个文章V有一个能代表其正文内容的标题K，然后搜索引擎用你的问题Q和那些文章V的标题K进行一个匹配，看看相关度（QK --->attention值），然后你想用这些检索到的不同相关度的文章V来表示你的问题，就用这些相关度将检索的文章V做一个加权和，那么你就得到了一个新的Q'，这个Q'融合了相关性强的文章V更多信息，而融合了相关性弱的文章V较少的信息。这就是注意力机制，注意力度不同，重点关注（权值大）与你想要的东西相关性强的部分，稍微关注（权值小）相关性弱的部分。
1
相关话题
阿里的TDM树深度模型为什么很少有人用，是有哪些问题吗？为什么ViT里的image patch要设计成不重叠？
如何评价CVPR2019程序主席Derek Hoiem的论点：计算机视觉只是记忆，不是智能？
如果百年后深度学习最终有了公认的数学理论作为基础，能解释实验中的各类玄学，那这个理论会长什么样子？
在中文 NLP 等论文中，应该如何翻译 token 这个词？
有什么算法能对一个长短不一的时间序列进行分类预测?
NLP文本分类的本质是不是其实是找相似，对于要分类的句子，在训练集里找最相似的句子？
多任务学习成功的原因是引入了别的数据库还是多任务框架本身呢？
word2vec有什么应用？
人工智能退潮期来了吗？
下一个讨论
想自学编程怎样下手？
相关的话题
中科院某所研一新生，小样本学习、数据融合、强化学习、图神经网络、资源受限的计算这几个方向选哪个更好？如何评价Momenta ImageNet 2017夺冠架构SENet?
基于对比学习(Contrastive Learning)的文本表示模型【为什么】能学到语义【相似】度？
能否使用神经网络来判断奇偶数？
神经网络的损失函数为什么是非凸的?
有没有必要把机器学习算法自己实现一遍？
TensorFlow 中 padding 的 SAME 和 VALID 两种方式有何异同？
使用pytorch时，训练集数据太多达到上千万张，Dataloader加载很慢怎么办?
为什么不能有把中文想法直接转换成电脑程序的编程呢？
transformer 为什么使用 layer normalization，而不是其他的归一化方法？
graph convolutional network有什么比较好的应用task？
目标检测算法中Two-stage算法速度慢,到底在哪里?
从人工智能技术的角度如何评价 Google home、Amazon Echo、Rokid 这三款产品？
迁移学习与fine-tuning有什么区别？
如何看待周志华等人的新书《机器学习理论导引》？
一个完整的Pytorch深度学习项目代码，项目结构是怎样的？
在文本分类任务中，有哪些论文中很少提及却对性能有重要影响的tricks？
有哪些深度学习效果不如传统方法的经典案例？
结合深度学习的图像修复怎么实现？
深度学习中有哪些数据增强方法？
《人工智能训练师国家职业技能标准》发布，有哪些值得关注的信息？
pytorch dataloader数据加载占用了大部分时间，各位大佬都是怎么解决的？
深度学习的多个loss如何平衡？
如何评价 DeepMind 公司？
如何评价mixup: BEYOND EMPIRICAL RISK MINIMIZATION？
如何评价 CVPR 2020的论文接收结果？有哪些亮点论文？
如果不按套路下棋是不是就能赢 Alpha Go 了？
2021年了，如何评价微软亚研提出的对偶学习（Dual Learning）？
当前人工智能特别是深度学习最前沿的研究方向是什么？
有没有什么可以节省大量时间的 Deep Learning 效率神器？