transformer中的Q,K,V到底是什么？ 第1页
1
zhaomingming0617 网友的相关建议:
Q:查询向量
K:表示被查询信息与其他信息的相关性的向量
V:表示被查询信息的向量
输入向量为：x， 1xm向量
Q = x * Wq K = x * Wk V = x * Wv x对应信息V的注意力权重 与 Q*K.tranpose 成正比 等于说：x的注意力权重，由x自己来决定，所以叫自注意力。 Wq,Wk,Wv会根据任务目标更新变化，保证了自注意力机制的效果。 以下是点乘自注意力机制的公式 llllllllllll-6 网友的相关建议:
哈哈，突然想到了一个很形象的解释方法：
你有一个问题Q，然后去搜索引擎里面搜，搜索引擎里面有好多文章，每个文章V有一个能代表其正文内容的标题K，然后搜索引擎用你的问题Q和那些文章V的标题K进行一个匹配，看看相关度（QK --->attention值），然后你想用这些检索到的不同相关度的文章V来表示你的问题，就用这些相关度将检索的文章V做一个加权和，那么你就得到了一个新的Q'，这个Q'融合了相关性强的文章V更多信息，而融合了相关性弱的文章V较少的信息。这就是注意力机制，注意力度不同，重点关注（权值大）与你想要的东西相关性强的部分，稍微关注（权值小）相关性弱的部分。
1
相关话题
卷积神经网络（CNN）的结构设计都有哪些思想？pytorch dataloader数据加载占用了大部分时间，各位大佬都是怎么解决的？
如何评价 PyTorch 团队推出的推荐系统库 TorchRec？
如何看待2021年秋招算法岗灰飞烟灭？
为什么 larger batch size 对对比学习的影响比对监督学习的影响要大？
神经网络的损失函数为什么是非凸的?
在NLP上，CNN、RNN（认为LSTM等变体也是RNN）、最简单全连结MLP，三者相比，各有何优劣?
现有的编程语言当中，哪些和自然语言更接近？
如何理解 inductive learning 与 transductive learning?
什么是meta-learning?
下一个讨论
想自学编程怎样下手？
相关的话题
人工智能可以为人类找寻他们心目中的另一半吗?如何评价 DeepMind 在星际中的失利，以及 OpenAI 在 Dota 上的成功？
AI 都学会看论文了，科研工作者会被淘汰么？
如何理解 Swin Transformer 和 Vision Transformer不同任务上的差异？
为什么 Siri 听懂了我的话，还是不能做出有效的回答或准确的操作？
NIPS 2018 有什么值得关注的亮点？
如何评价哈工大的左旺孟老师？
为什么ViT里的image patch要设计成不重叠？
为什么读论文最好打印出来读？
北京深鉴科技基于FPGA平台的DPU架构如何？
有什么深度学习数学基础书推荐？
多模态方面，有哪些牛组值得我们follow他们的工作？
搞机器学习的生环化材是天坑吗？
2022 年人工智能领域的发展趋势是什么？你都有哪些期待？
如何看待旷视科技新产品监视学生上课？
DeepMind 团队中有哪些厉害的人物和技术积累？
从今年校招来看，机器学习等算法岗位应届生超多，竞争激烈，未来 3-5 年机器学习相关就业会达到饱和吗？
有什么算法能对一个长短不一的时间序列进行分类预测?
FPGA做深度学习能走多远？
transformer 为什么使用 layer normalization，而不是其他的归一化方法？
目前 AI 在疾病的诊断和治疗上，有哪些成功的应用？
机器学习里面的流形都是怎么用的？
有哪些深度学习效果不如传统方法的经典案例？
深度学习中Attention与全连接层的区别何在？
多模态方面，有哪些牛组值得我们follow他们的工作？
在文本分类任务中，有哪些论文中很少提及却对性能有重要影响的tricks？
如何用一句话证明自然语言处理很难？
让人工智能去下路边街头的象棋残局会赢吗？
如何系统学习机器学习？
CNN（卷积神经网络）、RNN（循环神经网络）、DNN（深度神经网络）的内部网络结构有什么区别？