transformer中的Q,K,V到底是什么？ 第1页
1
zhaomingming0617 网友的相关建议:
Q:查询向量
K:表示被查询信息与其他信息的相关性的向量
V:表示被查询信息的向量
输入向量为：x， 1xm向量
Q = x * Wq K = x * Wk V = x * Wv x对应信息V的注意力权重 与 Q*K.tranpose 成正比 等于说：x的注意力权重，由x自己来决定，所以叫自注意力。 Wq,Wk,Wv会根据任务目标更新变化，保证了自注意力机制的效果。 以下是点乘自注意力机制的公式 llllllllllll-6 网友的相关建议:
哈哈，突然想到了一个很形象的解释方法：
你有一个问题Q，然后去搜索引擎里面搜，搜索引擎里面有好多文章，每个文章V有一个能代表其正文内容的标题K，然后搜索引擎用你的问题Q和那些文章V的标题K进行一个匹配，看看相关度（QK --->attention值），然后你想用这些检索到的不同相关度的文章V来表示你的问题，就用这些相关度将检索的文章V做一个加权和，那么你就得到了一个新的Q'，这个Q'融合了相关性强的文章V更多信息，而融合了相关性弱的文章V较少的信息。这就是注意力机制，注意力度不同，重点关注（权值大）与你想要的东西相关性强的部分，稍微关注（权值小）相关性弱的部分。
1
相关话题
AMD的CPU是否适合搭建深度学习主机？如何评价Momenta ImageNet 2017夺冠架构SENet?
因果推断会是下一个AI热潮吗？
如何看待 Nervana 被 Intel 收购？
DL框架的未来发展，TensorFlow/MXNet/PyTorch, 选哪个？
为什么在SGD中使用L1正则化很难获得稀疏性？
大家推荐一下，哪些学校的导师有在做量化交易、股票预测的？
一个完整的Pytorch深度学习项目代码，项目结构是怎样的？
Yann LeCun、Geoffrey Hinton或Yoshua Bengio能得图灵奖吗？
为何感觉“知识蒸馏”这几年没有什么成果？
下一个讨论
想自学编程怎样下手？
相关的话题
贝叶斯深度学习是什么，和传统神经网络有何不同？使用pytorch时，训练集数据太多达到上千万张，Dataloader加载很慢怎么办?
给男友配置一个适合做深度学习的电脑要多少钱？
GAN的生成器是怎么产生图片的？
DL框架的未来发展，TensorFlow/MXNet/PyTorch, 选哪个？
有哪些比较好的元学习（meta learning）领域的学习资源？
为什么deep lab v3起，输出不再接 DenseCRF了？
用 TensorFlow 可以做什么有意思的事情？
Bert中的词向量各向异性具体什么意思啊？
当前深度学习理论基础薄弱是否意味着我们应该放弃深度学习应用(计算机视觉、自然语言处理)？
如何看待 AlphaFold 在蛋白质结构预测领域的成功？
是不是对于任意 n×n 大小的围棋棋盘，人类都赢不了 AlphaGo Zero 了？
生成对抗网络的毕设怎么上手？
国内 top2 高校研一在读，为什么感觉深度学习越学越懵?
有谁照着论文把 AlphaGo 重现出来了？
当前深度学习理论基础薄弱是否意味着我们应该放弃深度学习应用(计算机视觉、自然语言处理)？
深度学习到底是「实验科学」还是「理论科学」？能否称为「算法」？
计算流体力学（CFD）里应用注意力机制（attention）是否可行？
如何理解深度学习源码里经常出现的logits？
word2vec有什么应用？
transformer中的Q,K,V到底是什么？
Transformer在工业界的应用瓶颈如何突破？
为什么图形学的会议siggraph的论文代码很少会开源？好像视觉如CVPR、ICCV开源的更多一些。
如何评价论文「Stochastic Training is Not Necessary ...」?
研一刚入学，从未接触过神经网络，python也是才开始学，现在导师要我做LSTM，我应该去学什么？
transformer中的Q,K,V到底是什么？
有没有必要把机器学习算法自己实现一遍？
GPU 与 CPU 比较，为什么说 GPU 更适合深度学习？
在做算法工程师的道路上，你掌握了什么概念或技术使你感觉自我提升突飞猛进？
2021年了，如何评价微软亚研提出的对偶学习（Dual Learning）？