transformer中的Q,K,V到底是什么？ 第1页
1
zhaomingming0617 网友的相关建议:
Q:查询向量
K:表示被查询信息与其他信息的相关性的向量
V:表示被查询信息的向量
输入向量为：x， 1xm向量
Q = x * Wq K = x * Wk V = x * Wv x对应信息V的注意力权重 与 Q*K.tranpose 成正比 等于说：x的注意力权重，由x自己来决定，所以叫自注意力。 Wq,Wk,Wv会根据任务目标更新变化，保证了自注意力机制的效果。 以下是点乘自注意力机制的公式 llllllllllll-6 网友的相关建议:
哈哈，突然想到了一个很形象的解释方法：
你有一个问题Q，然后去搜索引擎里面搜，搜索引擎里面有好多文章，每个文章V有一个能代表其正文内容的标题K，然后搜索引擎用你的问题Q和那些文章V的标题K进行一个匹配，看看相关度（QK --->attention值），然后你想用这些检索到的不同相关度的文章V来表示你的问题，就用这些相关度将检索的文章V做一个加权和，那么你就得到了一个新的Q'，这个Q'融合了相关性强的文章V更多信息，而融合了相关性弱的文章V较少的信息。这就是注意力机制，注意力度不同，重点关注（权值大）与你想要的东西相关性强的部分，稍微关注（权值小）相关性弱的部分。
1
相关话题
为什么Transformer适合做多模态任务？为什么学习深度学习感觉无法入门？
如何评价Google提出的MLP-Mixer：只需要MLP就可以在ImageNet上达到SOTA？
机器学习，深度神经网络等方法是否是正确的方向？
百度学术能否替代 Google 学术网站？有没有其他选择？
BERT模型可以使用无监督的方法做文本相似度任务吗？
为什么Transformer要用LayerNorm？
神经网络的损失函数为什么是非凸的?
为什么计算注意力机制的时候不加偏置项？
2017年1月18日Facebook发行的PyTorch相比TensorFlow、MXNet有何优势？
下一个讨论
想自学编程怎样下手？
相关的话题
如何评价 DeepMind 发表在 Nature 上的使用深度强化学习对托卡马克等离子体进行磁控制？对于神经网络，硕士博士不需要弄明白原理，只需要应用，是这样吗？
卷积神经网络如果将池化层去除，与神经网络的区别还大么？
如何评价 DeepMind 的新工作 AlphaCode?
是不是对于任意 n×n 大小的围棋棋盘，人类都赢不了 AlphaGo Zero 了？
国内哪些公司在用caffe、torch、TensorFlow、paddle等框架，哪些在用自研框架？
如何评价Google最新提出的gMLP：MLP模型在CV和NLP任务上均取得较好的效果？
对神经网络某一层做了小改进，效果却提升显著，可以发论文吗？
CVPR 2019 有哪些值得关注的亮点？
有哪些关于机器学习的真相还鲜为人知？
如何看待Yoav Goldberg 怒怼来自MILA的GAN for NLG的paper?
如何评价浪潮发布的2457亿参数源1.0智能大模型？与GPT-3相比如何？处于AI模型领域什么水平？
深度学习和强化学习之间的差别有多大？
深度学习如何入门？
自然语言处理怎么最快入门？
人工智能退潮期来了吗？
如何看待学霸君的高考机器人 Aidam 高考全国文科数学卷考了 134 分？
为什么强大的 MXNet 一直火不起来？
如何评价 Exploring Simple Siamese Learning?
TensorFlow 有哪些令人难以接受的地方？
为什么Bert中的CLS在未fine tune时作为sentence embedding性能非常糟糕？
如何评价openai的新工作DALL·E?
有哪些关于机器学习的真相还鲜为人知？
如何评价FAIR提出的ConvNeXt：CNN匹敌Swin Transformer?
深度学习cnn中，怎么理解图像进行池化（pooling）后的平移不变性？
深度学习对图像的处理，为什么大多基于RGB，而没有其他色彩空间，比如HSV？
如何评价 MSRA 视觉组最新提出的 Deformable ConvNets V2？
LSTM如何来避免梯度弥散和梯度爆炸？
2019年CVPR有哪些糟糕的论文?
如何评价MSRA视觉组最新对spatial attention mechanism分析论文？